As of 2025-2026, AI companies actively crawl the web to train models and power AI search. Managing these crawlers via robots.txt is a critical technical SEO consideration.
| Crawler | Company | robots.txt token | Purpose |
| GPTBot | OpenAI | GPTBot | Model training | | ChatGPT-User | OpenAI | ChatGPT-User | Real-time browsing | | ClaudeBot | Anthropic | ClaudeBot | Model training | | PerplexityBot | Perplexity | PerplexityBot | Search index + training | | Bytespider | ByteDance | Bytespider | Model training |
Audit SEO technique dans 8 catégories : crawlabilité, indexabilité, sécurité, structure d'URL, mobile, Core Web Vitals, données structurées et rendu JavaScript. À utiliser lorsque l'utilisateur dit « SEO technique », « problèmes d'exploration », « robots.txt », « Core Web Vitals », « vitesse du site » ou « en-têtes de sécurité ». Source : agricidaniel/claude-seo.