As of 2025-2026, AI companies actively crawl the web to train models and power AI search. Managing these crawlers via robots.txt is a critical technical SEO consideration.
| Crawler | Company | robots.txt token | Purpose |
| GPTBot | OpenAI | GPTBot | Model training | | ChatGPT-User | OpenAI | ChatGPT-User | Real-time browsing | | ClaudeBot | Anthropic | ClaudeBot | Model training | | PerplexityBot | Perplexity | PerplexityBot | Search index + training | | Bytespider | ByteDance | Bytespider | Model training |
Audit SEO tecnico in 8 categorie: crawlability, indicizzabilità, sicurezza, struttura URL, dispositivi mobili, Core Web Vitals, dati strutturati e rendering JavaScript. Da utilizzare quando l'utente dice "SEO tecnico", "problemi di scansione", "robots.txt", "Core Web Vitals", "velocità del sito" o "intestazioni di sicurezza". Fonte: agricidaniel/claude-seo.