As of 2025-2026, AI companies actively crawl the web to train models and power AI search. Managing these crawlers via robots.txt is a critical technical SEO consideration.
| Crawler | Company | robots.txt token | Purpose |
| GPTBot | OpenAI | GPTBot | Model training | | ChatGPT-User | OpenAI | ChatGPT-User | Real-time browsing | | ClaudeBot | Anthropic | ClaudeBot | Model training | | PerplexityBot | Perplexity | PerplexityBot | Search index + training | | Bytespider | ByteDance | Bytespider | Model training |
Auditoría técnica de SEO en 8 categorías: rastreabilidad, indexabilidad, seguridad, estructura de URL, dispositivos móviles, Core Web Vitals, datos estructurados y representación de JavaScript. Úselo cuando el usuario diga "SEO técnico", "problemas de rastreo", "robots.txt", "Core Web Vitals", "velocidad del sitio" o "encabezados de seguridad". Fuente: agricidaniel/claude-seo.