llms-txt-support

Single responsibility: Detect, fetch, and utilize llms.txt files that provide LLM-optimized documentation, enabling 10x faster documentation ingestion. (BP-4)

The llms.txt standard (https://llmstxt.org/) provides a convention for websites to expose LLM-friendly documentation. Instead of scraping entire sites, check for llms.txt first.

| RELEVANT | Target base URL, llms.txt content | Full site scraping | | PERIPHERAL | llms.txt spec reference | Other sites' llms.txt | | DISTRACTOR | Previous scraping attempts | Unrelated documentation |

Обнаруживайте и используйте файлы llms.txt для документации, оптимизированной для LLM. Используйте при проверке наличия на сайте документов, готовых к LLM, перед парсингом. Источник: jmagly/ai-writing-guide.