llms-txt-support

Single responsibility: Detect, fetch, and utilize llms.txt files that provide LLM-optimized documentation, enabling 10x faster documentation ingestion. (BP-4)

The llms.txt standard (https://llmstxt.org/) provides a convention for websites to expose LLM-friendly documentation. Instead of scraping entire sites, check for llms.txt first.

| RELEVANT | Target base URL, llms.txt content | Full site scraping | | PERIPHERAL | llms.txt spec reference | Other sites' llms.txt | | DISTRACTOR | Previous scraping attempts | Unrelated documentation |

اكتشف ملفات llms.txt واستخدمها للحصول على وثائق LLM المحسنة. يُستخدم عند التحقق مما إذا كان الموقع يحتوي على مستندات جاهزة لـ LLM قبل استخراجها. المصدر: jmagly/ai-writing-guide.