llms-txt-crawler

SKILL.md

This skill enables you to fetch llms.txt files from websites and crawl all pages listed within them. The llms.txt format is a standard way for websites to provide LLM-friendly content listings.

This skill parses these files and downloads all linked content.

| --url | -u | Base URL of the site with llms.txt | Required | | --output | -o | Output directory for crawled files | ./output | | --format | -f | Output format: md, json, or txt | md | | --delay | -d | Delay between requests in milliseconds | 500 | | --concurrent | -c | Maximum concurrent requests | 3 |

웹사이트에서 llms.txt 파일을 가져오고 크롤링합니다. llms.txt 형식을 구문 분석하여 페이지 URL을 추출하고 나열된 모든 콘텐츠를 다운로드합니다. llms.txt 파일을 제공하는 웹 사이트에서 문서나 콘텐츠를 수집해야 할 때 사용합니다. 출처: agykit/agykit.

원본 보기