Что такое web-content-extraction?
Извлечение документации и контента с веб-сайтов. Поддерживает Mintlify, Starlight/Astro, Docusaurus, GitBook, ReadTheDocs, Sphinx и общие сайты. Использует многоуровневый подход — сначала попробуйте самый простой метод (прямое закручивание, Jina AI Reader), прежде чем возвращаться к Crawl4AI для сайтов с большим количеством JS. Источник: nikhilmaddirala/gtd-cc.