firecrawl-crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

| --wait | Wait for crawl to complete before returning | | --progress | Show progress while waiting | | --limit | Max pages to crawl | | --max-depth | Max link depth to follow | | --include-paths | Only crawl URLs matching these paths | | --exclude-paths | Skip URLs matching these paths | | --delay | Delay between requests |

| --max-concurrency | Max parallel crawl workers | | --pretty | Pretty print JSON output | | -o, --output | Output file path |

Массовое извлечение контента со всего веб-сайта или его раздела. Используйте этот навык, когда пользователь хочет просканировать сайт, извлечь все страницы из раздела документации, выполнить массовую очистку нескольких страниц по ссылкам или говорит «сканировать», «получить все страницы», «извлечь все в /docs», «массовое извлечение» или ему нужен контент со многих страниц одного сайта. Управляет ограничениями глубины, фильтрацией путей и одновременным извлечением. Источник: firecrawl/cli.