firecrawl-crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

| --wait | Wait for crawl to complete before returning | | --progress | Show progress while waiting | | --limit | Max pages to crawl | | --max-depth | Max link depth to follow | | --include-paths | Only crawl URLs matching these paths | | --exclude-paths | Skip URLs matching these paths | | --delay | Delay between requests |

| --max-concurrency | Max parallel crawl workers | | --pretty | Pretty print JSON output | | -o, --output | Output file path |

Estrazione in blocco di contenuti da un intero sito Web o da una sezione del sito. Utilizza questa abilità quando l'utente desidera eseguire la scansione di un sito, estrarre tutte le pagine da una sezione di documenti, eseguire lo scraping in blocco di più pagine seguendo i collegamenti o dire "scansione", "ottieni tutte le pagine", "estrai tutto in /docs", "estrazione in blocco" o ha bisogno di contenuti da molte pagine sullo stesso sito. Gestisce i limiti di profondità, il filtraggio del percorso e l'estrazione simultanea. Fonte: firecrawl/cli.