firecrawl-crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

| --wait | Wait for crawl to complete before returning | | --progress | Show progress while waiting | | --limit | Max pages to crawl | | --max-depth | Max link depth to follow | | --include-paths | Only crawl URLs matching these paths | | --exclude-paths | Skip URLs matching these paths | | --delay | Delay between requests |

| --max-concurrency | Max parallel crawl workers | | --pretty | Pretty print JSON output | | -o, --output | Output file path |

Extrayez en masse le contenu d’un site Web entier ou d’une section de site. Utilisez cette compétence lorsque l'utilisateur souhaite explorer un site, extraire toutes les pages d'une section de documentation, effectuer un scraping groupé de plusieurs pages suivant des liens, ou dit "explorer", "obtenir toutes les pages", "extraire tout sous /docs", "extraire en masse" ou a besoin du contenu de plusieurs pages du même site. Gère les limites de profondeur, le filtrage des chemins et l’extraction simultanée. Source : firecrawl/cli.