firecrawl-crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

| --wait | Wait for crawl to complete before returning | | --progress | Show progress while waiting | | --limit | Max pages to crawl | | --max-depth | Max link depth to follow | | --include-paths | Only crawl URLs matching these paths | | --exclude-paths | Skip URLs matching these paths | | --delay | Delay between requests |

| --max-concurrency | Max parallel crawl workers | | --pretty | Pretty print JSON output | | -o, --output | Output file path |

Extrahieren Sie Inhalte in großen Mengen aus einer gesamten Website oder einem Website-Bereich. Verwenden Sie diese Fähigkeit, wenn der Benutzer eine Website crawlen, alle Seiten aus einem Dokumentabschnitt extrahieren, mehrere Seiten nach Links in großen Mengen durchsuchen möchte oder „Crawlen“, „Alle Seiten abrufen“, „Alles unter /docs extrahieren“, „Massenextrahieren“ sagen möchte oder Inhalte von vielen Seiten derselben Website benötigt. Behandelt Tiefenbeschränkungen, Pfadfilterung und gleichzeitige Extraktion. Quelle: firecrawl/cli.