firecrawl-crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

| --wait | Wait for crawl to complete before returning | | --progress | Show progress while waiting | | --limit | Max pages to crawl | | --max-depth | Max link depth to follow | | --include-paths | Only crawl URLs matching these paths | | --exclude-paths | Skip URLs matching these paths | | --delay | Delay between requests |

| --max-concurrency | Max parallel crawl workers | | --pretty | Pretty print JSON output | | -o, --output | Output file path |

Extraiga contenido de forma masiva de un sitio web completo o de una sección del sitio. Utilice esta habilidad cuando el usuario quiera rastrear un sitio, extraer todas las páginas de una sección de documentos, extraer de forma masiva varias páginas siguiendo enlaces, o decir "rastrear", "obtener todas las páginas", "extraer todo en /docs", "extraer en masa" o necesite contenido de muchas páginas en el mismo sitio. Maneja límites de profundidad, filtrado de rutas y extracción simultánea. Fuente: firecrawl/cli.