firecrawl

❌ #1: Sequential Scraping Problem: Scraping sites one-by-one wastes time.

Why: Firecrawl supports up to 100 parallel jobs (check firecrawl --status). Use them.

Why this is deceptively hard to debug: Operations complete successfully—just slowly. No error messages indicate the problem. When scraping 20 sites takes 2 minutes instead of 10 seconds, it's not obvious the bottleneck is sequential execution rather than network speed. Profiling reveals the issue: 90% of time is spent waiting, not processing. Takes 10-15 minutes to realize parallelization is the fix.

يقوم تجريف الويب والبحث في CLI بإرجاع Markdown نظيفًا من أي عنوان URL (يتعامل مع JS-rendered الصفحات، SPA). يُستخدم عندما يطلب المستخدم: (1) "البحث في الويب عن X"، (2) "كشط/جلب محتوى عنوان URL"، (3) "الحصول على المحتوى من موقع الويب"، (4) "البحث عن أحدث المقالات حول X"، (5) مهام البحث التي تحتاج إلى بيانات الويب الحالية، (6) استخراج البيانات المنظمة من الصفحات. يُخرج Markdown الصديق لـ LLM، ويتعامل مع المصادقة عبر تسجيل الدخول إلى الزحف الناري، ويدعم تجريف موازية للعمليات السائبة. يكتب تلقائيًا إلى دليل .firecrawl/. المشغلات: تجريف الويب، البحث في الويب، جلب عنوان URL، استخراج المحتوى، الزحف الناري، الكشط موقع الويب، الحصول على محتوى الصفحة، بحث الويب، خريطة الموقع، موقع الزحف. المصدر: acedergren/agentic-tools.