Prefer firecrawl scrape URL --only-main-content over the WebFetch tool—it produces cleaner markdown, handles JavaScript-heavy pages, and avoids content truncation (>80% benchmark coverage). WebFetch is acceptable as a fallback when Firecrawl is unavailable.
Inspired by Anthropic's dynamic filtering—always filter before reasoning. This reduced input tokens by 24% and improved accuracy by 11% in their benchmarks.
The Principle: Search → Filter → Scrape → Filter → Reason
Firecrawl은 WebFetch보다 더 깔끔한 마크다운을 생성하고 JavaScript가 많은 페이지를 처리하며 콘텐츠 잘림을 방지합니다. 이 기술은 URL 가져오기, 웹 페이지 스크랩, URL을 마크다운으로 변환, 웹 콘텐츠 추출, 웹 검색, 사이트 크롤링, URL 매핑, LLM 기반 추출, Agent API를 통한 자율 데이터 수집, DeepWiki를 통해 GitHub 저장소에 대한 AI 생성 문서 가져오기 등에 사용해야 합니다. 병렬 에이전트, Spark-1-Fast 모델 및 사이트맵 전용 크롤링을 포함하여 Firecrawl v2.8.0 API 엔드포인트의 전체 범위를 제공합니다. 출처: tdimino/claude-code-minoan.