incremental-fetch

SKILL.md

Build data pipelines that never lose progress and never re-fetch existing data.

Track TWO cursors to support both forward and backward fetching:

| newestid | Fetch new data since last run | sinceid | | oldestid | Backfill older data | untilid |

API에서 탄력적인 데이터 수집 파이프라인을 구축하세요. 외부 API(Twitter, Exchange, 모든 REST API)에서 페이지가 매겨진 데이터를 가져오고 진행 상황을 추적하고, 중복을 방지하고, 속도 제한을 처리하고, 증분 업데이트와 기록 백필을 모두 지원해야 하는 스크립트를 생성할 때 사용합니다. 트리거: 'API에서 데이터 수집', '트윗 가져오기', '기록 데이터 가져오기', 'X에서 동기화', '데이터 파이프라인 구축', '다시 다운로드하지 않고 가져오기', '다운로드 재개', '이전 데이터 백필'. 해당되지 않음: 간단한 일회성 API 호출, 웹소켓/스트리밍 연결, 파일 다운로드 또는 페이지 매김이 없는 API. 출처: shipshitdev/library.

원본 보기