incremental-fetch

SKILL.md

Build data pipelines that never lose progress and never re-fetch existing data.

Track TWO cursors to support both forward and backward fetching:

| newestid | Fetch new data since last run | sinceid | | oldestid | Backfill older data | untilid |

Créez des pipelines d’ingestion de données résilients à partir d’API. À utiliser lors de la création de scripts qui récupèrent des données paginées à partir d'API externes (Twitter, échanges, toute API REST) ​​et doivent suivre la progression, éviter les doublons, gérer les limites de débit et prendre en charge les mises à jour incrémentielles et les remplissages historiques. Déclencheurs : « ingérer des données depuis l'API », « extraire des tweets », « récupérer des données historiques », « synchroniser depuis X », « créer un pipeline de données », « récupérer sans retélécharger », « reprendre le téléchargement », « remplir des données plus anciennes ». PAS pour : les appels API simples, les connexions websocket/streaming, les téléchargements de fichiers ou les API sans pagination. Source : shipshitdev/library.

Voir l'original