incremental-fetch

Build data pipelines that never lose progress and never re-fetch existing data.

Track TWO cursors to support both forward and backward fetching:

| newestid | Fetch new data since last run | sinceid | | oldestid | Backfill older data | untilid |

Создавайте устойчивые конвейеры приема данных из API. Используйте при создании сценариев, которые извлекают данные с разбивкой на страницы из внешних API (Twitter, биржи, любой REST API) и нуждаются в отслеживании прогресса, избегании дубликатов, обработке ограничений скорости и поддержке как инкрементальных обновлений, так и исторических обратных заполнений. Триггеры: «загрузка данных из API», «извлечение твитов», «извлечение исторических данных», «синхронизация из X», «создание конвейера данных», «извлечение без повторной загрузки», «возобновление загрузки», «заполнение старых данных». НЕ для: простых одноразовых вызовов API, веб-сокетов/потоковых соединений, загрузки файлов или API без нумерации страниц. Источник: shipshitdev/library.