incremental-fetch

Build data pipelines that never lose progress and never re-fetch existing data.

Track TWO cursors to support both forward and backward fetching:

| newestid | Fetch new data since last run | sinceid | | oldestid | Backfill older data | untilid |

قم ببناء مسارات مرنة لاستيعاب البيانات من واجهات برمجة التطبيقات. يُستخدم عند إنشاء البرامج النصية التي تجلب البيانات المقسمة إلى صفحات من واجهات برمجة التطبيقات الخارجية (Twitter، والتبادلات، وأي واجهة برمجة تطبيقات REST) ​​وتحتاج إلى تتبع التقدم، وتجنب التكرارات، والتعامل مع حدود المعدل، ودعم كل من التحديثات المتزايدة وعمليات إعادة التعبئة التاريخية. المشغلات: "استقبال البيانات من واجهة برمجة التطبيقات"، و"سحب التغريدات"، و"جلب البيانات التاريخية"، و"المزامنة من X"، و"إنشاء خط أنابيب بيانات"، و"جلب دون إعادة التنزيل"، و"استئناف التنزيل"، و"إعادة ملء البيانات القديمة". ليس من أجل: مكالمات API البسيطة لمرة واحدة، أو اتصالات websocket/البث، أو تنزيلات الملفات، أو واجهات برمجة التطبيقات بدون ترقيم الصفحات. المصدر: shipshitdev/library.