validating-clickhouse-kafka-pipelines

This skill provides production-ready patterns for implementing defense-in-depth validation in ClickHouse + Kafka data pipelines. It ensures data integrity at both producer and consumer boundaries, handles errors without blocking consumption, automatically deduplicates messages, and provides comprehensive monitoring and observability.

The skill is built on validating at both producer and consumer layers:

Consumer-side validation provides defense-in-depth and context isolation:

ينفذ أنماط التحقق الدفاعية المتعمقة لخطوط أنابيب بيانات ClickHouse + Kafka. يغطي التحقق من صحة المنتج (مخططات msgspec)، والتحقق من صحة المستهلك (طبقات مكافحة الفساد)، وتدفق أخطاء ClickHouse (kafka_handle_error_mode = 'stream')، والعجز مع ReplacingMergeTree، وتطور المخطط، والمراقبة. يُستخدم عند تنفيذ خطوط أنابيب البيانات، أو التعامل مع أخطاء كافكا، أو إعداد طبقات التحقق من الصحة، أو إدارة التكرارات/العجز، أو مراقبة استهلاك كافكا. مشغلات على "التحقق من صحة خط أنابيب كافكا"، أو "معالجة أخطاء Clickhouse"، أو "إلغاء البيانات المكررة في كافكا"، أو "تنفيذ طبقة مكافحة الفساد". المصدر: dawiddutoit/custom-claude.