validating-clickhouse-kafka-pipelines

This skill provides production-ready patterns for implementing defense-in-depth validation in ClickHouse + Kafka data pipelines. It ensures data integrity at both producer and consumer boundaries, handles errors without blocking consumption, automatically deduplicates messages, and provides comprehensive monitoring and observability.

The skill is built on validating at both producer and consumer layers:

Consumer-side validation provides defense-in-depth and context isolation:

Implementa modelli di convalida di difesa approfondita per le pipeline di dati ClickHouse + Kafka. Copre la convalida del produttore (schemi msgspec), la convalida del consumatore (livelli anticorruzione), lo streaming degli errori ClickHouse (kafka_handle_error_mode='stream'), l'idempotenza con ReplacingMergeTree, l'evoluzione dello schema e il monitoraggio. Da utilizzare durante l'implementazione di pipeline di dati, la gestione degli errori Kafka, l'impostazione di livelli di convalida, la gestione di duplicati/idempotenza o il monitoraggio del consumo di Kafka. Trigger su "convalida pipeline Kafka", "gestione degli errori clickhouse", "deduplicazione Kafka" o "implementazione del livello anti-corruzione". Fonte: dawiddutoit/custom-claude.