validating-clickhouse-kafka-pipelines

This skill provides production-ready patterns for implementing defense-in-depth validation in ClickHouse + Kafka data pipelines. It ensures data integrity at both producer and consumer boundaries, handles errors without blocking consumption, automatically deduplicates messages, and provides comprehensive monitoring and observability.

The skill is built on validating at both producer and consumer layers:

Consumer-side validation provides defense-in-depth and context isolation:

Implementa patrones de validación de defensa en profundidad para canalizaciones de datos de ClickHouse + Kafka. Cubre la validación del productor (esquemas msgspec), la validación del consumidor (capas anticorrupción), la transmisión de errores de ClickHouse (kafka_handle_error_mode='stream'), la idempotencia con ReplacingMergeTree, la evolución del esquema y el monitoreo. Úselo al implementar canalizaciones de datos, manejar errores de Kafka, configurar capas de validación, administrar duplicados/idempotencia o monitorear el consumo de Kafka. Activadores en "validar canalización de Kafka", "manejo de errores de Clickhouse", "deduplicación de Kafka" o "implementar capa anticorrupción". Fuente: dawiddutoit/custom-claude.