validating-clickhouse-kafka-pipelines

This skill provides production-ready patterns for implementing defense-in-depth validation in ClickHouse + Kafka data pipelines. It ensures data integrity at both producer and consumer boundaries, handles errors without blocking consumption, automatically deduplicates messages, and provides comprehensive monitoring and observability.

The skill is built on validating at both producer and consumer layers:

Consumer-side validation provides defense-in-depth and context isolation:

Implementiert Defense-in-Depth-Validierungsmuster für ClickHouse- und Kafka-Datenpipelines. Behandelt die Produzentenvalidierung (msgspec-Schemas), die Verbrauchervalidierung (Antikorruptionsebenen), das ClickHouse-Fehlerstreaming (kafka_handle_error_mode='stream'), die Idempotenz mit ReplacingMergeTree, die Schemaentwicklung und die Überwachung. Verwendung bei der Implementierung von Datenpipelines, der Behandlung von Kafka-Fehlern, dem Einrichten von Validierungsebenen, der Verwaltung von Duplikaten/Idempotenz oder der Überwachung des Kafka-Verbrauchs. Löst auf „Kafka-Pipeline validieren“, „Clickhouse-Fehlerbehandlung“, „Kafka-Deduplizierung“ oder „Antikorruptionsschicht implementieren“ aus. Quelle: dawiddutoit/custom-claude.