validating-clickhouse-kafka-pipelines

This skill provides production-ready patterns for implementing defense-in-depth validation in ClickHouse + Kafka data pipelines. It ensures data integrity at both producer and consumer boundaries, handles errors without blocking consumption, automatically deduplicates messages, and provides comprehensive monitoring and observability.

The skill is built on validating at both producer and consumer layers:

Consumer-side validation provides defense-in-depth and context isolation:

Реализует шаблоны проверки глубокой защиты для конвейеров данных ClickHouse + Kafka. Охватывает проверку производителя (схемы msgspec), проверку потребителя (уровни защиты от коррупции), потоковую передачу ошибок ClickHouse (kafka_handle_error_mode='stream'), идемпотентность с помощью ReplacingMergeTree, эволюцию схемы и мониторинг. Используйте при реализации конвейеров данных, обработке ошибок Kafka, настройке уровней проверки, управлении дубликатами/идемпотентностью или мониторинге использования Kafka. Триггеры по «проверке конвейера Kafka», «обработке ошибок Clickhouse», «дедупликации Kafka» или «внедрению уровня защиты от коррупции». Источник: dawiddutoit/custom-claude.