validating-clickhouse-kafka-pipelines

This skill provides production-ready patterns for implementing defense-in-depth validation in ClickHouse + Kafka data pipelines. It ensures data integrity at both producer and consumer boundaries, handles errors without blocking consumption, automatically deduplicates messages, and provides comprehensive monitoring and observability.

The skill is built on validating at both producer and consumer layers:

Consumer-side validation provides defense-in-depth and context isolation:

Implémente des modèles de validation de défense en profondeur pour les pipelines de données ClickHouse + Kafka. Couvre la validation du producteur (schémas msgspec), la validation du consommateur (couches anti-corruption), le streaming d'erreurs ClickHouse (kafka_handle_error_mode='stream'), l'idempotence avec ReplacingMergeTree, l'évolution du schéma et la surveillance. À utiliser lors de la mise en œuvre de pipelines de données, de la gestion des erreurs Kafka, de la configuration des couches de validation, de la gestion des doublons/idempotence ou de la surveillance de la consommation de Kafka. Déclencheurs sur « valider le pipeline Kafka », « gestion des erreurs Clickhouse », « déduplication Kafka » ou « implémenter une couche anti-corruption ». Source : dawiddutoit/custom-claude.