validating-clickhouse-kafka-pipelines

This skill provides production-ready patterns for implementing defense-in-depth validation in ClickHouse + Kafka data pipelines. It ensures data integrity at both producer and consumer boundaries, handles errors without blocking consumption, automatically deduplicates messages, and provides comprehensive monitoring and observability.

The skill is built on validating at both producer and consumer layers:

Consumer-side validation provides defense-in-depth and context isolation:

ClickHouse + Kafka データ パイプラインに多層防御の検証パターンを実装します。プロデューサー検証 (msgspec スキーマ)、コンシューマー検証 (破損防止レイヤー)、ClickHouse エラー ストリーミング (kafka_handle_error_mode='stream')、ReplacingMergeTree による冪等性、スキーマの進化、監視について説明します。データ パイプラインの実装、Kafka エラーの処理、検証レイヤーのセットアップ、重複/冪等性の管理、または Kafka の使用状況の監視時に使用します。 「kafka パイプラインの検証」、「クリックハウス エラー処理」、「kafka 重複排除」、または「破損防止レイヤーの実装」でトリガーされます。 ソース: dawiddutoit/custom-claude。