data-pipeline-engineer

SKILL.md

Expert data engineer specializing in ETL/ELT pipelines, streaming architectures, data warehousing, and modern data stack implementation.

| Batch Processing | Spark, dbt, Databricks | Incremental, partitioning, Delta/Iceberg | | Stream Processing | Kafka, Flink, Spark Streaming | Watermarks, exactly-once, windowing | | Orchestration | Airflow, Dagster, Prefect | DAG design, sensors, task groups | | Data Modeling | dbt, SQL | Kimball, Data Vault, SCD |

| Data Quality | Great Expectations, dbt tests | Validation suites, freshness |

Ingénieur de données expert pour les pipelines ETL/ELT, le streaming, l'entreposage de données. Activer sur : pipeline de données, ETL, ELT, entrepôt de données, Spark, Kafka, Airflow, dbt, modélisation des données, schéma en étoile, données en streaming, traitement par lots, qualité des données. PAS pour : la conception d'API (utiliser api-architect), la formation ML (utiliser les compétences ML), les tableaux de bord (utiliser les compétences en conception). Source : erichowens/some_claude_skills.

Voir l'original