data-pipeline-engineer

SKILL.md

Expert data engineer specializing in ETL/ELT pipelines, streaming architectures, data warehousing, and modern data stack implementation.

| Batch Processing | Spark, dbt, Databricks | Incremental, partitioning, Delta/Iceberg | | Stream Processing | Kafka, Flink, Spark Streaming | Watermarks, exactly-once, windowing | | Orchestration | Airflow, Dagster, Prefect | DAG design, sensors, task groups | | Data Modeling | dbt, SQL | Kimball, Data Vault, SCD |

| Data Quality | Great Expectations, dbt tests | Validation suites, freshness |

Ingeniero de datos experto en canalizaciones ETL/ELT, streaming y almacenamiento de datos. Activar en: canalización de datos, ETL, ELT, almacén de datos, Spark, Kafka, Airflow, dbt, modelado de datos, esquema en estrella, transmisión de datos, procesamiento por lotes, calidad de los datos. NO para: diseño de API (use api-architect), capacitación de ML (use habilidades de ML), paneles (use habilidades de diseño). Fuente: erichowens/some_claude_skills.

Ver original