data-engineering-best-practices

Use this skill for production architecture and standards decisions: storage layout, lifecycle, incremental semantics, schema evolution, quality checks, and cost/performance tradeoffs.

Do not skip Silver validation for convenience; silent quality drift is costly.

| Append | strictly new immutable events | simplest, cheapest | | Partition overwrite | deterministic reprocessing for date/key slice | safe for backfills | | Merge/Upsert | corrections/late updates/deletes | needs key + conflict semantics |

Meilleures pratiques d'ingénierie des données : architecture médaillon, cycle de vie des ensembles de données, partitionnement, dimensionnement des fichiers, évolution des schémas et modèles d'ajout/écrasement/fusion dans Polars, PyArrow, DuckDB, Delta Lake et Iceberg. À utiliser lors de la conception de pipelines de données de production ou de la révision des décisions relatives à la plateforme de données. Source : legout/data-platform-agent-skills.