Use this skill for production architecture and standards decisions: storage layout, lifecycle, incremental semantics, schema evolution, quality checks, and cost/performance tradeoffs.
Do not skip Silver validation for convenience; silent quality drift is costly.
| Append | strictly new immutable events | simplest, cheapest | | Partition overwrite | deterministic reprocessing for date/key slice | safe for backfills | | Merge/Upsert | corrections/late updates/deletes | needs key + conflict semantics |
Лучшие практики в области разработки данных: архитектура медальонов, жизненный цикл набора данных, секционирование, определение размера файлов, эволюция схемы, а также шаблоны добавления/перезаписи/объединения в Polars, PyArrow, DuckDB, Delta Lake и Iceberg. Используйте при проектировании конвейеров производственных данных или анализе решений по платформе данных. Источник: legout/data-platform-agent-skills.