Современные форматы сериализации данных: Parquet, Apache Arrow (Feather/IPC), Lance (родной для ML), Zarr (фрагментированные массивы), Avro и ORC. Охватывает сжатие, разбиение на разделы и выбор формата.
Быстро установите AI-навык data-engineering-storage-formats в вашу среду разработки через командную строку
Источник: legout/data-platform-agent-skills.
Comprehensive guide to modern data serialization formats for analytics and machine learning: Parquet, Apache Arrow, Lance, Zarr, Avro, and ORC. Learn compression tradeoffs, partitioning strategies, and when to use each format.
| Format | Type | Best For | Compression | Schema Evolution | Random Access |
| Parquet | Columnar | Analytics, data lakes | ✅ (Snappy, Zstd, LZ4) | ✅ (add/drop) | ✅ (row groups) | | Arrow/Feather | Columnar | In-memory, IPC, ML | ✅ (LZ4, Zstd) | Limited | ✅ (record batches) | | Lance | Columnar | ML pipelines, vectors | ✅ (Zstd, LZ4) | ✅ | ✅ (multi-modal) |
Современные форматы сериализации данных: Parquet, Apache Arrow (Feather/IPC), Lance (родной для ML), Zarr (фрагментированные массивы), Avro и ORC. Охватывает сжатие, разбиение на разделы и выбор формата. Источник: legout/data-platform-agent-skills.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/legout/data-platform-agent-skills --skill data-engineering-storage-formatsСовременные форматы сериализации данных: Parquet, Apache Arrow (Feather/IPC), Lance (родной для ML), Zarr (фрагментированные массивы), Avro и ORC. Охватывает сжатие, разбиение на разделы и выбор формата. Источник: legout/data-platform-agent-skills.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/legout/data-platform-agent-skills --skill data-engineering-storage-formats После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/legout/data-platform-agent-skills