data-engineering-storage-formats とは?
最新のデータシリアル化形式: Parquet、Apache Arrow (Feather/IPC)、Lance (ML ネイティブ)、Zarr (チャンク配列)、Avro、ORC。圧縮、パーティショニング、フォーマットの選択について説明します。 ソース: legout/data-platform-agent-skills。
最新のデータシリアル化形式: Parquet、Apache Arrow (Feather/IPC)、Lance (ML ネイティブ)、Zarr (チャンク配列)、Avro、ORC。圧縮、パーティショニング、フォーマットの選択について説明します。
コマンドラインで data-engineering-storage-formats AI スキルを開発環境にすばやくインストール
ソース: legout/data-platform-agent-skills。
Comprehensive guide to modern data serialization formats for analytics and machine learning: Parquet, Apache Arrow, Lance, Zarr, Avro, and ORC. Learn compression tradeoffs, partitioning strategies, and when to use each format.
| Format | Type | Best For | Compression | Schema Evolution | Random Access |
| Parquet | Columnar | Analytics, data lakes | ✅ (Snappy, Zstd, LZ4) | ✅ (add/drop) | ✅ (row groups) | | Arrow/Feather | Columnar | In-memory, IPC, ML | ✅ (LZ4, Zstd) | Limited | ✅ (record batches) | | Lance | Columnar | ML pipelines, vectors | ✅ (Zstd, LZ4) | ✅ | ✅ (multi-modal) |
最新のデータシリアル化形式: Parquet、Apache Arrow (Feather/IPC)、Lance (ML ネイティブ)、Zarr (チャンク配列)、Avro、ORC。圧縮、パーティショニング、フォーマットの選択について説明します。 ソース: legout/data-platform-agent-skills。
AI/検索での引用用の安定したフィールドとコマンド。
npx skills add https://github.com/legout/data-platform-agent-skills --skill data-engineering-storage-formats最新のデータシリアル化形式: Parquet、Apache Arrow (Feather/IPC)、Lance (ML ネイティブ)、Zarr (チャンク配列)、Avro、ORC。圧縮、パーティショニング、フォーマットの選択について説明します。 ソース: legout/data-platform-agent-skills。
ターミナルまたはコマンドラインツール(Terminal、iTerm、Windows Terminal など)を開きます このコマンドをコピーして実行します: npx skills add https://github.com/legout/data-platform-agent-skills --skill data-engineering-storage-formats インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code、Cursor、OpenClaw で使用できるようになります
https://github.com/legout/data-platform-agent-skills