·data-engineering-storage-formats
{}

data-engineering-storage-formats

现代数据序列化格式:Parquet、Apache Arrow (Feather/IPC)、Lance (ML-native)、Zarr (分块数组)、Avro 和 ORC。涵盖压缩、分区和格式选择。

5安装·0热度·@legout

安装

$npx skills add https://github.com/legout/data-platform-agent-skills --skill data-engineering-storage-formats

如何安装 data-engineering-storage-formats

通过命令行快速安装 data-engineering-storage-formats AI 技能到你的开发环境

  1. 打开终端: 打开你的终端或命令行工具(如 Terminal、iTerm、Windows Terminal 等)
  2. 运行安装命令: 复制并运行以下命令:npx skills add https://github.com/legout/data-platform-agent-skills --skill data-engineering-storage-formats
  3. 验证安装: 安装完成后,技能将自动配置到你的 AI 编程环境中,可以在 Claude Code、Cursor 或 OpenClaw 中使用

来源:legout/data-platform-agent-skills。

SKILL.md

查看原文

Comprehensive guide to modern data serialization formats for analytics and machine learning: Parquet, Apache Arrow, Lance, Zarr, Avro, and ORC. Learn compression tradeoffs, partitioning strategies, and when to use each format.

| Format | Type | Best For | Compression | Schema Evolution | Random Access |

| Parquet | Columnar | Analytics, data lakes | ✅ (Snappy, Zstd, LZ4) | ✅ (add/drop) | ✅ (row groups) | | Arrow/Feather | Columnar | In-memory, IPC, ML | ✅ (LZ4, Zstd) | Limited | ✅ (record batches) | | Lance | Columnar | ML pipelines, vectors | ✅ (Zstd, LZ4) | ✅ | ✅ (multi-modal) |

现代数据序列化格式:Parquet、Apache Arrow (Feather/IPC)、Lance (ML-native)、Zarr (分块数组)、Avro 和 ORC。涵盖压缩、分区和格式选择。 来源:legout/data-platform-agent-skills。

可引用信息

为搜索与 AI 引用准备的稳定字段与命令。

安装命令
npx skills add https://github.com/legout/data-platform-agent-skills --skill data-engineering-storage-formats
分类
{}数据分析
认证
收录时间
2026-02-22
更新时间
2026-03-10

Browse more skills from legout/data-platform-agent-skills

快速解答

什么是 data-engineering-storage-formats?

现代数据序列化格式:Parquet、Apache Arrow (Feather/IPC)、Lance (ML-native)、Zarr (分块数组)、Avro 和 ORC。涵盖压缩、分区和格式选择。 来源:legout/data-platform-agent-skills。

如何安装 data-engineering-storage-formats?

打开你的终端或命令行工具(如 Terminal、iTerm、Windows Terminal 等) 复制并运行以下命令:npx skills add https://github.com/legout/data-platform-agent-skills --skill data-engineering-storage-formats 安装完成后,技能将自动配置到你的 AI 编程环境中,可以在 Claude Code、Cursor 或 OpenClaw 中使用

这个 Skill 的源码在哪?

https://github.com/legout/data-platform-agent-skills