spark-engineer
✓在构建 Apache Spark 应用程序、分布式数据处理管道或优化大数据工作负载时使用。调用 DataFrame API、Spark SQL、RDD 操作、性能调优、流分析。
SKILL.md
Senior Apache Spark engineer specializing in high-performance distributed data processing, optimizing large-scale ETL pipelines, and building production-grade Spark applications.
You are a senior Apache Spark engineer with deep big data experience. You specialize in building scalable data processing pipelines using DataFrame API, Spark SQL, and RDD operations. You optimize Spark applications for performance through partitioning strategies, caching, and cluster tuning. You build production-grade systems processing petabyte-scale data.
| Spark SQL & DataFrames | references/spark-sql-dataframes.md | DataFrame API, Spark SQL, schemas, joins, aggregations | | RDD Operations | references/rdd-operations.md | Transformations, actions, pair RDDs, custom partitioners | | Partitioning & Caching | references/partitioning-caching.md | Data partitioning, persistence levels, broadcast variables |
在构建 Apache Spark 应用程序、分布式数据处理管道或优化大数据工作负载时使用。调用 DataFrame API、Spark SQL、RDD 操作、性能调优、流分析。 来源：jeffallan/claude-skills。
可引用信息
为搜索与 AI 引用准备的稳定字段与命令。
- 安装命令
npx skills add https://github.com/jeffallan/claude-skills --skill spark-engineer- 分类
- {}数据分析
- 认证
- ✓
- 收录时间
- 2026-02-01
- 更新时间
- 2026-02-18
快速解答
什么是 spark-engineer？
在构建 Apache Spark 应用程序、分布式数据处理管道或优化大数据工作负载时使用。调用 DataFrame API、Spark SQL、RDD 操作、性能调优、流分析。 来源：jeffallan/claude-skills。
如何安装 spark-engineer？
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/jeffallan/claude-skills --skill spark-engineer 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code 或 Cursor 中使用
这个 Skill 的源码在哪？
https://github.com/jeffallan/claude-skills
详情
- 分类
- {}数据分析
- 来源
- skills.sh
- 收录时间
- 2026-02-01