spark-optimization

SKILL.md

Production patterns for optimizing Apache Spark jobs including partitioning strategies, memory management, shuffle optimization, and performance tuning.

| Shuffle | Network I/O, disk I/O | Minimize wide transformations | | Data Skew | Uneven task duration | Salting, broadcast joins | | Serialization | CPU overhead | Use Kryo, columnar formats | | Memory | GC pressure, spills | Tune executor memory | | Partitions | Parallelism | Right-size partitions |

通过分区、缓存、随机优化和内存调整来优化 Apache Spark 作业。在提高 Spark 性能、调试缓慢作业或扩展数据处理管道时使用。 来源：rmyndharis/antigravity-skills。

打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/rmyndharis/antigravity-skills --skill spark-optimization 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code 或 Cursor 中使用

查看原文