spark-optimization
✓通過分區、緩存、隨機優化和內存調整來優化 Apache Spark 作業。在提高 Spark 性能、調試緩慢作業或擴展數據處理管道時使用。
SKILL.md
Production patterns for optimizing Apache Spark jobs including partitioning strategies, memory management, shuffle optimization, and performance tuning.
| Shuffle | Network I/O, disk I/O | Minimize wide transformations | | Data Skew | Uneven task duration | Salting, broadcast joins | | Serialization | CPU overhead | Use Kryo, columnar formats | | Memory | GC pressure, spills | Tune executor memory | | Partitions | Parallelism | Right-size partitions |
通過分區、緩存、隨機優化和內存調整來優化 Apache Spark 作業。在提高 Spark 性能、調試緩慢作業或擴展數據處理管道時使用。 來源：wshobson/agents。
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/wshobson/agents --skill spark-optimization 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/wshobson/agents --skill spark-optimization- 分類
- {}資料分析
- 認證
- ✓
- 收錄時間
- 2026-02-01
- 更新時間
- 2026-02-18
快速解答
什麼是 spark-optimization？
通過分區、緩存、隨機優化和內存調整來優化 Apache Spark 作業。在提高 Spark 性能、調試緩慢作業或擴展數據處理管道時使用。 來源：wshobson/agents。
如何安裝 spark-optimization？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/wshobson/agents --skill spark-optimization 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/wshobson/agents