spark-optimization

SKILL.md

Production patterns for optimizing Apache Spark jobs including partitioning strategies, memory management, shuffle optimization, and performance tuning.

| Shuffle | Network I/O, disk I/O | Minimize wide transformations | | Data Skew | Uneven task duration | Salting, broadcast joins | | Serialization | CPU overhead | Use Kryo, columnar formats | | Memory | GC pressure, spills | Tune executor memory | | Partitions | Parallelism | Right-size partitions |

パーティショニング、キャッシュ、シャッフル最適化、メモリ調整により、Apache Spark ジョブを最適化します。 Spark のパフォーマンスの向上、遅いジョブのデバッグ、またはデータ処理パイプラインのスケーリングを行う場合に使用します。 ソース: rmyndharis/antigravity-skills。

ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/rmyndharis/antigravity-skills --skill spark-optimization インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります

原文を見る