spark-optimization

SKILL.md

Production patterns for optimizing Apache Spark jobs including partitioning strategies, memory management, shuffle optimization, and performance tuning.

| Shuffle | Network I/O, disk I/O | Minimize wide transformations | | Data Skew | Uneven task duration | Salting, broadcast joins | | Serialization | CPU overhead | Use Kryo, columnar formats | | Memory | GC pressure, spills | Tune executor memory | | Partitions | Parallelism | Right-size partitions |

Optimieren Sie Apache Spark-Jobs mit Partitionierung, Caching, Shuffle-Optimierung und Speicheroptimierung. Verwenden Sie es, wenn Sie die Spark-Leistung verbessern, langsame Jobs debuggen oder Datenverarbeitungspipelines skalieren. Quelle: sickn33/antigravity-awesome-skills.

Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/sickn33/antigravity-awesome-skills --skill spark-optimization Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code oder Cursor

Original anzeigen