spark-optimization

SKILL.md

Production patterns for optimizing Apache Spark jobs including partitioning strategies, memory management, shuffle optimization, and performance tuning.

| Shuffle | Network I/O, disk I/O | Minimize wide transformations | | Data Skew | Uneven task duration | Salting, broadcast joins | | Serialization | CPU overhead | Use Kryo, columnar formats | | Memory | GC pressure, spills | Tune executor memory | | Partitions | Parallelism | Right-size partitions |

Optimisez les tâches Apache Spark avec le partitionnement, la mise en cache, l'optimisation de la lecture aléatoire et le réglage de la mémoire. À utiliser pour améliorer les performances de Spark, déboguer des tâches lentes ou mettre à l'échelle des pipelines de traitement de données. Source : sickn33/antigravity-awesome-skills.

Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/sickn33/antigravity-awesome-skills --skill spark-optimization Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code ou Cursor

Voir l'original