spark-optimization

SKILL.md

Production patterns for optimizing Apache Spark jobs including partitioning strategies, memory management, shuffle optimization, and performance tuning.

| Shuffle | Network I/O, disk I/O | Minimize wide transformations | | Data Skew | Uneven task duration | Salting, broadcast joins | | Serialization | CPU overhead | Use Kryo, columnar formats | | Memory | GC pressure, spills | Tune executor memory | | Partitions | Parallelism | Right-size partitions |

Optimice los trabajos de Apache Spark con partición, almacenamiento en caché, optimización aleatoria y ajuste de memoria. Úselo para mejorar el rendimiento de Spark, depurar trabajos lentos o escalar canalizaciones de procesamiento de datos. Fuente: wshobson/agents.

Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/wshobson/agents --skill spark-optimization Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor

Ver original