Ottimizza i processi Apache Spark con partizionamento, memorizzazione nella cache, ottimizzazione dello shuffle e ottimizzazione della memoria. Da utilizzare per migliorare le prestazioni di Spark, eseguire il debug di processi lenti o ridimensionare le pipeline di elaborazione dati.
Installa rapidamente la skill AI spark-optimization nel tuo ambiente di sviluppo tramite riga di comando
Fonte: wshobson/agents.
Production patterns for optimizing Apache Spark jobs including partitioning strategies, memory management, shuffle optimization, and performance tuning.
| Shuffle | Network I/O, disk I/O | Minimize wide transformations | | Data Skew | Uneven task duration | Salting, broadcast joins | | Serialization | CPU overhead | Use Kryo, columnar formats | | Memory | GC pressure, spills | Tune executor memory | | Partitions | Parallelism | Right-size partitions |
Ottimizza i processi Apache Spark con partizionamento, memorizzazione nella cache, ottimizzazione dello shuffle e ottimizzazione della memoria. Da utilizzare per migliorare le prestazioni di Spark, eseguire il debug di processi lenti o ridimensionare le pipeline di elaborazione dati. Fonte: wshobson/agents.
Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/wshobson/agents --skill spark-optimization Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw
Campi e comandi stabili per citazioni AI/ricerca.
npx skills add https://github.com/wshobson/agents --skill spark-optimizationOttimizza i processi Apache Spark con partizionamento, memorizzazione nella cache, ottimizzazione dello shuffle e ottimizzazione della memoria. Da utilizzare per migliorare le prestazioni di Spark, eseguire il debug di processi lenti o ridimensionare le pipeline di elaborazione dati. Fonte: wshobson/agents.
Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/wshobson/agents --skill spark-optimization Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw
https://github.com/wshobson/agents