spark-optimization

SKILL.md

Production patterns for optimizing Apache Spark jobs including partitioning strategies, memory management, shuffle optimization, and performance tuning.

| Shuffle | Network I/O, disk I/O | Minimize wide transformations | | Data Skew | Uneven task duration | Salting, broadcast joins | | Serialization | CPU overhead | Use Kryo, columnar formats | | Memory | GC pressure, spills | Tune executor memory | | Partitions | Parallelism | Right-size partitions |

파티셔닝, 캐싱, 셔플 최적화, 메모리 튜닝을 통해 Apache Spark 작업을 최적화하세요. Spark 성능을 개선하거나, 느린 작업을 디버깅하거나, 데이터 처리 파이프라인을 확장할 때 사용하세요. 출처: sickn33/antigravity-awesome-skills.

터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/sickn33/antigravity-awesome-skills --skill spark-optimization 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다

원본 보기