Оптимизируйте задания Apache Spark с помощью секционирования, кэширования, оптимизации перемешивания и настройки памяти. Используйте при повышении производительности Spark, отладке медленных заданий или масштабировании конвейеров обработки данных.
Быстро установите AI-навык spark-optimization в вашу среду разработки через командную строку
Источник: wshobson/agents.
Production patterns for optimizing Apache Spark jobs including partitioning strategies, memory management, shuffle optimization, and performance tuning.
| Shuffle | Network I/O, disk I/O | Minimize wide transformations | | Data Skew | Uneven task duration | Salting, broadcast joins | | Serialization | CPU overhead | Use Kryo, columnar formats | | Memory | GC pressure, spills | Tune executor memory | | Partitions | Parallelism | Right-size partitions |
Оптимизируйте задания Apache Spark с помощью секционирования, кэширования, оптимизации перемешивания и настройки памяти. Используйте при повышении производительности Spark, отладке медленных заданий или масштабировании конвейеров обработки данных. Источник: wshobson/agents.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/wshobson/agents --skill spark-optimization После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/wshobson/agents --skill spark-optimizationОптимизируйте задания Apache Spark с помощью секционирования, кэширования, оптимизации перемешивания и настройки памяти. Используйте при повышении производительности Spark, отладке медленных заданий или масштабировании конвейеров обработки данных. Источник: wshobson/agents.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/wshobson/agents --skill spark-optimization После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/wshobson/agents