spark-optimization

Production patterns for optimizing Apache Spark jobs including partitioning strategies, memory management, shuffle optimization, and performance tuning.

| Shuffle | Network I/O, disk I/O | Minimize wide transformations | | Data Skew | Uneven task duration | Salting, broadcast joins | | Serialization | CPU overhead | Use Kryo, columnar formats | | Memory | GC pressure, spills | Tune executor memory | | Partitions | Parallelism | Right-size partitions |

قم بتحسين وظائف Apache Spark من خلال التقسيم والتخزين المؤقت والتحسين العشوائي وضبط الذاكرة. يُستخدم عند تحسين أداء Spark، أو تصحيح أخطاء المهام البطيئة، أو توسيع نطاق مسارات معالجة البيانات. المصدر: wshobson/agents.

افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/wshobson/agents --skill spark-optimization بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw