ما هي distributed-training؟
يُستخدم عند تدريب النماذج عبر وحدات معالجة الرسومات أو العقد المتعددة، أو التعامل مع النماذج الكبيرة التي لا تتلاءم مع الذاكرة، أو تحسين إنتاجية التدريب - يغطي DDP، وFSDP، وDeepSpeed ZeRO، وتوازي النموذج/البيانات، وفحص التدرج، استخدم عند "،" المذكورة. المصدر: omer-metin/skills-for-antigravity.