تدريب نماذج اللغات الكبيرة (معلمات 2B-462B) باستخدام NVIDIA Megatron-Core مع إستراتيجيات التوازي المتقدمة. يُستخدم عندما تحتاج نماذج التدريب > معلمات 1B إلى أقصى قدر من كفاءة وحدة معالجة الرسومات (47% MFU على H100)، أو تتطلب موتر/خط أنابيب/تسلسل/سياق/توازي خبير. إطار عمل جاهز للإنتاج يستخدم في Nemotron وLLaMA وDeepSeek.
ثبّت مهارة الذكاء الاصطناعي training-llms-megatron بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: ovachiever/droid-tings.
Megatron-Core trains LLMs from 2B to 462B parameters with up to 47% Model FLOP Utilization on H100 GPUs through advanced parallelism strategies.
| Model Size | GPUs | Tensor Parallel | Pipeline Parallel | Data Parallel | Context Parallel |
| 7B | 8 | 1 | 1 | 8 | 1 | | 13B | 8 | 2 | 1 | 4 | 1 | | 70B | 64 | 4 | 4 | 4 | 1 | | 405B | 128 | 8 | 8 | 2 | 2 |
تدريب نماذج اللغات الكبيرة (معلمات 2B-462B) باستخدام NVIDIA Megatron-Core مع إستراتيجيات التوازي المتقدمة. يُستخدم عندما تحتاج نماذج التدريب > معلمات 1B إلى أقصى قدر من كفاءة وحدة معالجة الرسومات (47% MFU على H100)، أو تتطلب موتر/خط أنابيب/تسلسل/سياق/توازي خبير. إطار عمل جاهز للإنتاج يستخدم في Nemotron وLLaMA وDeepSeek. المصدر: ovachiever/droid-tings.
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/ovachiever/droid-tings --skill training-llms-megatronتدريب نماذج اللغات الكبيرة (معلمات 2B-462B) باستخدام NVIDIA Megatron-Core مع إستراتيجيات التوازي المتقدمة. يُستخدم عندما تحتاج نماذج التدريب > معلمات 1B إلى أقصى قدر من كفاءة وحدة معالجة الرسومات (47% MFU على H100)، أو تتطلب موتر/خط أنابيب/تسلسل/سياق/توازي خبير. إطار عمل جاهز للإنتاج يستخدم في Nemotron وLLaMA وDeepSeek. المصدر: ovachiever/droid-tings.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/ovachiever/droid-tings --skill training-llms-megatron بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/ovachiever/droid-tings