يوفر تدريبًا مسبقًا على LLM موزعًا على PyTorch باستخدام torchtitan مع التوازي رباعي الأبعاد (FSDP2، TP، PP، CP). استخدمه عند التدريب المسبق على Llama 3.1 أو DeepSeek V3 أو النماذج المخصصة بمقياس من 8 إلى 512+ وحدة معالجة رسومات مع Float8 وtorch.compile ونقاط التفتيش الموزعة.
ثبّت مهارة الذكاء الاصطناعي distributed-llm-pretraining-torchtitan بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: orchestra-research/ai-research-skills.
TorchTitan is PyTorch's official platform for large-scale LLM pretraining with composable 4D parallelism (FSDP2, TP, PP, CP), achieving 65%+ speedups over baselines on H100 GPUs.
| Llama 3.1 | 8B, 70B, 405B | Production | | Llama 4 | Various | Experimental | | DeepSeek V3 | 16B, 236B, 671B (MoE) | Experimental | | GPT-OSS | 20B, 120B (MoE) | Experimental | | Qwen 3 | Various | Experimental | | Flux | Diffusion | Experimental |
| Model | GPUs | Parallelism | TPS/GPU | Techniques |
يوفر تدريبًا مسبقًا على LLM موزعًا على PyTorch باستخدام torchtitan مع التوازي رباعي الأبعاد (FSDP2، TP، PP، CP). استخدمه عند التدريب المسبق على Llama 3.1 أو DeepSeek V3 أو النماذج المخصصة بمقياس من 8 إلى 512+ وحدة معالجة رسومات مع Float8 وtorch.compile ونقاط التفتيش الموزعة. المصدر: orchestra-research/ai-research-skills.
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitanBrowse more skills from orchestra-research/ai-research-skills
يوفر تدريبًا مسبقًا على LLM موزعًا على PyTorch باستخدام torchtitan مع التوازي رباعي الأبعاد (FSDP2، TP، PP، CP). استخدمه عند التدريب المسبق على Llama 3.1 أو DeepSeek V3 أو النماذج المخصصة بمقياس من 8 إلى 512+ وحدة معالجة رسومات مع Float8 وtorch.compile ونقاط التفتيش الموزعة. المصدر: orchestra-research/ai-research-skills.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/orchestra-research/ai-research-skills