Обеспечивает предварительное обучение распределенному LLM на основе PyTorch с использованием torchtitan с 4D-параллелизмом (FSDP2, TP, PP, CP). Используйте при предварительном обучении Llama 3.1, DeepSeek V3 или пользовательских моделей в масштабе от 8 до 512+ графических процессоров с Float8, torch.compile и распределенными контрольными точками.
Быстро установите AI-навык distributed-llm-pretraining-torchtitan в вашу среду разработки через командную строку
Источник: orchestra-research/ai-research-skills.
TorchTitan is PyTorch's official platform for large-scale LLM pretraining with composable 4D parallelism (FSDP2, TP, PP, CP), achieving 65%+ speedups over baselines on H100 GPUs.
| Llama 3.1 | 8B, 70B, 405B | Production | | Llama 4 | Various | Experimental | | DeepSeek V3 | 16B, 236B, 671B (MoE) | Experimental | | GPT-OSS | 20B, 120B (MoE) | Experimental | | Qwen 3 | Various | Experimental | | Flux | Diffusion | Experimental |
| Model | GPUs | Parallelism | TPS/GPU | Techniques |
Обеспечивает предварительное обучение распределенному LLM на основе PyTorch с использованием torchtitan с 4D-параллелизмом (FSDP2, TP, PP, CP). Используйте при предварительном обучении Llama 3.1, DeepSeek V3 или пользовательских моделей в масштабе от 8 до 512+ графических процессоров с Float8, torch.compile и распределенными контрольными точками. Источник: orchestra-research/ai-research-skills.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitanBrowse more skills from orchestra-research/ai-research-skills
Обеспечивает предварительное обучение распределенному LLM на основе PyTorch с использованием torchtitan с 4D-параллелизмом (FSDP2, TP, PP, CP). Используйте при предварительном обучении Llama 3.1, DeepSeek V3 или пользовательских моделей в масштабе от 8 до 512+ графических процессоров с Float8, torch.compile и распределенными контрольными точками. Источник: orchestra-research/ai-research-skills.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/orchestra-research/ai-research-skills