distributed-llm-pretraining-torchtitan
✓Proporciona capacitación previa de LLM distribuida nativa de PyTorch utilizando torchtitan con paralelismo 4D (FSDP2, TP, PP, CP). Úselo al realizar un entrenamiento previo de Llama 3.1, DeepSeek V3 o modelos personalizados a escala de 8 a más de 512 GPU con Float8, torch.compile y puntos de control distribuidos.
SKILL.md
TorchTitan is PyTorch's official platform for large-scale LLM pretraining with composable 4D parallelism (FSDP2, TP, PP, CP), achieving 65%+ speedups over baselines on H100 GPUs.
| Llama 3.1 | 8B, 70B, 405B | Production | | Llama 4 | Various | Experimental | | DeepSeek V3 | 16B, 236B, 671B (MoE) | Experimental | | GPT-OSS | 20B, 120B (MoE) | Experimental | | Qwen 3 | Various | Experimental | | Flux | Diffusion | Experimental |
| Model | GPUs | Parallelism | TPS/GPU | Techniques |
Proporciona capacitación previa de LLM distribuida nativa de PyTorch utilizando torchtitan con paralelismo 4D (FSDP2, TP, PP, CP). Úselo al realizar un entrenamiento previo de Llama 3.1, DeepSeek V3 o modelos personalizados a escala de 8 a más de 512 GPU con Float8, torch.compile y puntos de control distribuidos. Fuente: orchestra-research/ai-research-skills.
Datos (listos para citar)
Campos y comandos estables para citas de IA/búsqueda.
- Comando de instalación
npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan- Categoría
- </>Desarrollo
- Verificado
- ✓
- Primera vez visto
- 2026-02-11
- Actualizado
- 2026-02-18
Respuestas rápidas
¿Qué es distributed-llm-pretraining-torchtitan?
Proporciona capacitación previa de LLM distribuida nativa de PyTorch utilizando torchtitan con paralelismo 4D (FSDP2, TP, PP, CP). Úselo al realizar un entrenamiento previo de Llama 3.1, DeepSeek V3 o modelos personalizados a escala de 8 a más de 512 GPU con Float8, torch.compile y puntos de control distribuidos. Fuente: orchestra-research/ai-research-skills.
¿Cómo instalo distributed-llm-pretraining-torchtitan?
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor
¿Dónde está el repositorio de origen?
https://github.com/orchestra-research/ai-research-skills
Detalles
- Categoría
- </>Desarrollo
- Fuente
- skills.sh
- Primera vez visto
- 2026-02-11