distributed-llm-pretraining-torchtitan

SKILL.md

TorchTitan is PyTorch's official platform for large-scale LLM pretraining with composable 4D parallelism (FSDP2, TP, PP, CP), achieving 65%+ speedups over baselines on H100 GPUs.

| Llama 3.1 | 8B, 70B, 405B | Production | | Llama 4 | Various | Experimental | | DeepSeek V3 | 16B, 236B, 671B (MoE) | Experimental | | GPT-OSS | 20B, 120B (MoE) | Experimental | | Qwen 3 | Various | Experimental | | Flux | Diffusion | Experimental |

| Model | GPUs | Parallelism | TPS/GPU | Techniques |

Fournit une pré-formation LLM distribuée native de PyTorch à l'aide de torchtitan avec parallélisme 4D (FSDP2, TP, PP, CP). À utiliser lors du pré-entraînement de Llama 3.1, DeepSeek V3 ou de modèles personnalisés à l'échelle de 8 à plus de 512 GPU avec Float8, torch.compile et les points de contrôle distribués. Source : orchestra-research/ai-research-skills.

Voir l'original