distributed-llm-pretraining-torchtitan
✓Bietet PyTorch-natives verteiltes LLM-Vortraining mit Torchtitan mit 4D-Parallelität (FSDP2, TP, PP, CP). Zur Verwendung beim Vortraining von Llama 3.1, DeepSeek V3 oder benutzerdefinierten Modellen im Maßstab von 8 bis 512+ GPUs mit Float8, Torch.compile und verteiltem Checkpointing.
Installation
SKILL.md
TorchTitan is PyTorch's official platform for large-scale LLM pretraining with composable 4D parallelism (FSDP2, TP, PP, CP), achieving 65%+ speedups over baselines on H100 GPUs.
| Llama 3.1 | 8B, 70B, 405B | Production | | Llama 4 | Various | Experimental | | DeepSeek V3 | 16B, 236B, 671B (MoE) | Experimental | | GPT-OSS | 20B, 120B (MoE) | Experimental | | Qwen 3 | Various | Experimental | | Flux | Diffusion | Experimental |
| Model | GPUs | Parallelism | TPS/GPU | Techniques |
Bietet PyTorch-natives verteiltes LLM-Vortraining mit Torchtitan mit 4D-Parallelität (FSDP2, TP, PP, CP). Zur Verwendung beim Vortraining von Llama 3.1, DeepSeek V3 oder benutzerdefinierten Modellen im Maßstab von 8 bis 512+ GPUs mit Float8, Torch.compile und verteiltem Checkpointing. Quelle: orchestra-research/ai-research-skills.
Fakten (zitierbereit)
Stabile Felder und Befehle für KI/Such-Zitate.
- Installationsbefehl
npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan- Kategorie
- </>Entwicklung
- Verifiziert
- ✓
- Erstes Auftreten
- 2026-02-11
- Aktualisiert
- 2026-02-18
Schnelle Antworten
Was ist distributed-llm-pretraining-torchtitan?
Bietet PyTorch-natives verteiltes LLM-Vortraining mit Torchtitan mit 4D-Parallelität (FSDP2, TP, PP, CP). Zur Verwendung beim Vortraining von Llama 3.1, DeepSeek V3 oder benutzerdefinierten Modellen im Maßstab von 8 bis 512+ GPUs mit Float8, Torch.compile und verteiltem Checkpointing. Quelle: orchestra-research/ai-research-skills.
Wie installiere ich distributed-llm-pretraining-torchtitan?
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code oder Cursor
Wo ist das Quell-Repository?
https://github.com/orchestra-research/ai-research-skills
Details
- Kategorie
- </>Entwicklung
- Quelle
- skills.sh
- Erstes Auftreten
- 2026-02-11