distributed-llm-pretraining-torchtitan
✓使用具有 4D 並行性的 torchtitan（FSDP2、TP、PP、CP）提供 PyTorch 原生分散式 LLM 預訓練。使用 Float8、torch.compile 和分散式檢查點預訓練 Llama 3.1、DeepSeek V3 或自訂模型（8 到 512+ GPU）時使用。
SKILL.md
TorchTitan is PyTorch's official platform for large-scale LLM pretraining with composable 4D parallelism (FSDP2, TP, PP, CP), achieving 65%+ speedups over baselines on H100 GPUs.
| Llama 3.1 | 8B, 70B, 405B | Production | | Llama 4 | Various | Experimental | | DeepSeek V3 | 16B, 236B, 671B (MoE) | Experimental | | GPT-OSS | 20B, 120B (MoE) | Experimental | | Qwen 3 | Various | Experimental | | Flux | Diffusion | Experimental |
| Model | GPUs | Parallelism | TPS/GPU | Techniques |
使用具有 4D 並行性的 torchtitan（FSDP2、TP、PP、CP）提供 PyTorch 原生分散式 LLM 預訓練。使用 Float8、torch.compile 和分散式檢查點預訓練 Llama 3.1、DeepSeek V3 或自訂模型（8 到 512+ GPU）時使用。 來源：orchestra-research/ai-research-skills。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan- 分類
- </>開發工具
- 認證
- ✓
- 收錄時間
- 2026-02-11
- 更新時間
- 2026-02-18
快速解答
什麼是 distributed-llm-pretraining-torchtitan？
使用具有 4D 並行性的 torchtitan（FSDP2、TP、PP、CP）提供 PyTorch 原生分散式 LLM 預訓練。使用 Float8、torch.compile 和分散式檢查點預訓練 Llama 3.1、DeepSeek V3 或自訂模型（8 到 512+ GPU）時使用。 來源：orchestra-research/ai-research-skills。
如何安裝 distributed-llm-pretraining-torchtitan？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/orchestra-research/ai-research-skills
詳情
- 分類
- </>開發工具
- 來源
- skills.sh
- 收錄時間
- 2026-02-11