distributed-llm-pretraining-torchtitan
✓4D 並列処理 (FSDP2、TP、PP、CP) を備えた torchtitan を使用した、PyTorch ネイティブの分散 LLM 事前トレーニングを提供します。 Llama 3.1、DeepSeek V3、または Float8、torch.compile、分散チェックポイントを使用して 8 ～ 512+ GPU の規模でカスタム モデルを事前トレーニングする場合に使用します。
SKILL.md
TorchTitan is PyTorch's official platform for large-scale LLM pretraining with composable 4D parallelism (FSDP2, TP, PP, CP), achieving 65%+ speedups over baselines on H100 GPUs.
| Llama 3.1 | 8B, 70B, 405B | Production | | Llama 4 | Various | Experimental | | DeepSeek V3 | 16B, 236B, 671B (MoE) | Experimental | | GPT-OSS | 20B, 120B (MoE) | Experimental | | Qwen 3 | Various | Experimental | | Flux | Diffusion | Experimental |
| Model | GPUs | Parallelism | TPS/GPU | Techniques |
4D 並列処理 (FSDP2、TP、PP、CP) を備えた torchtitan を使用した、PyTorch ネイティブの分散 LLM 事前トレーニングを提供します。 Llama 3.1、DeepSeek V3、または Float8、torch.compile、分散チェックポイントを使用して 8 ～ 512+ GPU の規模でカスタム モデルを事前トレーニングする場合に使用します。 ソース: orchestra-research/ai-research-skills。
引用可能な情報
AI/検索での引用用の安定したフィールドとコマンド。
- インストールコマンド
npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan- カテゴリ
- </>開発ツール
- 認証済み
- ✓
- 初回登録
- 2026-02-11
- 更新日
- 2026-02-18
クイックアンサー
distributed-llm-pretraining-torchtitan とは？
4D 並列処理 (FSDP2、TP、PP、CP) を備えた torchtitan を使用した、PyTorch ネイティブの分散 LLM 事前トレーニングを提供します。 Llama 3.1、DeepSeek V3、または Float8、torch.compile、分散チェックポイントを使用して 8 ～ 512+ GPU の規模でカスタム モデルを事前トレーニングする場合に使用します。 ソース: orchestra-research/ai-research-skills。
distributed-llm-pretraining-torchtitan のインストール方法は？
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります
ソースリポジトリはどこですか？
https://github.com/orchestra-research/ai-research-skills
詳細
- カテゴリ
- </>開発ツール
- ソース
- skills.sh
- 初回登録
- 2026-02-11