distributed-llm-pretraining-torchtitan
✓4D 병렬성(FSDP2, TP, PP, CP)을 갖춘 torchtitan을 사용하여 PyTorch 기본 분산 LLM 사전 학습을 제공합니다. Llama 3.1, DeepSeek V3 또는 Float8, torch.compile 및 분산 체크포인트를 사용하여 8~512개 이상의 GPU 규모로 사용자 정의 모델을 사전 훈련할 때 사용합니다.
SKILL.md
TorchTitan is PyTorch's official platform for large-scale LLM pretraining with composable 4D parallelism (FSDP2, TP, PP, CP), achieving 65%+ speedups over baselines on H100 GPUs.
| Llama 3.1 | 8B, 70B, 405B | Production | | Llama 4 | Various | Experimental | | DeepSeek V3 | 16B, 236B, 671B (MoE) | Experimental | | GPT-OSS | 20B, 120B (MoE) | Experimental | | Qwen 3 | Various | Experimental | | Flux | Diffusion | Experimental |
| Model | GPUs | Parallelism | TPS/GPU | Techniques |
4D 병렬성(FSDP2, TP, PP, CP)을 갖춘 torchtitan을 사용하여 PyTorch 기본 분산 LLM 사전 학습을 제공합니다. Llama 3.1, DeepSeek V3 또는 Float8, torch.compile 및 분산 체크포인트를 사용하여 8~512개 이상의 GPU 규모로 사용자 정의 모델을 사전 훈련할 때 사용합니다. 출처: orchestra-research/ai-research-skills.
인용 가능한 정보
AI/검색 인용용 안정적인 필드와 명령어.
- 설치 명령어
npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan- 카테고리
- </>개발 도구
- 인증됨
- ✓
- 최초 등록
- 2026-02-11
- 업데이트
- 2026-02-18
빠른 답변
distributed-llm-pretraining-torchtitan이란?
4D 병렬성(FSDP2, TP, PP, CP)을 갖춘 torchtitan을 사용하여 PyTorch 기본 분산 LLM 사전 학습을 제공합니다. Llama 3.1, DeepSeek V3 또는 Float8, torch.compile 및 분산 체크포인트를 사용하여 8~512개 이상의 GPU 규모로 사용자 정의 모델을 사전 훈련할 때 사용합니다. 출처: orchestra-research/ai-research-skills.
distributed-llm-pretraining-torchtitan 설치 방법은?
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/orchestra-research/ai-research-skills --skill distributed-llm-pretraining-torchtitan 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다
소스 저장소는 어디인가요?
https://github.com/orchestra-research/ai-research-skills
상세
- 카테고리
- </>개발 도구
- 출처
- skills.sh
- 최초 등록
- 2026-02-11