moe-training

SKILL.md

Notable MoE Models: Mixtral 8x7B (Mistral AI), DeepSeek-V3, Switch Transformers (Google), GLaM (Google), NLLB-MoE (Meta)

DeepSpeed ​​또는 HuggingFace를 사용하여 MoE(Mixture of Experts) 모델을 훈련합니다. 제한된 컴퓨팅(밀도 모델 대비 5배 비용 절감)으로 대규모 모델을 교육하거나, Mixtral 8x7B 또는 DeepSeek-V3와 같은 희소 아키텍처를 구현하거나, 비례적인 컴퓨팅 증가 없이 모델 용량을 확장할 때 사용하세요. MoE 아키텍처, 라우팅 메커니즘, 로드 밸런싱, 전문가 병렬성 및 추론 최적화를 다룹니다. 출처: ovachiever/droid-tings.

터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/ovachiever/droid-tings --skill moe-training 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다

보안 인증 완료, 신뢰할 수 있는 코드 원클릭 설치, 간편한 설정 Claude Code, Cursor 등 지원

원본 보기