moe-training

SKILL.md

Notable MoE Models: Mixtral 8x7B (Mistral AI), DeepSeek-V3, Switch Transformers (Google), GLaM (Google), NLLB-MoE (Meta)

DeepSpeed または HuggingFace を使用して、Mixture of Experts (MoE) モデルをトレーニングします。限られたコンピューティング (高密度モデルと比較して 5 倍のコスト削減) で大規模モデルをトレーニングする場合、Mixtral 8x7B や DeepSeek-V3 などのスパース アーキテクチャを実装する場合、または比例的にコンピューティングを増加させることなくモデル容量をスケーリングする場合に使用します。 MoE アーキテクチャ、ルーティング メカニズム、負荷分散、エキスパート並列処理、推論の最適化について説明します。 ソース: orchestra-research/ai-research-skills。

ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/orchestra-research/ai-research-skills --skill moe-training インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります

安全認証済み、信頼性の高いコード ワンクリックインストール、簡単設定 Claude Code、Cursor などに対応

原文を見る