moe-training

SKILL.md

Notable MoE Models: Mixtral 8x7B (Mistral AI), DeepSeek-V3, Switch Transformers (Google), GLaM (Google), NLLB-MoE (Meta)

Entraînez des modèles Mixture of Experts (MoE) à l’aide de DeepSpeed ​​ou de HuggingFace. À utiliser lors de la formation de modèles à grande échelle avec un calcul limité (réduction des coûts de 5 fois par rapport aux modèles denses), lors de la mise en œuvre d'architectures clairsemées telles que Mixtral 8x7B ou DeepSeek-V3, ou lors de la mise à l'échelle de la capacité du modèle sans augmentation proportionnelle du calcul. Couvre les architectures MoE, les mécanismes de routage, l'équilibrage de charge, le parallélisme expert et l'optimisation des inférences. Source : orchestra-research/ai-research-skills.

Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/orchestra-research/ai-research-skills --skill moe-training Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code ou Cursor

Voir l'original