moe-training

SKILL.md

Notable MoE Models: Mixtral 8x7B (Mistral AI), DeepSeek-V3, Switch Transformers (Google), GLaM (Google), NLLB-MoE (Meta)

Entrene modelos de mezcla de expertos (MoE) utilizando DeepSpeed ​​o HuggingFace. Úselo al entrenar modelos a gran escala con computación limitada (reducción de costos 5 veces frente a modelos densos), implementar arquitecturas dispersas como Mixtral 8x7B o DeepSeek-V3, o escalar la capacidad del modelo sin un aumento de computación proporcional. Cubre arquitecturas MoE, mecanismos de enrutamiento, equilibrio de carga, paralelismo experto y optimización de inferencia. Fuente: ovachiever/droid-tings.

Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/ovachiever/droid-tings --skill moe-training Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor

Ver original