moe-training

Notable MoE Models: Mixtral 8x7B (Mistral AI), DeepSeek-V3, Switch Transformers (Google), GLaM (Google), NLLB-MoE (Meta)

Addestra modelli Mixture of Experts (MoE) utilizzando DeepSpeed ​​o HuggingFace. Da utilizzare durante l'addestramento di modelli su larga scala con calcolo limitato (riduzione dei costi 5 volte rispetto a modelli densi), l'implementazione di architetture sparse come Mixtral 8x7B o DeepSeek-V3 o il ridimensionamento della capacità del modello senza aumento proporzionale del calcolo. Copre architetture MoE, meccanismi di routing, bilanciamento del carico, parallelismo esperto e ottimizzazione dell'inferenza. Fonte: ovachiever/droid-tings.

Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/ovachiever/droid-tings --skill moe-training Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw