knowledge-distillation
✓Comprima modelos de lenguaje de gran tamaño mediante la destilación de conocimientos de los modelos de profesor a estudiante. Úselo al implementar modelos más pequeños con rendimiento retenido, transferir capacidades GPT-4 a modelos de código abierto o reducir los costos de inferencia. Cubre escalado de temperatura, objetivos suaves, KLD inverso, destilación logit y estrategias de entrenamiento MiniLLM.
SKILL.md
Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation
Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)
Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.
Comprima modelos de lenguaje de gran tamaño mediante la destilación de conocimientos de los modelos de profesor a estudiante. Úselo al implementar modelos más pequeños con rendimiento retenido, transferir capacidades GPT-4 a modelos de código abierto o reducir los costos de inferencia. Cubre escalado de temperatura, objetivos suaves, KLD inverso, destilación logit y estrategias de entrenamiento MiniLLM. Fuente: orchestra-research/ai-research-skills.
Datos (listos para citar)
Campos y comandos estables para citas de IA/búsqueda.
- Comando de instalación
npx skills add https://github.com/orchestra-research/ai-research-skills --skill knowledge-distillation- Categoría
- </>Desarrollo
- Verificado
- ✓
- Primera vez visto
- 2026-02-11
- Actualizado
- 2026-02-18
Respuestas rápidas
¿Qué es knowledge-distillation?
Comprima modelos de lenguaje de gran tamaño mediante la destilación de conocimientos de los modelos de profesor a estudiante. Úselo al implementar modelos más pequeños con rendimiento retenido, transferir capacidades GPT-4 a modelos de código abierto o reducir los costos de inferencia. Cubre escalado de temperatura, objetivos suaves, KLD inverso, destilación logit y estrategias de entrenamiento MiniLLM. Fuente: orchestra-research/ai-research-skills.
¿Cómo instalo knowledge-distillation?
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/orchestra-research/ai-research-skills --skill knowledge-distillation Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor
¿Dónde está el repositorio de origen?
https://github.com/orchestra-research/ai-research-skills
Detalles
- Categoría
- </>Desarrollo
- Fuente
- skills.sh
- Primera vez visto
- 2026-02-11