knowledge-distillation

SKILL.md

Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation

Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)

Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.

Comprima modelos de lenguaje de gran tamaño mediante la destilación de conocimientos de los modelos de profesor a estudiante. Úselo al implementar modelos más pequeños con rendimiento retenido, transferir capacidades GPT-4 a modelos de código abierto o reducir los costos de inferencia. Cubre escalado de temperatura, objetivos suaves, KLD inverso, destilación logit y estrategias de entrenamiento MiniLLM. Fuente: ovachiever/droid-tings.

Ver original