knowledge-distillation

SKILL.md

Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation

Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)

Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.

Compressez de grands modèles de langage en utilisant la distillation des connaissances des modèles enseignant vers étudiants. À utiliser lors du déploiement de modèles plus petits avec des performances conservées, du transfert des fonctionnalités GPT-4 vers des modèles open source ou de la réduction des coûts d'inférence. Couvre l'échelle de température, les cibles souples, le KLD inversé, la distillation logit et les stratégies de formation MiniLLM. Source : orchestra-research/ai-research-skills.

Voir l'original