knowledge-distillation

Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation

Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)

Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.

Comprimi modelli linguistici di grandi dimensioni utilizzando la distillazione della conoscenza dai modelli insegnante a studente. Da utilizzare durante la distribuzione di modelli più piccoli con prestazioni mantenute, il trasferimento di funzionalità GPT-4 a modelli open source o la riduzione dei costi di inferenza. Copre il ridimensionamento della temperatura, i soft target, il KLD inverso, la distillazione logit e le strategie di formazione MiniLLM. Fonte: orchestra-research/ai-research-skills.