knowledge-distillation

SKILL.md

Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation

Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)

Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.

使用從教師模型到學生模型的知識蒸餾來壓縮大型語言模型。在部署保留效能的較小模型、將 GPT-4 功能轉移到開源模型或降低推理成本時使用。涵蓋溫度縮放、軟目標、反向 KLD、logit 蒸餾和 MiniLLM 訓練策略。 來源：orchestra-research/ai-research-skills。

查看原文