knowledge-distillation
✓使用从教师模型到学生模型的知识蒸馏来压缩大型语言模型。在部署保留性能的较小模型、将 GPT-4 功能转移到开源模型或降低推理成本时使用。涵盖温度缩放、软目标、反向 KLD、logit 蒸馏和 MiniLLM 训练策略。
SKILL.md
Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation
Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)
Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.
使用从教师模型到学生模型的知识蒸馏来压缩大型语言模型。在部署保留性能的较小模型、将 GPT-4 功能转移到开源模型或降低推理成本时使用。涵盖温度缩放、软目标、反向 KLD、logit 蒸馏和 MiniLLM 训练策略。 来源：ovachiever/droid-tings。
可引用信息
为搜索与 AI 引用准备的稳定字段与命令。
- 安装命令
npx skills add https://github.com/ovachiever/droid-tings --skill knowledge-distillation- 分类
- </>开发工具
- 认证
- ✓
- 收录时间
- 2026-02-01
- 更新时间
- 2026-02-18
快速解答
什么是 knowledge-distillation？
使用从教师模型到学生模型的知识蒸馏来压缩大型语言模型。在部署保留性能的较小模型、将 GPT-4 功能转移到开源模型或降低推理成本时使用。涵盖温度缩放、软目标、反向 KLD、logit 蒸馏和 MiniLLM 训练策略。 来源：ovachiever/droid-tings。
如何安装 knowledge-distillation？
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/ovachiever/droid-tings --skill knowledge-distillation 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code 或 Cursor 中使用
这个 Skill 的源码在哪？
https://github.com/ovachiever/droid-tings
详情
- 分类
- </>开发工具
- 来源
- skills.sh
- 收录时间
- 2026-02-01