Сжимайте большие языковые модели, используя дистилляцию знаний от моделей учителя к моделям учеников. Используйте при развертывании моделей меньшего размера с сохранением производительности, переносе возможностей GPT-4 в модели с открытым исходным кодом или сокращении затрат на логические выводы. Охватывает температурное масштабирование, мягкие цели, обратный KLD, логит-дистилляцию и стратегии обучения MiniLLM.
Быстро установите AI-навык knowledge-distillation в вашу среду разработки через командную строку
Источник: orchestra-research/ai-research-skills.
Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation
Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)
Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.
Сжимайте большие языковые модели, используя дистилляцию знаний от моделей учителя к моделям учеников. Используйте при развертывании моделей меньшего размера с сохранением производительности, переносе возможностей GPT-4 в модели с открытым исходным кодом или сокращении затрат на логические выводы. Охватывает температурное масштабирование, мягкие цели, обратный KLD, логит-дистилляцию и стратегии обучения MiniLLM. Источник: orchestra-research/ai-research-skills.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill knowledge-distillationBrowse more skills from orchestra-research/ai-research-skills
Сжимайте большие языковые модели, используя дистилляцию знаний от моделей учителя к моделям учеников. Используйте при развертывании моделей меньшего размера с сохранением производительности, переносе возможностей GPT-4 в модели с открытым исходным кодом или сокращении затрат на логические выводы. Охватывает температурное масштабирование, мягкие цели, обратный KLD, логит-дистилляцию и стратегии обучения MiniLLM. Источник: orchestra-research/ai-research-skills.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/orchestra-research/ai-research-skills --skill knowledge-distillation После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/orchestra-research/ai-research-skills