knowledge-distillation
✓교사에서 학생 모델로의 지식 증류를 사용하여 대규모 언어 모델을 압축합니다. 성능이 유지된 더 작은 모델을 배포하거나, GPT-4 기능을 오픈 소스 모델로 이전하거나, 추론 비용을 줄일 때 사용하세요. 온도 스케일링, 소프트 목표, 역 KLD, 로짓 증류 및 MiniLLM 교육 전략을 다룹니다.
SKILL.md
Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation
Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)
Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.
교사에서 학생 모델로의 지식 증류를 사용하여 대규모 언어 모델을 압축합니다. 성능이 유지된 더 작은 모델을 배포하거나, GPT-4 기능을 오픈 소스 모델로 이전하거나, 추론 비용을 줄일 때 사용하세요. 온도 스케일링, 소프트 목표, 역 KLD, 로짓 증류 및 MiniLLM 교육 전략을 다룹니다. 출처: orchestra-research/ai-research-skills.
인용 가능한 정보
AI/검색 인용용 안정적인 필드와 명령어.
- 설치 명령어
npx skills add https://github.com/orchestra-research/ai-research-skills --skill knowledge-distillation- 카테고리
- </>개발 도구
- 인증됨
- ✓
- 최초 등록
- 2026-02-11
- 업데이트
- 2026-02-18
빠른 답변
knowledge-distillation이란?
교사에서 학생 모델로의 지식 증류를 사용하여 대규모 언어 모델을 압축합니다. 성능이 유지된 더 작은 모델을 배포하거나, GPT-4 기능을 오픈 소스 모델로 이전하거나, 추론 비용을 줄일 때 사용하세요. 온도 스케일링, 소프트 목표, 역 KLD, 로짓 증류 및 MiniLLM 교육 전략을 다룹니다. 출처: orchestra-research/ai-research-skills.
knowledge-distillation 설치 방법은?
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/orchestra-research/ai-research-skills --skill knowledge-distillation 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다
소스 저장소는 어디인가요?
https://github.com/orchestra-research/ai-research-skills
상세
- 카테고리
- </>개발 도구
- 출처
- skills.sh
- 최초 등록
- 2026-02-11