knowledge-distillation
✓教師モデルから生徒モデルへの知識の蒸留を使用して、大規模な言語モデルを圧縮します。パフォーマンスを維持したまま小規模なモデルをデプロイする場合、GPT-4 機能をオープンソース モデルに移行する場合、または推論コストを削減する場合に使用します。温度スケーリング、ソフト ターゲット、逆 KLD、ロジット蒸留、MiniLLM トレーニング戦略をカバーします。
SKILL.md
Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation
Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)
Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.
教師モデルから生徒モデルへの知識の蒸留を使用して、大規模な言語モデルを圧縮します。パフォーマンスを維持したまま小規模なモデルをデプロイする場合、GPT-4 機能をオープンソース モデルに移行する場合、または推論コストを削減する場合に使用します。温度スケーリング、ソフト ターゲット、逆 KLD、ロジット蒸留、MiniLLM トレーニング戦略をカバーします。 ソース: ovachiever/droid-tings。
引用可能な情報
AI/検索での引用用の安定したフィールドとコマンド。
- インストールコマンド
npx skills add https://github.com/ovachiever/droid-tings --skill knowledge-distillation- カテゴリ
- </>開発ツール
- 認証済み
- ✓
- 初回登録
- 2026-02-01
- 更新日
- 2026-02-18
クイックアンサー
knowledge-distillation とは？
教師モデルから生徒モデルへの知識の蒸留を使用して、大規模な言語モデルを圧縮します。パフォーマンスを維持したまま小規模なモデルをデプロイする場合、GPT-4 機能をオープンソース モデルに移行する場合、または推論コストを削減する場合に使用します。温度スケーリング、ソフト ターゲット、逆 KLD、ロジット蒸留、MiniLLM トレーニング戦略をカバーします。 ソース: ovachiever/droid-tings。
knowledge-distillation のインストール方法は？
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/ovachiever/droid-tings --skill knowledge-distillation インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります
ソースリポジトリはどこですか？
https://github.com/ovachiever/droid-tings
詳細
- カテゴリ
- </>開発ツール
- ソース
- skills.sh
- 初回登録
- 2026-02-01