knowledge-distillation
✓Komprimieren Sie große Sprachmodelle mithilfe der Wissensdestillation von Lehrer- zu Schülermodellen. Verwenden Sie es, wenn Sie kleinere Modelle mit beibehaltener Leistung bereitstellen, GPT-4-Funktionen auf Open-Source-Modelle übertragen oder Inferenzkosten reduzieren. Behandelt Temperaturskalierung, Soft Targets, Reverse KLD, Logit-Destillation und MiniLLM-Trainingsstrategien.
Installation
SKILL.md
Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation
Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)
Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.
Komprimieren Sie große Sprachmodelle mithilfe der Wissensdestillation von Lehrer- zu Schülermodellen. Verwenden Sie es, wenn Sie kleinere Modelle mit beibehaltener Leistung bereitstellen, GPT-4-Funktionen auf Open-Source-Modelle übertragen oder Inferenzkosten reduzieren. Behandelt Temperaturskalierung, Soft Targets, Reverse KLD, Logit-Destillation und MiniLLM-Trainingsstrategien. Quelle: ovachiever/droid-tings.
Fakten (zitierbereit)
Stabile Felder und Befehle für KI/Such-Zitate.
- Installationsbefehl
npx skills add https://github.com/ovachiever/droid-tings --skill knowledge-distillation- Quelle
- ovachiever/droid-tings
- Kategorie
- </>Entwicklung
- Verifiziert
- ✓
- Erstes Auftreten
- 2026-02-01
- Aktualisiert
- 2026-02-18
Schnelle Antworten
Was ist knowledge-distillation?
Komprimieren Sie große Sprachmodelle mithilfe der Wissensdestillation von Lehrer- zu Schülermodellen. Verwenden Sie es, wenn Sie kleinere Modelle mit beibehaltener Leistung bereitstellen, GPT-4-Funktionen auf Open-Source-Modelle übertragen oder Inferenzkosten reduzieren. Behandelt Temperaturskalierung, Soft Targets, Reverse KLD, Logit-Destillation und MiniLLM-Trainingsstrategien. Quelle: ovachiever/droid-tings.
Wie installiere ich knowledge-distillation?
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/ovachiever/droid-tings --skill knowledge-distillation Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code oder Cursor
Wo ist das Quell-Repository?
https://github.com/ovachiever/droid-tings
Details
- Kategorie
- </>Entwicklung
- Quelle
- skills.sh
- Erstes Auftreten
- 2026-02-01