Entwickeln Sie „Quiz“ (Bewertungen), um die Modellleistung bei bestimmten Aufgaben zu messen. Verwenden Sie diese Benchmarks, um die Feinabstimmung zu steuern, Produkt-UX-Muster zu bestimmen und Leistungsverbesserungen im Laufe der Zeit zu verfolgen. Verwenden Sie dies, wenn Sie eine neue KI-Funktion einführen, zwischen Modellversionen wechseln oder die Genauigkeit auf höchstem Niveau optimieren.
Installieren Sie den KI-Skill ai-eval-design-and-iteration schnell in Ihrer Entwicklungsumgebung über die Kommandozeile
Quelle: samarv/shanon.
In traditional software, inputs and outputs are defined. In AI, inputs and outputs are fuzzy. Evals (evaluations) are the "unit tests" for AI products. They allow you to move from "vibes-based" development to metric-driven iteration. By building a rigorous "quiz" for your model, you can determine exactly how capable your product is and where it requires human-in-the-loop scaffolding.
Identify "Hero Use Cases" Don't start with generic benchmarks (like MMLU). Instead, define the specific "hero" scenarios your product must master.
Design the "Quiz" (The Eval) Create a set of tests to gauge how well the model knows the subject material.
Entwickeln Sie „Quiz“ (Bewertungen), um die Modellleistung bei bestimmten Aufgaben zu messen. Verwenden Sie diese Benchmarks, um die Feinabstimmung zu steuern, Produkt-UX-Muster zu bestimmen und Leistungsverbesserungen im Laufe der Zeit zu verfolgen. Verwenden Sie dies, wenn Sie eine neue KI-Funktion einführen, zwischen Modellversionen wechseln oder die Genauigkeit auf höchstem Niveau optimieren. Quelle: samarv/shanon.
Stabile Felder und Befehle für KI/Such-Zitate.
npx skills add https://github.com/samarv/shanon --skill ai-eval-design-and-iterationEntwickeln Sie „Quiz“ (Bewertungen), um die Modellleistung bei bestimmten Aufgaben zu messen. Verwenden Sie diese Benchmarks, um die Feinabstimmung zu steuern, Produkt-UX-Muster zu bestimmen und Leistungsverbesserungen im Laufe der Zeit zu verfolgen. Verwenden Sie dies, wenn Sie eine neue KI-Funktion einführen, zwischen Modellversionen wechseln oder die Genauigkeit auf höchstem Niveau optimieren. Quelle: samarv/shanon.
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/samarv/shanon --skill ai-eval-design-and-iteration Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code, Cursor oder OpenClaw
https://github.com/samarv/shanon