Ein systematischer Arbeitsablauf, um KI-Produkte über „Vibe-Checks“ hinaus zu entwickeln, indem spezifische Fehlermodi identifiziert und automatisierte LLM-Richter erstellt werden. Verwenden Sie dies, wenn sich Ihre KI-Ausgaben „ruckeln“ anfühlen, wenn Sie ein Feedbacksignal für eine schnelle Entwicklung benötigen oder wenn Sie die Produktionsleistung im großen Maßstab überwachen möchten.
Installieren Sie den KI-Skill ai-error-analysis-and-eval-design schnell in Ihrer Entwicklungsumgebung über die Kommandozeile
Quelle: samarv/shanon.
To build great AI products, you must transition from subjective "vibe checks" to systematic measurement. This process identifies exactly where an LLM is failing and creates a feedback loop for continuous improvement.
Phase 1: Open Coding (The "Benevolent Dictator" Phase) Before automating, you must manually ground yourself in the data. Appoint one "Benevolent Dictator"—typically the Product Manager or domain expert—to define "good" taste.
Phase 2: Axial Coding (Categorization) Synthesize your mess of notes into actionable categories using an LLM.
Ein systematischer Arbeitsablauf, um KI-Produkte über „Vibe-Checks“ hinaus zu entwickeln, indem spezifische Fehlermodi identifiziert und automatisierte LLM-Richter erstellt werden. Verwenden Sie dies, wenn sich Ihre KI-Ausgaben „ruckeln“ anfühlen, wenn Sie ein Feedbacksignal für eine schnelle Entwicklung benötigen oder wenn Sie die Produktionsleistung im großen Maßstab überwachen möchten. Quelle: samarv/shanon.
Stabile Felder und Befehle für KI/Such-Zitate.
npx skills add https://github.com/samarv/shanon --skill ai-error-analysis-and-eval-designEin systematischer Arbeitsablauf, um KI-Produkte über „Vibe-Checks“ hinaus zu entwickeln, indem spezifische Fehlermodi identifiziert und automatisierte LLM-Richter erstellt werden. Verwenden Sie dies, wenn sich Ihre KI-Ausgaben „ruckeln“ anfühlen, wenn Sie ein Feedbacksignal für eine schnelle Entwicklung benötigen oder wenn Sie die Produktionsleistung im großen Maßstab überwachen möchten. Quelle: samarv/shanon.
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/samarv/shanon --skill ai-error-analysis-and-eval-design Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code, Cursor oder OpenClaw
https://github.com/samarv/shanon