Un flux de travail systématique pour faire évoluer les produits d'IA au-delà des « contrôles d'ambiance » en identifiant des modes de défaillance spécifiques et en créant des juges LLM automatisés. Utilisez-le lorsque les résultats de votre IA semblent « saccadés », lorsque vous avez besoin d'un signal de retour pour une ingénierie rapide ou lorsque vous surveillez les performances de production à grande échelle.
Installez rapidement le skill IA ai-error-analysis-and-eval-design dans votre environnement de développement via la ligne de commande
Source : samarv/shanon.
To build great AI products, you must transition from subjective "vibe checks" to systematic measurement. This process identifies exactly where an LLM is failing and creates a feedback loop for continuous improvement.
Phase 1: Open Coding (The "Benevolent Dictator" Phase) Before automating, you must manually ground yourself in the data. Appoint one "Benevolent Dictator"—typically the Product Manager or domain expert—to define "good" taste.
Phase 2: Axial Coding (Categorization) Synthesize your mess of notes into actionable categories using an LLM.
Un flux de travail systématique pour faire évoluer les produits d'IA au-delà des « contrôles d'ambiance » en identifiant des modes de défaillance spécifiques et en créant des juges LLM automatisés. Utilisez-le lorsque les résultats de votre IA semblent « saccadés », lorsque vous avez besoin d'un signal de retour pour une ingénierie rapide ou lorsque vous surveillez les performances de production à grande échelle. Source : samarv/shanon.
Champs et commandes stables pour les citations IA/recherche.
npx skills add https://github.com/samarv/shanon --skill ai-error-analysis-and-eval-designUn flux de travail systématique pour faire évoluer les produits d'IA au-delà des « contrôles d'ambiance » en identifiant des modes de défaillance spécifiques et en créant des juges LLM automatisés. Utilisez-le lorsque les résultats de votre IA semblent « saccadés », lorsque vous avez besoin d'un signal de retour pour une ingénierie rapide ou lorsque vous surveillez les performances de production à grande échelle. Source : samarv/shanon.
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/samarv/shanon --skill ai-error-analysis-and-eval-design Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code, Cursor ou OpenClaw
https://github.com/samarv/shanon