Développer des « quiz » (évaluations) pour mesurer les performances du modèle sur des tâches spécifiques. Utilisez ces références pour guider les réglages précis, déterminer les modèles UX des produits et suivre les améliorations des performances au fil du temps. Utilisez-le lors du lancement d'une nouvelle fonctionnalité d'IA, du basculement entre les versions de modèle ou de l'optimisation pour une précision à enjeux élevés.
Installez rapidement le skill IA ai-eval-design-and-iteration dans votre environnement de développement via la ligne de commande
Source : samarv/shanon.
In traditional software, inputs and outputs are defined. In AI, inputs and outputs are fuzzy. Evals (evaluations) are the "unit tests" for AI products. They allow you to move from "vibes-based" development to metric-driven iteration. By building a rigorous "quiz" for your model, you can determine exactly how capable your product is and where it requires human-in-the-loop scaffolding.
Identify "Hero Use Cases" Don't start with generic benchmarks (like MMLU). Instead, define the specific "hero" scenarios your product must master.
Design the "Quiz" (The Eval) Create a set of tests to gauge how well the model knows the subject material.
Développer des « quiz » (évaluations) pour mesurer les performances du modèle sur des tâches spécifiques. Utilisez ces références pour guider les réglages précis, déterminer les modèles UX des produits et suivre les améliorations des performances au fil du temps. Utilisez-le lors du lancement d'une nouvelle fonctionnalité d'IA, du basculement entre les versions de modèle ou de l'optimisation pour une précision à enjeux élevés. Source : samarv/shanon.
Champs et commandes stables pour les citations IA/recherche.
npx skills add https://github.com/samarv/shanon --skill ai-eval-design-and-iterationDévelopper des « quiz » (évaluations) pour mesurer les performances du modèle sur des tâches spécifiques. Utilisez ces références pour guider les réglages précis, déterminer les modèles UX des produits et suivre les améliorations des performances au fil du temps. Utilisez-le lors du lancement d'une nouvelle fonctionnalité d'IA, du basculement entre les versions de modèle ou de l'optimisation pour une précision à enjeux élevés. Source : samarv/shanon.
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/samarv/shanon --skill ai-eval-design-and-iteration Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code, Cursor ou OpenClaw
https://github.com/samarv/shanon