Un flujo de trabajo sistemático para llevar los productos de IA más allá de las "verificaciones de vibraciones" mediante la identificación de modos de falla específicos y la creación de jueces LLM automatizados. Utilícelo cuando sus resultados de IA se sientan "entrecortados", cuando necesite una señal de retroalimentación para una ingeniería rápida o cuando supervise el rendimiento de la producción a escala.
Instala rápidamente el skill de IA ai-error-analysis-and-eval-design en tu entorno de desarrollo mediante línea de comandos
Fuente: samarv/shanon.
To build great AI products, you must transition from subjective "vibe checks" to systematic measurement. This process identifies exactly where an LLM is failing and creates a feedback loop for continuous improvement.
Phase 1: Open Coding (The "Benevolent Dictator" Phase) Before automating, you must manually ground yourself in the data. Appoint one "Benevolent Dictator"—typically the Product Manager or domain expert—to define "good" taste.
Phase 2: Axial Coding (Categorization) Synthesize your mess of notes into actionable categories using an LLM.
Un flujo de trabajo sistemático para llevar los productos de IA más allá de las "verificaciones de vibraciones" mediante la identificación de modos de falla específicos y la creación de jueces LLM automatizados. Utilícelo cuando sus resultados de IA se sientan "entrecortados", cuando necesite una señal de retroalimentación para una ingeniería rápida o cuando supervise el rendimiento de la producción a escala. Fuente: samarv/shanon.
Campos y comandos estables para citas de IA/búsqueda.
npx skills add https://github.com/samarv/shanon --skill ai-error-analysis-and-eval-designUn flujo de trabajo sistemático para llevar los productos de IA más allá de las "verificaciones de vibraciones" mediante la identificación de modos de falla específicos y la creación de jueces LLM automatizados. Utilícelo cuando sus resultados de IA se sientan "entrecortados", cuando necesite una señal de retroalimentación para una ingeniería rápida o cuando supervise el rendimiento de la producción a escala. Fuente: samarv/shanon.
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/samarv/shanon --skill ai-error-analysis-and-eval-design Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code, Cursor u OpenClaw
https://github.com/samarv/shanon