Систематический рабочий процесс, позволяющий вывести продукты искусственного интеллекта за рамки «проверок вибрации» путем выявления конкретных режимов сбоев и создания автоматизированных оценок LLM. Используйте это, когда результаты искусственного интеллекта кажутся «нестабильными», когда вам нужен сигнал обратной связи для оперативного проектирования или при мониторинге производительности производства в масштабе.
Быстро установите AI-навык ai-error-analysis-and-eval-design в вашу среду разработки через командную строку
Источник: samarv/shanon.
To build great AI products, you must transition from subjective "vibe checks" to systematic measurement. This process identifies exactly where an LLM is failing and creates a feedback loop for continuous improvement.
Phase 1: Open Coding (The "Benevolent Dictator" Phase) Before automating, you must manually ground yourself in the data. Appoint one "Benevolent Dictator"—typically the Product Manager or domain expert—to define "good" taste.
Phase 2: Axial Coding (Categorization) Synthesize your mess of notes into actionable categories using an LLM.
Систематический рабочий процесс, позволяющий вывести продукты искусственного интеллекта за рамки «проверок вибрации» путем выявления конкретных режимов сбоев и создания автоматизированных оценок LLM. Используйте это, когда результаты искусственного интеллекта кажутся «нестабильными», когда вам нужен сигнал обратной связи для оперативного проектирования или при мониторинге производительности производства в масштабе. Источник: samarv/shanon.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/samarv/shanon --skill ai-error-analysis-and-eval-designСистематический рабочий процесс, позволяющий вывести продукты искусственного интеллекта за рамки «проверок вибрации» путем выявления конкретных режимов сбоев и создания автоматизированных оценок LLM. Используйте это, когда результаты искусственного интеллекта кажутся «нестабильными», когда вам нужен сигнал обратной связи для оперативного проектирования или при мониторинге производительности производства в масштабе. Источник: samarv/shanon.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/samarv/shanon --skill ai-error-analysis-and-eval-design После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/samarv/shanon