ai-error-analysis-and-eval-design이란?
특정 오류 모드를 식별하고 자동화된 LLM 심사관을 구축하여 AI 제품을 "바이브 체크" 이상으로 발전시키는 체계적인 워크플로입니다. AI 출력이 "버벅거림"을 느끼는 경우, 신속한 엔지니어링을 위한 피드백 신호가 필요한 경우 또는 대규모 생산 성능을 모니터링할 때 이 기능을 사용하십시오. 출처: samarv/shanon.
특정 오류 모드를 식별하고 자동화된 LLM 심사관을 구축하여 AI 제품을 "바이브 체크" 이상으로 발전시키는 체계적인 워크플로입니다. AI 출력이 "버벅거림"을 느끼는 경우, 신속한 엔지니어링을 위한 피드백 신호가 필요한 경우 또는 대규모 생산 성능을 모니터링할 때 이 기능을 사용하십시오.
명령줄에서 ai-error-analysis-and-eval-design AI 스킬을 개발 환경에 빠르게 설치
출처: samarv/shanon.
To build great AI products, you must transition from subjective "vibe checks" to systematic measurement. This process identifies exactly where an LLM is failing and creates a feedback loop for continuous improvement.
Phase 1: Open Coding (The "Benevolent Dictator" Phase) Before automating, you must manually ground yourself in the data. Appoint one "Benevolent Dictator"—typically the Product Manager or domain expert—to define "good" taste.
Phase 2: Axial Coding (Categorization) Synthesize your mess of notes into actionable categories using an LLM.
특정 오류 모드를 식별하고 자동화된 LLM 심사관을 구축하여 AI 제품을 "바이브 체크" 이상으로 발전시키는 체계적인 워크플로입니다. AI 출력이 "버벅거림"을 느끼는 경우, 신속한 엔지니어링을 위한 피드백 신호가 필요한 경우 또는 대규모 생산 성능을 모니터링할 때 이 기능을 사용하십시오. 출처: samarv/shanon.
AI/검색 인용용 안정적인 필드와 명령어.
npx skills add https://github.com/samarv/shanon --skill ai-error-analysis-and-eval-design특정 오류 모드를 식별하고 자동화된 LLM 심사관을 구축하여 AI 제품을 "바이브 체크" 이상으로 발전시키는 체계적인 워크플로입니다. AI 출력이 "버벅거림"을 느끼는 경우, 신속한 엔지니어링을 위한 피드백 신호가 필요한 경우 또는 대규모 생산 성능을 모니터링할 때 이 기능을 사용하십시오. 출처: samarv/shanon.
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/samarv/shanon --skill ai-error-analysis-and-eval-design 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code, Cursor, OpenClaw에서 사용할 수 있습니다
https://github.com/samarv/shanon