Овладейте методами оценки LLM в качестве судьи, включая прямое выставление оценок, парное сравнение, создание рубрик и смягчение предвзятости. Используйте при построении систем оценки, сравнении результатов моделей или установлении стандартов качества для контента, создаваемого ИИ.
Быстро установите AI-навык advanced-evaluation в вашу среду разработки через командную строку
Источник: shipshitdev/library.
LLM-as-a-Judge techniques for evaluating AI outputs. Not a single technique but a family of approaches - choosing the right one and mitigating biases is the core competency.
Direct Scoring: Single LLM rates one response on a defined scale.
Pairwise Comparison: LLM compares two responses and selects better one.
Овладейте методами оценки LLM в качестве судьи, включая прямое выставление оценок, парное сравнение, создание рубрик и смягчение предвзятости. Используйте при построении систем оценки, сравнении результатов моделей или установлении стандартов качества для контента, создаваемого ИИ. Источник: shipshitdev/library.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/shipshitdev/library --skill advanced-evaluationОвладейте методами оценки LLM в качестве судьи, включая прямое выставление оценок, парное сравнение, создание рубрик и смягчение предвзятости. Используйте при построении систем оценки, сравнении результатов моделей или установлении стандартов качества для контента, создаваемого ИИ. Источник: shipshitdev/library.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/shipshitdev/library --skill advanced-evaluation После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/shipshitdev/library