eval-harness
О программе
eval-harness — это официальный фреймворк для оценки Claude Code, реализующий принципы Evaluation-Driven Development (EDD). Он позволяет разработчикам определять критерии прохождения/непрохождения для задач, запускать регрессионные тесты и измерять надёжность агента с использованием метрики pass@k. Используйте его при внедрении рабочих процессов EDD, бенчмаркинге производительности агента или создании тестовых наборов для изменений промптов и агентов.
Быстрая установка
Claude Code
Рекомендуетсяnpx skills add affaan-m/everything-claude-code -a claude-code/plugin add https://github.com/affaan-m/everything-claude-codegit clone https://github.com/affaan-m/everything-claude-code.git ~/.claude/skills/eval-harnessСкопируйте и вставьте эту команду в Claude Code для установки этого навыка
GitHub репозиторий
Frequently asked questions
What is the eval-harness skill?
eval-harness is a Claude Skill by affaan-m. Skills package instructions and resources that Claude loads on demand, so Claude can perform eval-harness-related tasks without extra prompting.
How do I install eval-harness?
Use the install commands on this page: add eval-harness to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does eval-harness belong to?
eval-harness is in the Development category, tagged ai.
Is eval-harness free to use?
Yes. eval-harness is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Похожие навыки
qmd — это локальный инструмент командной строки для поиска и индексирования, который позволяет разработчикам индексировать и осуществлять поиск по локальным файлам с использованием гибридного поиска, сочетающего BM25, векторные эмбеддинги и реранкинг. Он поддерживает как использование через командную строку, так и режим MCP (Model Context Protocol) для интеграции с Claude. Инструмент использует Ollama для создания эмбеддингов и хранит индексы локально, что делает его идеальным для поиска по документации или кодовой базе прямо из терминала.
Этот навык выполняет планы реализации, создавая нового суб-агента для каждой независимой задачи, проводя проверку кода между задачами. Он позволяет быстро итерировать, сохраняя контроль качества через этот процесс ревью. Используйте его при работе в основном с независимыми задачами в рамках одной сессии, чтобы обеспечить непрерывный прогресс со встроенными проверками качества.
Навык mcporter позволяет разработчикам управлять и вызывать серверы Model Context Protocol (MCP) напрямую из Claude. Он предоставляет команды для вывода списка доступных серверов, вызова их инструментов с аргументами, а также для обработки аутентификации и управления жизненным циклом демона. Используйте этот навык для интеграции и тестирования функциональности серверов MCP в вашем рабочем процессе разработки.
Этот навык развертывает и оркестрирует агентов Vertex AI ADK с использованием протокола A2A, управляя обнаружением AgentCard, отправкой задач и поддерживая инструменты, такие как песочница для выполнения кода и Memory Bank. Он позволяет создавать мультиагентные системы с последовательными, параллельными или циклическими схемами оркестрации на Python, Java или Go. Используйте его, когда требуется развернуть агентов ADK или оркестрировать рабочие процессы агентов в Google Cloud.
