Evals
О программе
Навык Evals предоставляет фреймворк для оценки агентов, реализующий лучшие практики Anthropic по тестированию и бенчмаркингу ИИ-агентов. Используйте его, когда требуется оценить, провести сравнительный анализ или регрессионное тестирование поведения агента с поддержкой код-ориентированной, модельно-ориентированной и экспертной оценки. Ключевые функции включают запись транскриптов, метрики pass@k/pass^k и интеграцию с ALGORITHM.
Быстрая установка
Claude Code
Рекомендуетсяnpx skills add danielmiessler/Personal_AI_Infrastructure -a claude-code/plugin add https://github.com/danielmiessler/Personal_AI_Infrastructuregit clone https://github.com/danielmiessler/Personal_AI_Infrastructure.git ~/.claude/skills/EvalsСкопируйте и вставьте эту команду в Claude Code для установки этого навыка
GitHub репозиторий
Frequently asked questions
What is the Evals skill?
Evals is a Claude Skill by danielmiessler. Skills package instructions and resources that Claude loads on demand, so Claude can perform Evals-related tasks without extra prompting.
How do I install Evals?
Use the install commands on this page: add Evals to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does Evals belong to?
Evals is in the Testing category, tagged testing.
Is Evals free to use?
Yes. Evals is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Похожие навыки
Этот навык Claude запускает lm-evaluation-harness для тестирования LLM на более чем 60 стандартизированных академических задачах, таких как MMLU и GSM8K. Он предназначен для разработчиков, чтобы сравнивать качество моделей, отслеживать прогресс обучения или сообщать академические результаты. Инструмент поддерживает различные бэкенды, включая модели HuggingFace и vLLM.
Этот навык предоставляет обширные знания по реализации Cloudflare Cron Triggers для планирования запуска Workers с помощью cron-выражений. Он охватывает настройку периодических задач, заданий технического обслуживания и автоматизированных рабочих процессов, а также решение распространенных проблем, таких как неверные cron-выражения и ошибки часовых поясов. Разработчики могут использовать его для настройки планировщиков обработчиков, тестирования cron-триггеров и интеграции с Workflows и Green Compute.
Этот навык Claude предоставляет инструментарий на базе Playwright для тестирования локальных веб-приложений с помощью Python-скриптов. Он позволяет проводить проверку фронтенда, отладку интерфейса, создание скриншотов и просмотр логов, одновременно управляя жизненным циклом сервера. Используйте его для задач автоматизации браузера, но запускайте скрипты напрямую, вместо чтения их исходного кода, чтобы избежать загрязнения контекста.
Этот навык помогает разработчикам завершать готовую работу, проверяя прохождение тестов и предлагая структурированные варианты интеграции. Он направляет рабочий процесс по слиянию, созданию пул-реквестов или очистке веток после завершения реализации. Используйте его, когда ваш код готов и протестирован, чтобы систематически завершать процесс разработки.
