llm-evaluation
О программе
Навык llm-evaluation предоставляет стратегии для систематического тестирования и измерения качества приложений на основе LLM с использованием автоматических метрик, обратной связи от людей и бенчмаркинга. Разработчикам следует применять его для сравнения моделей, проверки изменений в промптах, выявления регрессий и установления базовых показателей производительности. Он обеспечивает масштабируемую оценку за счёт вычисляемых показателей, таких как BLEU/ROUGE, и экспертной оценки с участием человека.
Быстрая установка
Claude Code
Рекомендуетсяnpx skills add ma1orek/replay -a claude-code/plugin add https://github.com/ma1orek/replaygit clone https://github.com/ma1orek/replay.git ~/.claude/skills/llm-evaluationСкопируйте и вставьте эту команду в Claude Code для установки этого навыка
GitHub репозиторий
Frequently asked questions
What is the llm-evaluation skill?
llm-evaluation is a Claude Skill by ma1orek. Skills package instructions and resources that Claude loads on demand, so Claude can perform llm-evaluation-related tasks without extra prompting.
How do I install llm-evaluation?
Use the install commands on this page: add llm-evaluation to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does llm-evaluation belong to?
llm-evaluation is in the Testing category, tagged ai, testing and automation.
Is llm-evaluation free to use?
Yes. llm-evaluation is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Похожие навыки
Этот навык Claude запускает lm-evaluation-harness для тестирования LLM на более чем 60 стандартизированных академических задачах, таких как MMLU и GSM8K. Он предназначен для разработчиков, чтобы сравнивать качество моделей, отслеживать прогресс обучения или сообщать академические результаты. Инструмент поддерживает различные бэкенды, включая модели HuggingFace и vLLM.
Этот навык предоставляет обширные знания по реализации Cloudflare Cron Triggers для планирования запуска Workers с помощью cron-выражений. Он охватывает настройку периодических задач, заданий технического обслуживания и автоматизированных рабочих процессов, а также решение распространенных проблем, таких как неверные cron-выражения и ошибки часовых поясов. Разработчики могут использовать его для настройки планировщиков обработчиков, тестирования cron-триггеров и интеграции с Workflows и Green Compute.
Этот навык Claude предоставляет инструментарий на базе Playwright для тестирования локальных веб-приложений с помощью Python-скриптов. Он позволяет проводить проверку фронтенда, отладку интерфейса, создание скриншотов и просмотр логов, одновременно управляя жизненным циклом сервера. Используйте его для задач автоматизации браузера, но запускайте скрипты напрямую, вместо чтения их исходного кода, чтобы избежать загрязнения контекста.
Этот навык помогает разработчикам завершать готовую работу, проверяя прохождение тестов и предлагая структурированные варианты интеграции. Он направляет рабочий процесс по слиянию, созданию пул-реквестов или очистке веток после завершения реализации. Используйте его, когда ваш код готов и протестирован, чтобы систематически завершать процесс разработки.
