MCP HubMCP Hub
SKILL·C4C207

evaluating-llms-harness

davila7
Обновлено 4 months ago
176 просмотров
18,478
1,685
18,478
Посмотреть на GitHub
ТестированиеEvaluationLM Evaluation HarnessBenchmarkingMMLUHumanEvalGSM8KEleutherAIModel QualityAcademic BenchmarksIndustry Standard

О программе

Этот навык выполняет стандартизированные оценки LLM на более чем 60 академических тестах, таких как MMLU и GSM8K, с использованием общепринятого в отрасли фреймворка lm-evaluation-harness. Используйте его для тестирования качества моделей, сравнения различных моделей или отслеживания прогресса обучения с поддержкой моделей на HuggingFace, vLLM и API-моделей. Он обеспечивает единообразный, широко принятый метод для представления академических результатов.

Быстрая установка

Claude Code

Рекомендуется
Основной
npx skills add davila7/claude-code-templates -a claude-code
Команда плагинаАльтернативный
/plugin add https://github.com/davila7/claude-code-templates
Git клонированиеАльтернативный
git clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/evaluating-llms-harness

Скопируйте и вставьте эту команду в Claude Code для установки этого навыка

GitHub репозиторий

davila7/claude-code-templates
Путь: cli-tool/components/skills/ai-research/evaluation-lm-evaluation-harness
0
anthropicanthropic-claudeclaudeclaude-code
FAQ

Часто задаваемые вопросы

Что такое Skill evaluating-llms-harness?

evaluating-llms-harness — это Claude Skill от davila7. Skills объединяют инструкции и ресурсы, которые Claude загружает по мере необходимости, чтобы выполнять задачи, связанные с evaluating-llms-harness, без дополнительных запросов.

Как установить evaluating-llms-harness?

Используйте команды установки на этой странице: добавьте evaluating-llms-harness в Claude Code как плагин или клонируйте репозиторий в каталог skills, затем перезапустите Claude, чтобы загрузить Skill.

К какой категории относится evaluating-llms-harness?

evaluating-llms-harness относится к категории Тестирование.

Можно ли использовать evaluating-llms-harness бесплатно?

Да. evaluating-llms-harness размещён на AIMCP и доступен для бесплатной установки.

Похожие навыки

evaluating-llms-harness
Тестирование

Этот навык Claude запускает lm-evaluation-harness для тестирования LLM на более чем 60 стандартизированных академических задачах, таких как MMLU и GSM8K. Он предназначен для разработчиков, чтобы сравнивать качество моделей, отслеживать прогресс обучения или сообщать академические результаты. Инструмент поддерживает различные бэкенды, включая модели HuggingFace и vLLM.

Просмотреть навык
cloudflare-cron-triggers
Тестирование

Этот навык предоставляет обширные знания по реализации Cloudflare Cron Triggers для планирования запуска Workers с помощью cron-выражений. Он охватывает настройку периодических задач, заданий технического обслуживания и автоматизированных рабочих процессов, а также решение распространенных проблем, таких как неверные cron-выражения и ошибки часовых поясов. Разработчики могут использовать его для настройки планировщиков обработчиков, тестирования cron-триггеров и интеграции с Workflows и Green Compute.

Просмотреть навык
webapp-testing
Тестирование

Этот навык Claude предоставляет инструментарий на базе Playwright для тестирования локальных веб-приложений с помощью Python-скриптов. Он позволяет проводить проверку фронтенда, отладку интерфейса, создание скриншотов и просмотр логов, одновременно управляя жизненным циклом сервера. Используйте его для задач автоматизации браузера, но запускайте скрипты напрямую, вместо чтения их исходного кода, чтобы избежать загрязнения контекста.

Просмотреть навык
finishing-a-development-branch
Тестирование

Этот навык помогает разработчикам завершать готовую работу, проверяя прохождение тестов и предлагая структурированные варианты интеграции. Он направляет рабочий процесс по слиянию, созданию пул-реквестов или очистке веток после завершения реализации. Используйте его, когда ваш код готов и протестирован, чтобы систематически завершать процесс разработки.

Просмотреть навык