MCP HubMCP Hub
Вернуться к навыкам

llm-evaluation

camoneart
Обновлено 28 days ago
195 просмотров
2
2
Посмотреть на GitHub
Тестированиеaitestingautomation

О программе

Навык llm-evaluation позволяет разработчикам внедрять комплексное тестирование приложений на базе LLM с использованием автоматических метрик, обратной связи от людей и бенчмаркинга. Он используется для системного измерения производительности, сравнения моделей и промптов, а также для выявления регрессий до развертывания. Это помогает установить базовые показатели, проверить улучшения и укрепить уверенность в рабочих системах искусственного интеллекта.

Быстрая установка

Claude Code

Рекомендуется
Основной
npx skills add camoneart/claude-code -a claude-code
Команда плагинаАльтернативный
/plugin add https://github.com/camoneart/claude-code
Git клонированиеАльтернативный
git clone https://github.com/camoneart/claude-code.git ~/.claude/skills/llm-evaluation

Скопируйте и вставьте эту команду в Claude Code для установки этого навыка

GitHub репозиторий

camoneart/claude-code
Путь: skills/llm-evaluation
0

Похожие навыки

evaluating-llms-harness

Тестирование

Этот навык Claude запускает lm-evaluation-harness для тестирования LLM на более чем 60 стандартизированных академических задачах, таких как MMLU и GSM8K. Он предназначен для разработчиков, чтобы сравнивать качество моделей, отслеживать прогресс обучения или сообщать академические результаты. Инструмент поддерживает различные бэкенды, включая модели HuggingFace и vLLM.

Просмотреть навык

cloudflare-cron-triggers

Тестирование

Этот навык предоставляет обширные знания по реализации Cloudflare Cron Triggers для планирования запуска Workers с помощью cron-выражений. Он охватывает настройку периодических задач, заданий технического обслуживания и автоматизированных рабочих процессов, а также решение распространенных проблем, таких как неверные cron-выражения и ошибки часовых поясов. Разработчики могут использовать его для настройки планировщиков обработчиков, тестирования cron-триггеров и интеграции с Workflows и Green Compute.

Просмотреть навык

webapp-testing

Тестирование

Этот навык Claude предоставляет инструментарий на базе Playwright для тестирования локальных веб-приложений с помощью Python-скриптов. Он позволяет проводить проверку фронтенда, отладку интерфейса, создание скриншотов и просмотр логов, одновременно управляя жизненным циклом сервера. Используйте его для задач автоматизации браузера, но запускайте скрипты напрямую, вместо чтения их исходного кода, чтобы избежать загрязнения контекста.

Просмотреть навык

finishing-a-development-branch

Тестирование

Этот навык помогает разработчикам завершать готовую работу, проверяя прохождение тестов и предлагая структурированные варианты интеграции. Он направляет рабочий процесс по слиянию, созданию пул-реквестов или очистке веток после завершения реализации. Используйте его, когда ваш код готов и протестирован, чтобы систематически завершать процесс разработки.

Просмотреть навык