evaluating-code-models
О программе
Этот навык проводит бенчмаркинг моделей генерации кода с использованием отраслевых стандартов оценки, таких как HumanEval и MBPP, для различных языков программирования. Он рассчитывает метрики pass@k для сравнения производительности моделей, тестирования поддержки нескольких языков и оценки качества кода. Разработчикам следует использовать его при тщательной оценке или сравнении моделей для написания кода, поскольку это тот же инструмент, который используется для формирования рейтингов кода на HuggingFace.
Быстрая установка
Claude Code
Рекомендуетсяnpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/evaluating-code-modelsСкопируйте и вставьте эту команду в Claude Code для установки этого навыка
GitHub репозиторий
Frequently asked questions
What is the evaluating-code-models skill?
evaluating-code-models is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform evaluating-code-models-related tasks without extra prompting.
How do I install evaluating-code-models?
Use the install commands on this page: add evaluating-code-models to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does evaluating-code-models belong to?
evaluating-code-models is in the Meta category, tagged Evaluation, Code Generation, HumanEval, MBPP, MultiPL-E and Pass@k.
Is evaluating-code-models free to use?
Yes. evaluating-code-models is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Похожие навыки
Этот навык предоставляет проверенную в продакшене настройку для Content Collections — TypeScript-ориентированного инструмента, который преобразует файлы Markdown/MDX в типобезопасные коллекции данных с валидацией Zod. Используйте его при создании блогов, сайтов документации или контентных приложений на Vite + React для обеспечения типобезопасности и автоматической проверки содержимого. Он охватывает всё: от настройки плагина Vite и компиляции MDX до оптимизации развертывания и валидации схем.
Этот навык позволяет разработчикам создавать приложения на платформе прогнозных рынков Polymarket, включая интеграцию с API для торговли и получения рыночных данных. Он также обеспечивает потоковую передачу данных в реальном времени через WebSocket для отслеживания текущих сделок и рыночной активности. Используйте его для реализации торговых стратегий или создания инструментов, обрабатывающих обновления рынка в реальном времени.
Этот навык помогает разработчикам создавать плагины OpenCode, которые подключаются к более чем 25 типам событий, таким как команды, файлы и операции LSP. Он предоставляет структуру плагина, спецификации API событий и шаблоны реализации для модулей на JavaScript/TypeScript. Используйте его, когда вам нужно перехватывать, отслеживать или расширять жизненный цикл ассистента OpenCode AI с помощью пользовательской событийно-ориентированной логики.
SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых моделей (LLM), специализирующийся на быстрой структурированной генерации JSON, regex и рабочих процессов агентов с использованием кэширования префиксов RadixAttention. Он обеспечивает значительно более высокую скорость вывода, особенно для задач с повторяющимися префиксами, что делает его идеальным для сложных структурированных результатов и многократных диалогов. Выбирайте SGLang вместо альтернатив, таких как vLLM, когда вам требуется ограниченное декодирование или вы создаете приложения с интенсивным совместным использованием префиксов.
