MCP HubMCP Hub
Вернуться к навыкам

evaluating-rag

mattnigh
Обновлено 4 days ago
10 просмотров
22
1
22
Посмотреть на GitHub
Метаaitestingdata

О программе

Этот навык помогает разработчикам оценивать RAG-системы с использованием метрик, таких как hit rate и MRR, для проверки качества извлечения и сравнения стратегий. Он применяется для создания наборов данных для оценки, A/B-тестирования эмбеддингов или ретриверов, а также измерения производительности в рабочей среде. Инструмент ориентирован на практические подходы к тестированию для проверки улучшений и оптимизации извлечения.

Быстрая установка

Claude Code

Рекомендуется
Основной
npx skills add mattnigh/skills_collection -a claude-code
Команда плагинаАльтернативный
/plugin add https://github.com/mattnigh/skills_collection
Git клонированиеАльтернативный
git clone https://github.com/mattnigh/skills_collection.git ~/.claude/skills/evaluating-rag

Скопируйте и вставьте эту команду в Claude Code для установки этого навыка

GitHub репозиторий

mattnigh/skills_collection
Путь: collection/tkhongsap__llama-index-rag-pipeline__claude__skills__evaluating-rag__SKILL.md
0

Похожие навыки

content-collections

Мета

Этот навык предоставляет проверенную в продакшене настройку для Content Collections — TypeScript-ориентированного инструмента, который преобразует файлы Markdown/MDX в типобезопасные коллекции данных с валидацией Zod. Используйте его при создании блогов, сайтов документации или контентных приложений на Vite + React для обеспечения типобезопасности и автоматической проверки содержимого. Он охватывает всё: от настройки плагина Vite и компиляции MDX до оптимизации развертывания и валидации схем.

Просмотреть навык

polymarket

Мета

Этот навык позволяет разработчикам создавать приложения на платформе прогнозных рынков Polymarket, включая интеграцию с API для торговли и получения рыночных данных. Он также обеспечивает потоковую передачу данных в реальном времени через WebSocket для отслеживания текущих сделок и рыночной активности. Используйте его для реализации торговых стратегий или создания инструментов, обрабатывающих обновления рынка в реальном времени.

Просмотреть навык

creating-opencode-plugins

Мета

Этот навык помогает разработчикам создавать плагины OpenCode, которые подключаются к более чем 25 типам событий, таким как команды, файлы и операции LSP. Он предоставляет структуру плагина, спецификации API событий и шаблоны реализации для модулей на JavaScript/TypeScript. Используйте его, когда вам нужно перехватывать, отслеживать или расширять жизненный цикл ассистента OpenCode AI с помощью пользовательской событийно-ориентированной логики.

Просмотреть навык

sglang

Мета

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых моделей (LLM), специализирующийся на быстрой структурированной генерации JSON, regex и рабочих процессов агентов с использованием кэширования префиксов RadixAttention. Он обеспечивает значительно более высокую скорость вывода, особенно для задач с повторяющимися префиксами, что делает его идеальным для сложных структурированных результатов и многократных диалогов. Выбирайте SGLang вместо альтернатив, таких как vLLM, когда вам требуется ограниченное декодирование или вы создаете приложения с интенсивным совместным использованием префиксов.

Просмотреть навык