MCP HubMCP Hub
SKILL·2321F0

serving-llms-vllm

zechenzhangAGI
Обновлено 2 months ago
373 просмотров
62
2
62
Посмотреть на GitHub
Разработкаaiapi

О программе

Этот навык Claude обеспечивает высокую пропускную способность для LLM, используя PagedAttention от vLLM и непрерывную групповую обработку запросов. Он идеально подходит для развертывания промышленных LLM-API, оптимизации производительности вывода или обслуживания моделей с ограниченной видеопамятью GPU. Навык поддерживает совместимые с OpenAI конечные точки, различные методы квантования и тензорный параллелизм.

Быстрая установка

Claude Code

Рекомендуется
Основной
npx skills add zechenzhangAGI/AI-research-SKILLs -a claude-code
Команда плагинаАльтернативный
/plugin add https://github.com/zechenzhangAGI/AI-research-SKILLs
Git клонированиеАльтернативный
git clone https://github.com/zechenzhangAGI/AI-research-SKILLs.git ~/.claude/skills/serving-llms-vllm

Скопируйте и вставьте эту команду в Claude Code для установки этого навыка

GitHub репозиторий

zechenzhangAGI/AI-research-SKILLs
Путь: 12-inference-serving/vllm
0
aiai-researchclaudeclaude-codeclaude-skillscodex
FAQ

Frequently asked questions

What is the serving-llms-vllm skill?

serving-llms-vllm is a Claude Skill by zechenzhangAGI. Skills package instructions and resources that Claude loads on demand, so Claude can perform serving-llms-vllm-related tasks without extra prompting.

How do I install serving-llms-vllm?

Use the install commands on this page: add serving-llms-vllm to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.

What category does serving-llms-vllm belong to?

serving-llms-vllm is in the Development category, tagged ai and api.

Is serving-llms-vllm free to use?

Yes. serving-llms-vllm is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.

Похожие навыки

qmd
Разработка

qmd — это локальный инструмент командной строки для поиска и индексирования, который позволяет разработчикам индексировать и осуществлять поиск по локальным файлам с использованием гибридного поиска, сочетающего BM25, векторные эмбеддинги и реранкинг. Он поддерживает как использование через командную строку, так и режим MCP (Model Context Protocol) для интеграции с Claude. Инструмент использует Ollama для создания эмбеддингов и хранит индексы локально, что делает его идеальным для поиска по документации или кодовой базе прямо из терминала.

Просмотреть навык
subagent-driven-development
Разработка

Этот навык выполняет планы реализации, создавая нового суб-агента для каждой независимой задачи, проводя проверку кода между задачами. Он позволяет быстро итерировать, сохраняя контроль качества через этот процесс ревью. Используйте его при работе в основном с независимыми задачами в рамках одной сессии, чтобы обеспечить непрерывный прогресс со встроенными проверками качества.

Просмотреть навык
mcporter
Разработка

Навык mcporter позволяет разработчикам управлять и вызывать серверы Model Context Protocol (MCP) напрямую из Claude. Он предоставляет команды для вывода списка доступных серверов, вызова их инструментов с аргументами, а также для обработки аутентификации и управления жизненным циклом демона. Используйте этот навык для интеграции и тестирования функциональности серверов MCP в вашем рабочем процессе разработки.

Просмотреть навык
adk-deployment-specialist
Разработка

Этот навык развертывает и оркестрирует агентов Vertex AI ADK с использованием протокола A2A, управляя обнаружением AgentCard, отправкой задач и поддерживая инструменты, такие как песочница для выполнения кода и Memory Bank. Он позволяет создавать мультиагентные системы с последовательными, параллельными или циклическими схемами оркестрации на Python, Java или Go. Используйте его, когда требуется развернуть агентов ADK или оркестрировать рабочие процессы агентов в Google Cloud.

Просмотреть навык