serving-llms-vllm
О программе
Этот навык Claude развертывает производственные API LLM с использованием vLLM для высокопроизводительного вывода через PagedAttention и непрерывную пакетную обработку. Он идеально подходит для оптимизации задержки/пропускной способности или обслуживания моделей с ограниченной памятью GPU. Ключевые функции включают совместимые с OpenAI конечные точки, поддержку нескольких методов квантования и тензорный параллелизм.
Быстрая установка
Claude Code
Рекомендуетсяnpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/serving-llms-vllmСкопируйте и вставьте эту команду в Claude Code для установки этого навыка
GitHub репозиторий
Frequently asked questions
What is the serving-llms-vllm skill?
serving-llms-vllm is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform serving-llms-vllm-related tasks without extra prompting.
How do I install serving-llms-vllm?
Use the install commands on this page: add serving-llms-vllm to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does serving-llms-vllm belong to?
serving-llms-vllm is in the Development category, tagged vLLM, Inference Serving, PagedAttention, Continuous Batching, High Throughput and Production.
Is serving-llms-vllm free to use?
Yes. serving-llms-vllm is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Похожие навыки
qmd — это локальный инструмент командной строки для поиска и индексирования, который позволяет разработчикам индексировать и осуществлять поиск по локальным файлам с использованием гибридного поиска, сочетающего BM25, векторные эмбеддинги и реранкинг. Он поддерживает как использование через командную строку, так и режим MCP (Model Context Protocol) для интеграции с Claude. Инструмент использует Ollama для создания эмбеддингов и хранит индексы локально, что делает его идеальным для поиска по документации или кодовой базе прямо из терминала.
Этот навык выполняет планы реализации, создавая нового суб-агента для каждой независимой задачи, проводя проверку кода между задачами. Он позволяет быстро итерировать, сохраняя контроль качества через этот процесс ревью. Используйте его при работе в основном с независимыми задачами в рамках одной сессии, чтобы обеспечить непрерывный прогресс со встроенными проверками качества.
Навык mcporter позволяет разработчикам управлять и вызывать серверы Model Context Protocol (MCP) напрямую из Claude. Он предоставляет команды для вывода списка доступных серверов, вызова их инструментов с аргументами, а также для обработки аутентификации и управления жизненным циклом демона. Используйте этот навык для интеграции и тестирования функциональности серверов MCP в вашем рабочем процессе разработки.
Этот навык развертывает и оркестрирует агентов Vertex AI ADK с использованием протокола A2A, управляя обнаружением AgentCard, отправкой задач и поддерживая инструменты, такие как песочница для выполнения кода и Memory Bank. Он позволяет создавать мультиагентные системы с последовательными, параллельными или циклическими схемами оркестрации на Python, Java или Go. Используйте его, когда требуется развернуть агентов ADK или оркестрировать рабочие процессы агентов в Google Cloud.
