MCP HubMCP Hub
SKILL·B9082A

sglang

davila7
Обновлено 2 months ago
467 просмотров
18,478
1,685
18,478
Посмотреть на GitHub
МетаInference ServingSGLangStructured GenerationRadixAttentionPrefix CachingConstrained DecodingAgentsJSON OutputFast InferenceProduction Scale

О программе

SGLang — это высокопроизводительный фреймворк для обслуживания LLM, использующий RadixAttention для автоматического кэширования префиксов, что обеспечивает значительно более быструю структурированную генерацию. Он идеально подходит разработчикам, которым нужны выводы в формате JSON/регулярных выражений, ограниченное декодирование или создание агентских рабочих процессов с вызовами инструментов. Используйте его, когда вам требуется до 5× более быстрое выполнение выводов по сравнению с альтернативами, такими как vLLM, в сценариях с общими префиксами.

Быстрая установка

Claude Code

Рекомендуется
Основной
npx skills add davila7/claude-code-templates -a claude-code
Команда плагинаАльтернативный
/plugin add https://github.com/davila7/claude-code-templates
Git клонированиеАльтернативный
git clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/sglang

Скопируйте и вставьте эту команду в Claude Code для установки этого навыка

GitHub репозиторий

davila7/claude-code-templates
Путь: cli-tool/components/skills/ai-research/inference-serving-sglang
0
anthropicanthropic-claudeclaudeclaude-code
FAQ

Frequently asked questions

What is the sglang skill?

sglang is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform sglang-related tasks without extra prompting.

How do I install sglang?

Use the install commands on this page: add sglang to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.

What category does sglang belong to?

sglang is in the Meta category, tagged Inference Serving, SGLang, Structured Generation, RadixAttention, Prefix Caching and Constrained Decoding.

Is sglang free to use?

Yes. sglang is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.

Похожие навыки

content-collections
Мета

Этот навык предоставляет проверенную в продакшене настройку для Content Collections — TypeScript-ориентированного инструмента, который преобразует файлы Markdown/MDX в типобезопасные коллекции данных с валидацией Zod. Используйте его при создании блогов, сайтов документации или контентных приложений на Vite + React для обеспечения типобезопасности и автоматической проверки содержимого. Он охватывает всё: от настройки плагина Vite и компиляции MDX до оптимизации развертывания и валидации схем.

Просмотреть навык
polymarket
Мета

Этот навык позволяет разработчикам создавать приложения на платформе прогнозных рынков Polymarket, включая интеграцию с API для торговли и получения рыночных данных. Он также обеспечивает потоковую передачу данных в реальном времени через WebSocket для отслеживания текущих сделок и рыночной активности. Используйте его для реализации торговых стратегий или создания инструментов, обрабатывающих обновления рынка в реальном времени.

Просмотреть навык
creating-opencode-plugins
Мета

Этот навык помогает разработчикам создавать плагины OpenCode, которые подключаются к более чем 25 типам событий, таким как команды, файлы и операции LSP. Он предоставляет структуру плагина, спецификации API событий и шаблоны реализации для модулей на JavaScript/TypeScript. Используйте его, когда вам нужно перехватывать, отслеживать или расширять жизненный цикл ассистента OpenCode AI с помощью пользовательской событийно-ориентированной логики.

Просмотреть навык
sglang
Мета

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых моделей (LLM), специализирующийся на быстрой структурированной генерации JSON, regex и рабочих процессов агентов с использованием кэширования префиксов RadixAttention. Он обеспечивает значительно более высокую скорость вывода, особенно для задач с повторяющимися префиксами, что делает его идеальным для сложных структурированных результатов и многократных диалогов. Выбирайте SGLang вместо альтернатив, таких как vLLM, когда вам требуется ограниченное декодирование или вы создаете приложения с интенсивным совместным использованием префиксов.

Просмотреть навык