Zurück zu Fähigkeiten

sglang

zechenzhangAGI
Aktualisiert 23 days ago
1836 Ansichten
62
2
62
Auf GitHub ansehen
Metaaiautomation

Über

SGLang ist ein hochperformantes LLM-Serving-Framework, das sich auf schnelle, strukturierte Generierung für JSON, Regex und agentenbasierte Workflows unter Verwendung seines RadixAttention-Prefix-Cachings spezialisiert. Es bietet deutlich schnellere Inferenz, insbesondere für Aufgaben mit wiederholten Präfixen, was es ideal für komplexe, strukturierte Ausgaben und Mehrfachdialoge macht. Wählen Sie SGLang gegenüber Alternativen wie vLLM, wenn Sie constrained decoding benötigen oder Anwendungen mit umfangreicher Präfix-Weitergabe entwickeln.

Schnellinstallation

Claude Code

Empfohlen
Primär
npx skills add zechenzhangAGI/AI-research-SKILLs -a claude-code
Plugin-BefehlAlternativ
/plugin add https://github.com/zechenzhangAGI/AI-research-SKILLs
Git CloneAlternativ
git clone https://github.com/zechenzhangAGI/AI-research-SKILLs.git ~/.claude/skills/sglang

Kopieren Sie diesen Befehl und fügen Sie ihn in Claude Code ein, um diese Fähigkeit zu installieren

GitHub Repository

zechenzhangAGI/AI-research-SKILLs
Pfad: 12-inference-serving/sglang
0
aiai-researchclaudeclaude-codeclaude-skillscodex

Verwandte Skills

content-collections

Meta

This skill provides a production-tested setup for Content Collections, a TypeScript-first tool that transforms Markdown/MDX files into type-safe data collections with Zod validation. Use it when building blogs, documentation sites, or content-heavy Vite + React applications to ensure type safety and automatic content validation. It covers everything from Vite plugin configuration and MDX compilation to deployment optimization and schema validation.

Skill ansehen

himalaya-email-manager

Kommunikation

This Claude Skill enables email management through the Himalaya CLI tool using IMAP. It allows developers to search, summarize, and delete emails from an IMAP account with natural language queries. Use it for automated email workflows like getting daily summaries or performing batch operations directly from Claude.

Skill ansehen

cloudflare-turnstile

Meta

This skill provides comprehensive guidance for implementing Cloudflare Turnstile as a CAPTCHA-alternative bot protection system. It covers integration for forms, login pages, API endpoints, and frameworks like React/Next.js/Hono, while handling invisible challenges that maintain user experience. Use it when migrating from reCAPTCHA, debugging error codes, or implementing token validation and E2E tests.

Skill ansehen

evaluating-llms-harness

Testen

This Claude Skill runs the lm-evaluation-harness to benchmark LLMs across 60+ standardized academic tasks like MMLU and GSM8K. It's designed for developers to compare model quality, track training progress, or report academic results. The tool supports various backends including HuggingFace and vLLM models.

Skill ansehen