MCP HubMCP Hub
SKILL·2321F0

serving-llms-vllm

zechenzhangAGI
更新日 4 months ago
373 閲覧
62
2
62
GitHubで表示
開発aiapi

について

このClaude Skillは、vLLMのPagedAttentionと継続的バッチ処理を活用し、高いスループットでLLMを提供します。本番環境でのLLM APIのデプロイ、推論パフォーマンスの最適化、あるいは限られたGPUメモリでのモデルサービングに最適です。このスキルはOpenAI互換エンドポイント、複数の量子化手法、テンソル並列処理をサポートしています。

クイックインストール

Claude Code

推奨
メイン
npx skills add zechenzhangAGI/AI-research-SKILLs -a claude-code
プラグインコマンド代替
/plugin add https://github.com/zechenzhangAGI/AI-research-SKILLs
Git クローン代替
git clone https://github.com/zechenzhangAGI/AI-research-SKILLs.git ~/.claude/skills/serving-llms-vllm

このコマンドをClaude Codeにコピー&ペーストしてスキルをインストールします

GitHub リポジトリ

zechenzhangAGI/AI-research-SKILLs
パス: 12-inference-serving/vllm
0
aiai-researchclaudeclaude-codeclaude-skillscodex
FAQ

よくある質問

serving-llms-vllm Skillとは何ですか?

serving-llms-vllm はzechenzhangAGI が作成した Claude Skillです。Skillは、Claudeが必要に応じて読み込む指示とリソースをまとめ、追加の指示なしで serving-llms-vllm に関連するタスクを実行できるようにします。

serving-llms-vllm をインストールするには?

このページのインストールコマンドを使用してください。serving-llms-vllm をプラグインとして Claude Code に追加するか、リポジトリを skills ディレクトリにクローンし、Claudeを再起動してSkillを読み込みます。

serving-llms-vllm はどのカテゴリに属しますか?

serving-llms-vllm は 開発 カテゴリに属します。

serving-llms-vllm は無料で利用できますか?

はい。serving-llms-vllm は AIMCP に掲載されており、無料でインストールできます。

関連スキル

qmd
開発

qmdは、BM25、ベクトル埋め込み、およびリランキングを組み合わせたハイブリッド検索を用いて、ローカルファイルのインデックス作成と検索を可能にするローカル検索・インデックス作成CLIツールです。コマンドラインでの使用と、Claudeとの統合のためのMCP(Model Context Protocol)モードの両方をサポートしています。このツールは埋め込みにOllamaを使用し、インデックスをローカルに保存するため、ターミナルから直接ドキュメントやコードベースを検索するのに最適です。

スキルを見る
subagent-driven-development
開発

このスキルは、各独立したタスクに対して新規のサブエージェントを起動し、タスク間でコードレビューを実施しながら実装計画を実行します。レビュープロセスを通じて品質基準を維持しつつ、迅速な反復を可能にします。同一セッション内で主に独立したタスクに取り組む際に本スキルをご利用いただくことで、組み込まれた品質チェックを伴う継続的な進捗を確保できます。

スキルを見る
mcporter
開発

mcporterスキルは、開発者がClaudeから直接Model Context Protocol(MCP)サーバーを管理および呼び出せるようにします。このスキルは、利用可能なサーバーの一覧表示、引数を指定したツールの呼び出し、認証およびデーモンのライフサイクル管理を行うコマンドを提供します。開発ワークフローにおいてMCPサーバーの機能を統合およびテストする際に、このスキルをご利用ください。

スキルを見る
adk-deployment-specialist
開発

このスキルは、A2Aプロトコルを使用してVertex AI ADKエージェントをデプロイおよびオーケストレーションし、AgentCardの発見、タスク送信、およびコード実行サンドボックスやメモリバンクなどのサポートツールを管理します。Python、Java、またはGoで、順次、並列、またはループのオーケストレーションパターンを用いたマルチエージェントシステムの構築を可能にします。Google Cloud上でADKエージェントのデプロイやエージェントワークフローのオーケストレーションを求められた際にご利用ください。

スキルを見る