MCP HubMCP Hub
SKILL·1CF07E

gptq

davila7
更新日 2 months ago
293 閲覧
18,478
1,685
18,478
GitHubで表示
その他OptimizationGPTQQuantization4-BitPost-TrainingMemory OptimizationConsumer GPUsFast InferenceQLoRAGroup-Wise Quantization

について

GPTQは、大規模言語モデル(LLM)向けの4ビット学習後量子化技術であり、最小限の精度損失でメモリ使用量を4分の1に削減し、推論速度を3〜4倍向上させます。消費者のGPU上で大規模モデルをデプロイするのに最適で、QLoRAファインチューニングのためにtransformersおよびPEFTと統合できます。限られたハードウェア上で70B+パラメータのモデルを性能を維持しながら動作させる必要がある場合にご利用ください。

クイックインストール

Claude Code

推奨
メイン
npx skills add davila7/claude-code-templates -a claude-code
プラグインコマンド代替
/plugin add https://github.com/davila7/claude-code-templates
Git クローン代替
git clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/gptq

このコマンドをClaude Codeにコピー&ペーストしてスキルをインストールします

GitHub リポジトリ

davila7/claude-code-templates
パス: cli-tool/components/skills/ai-research/optimization-gptq
0
anthropicanthropic-claudeclaudeclaude-code
FAQ

Frequently asked questions

What is the gptq skill?

gptq is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform gptq-related tasks without extra prompting.

How do I install gptq?

Use the install commands on this page: add gptq to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.

What category does gptq belong to?

gptq is in the Other category, tagged Optimization, GPTQ, Quantization, 4-Bit, Post-Training and Memory Optimization.

Is gptq free to use?

Yes. gptq is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.

関連スキル

llamaguard
その他

LlamaGuardは、暴力やヘイトスピーチなど6つの安全性カテゴリーにおいて、LLMの入力と出力をモデレートするMetaの70-80億パラメータモデルです。94〜95%の精度を提供し、vLLM、Hugging Face、Amazon SageMakerを使用してデプロイ可能です。このスキルを使用して、AIアプリケーションにコンテンツフィルタリングと安全策を簡単に統合できます。

スキルを見る
cost-optimization
その他

このClaudeスキルは、リソースの適正サイジング、タグ付け戦略、支出分析を通じて、開発者がクラウドコストを最適化することを支援します。AWS、Azure、GCPにわたるクラウド支出の削減とコストガバナンスの実施のためのフレームワークを提供します。インフラコストの分析、リソースの適正サイジング、または予算制約への対応が必要な際にご利用ください。

スキルを見る
sports-betting-analyzer
その他

このClaudeスキルは、スポーツベッティング市場(スプレッド、オーバー/アンダー、プロップベットなど)を分析し、過去の傾向や状況統計を検証することでバリューベットを特定します。教育目的のための実践的な提案を構造化されたマークダウン形式で出力します。開発者はスポーツベッティング分析ツールとして本機能を活用できますが、娯楽および教育目的に限定されている点に留意してください。

スキルを見る
quantizing-models-bitsandbytes
その他

このスキルは、bitsandbytesを使用してLLMを8ビットまたは4ビット精度に量子化し、精度の低下を最小限に抑えつつ50〜75%のメモリ削減を実現します。限られたGPUメモリでより大規模なモデルを実行したり、推論を高速化するのに理想的で、INT8、NF4、FP4などのフォーマットをサポートしています。HuggingFace Transformersと統合され、QLoRAトレーニングや8ビットオプティマイザーを可能にします。

スキルを見る