gptq
について
GPTQは、大規模言語モデル(LLM)向けの4ビット学習後量子化技術であり、最小限の精度損失でメモリ使用量を4分の1に削減し、推論速度を3〜4倍向上させます。消費者のGPU上で大規模モデルをデプロイするのに最適で、QLoRAファインチューニングのためにtransformersおよびPEFTと統合できます。限られたハードウェア上で70B+パラメータのモデルを性能を維持しながら動作させる必要がある場合にご利用ください。
クイックインストール
Claude Code
推奨npx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/gptqこのコマンドをClaude Codeにコピー&ペーストしてスキルをインストールします
GitHub リポジトリ
Frequently asked questions
What is the gptq skill?
gptq is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform gptq-related tasks without extra prompting.
How do I install gptq?
Use the install commands on this page: add gptq to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does gptq belong to?
gptq is in the Other category, tagged Optimization, GPTQ, Quantization, 4-Bit, Post-Training and Memory Optimization.
Is gptq free to use?
Yes. gptq is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
関連スキル
LlamaGuardは、暴力やヘイトスピーチなど6つの安全性カテゴリーにおいて、LLMの入力と出力をモデレートするMetaの70-80億パラメータモデルです。94〜95%の精度を提供し、vLLM、Hugging Face、Amazon SageMakerを使用してデプロイ可能です。このスキルを使用して、AIアプリケーションにコンテンツフィルタリングと安全策を簡単に統合できます。
このClaudeスキルは、リソースの適正サイジング、タグ付け戦略、支出分析を通じて、開発者がクラウドコストを最適化することを支援します。AWS、Azure、GCPにわたるクラウド支出の削減とコストガバナンスの実施のためのフレームワークを提供します。インフラコストの分析、リソースの適正サイジング、または予算制約への対応が必要な際にご利用ください。
このClaudeスキルは、スポーツベッティング市場(スプレッド、オーバー/アンダー、プロップベットなど)を分析し、過去の傾向や状況統計を検証することでバリューベットを特定します。教育目的のための実践的な提案を構造化されたマークダウン形式で出力します。開発者はスポーツベッティング分析ツールとして本機能を活用できますが、娯楽および教育目的に限定されている点に留意してください。
このスキルは、bitsandbytesを使用してLLMを8ビットまたは4ビット精度に量子化し、精度の低下を最小限に抑えつつ50〜75%のメモリ削減を実現します。限られたGPUメモリでより大規模なモデルを実行したり、推論を高速化するのに理想的で、INT8、NF4、FP4などのフォーマットをサポートしています。HuggingFace Transformersと統合され、QLoRAトレーニングや8ビットオプティマイザーを可能にします。
