MCP HubMCP Hub
SKILL·1CF07E

gptq

davila7
Обновлено 2 months ago
293 просмотров
18,478
1,685
18,478
Посмотреть на GitHub
ДругоеOptimizationGPTQQuantization4-BitPost-TrainingMemory OptimizationConsumer GPUsFast InferenceQLoRAGroup-Wise Quantization

О программе

GPTQ — это 4-битная техника посттренировочной квантизации для больших языковых моделей, которая позволяет снизить потребление памяти в 4 раза и ускорить вывод в 3–4 раза при минимальной потере точности. Она идеально подходит для развертывания крупных моделей на потребительских видеокартах и интегрируется с transformers и PEFT для тонкой настройки методом QLoRA. Используйте её, когда необходимо запустить модели с 70+ миллиардами параметров на ограниченном оборудовании, сохраняя при этом производительность.

Быстрая установка

Claude Code

Рекомендуется
Основной
npx skills add davila7/claude-code-templates -a claude-code
Команда плагинаАльтернативный
/plugin add https://github.com/davila7/claude-code-templates
Git клонированиеАльтернативный
git clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/gptq

Скопируйте и вставьте эту команду в Claude Code для установки этого навыка

GitHub репозиторий

davila7/claude-code-templates
Путь: cli-tool/components/skills/ai-research/optimization-gptq
0
anthropicanthropic-claudeclaudeclaude-code
FAQ

Frequently asked questions

What is the gptq skill?

gptq is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform gptq-related tasks without extra prompting.

How do I install gptq?

Use the install commands on this page: add gptq to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.

What category does gptq belong to?

gptq is in the Other category, tagged Optimization, GPTQ, Quantization, 4-Bit, Post-Training and Memory Optimization.

Is gptq free to use?

Yes. gptq is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.

Похожие навыки

llamaguard
Другое

LlamaGuard — это модель от Meta с 7–8 миллиардами параметров для модерации входных и выходных данных больших языковых моделей по шести категориям безопасности, таким как насилие и разжигание ненависти. Она обеспечивает точность 94–95% и может быть развернута с помощью vLLM, Hugging Face или Amazon SageMaker. Используйте этот навык, чтобы легко интегрировать фильтрацию контента и защитные механизмы в ваши ИИ-приложения.

Просмотреть навык
cost-optimization
Другое

Этот навык Claude помогает разработчикам оптимизировать облачные расходы за счет правильного подбора ресурсов, стратегий тегирования и анализа затрат. Он предоставляет framework для сокращения облачных расходов и внедрения управления затратами в AWS, Azure и GCP. Используйте его, когда вам нужно проанализировать расходы на инфраструктуру, оптимизировать ресурсы или уложиться в бюджетные ограничения.

Просмотреть навык
sports-betting-analyzer
Другое

Этот навык Клода анализирует рынки спортивных ставок, включая форы, тоталы и ставки на игроков, изучая исторические тенденции и ситуационную статистику для выявления валуйных ставок. Он предоставляет структурированный вывод в формате markdown с практическими рекомендациями в образовательных целях. Разработчикам следует использовать его для инструментов анализа спортивных ставок, учитывая, что он предназначен исключительно для развлечения и обучения.

Просмотреть навык
quantizing-models-bitsandbytes
Другое

Этот навык выполняет квантизацию LLM до 8-битной или 4-битной точности с использованием библиотеки bitsandbytes, обеспечивая сокращение использования памяти на 50-75% при минимальной потере точности. Он идеально подходит для запуска больших моделей при ограниченной памяти GPU или для ускорения вывода, поддерживая форматы INT8, NF4 и FP4. Навык интегрируется с HuggingFace Transformers и позволяет использовать обучение QLoRA и 8-битные оптимизаторы.

Просмотреть навык