gptq
О программе
GPTQ — это 4-битная техника посттренировочной квантизации для больших языковых моделей, которая позволяет снизить потребление памяти в 4 раза и ускорить вывод в 3–4 раза при минимальной потере точности. Она идеально подходит для развертывания крупных моделей на потребительских видеокартах и интегрируется с transformers и PEFT для тонкой настройки методом QLoRA. Используйте её, когда необходимо запустить модели с 70+ миллиардами параметров на ограниченном оборудовании, сохраняя при этом производительность.
Быстрая установка
Claude Code
Рекомендуетсяnpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/gptqСкопируйте и вставьте эту команду в Claude Code для установки этого навыка
GitHub репозиторий
Часто задаваемые вопросы
Что такое Skill gptq?
gptq — это Claude Skill от davila7. Skills объединяют инструкции и ресурсы, которые Claude загружает по мере необходимости, чтобы выполнять задачи, связанные с gptq, без дополнительных запросов.
Как установить gptq?
Используйте команды установки на этой странице: добавьте gptq в Claude Code как плагин или клонируйте репозиторий в каталог skills, затем перезапустите Claude, чтобы загрузить Skill.
К какой категории относится gptq?
gptq относится к категории Другое.
Можно ли использовать gptq бесплатно?
Да. gptq размещён на AIMCP и доступен для бесплатной установки.
Похожие навыки
LlamaGuard — это модель от Meta с 7–8 миллиардами параметров для модерации входных и выходных данных больших языковых моделей по шести категориям безопасности, таким как насилие и разжигание ненависти. Она обеспечивает точность 94–95% и может быть развернута с помощью vLLM, Hugging Face или Amazon SageMaker. Используйте этот навык, чтобы легко интегрировать фильтрацию контента и защитные механизмы в ваши ИИ-приложения.
Этот навык Claude помогает разработчикам оптимизировать облачные расходы за счет правильного подбора ресурсов, стратегий тегирования и анализа затрат. Он предоставляет framework для сокращения облачных расходов и внедрения управления затратами в AWS, Azure и GCP. Используйте его, когда вам нужно проанализировать расходы на инфраструктуру, оптимизировать ресурсы или уложиться в бюджетные ограничения.
Этот навык Клода анализирует рынки спортивных ставок, включая форы, тоталы и ставки на игроков, изучая исторические тенденции и ситуационную статистику для выявления валуйных ставок. Он предоставляет структурированный вывод в формате markdown с практическими рекомендациями в образовательных целях. Разработчикам следует использовать его для инструментов анализа спортивных ставок, учитывая, что он предназначен исключительно для развлечения и обучения.
Этот навык выполняет квантизацию LLM до 8-битной или 4-битной точности с использованием библиотеки bitsandbytes, обеспечивая сокращение использования памяти на 50-75% при минимальной потере точности. Он идеально подходит для запуска больших моделей при ограниченной памяти GPU или для ускорения вывода, поддерживая форматы INT8, NF4 и FP4. Навык интегрируется с HuggingFace Transformers и позволяет использовать обучение QLoRA и 8-битные оптимизаторы.
