MCP HubMCP Hub
SKILL·ED1C2B

quantizing-models-bitsandbytes

davila7
Mis à jour 2 months ago
925 vues
18,478
1,685
18,478
Voir sur GitHub
AutreOptimizationBitsandbytesQuantization8-Bit4-BitMemory OptimizationQLoRANF4INT8HuggingFaceEfficient Inference

À propos

Cette compétence quantifie les LLMs en précision 8 bits ou 4 bits à l'aide de bitsandbytes, permettant une réduction de 50 à 75 % de la mémoire utilisée avec une perte de précision minime. Elle est idéale pour exécuter des modèles plus volumineux sur une mémoire GPU limitée ou pour accélérer l'inférence, prenant en charge des formats comme INT8, NF4 et FP4. La compétence s'intègre à HuggingFace Transformers et permet l'entraînement QLoRA ainsi que l'utilisation d'optimiseurs en 8 bits.

Installation rapide

Claude Code

Recommandé
Principal
npx skills add davila7/claude-code-templates -a claude-code
Commande PluginAlternatif
/plugin add https://github.com/davila7/claude-code-templates
Git CloneAlternatif
git clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/quantizing-models-bitsandbytes

Copiez et collez cette commande dans Claude Code pour installer cette compétence

Dépôt GitHub

davila7/claude-code-templates
Chemin: cli-tool/components/skills/ai-research/optimization-bitsandbytes
0
anthropicanthropic-claudeclaudeclaude-code
FAQ

Frequently asked questions

What is the quantizing-models-bitsandbytes skill?

quantizing-models-bitsandbytes is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform quantizing-models-bitsandbytes-related tasks without extra prompting.

How do I install quantizing-models-bitsandbytes?

Use the install commands on this page: add quantizing-models-bitsandbytes to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.

What category does quantizing-models-bitsandbytes belong to?

quantizing-models-bitsandbytes is in the Other category, tagged Optimization, Bitsandbytes, Quantization, 8-Bit, 4-Bit and Memory Optimization.

Is quantizing-models-bitsandbytes free to use?

Yes. quantizing-models-bitsandbytes is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.

Compétences associées

llamaguard
Autre

LlamaGuard est le modèle de Meta, doté de 7 à 8 milliards de paramètres, conçu pour modérer les entrées et sorties des LLM selon six catégories de sécurité comme la violence et les discours haineux. Il offre une précision de 94 à 95 % et peut être déployé avec vLLM, Hugging Face ou Amazon SageMaker. Utilisez cette compétence pour intégrer facilement le filtrage de contenu et des garde-fous de sécurité dans vos applications d'IA.

Voir la compétence
cost-optimization
Autre

Cette compétence de Claude aide les développeurs à optimiser les coûts du cloud grâce au redimensionnement des ressources, aux stratégies d'étiquetage et à l'analyse des dépenses. Elle fournit un cadre pour réduire les dépenses cloud et mettre en œuvre une gouvernance des coûts sur AWS, Azure et GCP. Utilisez-la lorsque vous devez analyser les coûts d'infrastructure, redimensionner les ressources ou respecter des contraintes budgétaires.

Voir la compétence
sports-betting-analyzer
Autre

Cette compétence Claude analyse les marchés des paris sportifs, incluant les spreads, les over/under et les paris spéciaux, en examinant les tendances historiques et les statistiques situationnelles pour identifier les paris à valeur ajoutée. Elle fournit une sortie en markdown structuré avec des recommandations actionnables à des fins éducatives. Les développeurs doivent l'utiliser pour des outils d'analyse de paris sportifs tout en notant qu'elle est conçue uniquement pour le divertissement et l'éducation.

Voir la compétence
dispatching-parallel-agents
Autre

Cette compétence Claude déploie plusieurs agents pour enquêter et résoudre simultanément 3 problèmes indépendants ou plus. Elle est conçue pour des scénarios impliquant des défaillances non liées qui peuvent être résolues sans état partagé ni dépendances. La capacité fondamentale est la résolution de problèmes en parallèle, en assignant un agent par domaine problématique indépendant afin de maximiser l'efficacité.

Voir la compétence