返回技能列表

quantizing-models-bitsandbytes

davila7
更新于 23 days ago
913 次查看
18,478
1,685
18,478
在 GitHub 上查看
其他OptimizationBitsandbytesQuantization8-Bit4-BitMemory OptimizationQLoRANF4INT8HuggingFaceEfficient Inference

关于

This skill quantizes LLMs to 8-bit or 4-bit precision using bitsandbytes, achieving 50-75% memory reduction with minimal accuracy loss. It's ideal for running larger models on limited GPU memory or accelerating inference, supporting formats like INT8, NF4, and FP4. The skill integrates with HuggingFace Transformers and enables QLoRA training and 8-bit optimizers.

快速安装

Claude Code

推荐
主要方式
npx skills add davila7/claude-code-templates -a claude-code
插件命令备选方式
/plugin add https://github.com/davila7/claude-code-templates
Git 克隆备选方式
git clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/quantizing-models-bitsandbytes

在 Claude Code 中复制并粘贴此命令以安装该技能

GitHub 仓库

davila7/claude-code-templates
路径: cli-tool/components/skills/ai-research/optimization-bitsandbytes
0
anthropicanthropic-claudeclaudeclaude-code

相关推荐技能

llamaguard

其他

LlamaGuard是Meta推出的7-8B参数内容审核模型,专门用于过滤LLM的输入和输出内容。它能检测六大安全风险类别(暴力/仇恨、性内容、武器、违禁品、自残、犯罪计划),准确率达94-95%。开发者可通过HuggingFace、vLLM或Sagemaker快速部署,并能与NeMo Guardrails集成实现自动化安全防护。

查看技能

cost-optimization

其他

这个Claude Skill帮助开发者优化云成本,通过资源调整、标记策略和预留实例来降低AWS、Azure和GCP的开支。它适用于减少云支出、分析基础设施成本或实施成本治理策略的场景。关键功能包括提供成本可视化、资源规模调整指导和定价模型优化建议。

查看技能

dispatching-parallel-agents

其他

该Skill用于并行处理3个以上无依赖关系的独立故障,可为每个问题域分派专属Claude代理同时执行调查修复。它通过并发处理多个独立问题显著提升故障排查效率,特别适用于测试文件、子系统等无共享状态的场景。

查看技能

blucli

其他

blucli 是一个通过命令行控制 Bluesound/NAD 播放器的 Claude Skill,支持设备发现、播放控制、分组管理和音量调节。它允许开发者通过 `blu` 命令快速操作播放器,并支持通过设备 ID、环境变量或配置文件指定目标设备。对于脚本编写,可使用 `--json` 参数获取结构化数据,并提供了 TuneIn 搜索播放等高级功能。

查看技能