knowledge-distillation
О программе
Этот навык позволяет проводить дистилляцию знаний для сжатия больших языковых моделей в более компактные и эффективные версии с сохранением производительности. Он полезен для передачи возможностей от таких моделей, как GPT-4, к открытым аналогам или для снижения затрат на инференс. Ключевые методы включают температурное масштабирование, мягкие целевые значения и дистилляцию логитов.
Быстрая установка
Claude Code
Рекомендуетсяnpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/knowledge-distillationСкопируйте и вставьте эту команду в Claude Code для установки этого навыка
GitHub репозиторий
Frequently asked questions
What is the knowledge-distillation skill?
knowledge-distillation is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform knowledge-distillation-related tasks without extra prompting.
How do I install knowledge-distillation?
Use the install commands on this page: add knowledge-distillation to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does knowledge-distillation belong to?
knowledge-distillation is in the Other category, tagged Emerging Techniques, Knowledge Distillation, Model Compression, Teacher-Student, MiniLLM and Reverse KLD.
Is knowledge-distillation free to use?
Yes. knowledge-distillation is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Похожие навыки
LlamaGuard — это модель от Meta с 7–8 миллиардами параметров для модерации входных и выходных данных больших языковых моделей по шести категориям безопасности, таким как насилие и разжигание ненависти. Она обеспечивает точность 94–95% и может быть развернута с помощью vLLM, Hugging Face или Amazon SageMaker. Используйте этот навык, чтобы легко интегрировать фильтрацию контента и защитные механизмы в ваши ИИ-приложения.
Этот навык Claude помогает разработчикам оптимизировать облачные расходы за счет правильного подбора ресурсов, стратегий тегирования и анализа затрат. Он предоставляет framework для сокращения облачных расходов и внедрения управления затратами в AWS, Azure и GCP. Используйте его, когда вам нужно проанализировать расходы на инфраструктуру, оптимизировать ресурсы или уложиться в бюджетные ограничения.
Этот навык Клода анализирует рынки спортивных ставок, включая форы, тоталы и ставки на игроков, изучая исторические тенденции и ситуационную статистику для выявления валуйных ставок. Он предоставляет структурированный вывод в формате markdown с практическими рекомендациями в образовательных целях. Разработчикам следует использовать его для инструментов анализа спортивных ставок, учитывая, что он предназначен исключительно для развлечения и обучения.
Этот навык выполняет квантизацию LLM до 8-битной или 4-битной точности с использованием библиотеки bitsandbytes, обеспечивая сокращение использования памяти на 50-75% при минимальной потере точности. Он идеально подходит для запуска больших моделей при ограниченной памяти GPU или для ускорения вывода, поддерживая форматы INT8, NF4 и FP4. Навык интегрируется с HuggingFace Transformers и позволяет использовать обучение QLoRA и 8-битные оптимизаторы.
