moe-training
Acerca de
Esta habilidad permite entrenar modelos de Mezcla de Expertos (MoE) utilizando DeepSpeed o HuggingFace, ofreciendo una reducción de costos de 5 veces en comparación con modelos densos para entrenamiento a gran escala. Es ideal para implementar arquitecturas dispersas como Mixtral 8x7B y escalar la capacidad del modelo sin un aumento proporcional en el cómputo. La habilidad cubre arquitecturas MoE, enrutamiento, balanceo de carga, paralelismo de expertos y optimización de inferencia.
Instalación rápida
Claude Code
Recomendadonpx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/moe-trainingCopia y pega este comando en Claude Code para instalar esta habilidad
Repositorio GitHub
Frequently asked questions
What is the moe-training skill?
moe-training is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform moe-training-related tasks without extra prompting.
How do I install moe-training?
Use the install commands on this page: add moe-training to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does moe-training belong to?
moe-training is in the Other category, tagged Emerging Techniques, MoE, Mixture Of Experts, Sparse Models, DeepSpeed and Expert Parallelism.
Is moe-training free to use?
Yes. moe-training is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Habilidades relacionadas
LlamaGuard es el modelo de Meta de 7-8B parámetros para moderar las entradas y salidas de LLM en seis categorías de seguridad como violencia y discurso de odio. Ofrece una precisión del 94-95% y puede implementarse usando vLLM, Hugging Face o Amazon SageMaker. Utiliza esta skill para integrar fácilmente filtrado de contenido y barreras de seguridad en tus aplicaciones de IA.
Esta Skill de Claude ayuda a los desarrolladores a optimizar los costes en la nube mediante el ajuste de tamaño de recursos, estrategias de etiquetado y análisis de gastos. Proporciona un marco para reducir los gastos en la nube e implementar una gobernanza de costes en AWS, Azure y GCP. Úsala cuando necesites analizar los costes de infraestructura, ajustar el tamaño de los recursos o cumplir con restricciones presupuestarias.
Esta habilidad de Claude analiza los mercados de apuestas deportivas, incluyendo spreads, over/unders y apuestas de propuestas, mediante el examen de tendencias históricas y estadísticas situacionales para identificar apuestas de valor. Proporciona una salida en markdown estructurado con recomendaciones accionables con fines educativos. Los desarrolladores deben utilizar esto para herramientas de análisis de apuestas deportivas, teniendo en cuenta que está diseñado únicamente para entretenimiento/educación.
Esta habilidad cuantiza LLMs a precisión de 8 o 4 bits utilizando bitsandbytes, logrando una reducción de memoria del 50-75% con pérdida mínima de precisión. Es ideal para ejecutar modelos más grandes en memoria GPU limitada o para acelerar la inferencia, admitiendo formatos como INT8, NF4 y FP4. La habilidad se integra con HuggingFace Transformers y permite entrenamiento QLoRA y optimizadores de 8 bits.