Evals
Acerca de
La habilidad Evals proporciona métricas de evaluación objetiva para agentes de IA utilizando calificadores de código, modelo o humanos con puntuación pass@k/pass^k. Úsala cuando necesites realizar pruebas comparativas, pruebas de regresión o comparar modelos y prompts. Incluye capacidades de gestión de conjuntos de pruebas, captura de transcripciones y ejecución de pruebas para flujos de trabajo de evaluación integrales.
Instalación rápida
Claude Code
Recomendadonpx skills add danielmiessler/Personal_AI_Infrastructure -a claude-code/plugin add https://github.com/danielmiessler/Personal_AI_Infrastructuregit clone https://github.com/danielmiessler/Personal_AI_Infrastructure.git ~/.claude/skills/EvalsCopia y pega este comando en Claude Code para instalar esta habilidad
Repositorio GitHub
Frequently asked questions
What is the Evals skill?
Evals is a Claude Skill by danielmiessler. Skills package instructions and resources that Claude loads on demand, so Claude can perform Evals-related tasks without extra prompting.
How do I install Evals?
Use the install commands on this page: add Evals to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does Evals belong to?
Evals is in the Meta category, tagged ai, testing and design.
Is Evals free to use?
Yes. Evals is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Habilidades relacionadas
Esta habilidad proporciona una configuración probada en producción para Content Collections, una herramienta centrada en TypeScript que transforma archivos Markdown/MDX en colecciones de datos con tipado seguro mediante validación Zod. Úsala al construir blogs, sitios de documentación o aplicaciones Vite + React con mucho contenido para garantizar seguridad de tipos y validación automática de contenido. Abarca todo, desde la configuración del plugin de Vite y compilación MDX hasta la optimización de despliegue y validación de esquemas.
Esta habilidad permite a los desarrolladores crear aplicaciones con la plataforma de mercados de predicción Polymarket, incluyendo la integración de API para operaciones y datos de mercado. También proporciona transmisión de datos en tiempo real a través de WebSocket para monitorear operaciones en vivo y actividad del mercado. Úsela para implementar estrategias de trading o crear herramientas que procesen actualizaciones de mercado en tiempo real.
Esta habilidad ayuda a los desarrolladores a crear complementos de OpenCode que se conectan a más de 25 tipos de eventos, como comandos, archivos y operaciones LSP. Proporciona la estructura del complemento, las especificaciones de la API de eventos y los patrones de implementación para módulos en JavaScript/TypeScript. Úsala cuando necesites interceptar, monitorear o extender el ciclo de vida del asistente de IA de OpenCode con lógica personalizada basada en eventos.
SGLang es un framework de alto rendimiento para el servicio de LLM que se especializa en generación rápida y estructurada para JSON, expresiones regulares y flujos de trabajo de agentes utilizando su caché de prefijos RadixAttention. Ofrece una inferencia significativamente más rápida, especialmente para tareas con prefijos repetidos, lo que lo hace ideal para salidas complejas y estructuradas, y conversaciones multiturno. Elige SGLang sobre alternativas como vLLM cuando necesites decodificación restringida o estés construyendo aplicaciones con uso extensivo de prefijos compartidos.