Evals
À propos
La compétence Evals fournit des métriques d'évaluation objectives pour tester des agents et modèles d'IA en utilisant des évaluateurs basés sur du code, des modèles ou des humains, avec un système de notation pass@k/pass^k. Utilisez-la pour l'étalonnage, les tests de régression, la comparaison de modèles/prompts et la vérification du comportement des agents. Les fonctionnalités clés incluent la création de juges, la gestion de suites de tests, la capture de transcriptions et la consultation de résultats détaillés.
Installation rapide
Claude Code
Recommandénpx skills add danielmiessler/Personal_AI_Infrastructure -a claude-code/plugin add https://github.com/danielmiessler/Personal_AI_Infrastructuregit clone https://github.com/danielmiessler/Personal_AI_Infrastructure.git ~/.claude/skills/EvalsCopiez et collez cette commande dans Claude Code pour installer cette compétence
Dépôt GitHub
Frequently asked questions
What is the Evals skill?
Evals is a Claude Skill by danielmiessler. Skills package instructions and resources that Claude loads on demand, so Claude can perform Evals-related tasks without extra prompting.
How do I install Evals?
Use the install commands on this page: add Evals to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does Evals belong to?
Evals is in the Meta category, tagged ai, testing and design.
Is Evals free to use?
Yes. Evals is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Compétences associées
Cette compétence propose une configuration éprouvée en production pour Content Collections, un outil axé sur TypeScript qui transforme des fichiers Markdown/MDX en collections de données typées de manière sûre avec une validation Zod. Utilisez-la lors de la création de blogs, de sites de documentation ou d'applications Vite + React riches en contenu pour garantir la sécurité de typage et la validation automatique du contenu. Elle couvre tout, de la configuration du plugin Vite et de la compilation MDX à l'optimisation des déploiements et la validation des schémas.
Cette compétence permet aux développeurs de créer des applications avec la plateforme de marchés prédictifs Polymarket, incluant l'intégration d'API pour le trading et les données de marché. Elle fournit également une diffusion de données en temps réel via WebSocket pour surveiller les transactions en direct et l'activité du marché. Utilisez-la pour mettre en œuvre des stratégies de trading ou pour créer des outils traitant les mises à jour de marché en direct.
Cette compétence aide les développeurs à créer des plugins OpenCode qui s'interconnectent avec plus de 25 types d'événements tels que les commandes, les fichiers et les opérations LSP. Elle fournit la structure du plugin, les spécifications de l'API événementielle et les modèles d'implémentation pour les modules JavaScript/TypeScript. Utilisez-la lorsque vous avez besoin d'intercepter, de surveiller ou d'étendre le cycle de vie de l'assistant IA OpenCode avec une logique personnalisée pilotée par les événements.
SGLang est un framework de service LLM haute performance spécialisé dans la génération rapide et structurée pour les workflows JSON, regex et agentiques grâce à son cache de préfixe RadixAttention. Il offre une inférence nettement plus rapide, particulièrement pour les tâches avec des préfixes répétés, ce qui le rend idéal pour les sorties complexes et structurées ainsi que les conversations multi-tours. Choisissez SGLang plutôt que des alternatives comme vLLM lorsque vous avez besoin d'un décodage contraint ou que vous construisez des applications avec un partage étendu de préfixes.
