MCP HubMCP Hub
SKILL·E1F0F0

agent-evaluation

Claude-Code-Community-Ireland
Mis à jour 1 month ago
11 vues
5
1
5
Voir sur GitHub
Testsaitesting

À propos

Cette compétence fournit des cadres pour tester et évaluer les performances des agents LLM, en se concentrant sur les tests comportementaux, les évaluations de capacités et les métriques de fiabilité. Elle aborde le défi unique où les agents obtiennent de bons résultats sur les bancs d'essai, mais échouent souvent dans des scénarios réels. Utilisez-la pour l'évaluation d'agents, l'étalonnage et la surveillance en production afin de détecter les problèmes avant le déploiement.

Installation rapide

Claude Code

Recommandé
Principal
npx skills add Claude-Code-Community-Ireland/claude-code-resources -a claude-code
Commande PluginAlternatif
/plugin add https://github.com/Claude-Code-Community-Ireland/claude-code-resources
Git CloneAlternatif
git clone https://github.com/Claude-Code-Community-Ireland/claude-code-resources.git ~/.claude/skills/agent-evaluation

Copiez et collez cette commande dans Claude Code pour installer cette compétence

Dépôt GitHub

Claude-Code-Community-Ireland/claude-code-resources
Chemin: skills/general/agent-evaluation
0
FAQ

Frequently asked questions

What is the agent-evaluation skill?

agent-evaluation is a Claude Skill by Claude-Code-Community-Ireland. Skills package instructions and resources that Claude loads on demand, so Claude can perform agent-evaluation-related tasks without extra prompting.

How do I install agent-evaluation?

Use the install commands on this page: add agent-evaluation to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.

What category does agent-evaluation belong to?

agent-evaluation is in the Testing category, tagged ai and testing.

Is agent-evaluation free to use?

Yes. agent-evaluation is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.

Compétences associées

evaluating-llms-harness
Tests

Cette compétence Claude exécute le lm-evaluation-harness pour évaluer les modèles de langage sur plus de 60 tâches académiques standardisées telles que MMLU et GSM8K. Elle est conçue pour permettre aux développeurs de comparer la qualité des modèles, de suivre les progrès de l'entraînement ou de rapporter des résultats académiques. L'outil prend en charge différents backends, incluant les modèles HuggingFace et vLLM.

Voir la compétence
cloudflare-cron-triggers
Tests

Cette compétence fournit une connaissance complète pour la mise en œuvre de Déclencheurs Cron Cloudflare afin de planifier des Workers à l'aide d'expressions cron. Elle couvre la configuration de tâches périodiques, de travaux de maintenance et de flux de travail automatisés, tout en traitant des problèmes courants tels que les expressions cron non valides et les problèmes de fuseau horaire. Les développeurs peuvent l'utiliser pour configurer des gestionnaires planifiés, tester des déclencheurs cron et intégrer avec Workflows et Green Compute.

Voir la compétence
webapp-testing
Tests

Cette Compétence Claude fournit une boîte à outils basée sur Playwright pour tester des applications web locales via des scripts Python. Elle permet la vérification frontend, le débogage d'interface utilisateur, la capture d'écrans et la consultation des journaux, tout en gérant les cycles de vie du serveur. Utilisez-la pour les tâches d'automatisation de navigateur, mais exécutez les scripts directement plutôt que de lire leur code source pour éviter la pollution du contexte.

Voir la compétence
finishing-a-development-branch
Tests

Cette compétence aide les développeurs à finaliser leur travail en vérifiant que les tests passent, puis en présentant des options d'intégration structurées. Elle guide le processus de fusion, de création de PRs ou de nettoyage des branches une fois l'implémentation terminée. Utilisez-la lorsque votre code est prêt et testé pour finaliser systématiquement le cycle de développement.

Voir la compétence