Evals
Über
Evals ist ein Agenten-Evaluierungs-Framework zum Testen und Benchmarking von Claude Code-Agenten, das die Best Practices von Anthropic implementiert. Nutzen Sie es für Regressionstests, Fähigkeitsüberprüfung und Verhaltensvalidierung mit codebasierten, modellbasierten oder menschlichen Bewertern. Es bietet Transkript-Erfassung, Pass@k/Pass^k-Metriken und Integration mit dem ALGORITHM-System.
Schnellinstallation
Claude Code
Empfohlennpx skills add danielmiessler/Personal_AI_Infrastructure -a claude-code/plugin add https://github.com/danielmiessler/Personal_AI_Infrastructuregit clone https://github.com/danielmiessler/Personal_AI_Infrastructure.git ~/.claude/skills/EvalsKopieren Sie diesen Befehl und fügen Sie ihn in Claude Code ein, um diese Fähigkeit zu installieren
GitHub Repository
Frequently asked questions
What is the Evals skill?
Evals is a Claude Skill by danielmiessler. Skills package instructions and resources that Claude loads on demand, so Claude can perform Evals-related tasks without extra prompting.
How do I install Evals?
Use the install commands on this page: add Evals to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does Evals belong to?
Evals is in the Testing category, tagged testing.
Is Evals free to use?
Yes. Evals is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Verwandte Skills
Diese Claude Skill führt den lm-evaluation-harness aus, um LLMs über 60+ standardisierte akademische Aufgaben wie MMLU und GSM8K zu benchmarken. Sie wurde für Entwickler entwickelt, um Modellqualität zu vergleichen, Trainingsfortschritt zu verfolgen oder akademische Ergebnisse zu berichten. Das Tool unterstützt verschiedene Backends, einschließlich HuggingFace- und vLLM-Modelle.
Diese Fähigkeit bietet umfassendes Wissen zur Implementierung von Cloudflare Cron Triggers, um Workers mithilfe von Cron-Ausdrücken zu planen. Sie behandelt das Einrichten periodischer Aufgaben, Wartungsjobs und automatisierter Workflows, während häufige Probleme wie ungültige Cron-Ausdrücke und Zeitzonenprobleme behandelt werden. Entwickler können sie zum Konfigurieren geplanter Handler, zum Testen von Cron-Triggers und zur Integration mit Workflows und Green Compute verwenden.
Diese Claude Skill bietet ein Playwright-basiertes Toolkit zum Testen lokaler Webanwendungen durch Python-Skripte. Es ermöglicht Frontend-Verifizierung, UI-Debugging, Screenshot-Aufnahme und Log-Einblick bei gleichzeitiger Verwaltung von Server-Lebenszyklen. Nutzen Sie es für Browser-Automatisierungsaufgaben, führen Sie Skripte jedoch direkt aus, anstatt deren Quellcode zu lesen, um Kontextverschmutzung zu vermeiden.
Diese Fähigkeit unterstützt Entwickler dabei, abgeschlossene Arbeiten zu finalisieren, indem sie testet, ob Tests bestehen, und dann strukturierte Integrationsoptionen präsentiert. Sie leitet den Workflow für das Zusammenführen von Code, das Erstellen von PRs oder das Bereinigen von Branches nach Abschluss der Implementierung. Nutzen Sie sie, wenn Ihr Code bereit und getestet ist, um den Entwicklungsprozess systematisch abzuschließen.