llm-evaluation
Über
Die llm-evaluation-Skill bietet Strategien zur systematischen Prüfung und Messung der Leistung von LLM-Anwendungen mithilfe automatisierter Metriken, menschlichem Feedback und Benchmarking. Entwickler sollten sie verwenden, um Modelle zu vergleichen, Regressionen zu erkennen und die Qualität vor der Bereitstellung zu validieren. Sie bietet umsetzbare Schritte und Best Practices für die Implementierung umfassender Evaluierungsrahmen.
Schnellinstallation
Claude Code
Empfohlennpx skills add boisenoise/skills-collections -a claude-code/plugin add https://github.com/boisenoise/skills-collectionsgit clone https://github.com/boisenoise/skills-collections.git ~/.claude/skills/llm-evaluationKopieren Sie diesen Befehl und fügen Sie ihn in Claude Code ein, um diese Fähigkeit zu installieren
GitHub Repository
Frequently asked questions
What is the llm-evaluation skill?
llm-evaluation is a Claude Skill by boisenoise. Skills package instructions and resources that Claude loads on demand, so Claude can perform llm-evaluation-related tasks without extra prompting.
How do I install llm-evaluation?
Use the install commands on this page: add llm-evaluation to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does llm-evaluation belong to?
llm-evaluation is in the Testing category, tagged ai, testing and automation.
Is llm-evaluation free to use?
Yes. llm-evaluation is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Verwandte Skills
Diese Claude Skill führt den lm-evaluation-harness aus, um LLMs über 60+ standardisierte akademische Aufgaben wie MMLU und GSM8K zu benchmarken. Sie wurde für Entwickler entwickelt, um Modellqualität zu vergleichen, Trainingsfortschritt zu verfolgen oder akademische Ergebnisse zu berichten. Das Tool unterstützt verschiedene Backends, einschließlich HuggingFace- und vLLM-Modelle.
Diese Fähigkeit bietet umfassendes Wissen zur Implementierung von Cloudflare Cron Triggers, um Workers mithilfe von Cron-Ausdrücken zu planen. Sie behandelt das Einrichten periodischer Aufgaben, Wartungsjobs und automatisierter Workflows, während häufige Probleme wie ungültige Cron-Ausdrücke und Zeitzonenprobleme behandelt werden. Entwickler können sie zum Konfigurieren geplanter Handler, zum Testen von Cron-Triggers und zur Integration mit Workflows und Green Compute verwenden.
Diese Claude Skill bietet ein Playwright-basiertes Toolkit zum Testen lokaler Webanwendungen durch Python-Skripte. Es ermöglicht Frontend-Verifizierung, UI-Debugging, Screenshot-Aufnahme und Log-Einblick bei gleichzeitiger Verwaltung von Server-Lebenszyklen. Nutzen Sie es für Browser-Automatisierungsaufgaben, führen Sie Skripte jedoch direkt aus, anstatt deren Quellcode zu lesen, um Kontextverschmutzung zu vermeiden.
Diese Fähigkeit unterstützt Entwickler dabei, abgeschlossene Arbeiten zu finalisieren, indem sie testet, ob Tests bestehen, und dann strukturierte Integrationsoptionen präsentiert. Sie leitet den Workflow für das Zusammenführen von Code, das Erstellen von PRs oder das Bereinigen von Branches nach Abschluss der Implementierung. Nutzen Sie sie, wenn Ihr Code bereit und getestet ist, um den Entwicklungsprozess systematisch abzuschließen.