eval-harness
Über
Eval-harness ist ein formales Evaluierungsframework für Claude Code-Sitzungen, das die Prinzipien von Evaluation-Driven Development (EDD) umsetzt. Es ermöglicht Entwicklern, Pass/Fail-Kriterien für Aufgaben zu definieren, die Zuverlässigkeit von Agenten mit Pass@k-Metriken zu messen und Regressionstest-Suites zu erstellen. Nutzen Sie es, um EDD-Workflows einzurichten, die Leistung über Modellversionen hinweg zu benchmarken und Regressionen während der Entwicklung zu verfolgen.
Schnellinstallation
Claude Code
Empfohlennpx skills add affaan-m/everything-claude-code -a claude-code/plugin add https://github.com/affaan-m/everything-claude-codegit clone https://github.com/affaan-m/everything-claude-code.git ~/.claude/skills/eval-harnessKopieren Sie diesen Befehl und fügen Sie ihn in Claude Code ein, um diese Fähigkeit zu installieren
GitHub Repository
Frequently asked questions
What is the eval-harness skill?
eval-harness is a Claude Skill by affaan-m. Skills package instructions and resources that Claude loads on demand, so Claude can perform eval-harness-related tasks without extra prompting.
How do I install eval-harness?
Use the install commands on this page: add eval-harness to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does eval-harness belong to?
eval-harness is in the Other category, tagged general.
Is eval-harness free to use?
Yes. eval-harness is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
Verwandte Skills
LlamaGuard ist Metas 7-8B-Parameter-Modell zur Moderation von LLM-Eingaben und -Ausgaben in sechs Sicherheitskategorien wie Gewalt und Hassrede. Es bietet eine Genauigkeit von 94-95 % und kann mit vLLM, Hugging Face oder Amazon SageMaker eingesetzt werden. Nutzen Sie diese Skill, um Inhaltsfilterung und Sicherheitsguardrails einfach in Ihre KI-Anwendungen zu integrieren.
Diese Claude Skill unterstützt Entwickler bei der Optimierung von Cloud-Kosten durch Ressourcen-Dimensionierung, Tagging-Strategien und Ausgabenanalysen. Sie bietet einen Rahmen zur Senkung von Cloud-Ausgaben und zur Implementierung von Kosten-Governance für AWS, Azure und GCP. Nutzen Sie sie, wenn Sie Infrastrukturkosten analysieren, Ressourcen richtig dimensionieren oder Budgetvorgaben einhalten müssen.
Diese Claude Skill analysiert Sportwettenmärkte inklusive Handicaps, Over/Unders und Spezialwetten, indem sie historische Trends und situative Statistiken untersucht, um Wertwetten zu identifizieren. Sie liefert strukturierte Markdown-Ausgaben mit umsetzbaren Empfehlungen zu Bildungszwecken. Entwickler sollten dies für Sportwetten-Analysetools nutzen, wobei zu beachten ist, dass es nur zur Unterhaltung/Bildung konzipiert wurde.
Diese Fähigkeit quantisiert LLMs auf 8-Bit- oder 4-Bit-Präzision mittels bitsandbytes und erreicht dabei eine Speicherreduzierung von 50–75 % bei minimalem Genauigkeitsverlust. Sie ist ideal für den Betrieb größerer Modelle mit begrenztem GPU-Speicher oder zur Beschleunigung von Inferenzvorgängen und unterstützt Formate wie INT8, NF4 und FP4. Die Fähigkeit integriert sich in HuggingFace Transformers und ermöglicht QLoRA-Training sowie 8-Bit-Optimierer.
