SKILL·8505EB

Evals

danielmiessler
Aktualisiert 1 month ago
8 Ansichten
9,895
1,393
9,895
Auf GitHub ansehen
Metaaitestingdesign

Über

Die Evals-Fähigkeit bietet objektive Bewertungsmetriken für KI-Agenten unter Verwendung von Code-, Modell- oder menschlichen Bewertern mit pass@k/pass^k-Bewertung. Nutzen Sie sie, wenn Sie Modelle und Prompts benchmarken, Regressionstests durchführen oder vergleichen müssen. Sie umfasst Suite-Management, Transkript-Erfassung und Testlauf-Fähigkeiten für umfassende Test-Workflows.

Schnellinstallation

Claude Code

Empfohlen
Primär
npx skills add danielmiessler/Personal_AI_Infrastructure -a claude-code
Plugin-BefehlAlternativ
/plugin add https://github.com/danielmiessler/Personal_AI_Infrastructure
Git CloneAlternativ
git clone https://github.com/danielmiessler/Personal_AI_Infrastructure.git ~/.claude/skills/Evals

Kopieren Sie diesen Befehl und fügen Sie ihn in Claude Code ein, um diese Fähigkeit zu installieren

GitHub Repository

danielmiessler/Personal_AI_Infrastructure
Pfad: Releases/v4.0.1/.claude/skills/Utilities/Evals
0
aiaugmentationhumansproductivity
FAQ

Frequently asked questions

What is the Evals skill?

Evals is a Claude Skill by danielmiessler. Skills package instructions and resources that Claude loads on demand, so Claude can perform Evals-related tasks without extra prompting.

How do I install Evals?

Use the install commands on this page: add Evals to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.

What category does Evals belong to?

Evals is in the Meta category, tagged ai, testing and design.

Is Evals free to use?

Yes. Evals is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.

Verwandte Skills

content-collections
Meta

Diese Skill bietet eine produktionsgetestete Einrichtung für Content Collections – ein TypeScript-first-Tool, das Markdown/MDX-Dateien in typsichere Datensammlungen mit Zod-Validierung umwandelt. Verwenden Sie ihn beim Erstellen von Blogs, Dokumentationsseiten oder inhaltsstarken Vite + React-Anwendungen, um Typsicherheit und automatische Inhaltsvalidierung zu gewährleisten. Er behandelt alles von der Vite-Plugin-Konfiguration und MDX-Kompilierung bis hin zur Deployment-Optimierung und Schema-Validierung.

Skill ansehen
polymarket
Meta

Diese Fähigkeit ermöglicht es Entwicklern, Anwendungen mit der Polymarket-Prognosemärkte-Plattform zu erstellen, einschließlich API-Integration für Handel und Marktdaten. Sie bietet außerdem Echtzeit-Datenstreaming über WebSocket, um Live-Trades und Marktaktivitäten zu überwachen. Nutzen Sie sie zur Implementierung von Handelsstrategien oder zur Erstellung von Tools, die Live-Marktaktualisierungen verarbeiten.

Skill ansehen
creating-opencode-plugins
Meta

Diese Fähigkeit unterstützt Entwickler dabei, OpenCode-Plugins zu erstellen, die in über 25 Ereignistypen wie Befehle, Dateien und LSP-Operationen eingreifen. Sie bietet die Plugin-Struktur, Event-API-Spezifikationen und Implementierungsmuster für JavaScript/TypeScript-Module. Nutzen Sie sie, wenn Sie den Lebenszyklus des OpenCode KI-Assistenten mit benutzerdefinierter ereignisgesteuerter Logik abfangen, überwachen oder erweitern müssen.

Skill ansehen
sglang
Meta

SGLang ist ein hochperformantes LLM-Serving-Framework, das sich auf schnelle, strukturierte Generierung für JSON, Regex und agentenbasierte Workflows unter Verwendung seines RadixAttention-Prefix-Cachings spezialisiert. Es bietet deutlich schnellere Inferenz, insbesondere für Aufgaben mit wiederholten Präfixen, was es ideal für komplexe, strukturierte Ausgaben und Mehrfachdialoge macht. Wählen Sie SGLang gegenüber Alternativen wie vLLM, wenn Sie constrained decoding benötigen oder Anwendungen mit umfangreicher Präfix-Weitergabe entwickeln.

Skill ansehen