SKILL·F1F792

evaluating-code-models

majiayu000
Aktualisiert 3 months ago
21 Ansichten
58
9
58
Auf GitHub ansehen
MetaEvaluationCode GenerationHumanEvalMBPPMultiPL-EPass@kBigCodeBenchmarkingCode Models

Über

Diese Claude-Fähigkeit bietet eine standardisierte Bewertung von Codegenerierungsmodellen mithilfe des BigCode Evaluation Harness über 15+ Benchmarks wie HumanEval und MBPP. Sie berechnet Pass@k-Metriken zur Leistungsbewertung von Modellen, zum Vergleich von Programmierfähigkeiten und zum Testen der Mehrsprachenunterstützung. Entwickler sollten sie verwenden, wenn sie die Qualität der Codegenerierung rigoros messen oder Ergebnisse für Bestenlisten vorbereiten möchten.

Schnellinstallation

Claude Code

Empfohlen
Primär
npx skills add majiayu000/claude-skill-registry -a claude-code
Plugin-BefehlAlternativ
/plugin add https://github.com/majiayu000/claude-skill-registry
Git CloneAlternativ
git clone https://github.com/majiayu000/claude-skill-registry.git ~/.claude/skills/evaluating-code-models

Kopieren Sie diesen Befehl und fügen Sie ihn in Claude Code ein, um diese Fähigkeit zu installieren

GitHub Repository

majiayu000/claude-skill-registry
Pfad: skills/data/bigcode-evaluation-harness
0
FAQ

Häufig gestellte Fragen

Was ist der Skill evaluating-code-models?

evaluating-code-models ist ein Claude Skill von majiayu000. Skills bündeln Anweisungen und Ressourcen, die Claude bei Bedarf lädt, um Aufgaben rund um evaluating-code-models ohne zusätzliche Eingaben auszuführen.

Wie installiere ich evaluating-code-models?

Verwende die Installationsbefehle auf dieser Seite: Füge evaluating-code-models als Plugin zu Claude Code hinzu oder klone das Repository in dein Skills-Verzeichnis. Starte Claude danach neu, damit der Skill geladen wird.

Zu welcher Kategorie gehört evaluating-code-models?

evaluating-code-models gehört zur Kategorie Meta.

Kann ich evaluating-code-models kostenlos nutzen?

Ja. evaluating-code-models ist auf AIMCP gelistet und kann kostenlos installiert werden.

Verwandte Skills

content-collections
Meta

Diese Skill bietet eine produktionsgetestete Einrichtung für Content Collections – ein TypeScript-first-Tool, das Markdown/MDX-Dateien in typsichere Datensammlungen mit Zod-Validierung umwandelt. Verwenden Sie ihn beim Erstellen von Blogs, Dokumentationsseiten oder inhaltsstarken Vite + React-Anwendungen, um Typsicherheit und automatische Inhaltsvalidierung zu gewährleisten. Er behandelt alles von der Vite-Plugin-Konfiguration und MDX-Kompilierung bis hin zur Deployment-Optimierung und Schema-Validierung.

Skill ansehen
polymarket
Meta

Diese Fähigkeit ermöglicht es Entwicklern, Anwendungen mit der Polymarket-Prognosemärkte-Plattform zu erstellen, einschließlich API-Integration für Handel und Marktdaten. Sie bietet außerdem Echtzeit-Datenstreaming über WebSocket, um Live-Trades und Marktaktivitäten zu überwachen. Nutzen Sie sie zur Implementierung von Handelsstrategien oder zur Erstellung von Tools, die Live-Marktaktualisierungen verarbeiten.

Skill ansehen
creating-opencode-plugins
Meta

Diese Fähigkeit unterstützt Entwickler dabei, OpenCode-Plugins zu erstellen, die in über 25 Ereignistypen wie Befehle, Dateien und LSP-Operationen eingreifen. Sie bietet die Plugin-Struktur, Event-API-Spezifikationen und Implementierungsmuster für JavaScript/TypeScript-Module. Nutzen Sie sie, wenn Sie den Lebenszyklus des OpenCode KI-Assistenten mit benutzerdefinierter ereignisgesteuerter Logik abfangen, überwachen oder erweitern müssen.

Skill ansehen
sglang
Meta

SGLang ist ein hochperformantes LLM-Serving-Framework, das sich auf schnelle, strukturierte Generierung für JSON, Regex und agentenbasierte Workflows unter Verwendung seines RadixAttention-Prefix-Cachings spezialisiert. Es bietet deutlich schnellere Inferenz, insbesondere für Aufgaben mit wiederholten Präfixen, was es ideal für komplexe, strukturierte Ausgaben und Mehrfachdialoge macht. Wählen Sie SGLang gegenüber Alternativen wie vLLM, wenn Sie constrained decoding benötigen oder Anwendungen mit umfangreicher Präfix-Weitergabe entwickeln.

Skill ansehen