evaluating-llms-harness
について
このスキルは、業界標準のlm-evaluation-harnessを使用して、MMLUやGSM8Kなど60以上の学術ベンチマークで標準化されたLLM評価を実行します。HuggingFace、vLLM、APIベースのモデルをサポートし、モデル品質のベンチマーク測定、異なるモデルの比較、トレーニング進捗の追跡にご利用いただけます。学術研究成果を報告するための一貫性があり広く採用されている手法を提供します。
クイックインストール
Claude Code
推奨npx skills add davila7/claude-code-templates -a claude-code/plugin add https://github.com/davila7/claude-code-templatesgit clone https://github.com/davila7/claude-code-templates.git ~/.claude/skills/evaluating-llms-harnessこのコマンドをClaude Codeにコピー&ペーストしてスキルをインストールします
GitHub リポジトリ
Frequently asked questions
What is the evaluating-llms-harness skill?
evaluating-llms-harness is a Claude Skill by davila7. Skills package instructions and resources that Claude loads on demand, so Claude can perform evaluating-llms-harness-related tasks without extra prompting.
How do I install evaluating-llms-harness?
Use the install commands on this page: add evaluating-llms-harness to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does evaluating-llms-harness belong to?
evaluating-llms-harness is in the Testing category, tagged Evaluation, LM Evaluation Harness, Benchmarking, MMLU, HumanEval and GSM8K.
Is evaluating-llms-harness free to use?
Yes. evaluating-llms-harness is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
関連スキル
このClaudeスキルは、lm-evaluation-harnessを実行し、MMLUやGSM8Kなど60以上の標準化学術タスクでLLMをベンチマークします。開発者がモデルの品質を比較し、トレーニングの進捗を追跡し、学術的な結果を報告するために設計されています。このツールはHuggingFaceやvLLMモデルを含む様々なバックエンドをサポートしています。
このスキルは、cron式を使用してWorkersをスケジュールするためのCloudflare Cron Triggersの実装に関する包括的な知識を提供します。定期的なタスクの設定、メンテナンスジョブ、自動化されたワークフローの構築を網羅し、無効なcron式やタイムゾーン問題といった一般的な課題への対処法も含みます。開発者はこれを使用して、スケジュールされたハンドラーの設定、cronトリガーのテスト、WorkflowsやGreen Computeとの連携を構成できます。
このClaude Skillは、Playwrightベースのツールキットを提供し、Pythonスクリプトを通じてローカルWebアプリケーションのテストを可能にします。フロントエンドの検証、UIデバッグ、スクリーンショット撮影、ログ表示を実現し、サーバーライフサイクルを管理します。ブラウザ自動化タスクにご利用いただけますが、コンテキストの汚染を避けるため、スクリプトのソースコードを読むのではなく直接実行してください。
このスキルは、開発者がテストの合格を確認し、構造化された統合オプションを提示することで、完成した作業を仕上げることを支援します。実装が完了した後のマージ、PR作成、ブランチの整理といったワークフローを案内します。コードが準備できてテスト済みの際に使用し、開発プロセスを体系的に完了させましょう。
