について
llm-evaluationスキルは、自動化された指標、人間によるフィードバック、ベンチマーキングを用いてLLMアプリケーションのパフォーマンスを評価するための戦略を提供します。開発者はこのスキルを活用し、モデルを体系的にテストし、プロンプトを比較し、デプロイ前にリグレッションを検出すべきです。これにより、スケーラブルな評価フレームワークを通じてベースラインを確立し、改善を検証することが可能になります。
クイックインストール
Claude Code
推奨npx skills add ma1orek/replay -a claude-code/plugin add https://github.com/ma1orek/replaygit clone https://github.com/ma1orek/replay.git ~/.claude/skills/llm-evaluationこのコマンドをClaude Codeにコピー&ペーストしてスキルをインストールします
GitHub リポジトリ
Frequently asked questions
What is the llm-evaluation skill?
llm-evaluation is a Claude Skill by ma1orek. Skills package instructions and resources that Claude loads on demand, so Claude can perform llm-evaluation-related tasks without extra prompting.
How do I install llm-evaluation?
Use the install commands on this page: add llm-evaluation to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does llm-evaluation belong to?
llm-evaluation is in the Testing category, tagged ai, testing and automation.
Is llm-evaluation free to use?
Yes. llm-evaluation is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
関連スキル
このClaudeスキルは、lm-evaluation-harnessを実行し、MMLUやGSM8Kなど60以上の標準化学術タスクでLLMをベンチマークします。開発者がモデルの品質を比較し、トレーニングの進捗を追跡し、学術的な結果を報告するために設計されています。このツールはHuggingFaceやvLLMモデルを含む様々なバックエンドをサポートしています。
このスキルは、cron式を使用してWorkersをスケジュールするためのCloudflare Cron Triggersの実装に関する包括的な知識を提供します。定期的なタスクの設定、メンテナンスジョブ、自動化されたワークフローの構築を網羅し、無効なcron式やタイムゾーン問題といった一般的な課題への対処法も含みます。開発者はこれを使用して、スケジュールされたハンドラーの設定、cronトリガーのテスト、WorkflowsやGreen Computeとの連携を構成できます。
このClaude Skillは、Playwrightベースのツールキットを提供し、Pythonスクリプトを通じてローカルWebアプリケーションのテストを可能にします。フロントエンドの検証、UIデバッグ、スクリーンショット撮影、ログ表示を実現し、サーバーライフサイクルを管理します。ブラウザ自動化タスクにご利用いただけますが、コンテキストの汚染を避けるため、スクリプトのソースコードを読むのではなく直接実行してください。
このスキルは、開発者がテストの合格を確認し、構造化された統合オプションを提示することで、完成した作業を仕上げることを支援します。実装が完了した後のマージ、PR作成、ブランチの整理といったワークフローを案内します。コードが準備できてテスト済みの際に使用し、開発プロセスを体系的に完了させましょう。
