について
このスキルは、開発者が自動化された評価指標、LLM-as-judgeパターン、ベンチマークを用いてLLMシステムを評価することを支援します。プロンプトのテスト、RAGパイプラインの検証、幻覚のような安全性問題の測定、デプロイのためのモデル比較などに使用されます。主な機能には、CI/CDへの品質チェックの統合、標準化されたベンチマークテストの実行が含まれます。
クイックインストール
Claude Code
推奨npx skills add NeverSight/skills_feed -a claude-code/plugin add https://github.com/NeverSight/skills_feedgit clone https://github.com/NeverSight/skills_feed.git ~/.claude/skills/evaluating-llmsこのコマンドをClaude Codeにコピー&ペーストしてスキルをインストールします
GitHub リポジトリ
Frequently asked questions
What is the evaluating-llms skill?
evaluating-llms is a Claude Skill by NeverSight. Skills package instructions and resources that Claude loads on demand, so Claude can perform evaluating-llms-related tasks without extra prompting.
How do I install evaluating-llms?
Use the install commands on this page: add evaluating-llms to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does evaluating-llms belong to?
evaluating-llms is in the Testing category, tagged ai, testing and automation.
Is evaluating-llms free to use?
Yes. evaluating-llms is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
関連スキル
このClaudeスキルは、lm-evaluation-harnessを実行し、MMLUやGSM8Kなど60以上の標準化学術タスクでLLMをベンチマークします。開発者がモデルの品質を比較し、トレーニングの進捗を追跡し、学術的な結果を報告するために設計されています。このツールはHuggingFaceやvLLMモデルを含む様々なバックエンドをサポートしています。
このスキルは、cron式を使用してWorkersをスケジュールするためのCloudflare Cron Triggersの実装に関する包括的な知識を提供します。定期的なタスクの設定、メンテナンスジョブ、自動化されたワークフローの構築を網羅し、無効なcron式やタイムゾーン問題といった一般的な課題への対処法も含みます。開発者はこれを使用して、スケジュールされたハンドラーの設定、cronトリガーのテスト、WorkflowsやGreen Computeとの連携を構成できます。
このClaude Skillは、Playwrightベースのツールキットを提供し、Pythonスクリプトを通じてローカルWebアプリケーションのテストを可能にします。フロントエンドの検証、UIデバッグ、スクリーンショット撮影、ログ表示を実現し、サーバーライフサイクルを管理します。ブラウザ自動化タスクにご利用いただけますが、コンテキストの汚染を避けるため、スクリプトのソースコードを読むのではなく直接実行してください。
このスキルは、開発者がテストの合格を確認し、構造化された統合オプションを提示することで、完成した作業を仕上げることを支援します。実装が完了した後のマージ、PR作成、ブランチの整理といったワークフローを案内します。コードが準備できてテスト済みの際に使用し、開発プロセスを体系的に完了させましょう。
