evaluate-agent-framework
关于
This skill evaluates open-source AI agent frameworks to determine their investment viability before committing engineering resources. It analyzes community health, supersession risk, architecture, and governance to produce a four-tier classification (INVEST/EVALUATE-FURTHER/CONTRIBUTE-CAUTIOUSLY/AVOID). Use it when assessing whether to adopt a framework for production use to guide resource allocation decisions.
快速安装
Claude Code
推荐npx skills add pjt222/agent-almanac -a claude-code/plugin add https://github.com/pjt222/agent-almanacgit clone https://github.com/pjt222/agent-almanac.git ~/.claude/skills/evaluate-agent-framework在 Claude Code 中复制并粘贴此命令以安装该技能
技能文档
估 Agent 框
結構估開源 agent 框之投資備度。新值在二、三步:以貢獻存活率量社群健,並量取代險——工敗最常因。末分類(INVEST / EVALUATE-FURTHER / CONTRIBUTE-CAUTIOUSLY / AVOID)定資之分配於投開發週期前。
用
- 估是否採 agent 框為生產用
- 估項目所依框之險
- 決是否投工於外項
- 較競框以定建對採
- 大布、治變、收購後重估框
入
- 必:
framework_url— 框庫之 GitHub URL - 可:
comparison_frameworks— 以基較之它框 URL 列use_case— 架合估之意用(如「多 agent 協」「工具用管」)contribution_budget— 計工時,以校投級
行
一:集框普查
深析前,集項目之大、動、域位之基數。
- 取讀
README.md、CONTRIBUTING.md、LICENSE、諸架文(docs/、ARCHITECTURE.md) - 集量指:
- 星、叉、開議、開 PR:
gh repo view <repo> --json stargazerCount,forkCount,issues,pullRequests - 依庫:察 GitHub「Used by」或
gh api repos/<owner>/<repo>/dependents - 發頻:
gh release list --limit 10— 察頻與是否循 semver
- 星、叉、開議、開 PR:
- 算 bus factor:識末 12 月 commit 數前 5 者。若首者佔 >60%,bus factor 危低
- 映域位:
- Pioneer:先動者,定類(高響、於從者高取代險)
- Fast-follower:於先 6 月內起,迭其念
- Late entrant:於類穩後至,競於特或治
- 若
comparison_frameworks予→為各替集同指
得:普查表載星、叉、依、發頻、bus factor、域位(含較者若予)。
敗:庫私或 API 限→退於人 README 析。指無(如自托 GitLab)→記缺而以質估續行。
二:估社群健
量項目是否迎、持、留外貢。
- 算外貢存活率:
- 取末 50 閉 PR:
gh pr list --state closed --limit 50 --json author,mergedAt,closedAt,labels - 各 PR 作者分為內(組員)或外
- 計:
survival_rate = merged_external_PRs / total_external_PRs - 健門:>50%;憂:<30%
- 取末 50 閉 PR:
- 量回應:
- 議首應時:議建至首維者評之中位
- PR 合延:外 PR 自開至合之中位
- 健:<7 日首應、<30 日合;憂:>30 日首應
- 估貢多樣:
- 末 6 月之外/內貢比
- 有 >=2 合 PR 之獨外貢者數(重複貢顯健生態)
- 察治遺物:
CONTRIBUTING.md存且可行(非僅「submit a PR」)CODE_OF_CONDUCT.md存- 治文述決策程
- 議/PR 模引貢者
得:社群健記分表,含存活率、應時、多樣比、治遺物單。
敗:PR 數不足(新項 <20 閉 PR)→記樣限並重他信。項用非 GitHub→適其 API 之詢。
三:算取代險
定外貢被內發淘汰之機——框採者與貢者之最大險。
- 取末 50-100 合外 PR(不足則全)
- 各合外 PR 察其碼後是否:
- Reverted:明 revert commit 引 PR
- Rewritten:同文/模於 90 日內由內者大改
- Obsoleted:特於後發中去或代
- 計:
supersession_rate = (reverted + rewritten + obsoleted) / total_merged_external - 映已布路圖(若予)與外貢活區:
- 高重 = 高取代險(內將建於外工)
- 低重 = 低取代險(外填內不填)
- 察「貢陷」:似貢友而排為內重寫之區
- 基:NemoClaw 析顯 71% 外 PR 於 6 月內被代 — 校點
得:取代率為百分,按類分(reverted/rewritten/obsoleted)。路重估。
敗:commit 史淺或 squash 合(失歸屬)→以外 PR 文徑較後發所改文估。記估信減。
四:估架合
估框架是否合用而不過鎖。
- 映擴點:
- 插/擴 API:框露文插介否?
- 組態面:行可不叉而定否?
- 鈎/回呼:可於要點截改否?
- 估鎖險:
- 遷費:估離之工(日/週/月)
- 數攜:數/態可以標式出否?
- 標遵:框用開標(agentskills.io、MCP、A2A)或專協?
- 估 API 穩:
- 計每大發之破變(CHANGELOG、遷指)
- 察棄策(去前先警)
- 估 semver 遵(破變僅於大版)
- 察合特用:
- 若
use_case予→估框架是否自然持之 - 識須繞之架錯
- 若
- 估互通:
- agentskills.io 容(技模合)
- MCP 持(工入)
- A2A 協持(agent 間通)
得:架合報,含擴點清、鎖險(低/中/高)、API 穩分、用合估。
敗:架文稀→由碼構與公 API 面推之。框過新無穩史→記而重治信。
五:估治與續
估項目之治模是否持久可維且公對外貢。
- 分治模:
- BDFL:單決——快而 bus factor 險
- Committee/Core team:分決——慢而韌
- Foundation-backed:正式治(Apache、Linux Foundation、CNCF)——最續
- Corporate-controlled:單司驅——察抽毯險
- 估資與續:
- 資源:VC 支、司贊、補、社群籌、無資
- 全職維者:>=2 健;0 紅旗
- 入模(若有):項目自維何法?
- 估貢保:
- 證類:寬(MIT、Apache-2.0)對左(GPL)對定
- CLA 求:簽 CLA 轉權使貢不利否?
- 貢認:外貢於發、changelog、文中得記否?
- 察安態:
- 安披露策(
SECURITY.md或等) - 自 CVE 披至補之中位時
- 依更踐(Dependabot、Renovate、人)
- 安披露策(
- 估軌:
- 治模漸進(如向基會移)?
- 近有領換、收、重證?
- 維與貢間有公爭?
得:治估,含模分、續率(續/險/危)、貢保估、安態摘。
敗:治信無文→無即黃旗。察誰合 PR、誰閉議、誰決發以推隱治。
六:分投備度
綜諸見入四級分類與特理由及可行建。
- 各維計分(1-5):
- 社群健:存活率、回應、多樣
- 取代險:率、路重、貢陷(反:低佳)
- 架合:擴點、鎖、穩、用合
- 治續:模、資、保、安
- 施分類門:
- INVEST(諸維 >=4):健社群、低取代(<20%)、合架、續治。安採而投工
- EVALUATE-FURTHER(雜,無維 <2):雜信須特隨察。記待清事並設重估日
- CONTRIBUTE-CAUTIOUSLY(任維 2,無 <2):高取代(>40%)或治憂。貢限於明求工、維准範、與核耦之插/擴
- AVOID(任維 1):要紅旗——棄項、敵外(存活 <15%)、不容證、或將抽毯兆。勿投工
- 書分類報:
- 首列級與一句理
- 各維分以關證摘
- 若
contribution_budget予→建依級分配 - EVALUATE-FURTHER:列待答特問並提時
- CONTRIBUTE-CAUTIOUSLY:定何貢安(插、文、試)對險(核特)
- 若
comparison_frameworks估→生較矩排諸框
得:分類報載級、各維分、證摘、依投境之可行建。
敗:數缺阻信分類→默 EVALUATE-FURTHER 並明錄何缺何取。不確時永勿默 INVEST。
驗
- 普查數集:星、叉、依、發頻、bus factor、域位
- 社群健已量:存活率、應時、多樣、治遺物
- 取代險已算並按類分(reverted/rewritten/obsoleted)
- 架合已估:擴點、鎖險、API 穩、用合
- 治已估:模、資、貢保、安態
- 分類已生:INVEST / EVALUATE-FURTHER / CONTRIBUTE-CAUTIOUSLY / AVOID 之一
- 各維分以析中特證理
- 建可行並校於貢預(若予)
- 數缺與信限已明錄
忌
- 混名於健:高星而貢多樣低→單敗點。5 萬星單維項較 2 千星 15 活貢項弱
- 忽取代險:外貢敗最常因。迎社群於內發常覆外工則空
- 重架而不察治:美設框若治不續或敵外仍敗
- 視 EVALUATE-FURTHER 為 AVOID:雜信須查,非拒。設具重估日並列待答問
- 快照偏:諸指為時點。降項今指佳劣於升項今指平。察 6-12 月軌向
- CLA 大意:有 CLA 轉版權與項主,貢成其專產。讀 CLA 文,勿僅勾
- 單框定錨:無較框則任項皆顯極佳或極劣。必基至少一替,縱非正式
參
- polish-claw-project — 此估啟之貢流
- review-software-architecture — 四步架估所用
- forage-solutions — 較用替框發現
- search-prior-art — 域映與先工析
- security-audit-codebase — 五步安態估所引
- assess-ip-landscape — 證與 IP 險析
GitHub 仓库
相关推荐技能
executing-plans
设计该Skill用于当开发者提供完整实施计划时,以受控批次方式执行代码实现。它会先审阅计划并提出疑问,然后分批次执行任务(默认每批3个任务),并在批次间暂停等待审查。关键特性包括分批次执行、内置检查点和架构师审查机制,确保复杂系统实现的可控性。
requesting-code-review
设计该Skill可在完成任务、实现主要功能或合并代码前自动调度代码审查子代理,确保实现符合需求和计划。它支持通过指定git SHA范围进行精准的代码变更审查,帮助开发者在关键节点及时发现潜在问题。核心原则是"早审查、勤审查",适用于开发流程的各个关键阶段。
connect-mcp-server
设计这个Skill指导开发者如何将MCP服务器连接到Claude Code,支持HTTP、stdio和SSE三种传输协议。它涵盖了从安装配置到认证安全的完整流程,适用于集成GitHub、Notion、数据库等外部服务。当开发者需要添加集成、配置外部工具或提及MCP相关功能时,这个Skill能提供实用的操作指南。
web-cli-teleport
设计该Skill帮助开发者根据任务特性选择Claude Code的Web或CLI界面,并指导如何在两种环境间无缝迁移会话。它能分析任务复杂度、迭代需求等要素,推荐最优工作界面和工作流。关键特性包括会话状态管理、环境切换指导和上下文优化建议。
