evaluate-agent-framework
Acerca de
Esta habilidad evalúa marcos de trabajo de agentes de IA de código abierto para determinar su preparación para inversión, analizando la salud de la comunidad, el riesgo de obsolescencia, la arquitectura y la gobernanza. Genera una clasificación de cuatro niveles (INVERTIR/EVALUAR-MÁS/CONTRIBUIR-CON-CAUTELA/EVITAR) para orientar la asignación de recursos. Úsela antes de adoptar un marco para evaluar los riesgos técnicos y comunitarios.
Instalación rápida
Claude Code
Recomendadonpx skills add pjt222/agent-almanac -a claude-code/plugin add https://github.com/pjt222/agent-almanacgit clone https://github.com/pjt222/agent-almanac.git ~/.claude/skills/evaluate-agent-frameworkCopia y pega este comando en Claude Code para instalar esta habilidad
Documentación
評員框
結構化評開源員框之投資備。新價於第二三步:以貢獻存率量社群之健,並量超越險——外部工作廢之首因。末之分級(INVEST / EVALUATE-FURTHER / CONTRIBUTE-CAUTIOUSLY / AVOID)於投開發之前校資源分配。
用時
- 評是否採員框於產
- 評所賴框之依險
- 定是否貢工力於外項
- 較諸框以決自建或採之
- 大發布、治易或收購後再評
入
- 必要:
framework_url— 框之 GitHub URL - 可選:
comparison_frameworks— 替代框 URL 之列供較use_case— 架構合度評之用例(如「多員編排」「工具用流」)contribution_budget— 擬工時,以校投資級
法
第一步:集框普
於深析前,集項之大、活、景位之基數。
- 取並讀
README.md、CONTRIBUTING.md、LICENSE、諸架構文檔(docs/、ARCHITECTURE.md) - 集量之指:
- 星、叉、開事、開 PR:
gh repo view <repo> --json stargazerCount,forkCount,issues,pullRequests - 依此之庫:察 GitHub「Used by」數或
gh api repos/<owner>/<repo>/dependents - 發布節奏:
gh release list --limit 10— 察頻及是否循 semver
- 星、叉、開事、開 PR:
- 算車禍因子:末 12 月提交計首 5 貢。若首貢逾 60%,車禍因子極低
- 映景位:
- Pioneer(先驅):首動者,定類(高影、對追者高超越險)
- Fast-follower(速隨):先驅後六月內立,迭其概
- Late entrant(晚入):類穩後至,以功或治競
- 若
comparison_frameworks供,集同指於各替
得: 普表含星、叉、依、節、車禍、景位(及較者若供)。
敗則: 若庫私或 API 限速,退而用手析 README。若指不可得(如自託 GitLab),記缺口而以質評續。
第二步:評社群之健
量項是否迎、援、留外貢者。
- 算外貢存率:
- 取末 50 閉 PR:
gh pr list --state closed --limit 50 --json author,mergedAt,closedAt,labels - 各 PR 作者類為內(組員)或外
- 算:
survival_rate = merged_external_PRs / total_external_PRs - 健閾:>50%;憂:<30%
- 取末 50 閉 PR:
- 量應速:
- 事首應時:自事創至首維者評之中位
- PR 合延:外 PR 自開至合之中位
- 健:首應 <7 日,合 <30 日;憂:首應 >30 日
- 評貢之多樣:
- 末 6 月外/內貢比
- 合 PR >=2 之獨外貢者數(重複貢示健生態)
- 察治之物:
CONTRIBUTING.md存且可行(非僅「提 PR」)CODE_OF_CONDUCT.md存- 治文檔述決之程
- 事/PR 模板導貢者
得: 社群健之計分表含存率、應時、多樣比、治物清單。
敗則: 若 PR 數不足(新項 <20 閉 PR),記樣限而重他信。若項用非 GitHub 平台,調查於彼 API。
第三步:算超越險
定外貢被內發廢之概——採者與貢者之最大險。
- 樣末 50-100 合之外 PR(少則全取)
- 於各合外 PR,察貢碼後是否:
- Reverted:明撤之提交引 PR
- Rewritten:90 日內同文/模被內貢者實質改
- Obsoleted:功於後發布去或替
- 算:
supersession_rate = (reverted + rewritten + obsoleted) / total_merged_external - 若公路線圖可得,映之於外貢活躍之域:
- 高重 = 高超越險(內將建於外之上)
- 低重 = 低超越險(外填內所不補)
- 察「貢陷」:看似迎外而實將內重寫之域
- 參基準:NemoClaw 析示 71% 外 PR 於六月內被超越——以此校
得: 超越率(百分比)附分類(撤/重寫/廢)。路線圖重度評。
敗則: 若提交史淺或合併壓平(失歸),以較外 PR 路與後發布改文估之。記估信心減。
第四步:評架構合
評框架構是否援汝用例而不過鎖。
- 映擴點:
- 插件/擴 API:框開文檔之插件面乎?
- 配面:行為可無叉自訂乎?
- 鉤/回呼系:可於要點攔改框行為乎?
- 評鎖險:
- 重寫費:估遷離之工(日/週/月)
- 數可攜:數/態可以標式出乎?
- 標合規:框用開標(agentskills.io、MCP、A2A)或專協議?
- 評 API 穩:
- 每大發破變計(CHANGELOG、遷指)
- 察廢策(去前先警)
- 評 semver 合(破變僅於大版)
- 察與汝具體用例合:
- 若
use_case供,評框架構是否自然援之 - 識須繞行之架構錯配
- 若
- 評互操:
- agentskills.io 兼容(技模合)
- MCP 援(工具接)
- A2A 協議援(員間通)
得: 架構合報含擴點清單、鎖險評(低/中/高)、API 穩分、用例合評。
敗則: 若架構文檔稀,自碼構與公 API 面推評。若框過幼無穩史,記之而重治信。
第五步:評治與永續
評項治模是否援久可與公待外貢。
- 類治模:
- BDFL(仁獨):一決者——速決,車禍險
- Committee/Core team(團/核):分決——緩而韌
- Foundation-backed(基金託):正治(Apache、Linux Foundation、CNCF)——最永續
- Corporate-controlled(司控):一司主導——防撤毯險
- 評資與永續:
- 資源:VC、司贊、基金、眾、無
- 全時維者數:>=2 為健;0 為警
- 收入模(若有):項何以自持?
- 評貢者之護:
- 許類:寬(MIT、Apache-2.0)、強版權(GPL)、自訂
- CLA 求:簽 CLA 移權損貢者乎?
- 貢者彰:外貢於發布、變更誌、文檔中署乎?
- 察安全之態:
- 安全披露策(
SECURITY.md或等) - 自 CVE 披至補發之中位
- 依更之習(Dependabot、Renovate、手)
- 安全披露策(
- 評軌:
- 治模在演乎(如向基金)?
- 近有領導易、收購、重許乎?
- 維者與貢者間有公衝乎?
得: 治評含模類、永續級(永續/險/危)、貢者護評、安全態摘。
敗則: 若治無文,缺本身為黃警。察隱治:誰合 PR、誰閉事、誰決發布。
第六步:類投資備
合諸察為四級類附具體據與可行薦。
- 各維評(1-5 級):
- 社群健:存率、應速、多樣
- 超越險:率、路線圖重、貢陷(倒:低為佳)
- 架構合:擴點、鎖、穩、用例合
- 治永續:模、資、護、安
- 施類閾:
- INVEST(諸維 >=4):健社群、低超越(<20%)、合架構、永治。安採並貢
- EVALUATE-FURTHER(雜,無維 <2):雜信須具體隨。記須澄之,定再評日
- CONTRIBUTE-CAUTIOUSLY(某維為 2,無 <2):高超越(>40%)或治憂。限貢於明求之工、維認之範、或解耦之插件/擴
- AVOID(某維為 1):要警——棄項、敵外(存率 <15%)、不容許、或撤毯跡。勿投工
- 書類報:
- 首置級與一句理
- 各維分附要據
- 若
contribution_budget供,依級薦時分 - 於 EVALUATE-FURTHER,列須答之具體問並擬程
- 於 CONTRIBUTE-CAUTIOUSLY,指何貢安(插件、文檔、試)、何險(核功)
- 若
comparison_frameworks已評,生較表排諸框
得: 類報含級、維分、據摘、合投資脈絡之可行薦。
敗則: 若數缺不能信類,默 EVALUATE-FURTHER 並明記缺數及取法。不確勿默 INVEST。
驗
- 普數集:星、叉、依、發布節、車禍、景位
- 社群健量:存率、應時、貢多樣、治物
- 超越險算附分類(撤/重寫/廢)
- 架構合評:擴點、鎖險、API 穩、用例合
- 治評:模、資、貢護、安
- 類出:INVEST / EVALUATE-FURTHER / CONTRIBUTE-CAUTIOUSLY / AVOID 之一
- 各維分附析之具體據
- 薦可行且校於貢預(若供)
- 數缺與信限明記
陷
- 混名於健:高星低多樣意一點敗之虞。五萬星一維者之項不如二千星十五活貢者之項健
- 略超越險:外貢敗之首因。迎之社群若內常覆外,無益
- 重架構略治:美設之框若治不續或敵外,猶敗
- 視 EVALUATE-FURTHER 為 AVOID:雜信須查,非拒。定再評日,列具體問
- 快照偏:諸指皆時點。衰中現佳者劣於升中現平者。常察 6-12 月趨
- CLA 懈:有 CLA 移版權於項主,汝貢成彼私。讀 CLA 文,非僅勾
- 錨一框:無較,諸項皆大好或大壞。必較至少一替,雖非正
參
- polish-claw-project — 此評所導之貢流
- review-software-architecture — 用於第四步架構評
- forage-solutions — 替框之尋以供較
- search-prior-art — 景映與前作析
- security-audit-codebase — 第五步所引安全態評
- assess-ip-landscape — 許與 IP 險析
Repositorio GitHub
Habilidades relacionadas
executing-plans
DiseñoUtilice la habilidad executing-plans cuando tenga un plan de implementación completo para ejecutar en lotes controlados con puntos de revisión. Esta habilidad carga y revisa críticamente el plan, luego ejecuta tareas en pequeños lotes (por defecto 3 tareas) mientras reporta el progreso entre cada lote para la revisión del arquitecto. Esto asegura una implementación sistemática con puntos de control de calidad integrados.
requesting-code-review
DiseñoEsta habilidad despacha un subagente revisor de código para analizar los cambios en el código frente a los requisitos antes de proceder. Debe usarse después de completar tareas, implementar funciones principales o antes de fusionar con la rama principal. La revisión ayuda a detectar problemas de forma temprana al comparar la implementación actual con el plan original.
connect-mcp-server
DiseñoEsta habilidad proporciona una guía integral para que los desarrolladores conecten servidores MCP a Claude Code mediante transportes HTTP, stdio o SSE. Cubre la instalación, configuración, autenticación y seguridad para integrar servicios externos como GitHub, Notion y APIs personalizadas. Úsala al configurar integraciones MCP, al configurar herramientas externas o al trabajar con el Protocolo de Contexto del Modelo de Claude.
web-cli-teleport
DiseñoEsta habilidad ayuda a los desarrolladores a elegir entre las interfaces web y CLI de Claude Code mediante el análisis de tareas, y luego permite la teletransportación fluida de sesiones entre estos entornos. Optimiza el flujo de trabajo gestionando el estado y el contexto de la sesión al cambiar entre web, CLI o móvil. Úsala para proyectos complejos que requieren diferentes herramientas en varias etapas.
