有个专门给 Skill 做质检的开源工具。

[复制链接]
发表于 昨天 21:35 | 显示全部楼层 |阅读模式
有个专门给 Skill 做质检的开源工具。

如今 Skill 数量泛滥,可真正能派上用场的能有多少?

NVIDIA 干脆搞了个开源项目 SkillEvaluator,专门用来检验 Skill 到底管不管用。

它会让同一个 Agent 跑同一组任务:

→ 一轮不挂载 Skill

→ 一轮挂载 Skill

接着比对任务正确率、完成质量、执行耗时以及 Token 开销,看这个 Skill 到底带来了多少增益,还是反倒拉了后腿。

NVIDIA 官方拿 300 多个 Verified Skills 做了实测,正确性平均分从 46 涨到了 87(满分 100)。

除了测实际效果,我也顺手用它给自己做的 Skill 过了一遍质量关。

GitHub:https://github.com/NVIDIA/SkillEvaluator

入门教程:https://docs.nvidia.com/skills/skillevaluator/quickstart



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部