NVIDIA SkillEvaluator是什么?
它是NVIDIA开源的评估工具,通过静态检查和真实任务运行,对比安装与不安装技能时AI Agent的表现,量化“技能提升”(Skill Lift)。
(翻译)使用 NVIDIA SkillEvaluator 评估 AI Agent 技能表现

AI agents are only as effective as the context they receive. Even with capable models and well-documented NVIDIA libraries, agents can spend extra steps finding…
NVIDIA发布开源工具SkillEvaluator,用于评估AI Agent技能的真实效果。基准测试涵盖30余款NVIDIA产品的300多个已验证技能,结果显示技能可将正确性得分从46提升至87,有效性从39提升至78,安全基线保持97。OpenClaw、Nous Research等已开展试点集成。
它是NVIDIA开源的评估工具,通过静态检查和真实任务运行,对比安装与不安装技能时AI Agent的表现,量化“技能提升”(Skill Lift)。
同一任务在相同提示、模型和评分条件下分别运行一次带技能和不带技能的Agent,将两组得分之差作为技能贡献,以分数(points)表示。
分三级:第一级检查安全与结构,第二级用嵌入相似度检查重复与重叠,第三级在隔离沙箱中运行带与不带技能的实时对比评估。