AWS Machine Learning Blog 发布于 09/23 01:18

Evaluate skill-equipped agents with Strands Evals and Amazon Bedrock AgentCore

(翻译)使用 Strands Evals 和 Amazon Bedrock AgentCore 评估配备技能的智能体

查看原文

资讯摘要

Skills let you encode domain-specific procedures as reusable, portable instructions for agents, but a fluent answer doesn't prove the agent picked the right skill or followed it. Learn how to measure skill selection and instruction following with Strands Evals and Amazon Bedrock AgentCore Evaluation

AI 摘要

本文介绍如何用 Strands Evals SDK 与 Amazon Bedrock AgentCore Evaluations 评估配备技能的智能体。文章提出 Skill Selection Accuracy、Skill Instruction Following 和确定性的 Skill Invoked 三个评估器,分别衡量技能选择是否恰当、指令遵循是否完整,并给出基于运行轨迹与 OpenTelemetry 追踪的实操代码与结果解读方法。

AI 问答

什么是 skill(技能),它包含哪些部分?

技能是一组可复用、可移植的指令,通常存放在 SKILL.md 文件中,用于教会智能体执行某类领域任务,如合同脱敏、发票核对或团队代码规范。它包含指令、工具绑定(API、MCP 服务器或本地命令)、参考知识与示例、多步工作流,以及格式与范围等护栏规则。

Strands Evals 与 AgentCore Evaluations 提供了哪些技能评估器?

Skill Selection Accuracy 判断每次调用的技能是否适合该任务,返回二值结果;Skill Instruction Following 评估智能体对技能规定步骤的遵循程度,返回五级评分;Strands Evals 还提供确定性的 Skill Invoked,检查指定名称的技能是否成功加载,无需调用模型。

技能选择错误与指令遵循不完整分别应如何修复?

技能选择不当通常说明技能描述存在重叠或含糊,需要改进描述以减少路由歧义;指令遵循不完整则可能需要更清晰的步骤说明、调整技能结构,或换用能力更强的智能体模型。两类失败原因不同,修复手段也不同。

打开原文

更多资讯

苹果iPhone Duo加单30%,iPhone 18 Pro系列总订单量未变36氪 · 10/10 14:13How Does Life Unfold? A Landscape Metaphor Comes Into Its Own.Quanta Magazine · 10/09 22:03广合科技:前三季度净利润同比预增100.33%至107.23%36氪 · 10/09 19:27多部门:汽车生产企业不得作虚假、夸大或引人误解的宣传36氪 · 10/10 17:25How Postman runs Agent Mode for 40 million developers on Amazon BedrockAWS Machine Learning Blog · 10/09 23:35硬件钱包接连出事 审计得交给AI干了金色财经 · 10/10 10:13天康生物:9月销售生猪收入4.07亿元36氪 · 10/09 20:59公司是否有提价计划?五粮液:不存在固定的价格比值关系36氪 · 10/10 11:31梅赛德斯-奔驰美国公司召回30064辆汽车36氪 · 10/10 16:25实测一个月,我把手机里 20 多个常用 App 全删了,只留了一个豆包工作人人都是产品经理 · 10/10 17:33美股大型科技股盘前多数上涨,苹果跌超2%36氪 · 10/09 20:508点1氪丨特朗普买入Meta股票;山姆宣布拟限制亲友卡绑定;豆包开通水、电、燃气等生活缴费功能36氪 · 10/10 08:04金色Web3.0日报 | Hyperliquid收入破14亿回购HYPE金色财经 · 10/10 21:56AI产品经理到底要学哪些技术?传统PM不要把时间浪费在这3件事上人人都是产品经理 · 10/10 09:13阿斯麦将对韩国零部件涨价10%36氪 · 10/10 12:23长三角铁路明日起实施新列车运行图36氪 · 10/10 11:40近期海外进出口传闻的政策限制对公司是否有影响? 天孚通信回应36氪 · 10/09 20:45超110台中国AR眼镜为WTTC全球峰会提供实时翻译服务36氪 · 10/10 12:12森海 Momentum 5 真无线降噪耳机体验:升级无线传输与空间音频,它依然是那个正统 「森海味」爱范儿 / APPSO · 10/10 15:26这届 AI PC,太烧心了爱范儿 / APPSO · 10/10 16:28做重大决策前,先让AI唱反调人人都是产品经理 · 10/10 10:5090 天证书开始倒计时:Let's Encrypt 官宣 2027 年 2 月全面转向 64 天开源中国 · 10/10 10:47Stripe创始人:AI agent 将重写整个互联网人人都是产品经理 · 10/10 17:30Uniswap v4 Hook攻击向量解析与检测方法金色财经 · 10/10 16:21成年人要的「安心」,有时是一支笔给的36氪 · 10/10 15:30设计系统负责人的语义生长之约束显化:把1条”绝对不能”翻译成机器规则人人都是产品经理 · 10/10 09:21Cloudflare 收购 Deno,Deno 停止开发Solidot · 10/10 14:01我让豆包工作看了30个爆款AI封面,它总结出了八个规律人人都是产品经理 · 10/10 13:03代币化革命背后金色财经 · 10/09 18:01「10.11大暴跌」一周年:加密市场发生了哪些变化?金色财经 · 10/10 21:05