AWS Machine Learning Blog 发布于 09/09 00:23

Automated agent evaluation with Amazon Bedrock AgentCore and GitHub Actions

(翻译)使用 Amazon Bedrock AgentCore 与 GitHub Actions 的自动化智能体评估

查看原文

资讯摘要

Wire Amazon Bedrock AgentCore Evaluations into a GitHub Actions pipeline: deploy an AI agent and an OAuth-protected MCP server to AgentCore runtime, invoke the agent with test prompts, score the responses, and automatically block pull requests when agent behavior regresses.

AI 摘要

AWS 官方博客介绍如何将 Amazon Bedrock AgentCore Evaluations 集成到 GitHub Actions CI/CD 流程,作为智能体质量门禁。管道自动部署智能体和采用 OAuth 与基于角色的访问控制的 MCP 服务器,使用测试提示调用智能体、通过 LLM 评估器对响应打分,并在评分下降时阻止 PR 合并。文中还说明了 CDK 基础设施、M2M 客户端凭证认证、评估器类型及参考实现。

AI 问答

AgentCore Evaluations 的评估模式有哪些?

支持按需评估、在线评估和批量评估。按需评估适合 CI/CD 质量门禁,在线评估持续监控生产流量,批量评估用于基线测试和回归测试。

CI 管道如何在没有用户上下文时访问 OAuth 保护的 MCP 服务器?

博客采用 M2M 认证方式,CI 使用客户端凭证流获取仅含作用域、不含用户角色的令牌;无角色检查时 MCP 工具全部开放。也可通过缓存测试用户的刷新令牌或评估已存储的 trace 来规避 OAuth。

质量门禁如何阻止拉取请求?

GitHub Actions 部署智能体后,用评估数据集调用智能体,通过 AgentCore Evaluate API 获取评分;如果整体评分低于设定阈值(如 0.8),拉取请求保持阻止状态,防止性能回退进入生产。

打开原文

更多资讯

豆包工作还想反超WorkBuddy?人人都是产品经理 · 09/16 17:51豆包工作和飞书,把中国第一个团队 Agent 拉进了工作群爱范儿 / APPSO · 09/15 14:39企业案例分享:伊辛智能|36氪2026产业未来大会36氪 · 09/15 16:38自主团队被捧过头了?Simon Rohrer 直言:你们交付的根本不是产品InfoQ 中文 · 09/16 21:23Cloudflare将每天90亿次请求的JavaScript CDN迁移到其开发者平台InfoQ 中文 · 09/16 17:10iOS 27 正式版体验:Siri AI 终于开窍了,老 iPhone 升级也有新东西爱范儿 / APPSO · 09/15 13:00Meta 打造“组织第二大脑”智能体的设计思路InfoQ 中文 · 09/15 19:21OpenAI 总裁最新采访:现在所有人对 AI 的预测,大概率都是错的人人都是产品经理 · 09/15 16:19AI 负责创造,人来干脏活,这事儿能否停一下?InfoQ 中文 · 09/15 08:08别闹,几粒盐就能立起高脚杯?你是不是用胶水了?果壳网 · 09/15 14:15从 270 分钟到 18 分钟:B 端产品经理如何主导一个 AI 达人撮合系统人人都是产品经理 · 09/16 09:37Your Agent Aced the Task. Will It Do It Again?Hugging Face Blog · 09/16 00:00支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎InfoQ 中文 · 09/16 02:27510万一张!携程上架太空旅行船票:已有681人购买,还得自己买保险;娃哈哈因拖欠员工公积金被查封办公楼;华为放权!问界将由赛力斯主导雷峰网 · 09/16 08:31就业率砍半,年轻人靠什么翻盘?AI时代,这三点越早做越好人人都是产品经理 · 09/15 16:12英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5TB 显存做实 AI「 推恩令」?雷峰网 · 09/15 17:38当罗永浩站在群众的对立面人人都是产品经理 · 09/15 11:35字节跳动CEO梁汝波:豆包、飞书与火山引擎整合后 将加大企业市场投入雷峰网 · 09/15 11:45商用割草机器人完成数千万融资,用L4级无人驾驶重构高尔夫草坪运维|硬氪首发36氪 · 09/16 10:00渣打给ARB十美元目标价靠什么?金色财经 · 09/16 21:36和Jeff Dean押注同一方向,27岁清华助理教授创业,两个月融资数亿36氪 · 09/16 15:58电商对账的设计逻辑:四层核对,逐层下钻人人都是产品经理 · 09/16 14:36Robinhood的财富效应金色财经 · 09/16 12:47从前沿技术到产业资本,2026产业未来大会看见「深水之上」36氪 · 09/15 15:04GPT-6 Sol 曝光:OpenAI 要把旗舰变成大白菜人人都是产品经理 · 09/16 19:58只会搜关键词还不够,Agent 需要一套更聪明的本地搜索人人都是产品经理 · 09/15 16:17阶跃发布 StepAudio 3 ,多款语音模型登顶 Artificial Analysis 全球榜单雷峰网 · 09/15 17:50“极端”空头压境 美联储周三不加息就是最大意外金色财经 · 09/16 08:22展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测果壳网 · 09/16 08:34号称人类造的最后一个 AI 要来了,刷屏全网的 RSI 是什么爱范儿 / APPSO · 09/15 17:43