InfoQ 中文 发布于 09/15 18:08

从 Trace 到规模化实时评估:面向生产流量的 Agent 可观测实践|QCon上海

查看原文

资讯摘要

点击查看原文>

AI 摘要

本文介绍蚂蚁集团架构师刘杨在QCon上海2026的演讲内容,聚焦Agent可观测与评估。针对传统日志、指标和链路追踪难以判断Agent任务正确性的问题,分享基于OpenTelemetry GenAI语义约定的统一埋点采集,以Trace为核心的实时评估链路,以及面向全量生产流量的两阶段评估机制,可降低90% token成本,实现大规模安全合规评估覆盖。

AI 问答

Agent 可观测面临哪些新问题?

传统日志、指标和链路追踪难以完整回答 Agent 是否正确完成任务、问题发生在哪个环节,以及如何持续衡量和改善 Agent 质量。

两阶段评估机制如何降低 token 成本?

先使用轻量小模型进行全量、低成本、高召回筛查,再对候选 Trace 按需加载完整执行上下文,由大模型完成精准语义裁决,可有效降低 90% token 成本。

如何实现从 Agent Trace 到推理引擎的跨层可观测?

将 Agent 业务请求、LLM 节点和模型推理过程关联起来,在 Token 粒度分析生成时序和推理性能,并结合 Token 概率分布、熵等不确定性信号,探索质量预测与后置分析。

打开原文

更多资讯

GPT-6 Astra实现具身智能突破 中国如何打具身防卫战金色财经 · 09/16 14:58FAST 发现极短周期、最轻双中子星系统Solidot · 09/16 19:09产品经理的体面,是一块不能失守的 “括约肌”人人都是产品经理 · 09/15 16:09英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5TB 显存做实 AI「 推恩令」?雷峰网 · 09/15 17:38金色Web3.0日报 | 黄仁勋批驳「AI末日论」金色财经 · 09/15 21:48美国军方首次证实在太空部署了武器Solidot · 09/15 16:07NVIDIA中国开发者日定档10月苏州,现场设认证考试与黑客松决赛Solidot · 09/15 14:44Meta新研究:字节模型蒸馏后,天花板破了量子位 · 09/15 14:37对话蚂蚁灵波 CEO 朱兴:机器人还吃不了「粗粮」爱范儿 / APPSO · 09/16 12:04芯片从业者拆解OpenAI造芯,还能再快3个月?雷峰网 · 09/16 18:38AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23手机替我跑了一整套流程!我就说了一句话,AI执行了100步量子位 · 09/15 20:47开学季 | 学生理财的三条建议,学生党也可以一样理财少数派 · 09/15 11:10Announcing instance preference lists for Amazon SageMaker AI training jobsAWS Machine Learning Blog · 09/16 00:01被用了几千年的铜,怎么突然成了AI时代的新宠?果壳网 · 09/16 16:15横扫四榜,DM0.5 凭什么面面俱到?雷峰网 · 09/15 10:22PS2 Fat 使用的安全芯片在时隔 26 年被破解Solidot · 09/16 23:54OpenAI 发布适用于编程和计算机应用的 GPT-6 AstraInfoQ 中文 · 09/16 00:52Build an AI-powered product tagging system with Amazon SageMaker serverless model customizationAWS Machine Learning Blog · 09/16 00:11AI 减速还是不减速:一场周末点燃的行业与政府对垒金色财经 · 09/15 12:06视频号评论区小蓝词使用指南人人都是产品经理 · 09/16 10:27从接住告警到自我进化:快手智能运维助手实践|QCon上海InfoQ 中文 · 09/16 18:00这种国民鱼一直被低估、被当廉价鱼!现在才知道钙和 DHA 这么多!快试试果壳网 · 09/15 22:15月下载暴增366%,上海真人社交公司切入东南亚AI陪伴,AI角色也能“奔现”人人都是产品经理 · 09/16 14:44现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24只会搜关键词还不够,Agent 需要一套更聪明的本地搜索人人都是产品经理 · 09/15 16:17算力、机器人、仿真与资本,谁在定义物理AI下一个十年?|第十届全球ICT峰会回顾36氪 · 09/15 17:47全球AI视频榜单第一梯队再添中国力量:智象发布首款物理规律导向视频模型量子位 · 09/15 18:41iPhone 18 Pro & Duo 首发评测,提升最大的是「充电」和这个…爱范儿 / APPSO · 09/16 20:20