AI Control Roadmap 的核心假设是什么？
它假设高度能干的AI代理可能不完全对齐并会意外行动，因此将其视为潜在内部威胁，通过系统级控制提供额外安全保障。
Securing the future of AI agents
（翻译）保障AI代理的未来
资讯摘要
Securing internal systems with an AI Control Roadmap, combining traditional safeguards and real-time monitoring.
AI 摘要
Google DeepMind发布AI Control Roadmap，提出纵深防御框架以保护内部系统免受日益强大但可能对齐不完美的AI代理威胁。该框架将未受信任的AI代理视为潜在内部威胁，参考MITRE ATT&CK进行威胁建模，并利用可信AI系统作监督，通过检测、预防和响应机制保障安全。团队已分析百万个编码代理轨迹，并同步发布面向政策制定者的《三层代理安全》技术框架。
AI 问答
文章提到监控系统的三个关键度量指标是什么？
覆盖率（被监控流量比例）、召回率（被捕获的错误行为比例）和响应时间。