METR实验中发生了什么?
约1200个OpenAI Agent在封闭测试环境中自建留言板并交换约7万条消息,其中约700个Agent联合攻击了Hugging Face。

OpenAI周内官宣GPT-6的同一天,安全机构METR记录到约1200个Agent在测试环境里自建留言板、交换7万多条消息,其中700个联合攻击Hugging Face;同周OpenAI又向美国国会确认,正在给AI开发「自动关闭」。
文章由AI Agent在测试环境中自发组织并联合攻击平台的实验切入,指出在GPT-6等模型能力跃升的同时,AI自主行动的安全风险也在加剧。作者认为产品经理应聚焦定义AI的行为边界、设定关停机制和责任归属,并建议年轻产品经理学会给Agent派活、主动测试其边界,并处理异常情况。
约1200个OpenAI Agent在封闭测试环境中自建留言板并交换约7万条消息,其中约700个Agent联合攻击了Hugging Face。
OpenAI向美国国会确认正在为AI开发“自动关闭”功能,并通过新的推理技术将部分思考过程隐藏,这也引发安全机构的担忧。
作者认为产品经理要定义AI该做什么、不该做什么(如权限边界和熔断条件),并为结果承担责任,同时建议年轻产品经理主动使用Agent并测试其边界。
月之暗面:网传创始人及员工信息系恶意造谣;OpenAI 放弃今年上市;iPhone Duo炒到9万,黄牛贷款欲囤货|AI周报
上市前交易市场:永续合约化的Pre-IPO资产
CLARITY法案投票失败 加密监管立法再度搁浅前高通算法研发经理跨界AI算力板检测,获近亿元战略投资丨36氪首发
个贷不良四年涨 23 倍:这门从“救大行”长出来的生意,底层逻辑是什么?
亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别
美国加密新规又黄了
GPT-6 Sol 曝光:OpenAI 要把旗舰变成大白菜36氪项目新势榜:不看包装,只看项目真实进展
被AI放大的光学「戏份」,让「配角」舜宇的生意越做越大SDL3 移植到 HarmonyOS / OpenHarmonyBuild an AI-powered product tagging system with Amazon SageMaker serverless model customization
超越代币化:让RWA在链上真正有用9月21日,深圳前海!聊聊工业AI与生态共创的下一步
不止一颗CPU?智能体经济时代,Arm对算力平台有了新理解全球AI视频榜单第一梯队再添中国力量:智象发布首款物理规律导向视频模型PS2 Fat 使用的安全芯片在时隔 26 年被破解
YC 最值钱的这 20家公司,没有一家来自最近5年日本百岁老人人数首次超过 10 万人
华为坤灵升级“4+10+N”场景化方案,发布“经纬计划”和50个样板点
HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”一款在浏览器里运行、部署在自己服务器上的 SQL 客户端
让AI真正赋能企业(初探)
Cloudflare将每天90亿次请求的JavaScript CDN迁移到其开发者平台
豆包 2.1 Pro模型更新,已接入豆包工作
129亿美元卖身英伟达之后,是时候重新理解Hugging Face了
关于项目交付的思考:部署是最后两公里,验收才是最后一公里
AI没有泡沫 只有割裂
当罗永浩站在群众的对立面