arXiv cs.AI 发布于 09/04 12:00

GPS-Bench: A Governance Policy Benchmark for Automating Policy Analysis

(翻译)GPS-Bench:一个用于自动化政策分析的治理政策基准

查看原文

资讯摘要

Abstract page for arXiv paper 2609.03553: GPS-Bench: A Governance Policy Benchmark for Automating Policy Analysis

AI 摘要

论文提出GPS-Bench,一个基于证据的治理政策模拟基准。它利用立法记录、游说披露、监管文件、公司财报等公共证据,将政策与相关行动者、行动和下游影响联系起来,并通过人工标注(Gold)与另一LLM标注(Silver)区分评测与训练数据。研究对比多种推理模式,发现基于真实记录微调的模型在行动者层面预测最强,分解方法虽未提升预测但提供机制解释。

AI 问答

GPS-Bench中的Gold集和Silver集有什么区别?

Gold集由人工根据真实记录标注,用于模型评测;Silver集由另一个LLM从检索证据中标注,仅作为监督信号用于训练,不作为测试标签。

研究的主要结论是什么?

在真实治理记录上微调模型在行动者层面的影响预测上表现最强,多智能体分解方法未能在预测精度上超越微调,但可提供机制解释,例如联盟如何形成。

打开原文

更多资讯

物理 AI 的大结果何时到来?人人都是产品经理 · 09/16 17:25不止一颗CPU?智能体经济时代,Arm对算力平台有了新理解雷峰网 · 09/15 09:58担心代码被拿去训练!英伟达:限制员工使用 Claude;一汽将成广汽第二大股东!南北丰田拟合并;苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:23产品已批量进入全球头部Tier 1产线,「知来具身」要为工业场景打造“开箱即用”的泛化机器人36氪 · 09/16 10:12美联储今起议息 沃什或成关键一票金色财经 · 09/15 15:19从担心AI失控 到AI造福人类:比尔盖茨怎么想金色财经 · 09/15 14:43我和我的 AI 手机吃了 3 顿饭爱范儿 / APPSO · 09/16 12:04百度做了一堆AI产品,却没有一个能代表百度?人人都是产品经理 · 09/15 18:31「沃什时代」首次加息要来了?华尔街算好了三种剧本金色财经 · 09/16 20:25AI攻克世纪数学难题,顶尖数学家抱团抵制,而他们担心的并不是丢了工作果壳网 · 09/15 19:159月21日,深圳前海!聊聊工业AI与生态共创的下一步量子位 · 09/15 13:20OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25首个AIGC长片大赛!RunningHub单项大奖100万,科幻IP免费改编量子位 · 09/15 15:48支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎InfoQ 中文 · 09/16 02:27FAST 发现极短周期、最轻双中子星系统Solidot · 09/16 19:09只会搜关键词还不够,Agent 需要一套更聪明的本地搜索人人都是产品经理 · 09/15 16:17金色Web3.0日报 | 黄仁勋批驳「AI末日论」金色财经 · 09/15 21:48GPT-6 Astra实现具身智能突破 中国如何打具身防卫战金色财经 · 09/16 14:58特朗普“一再让步”:美国加密法案仍未过关金色财经 · 09/16 17:18比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了爱范儿 / APPSO · 09/16 23:21How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI FactoriesNVIDIA Technical Blog · 09/16 00:55How NVIDIA Groq 3 LPX Deterministic Execution Drives Power-Efficient High-Interactivity Inference on NVIDIA Vera RubinNVIDIA Technical Blog · 09/16 00:55AI 写了几十页 PPT,“经营分析”报告仍被批不够深入?人人都是产品经理 · 09/15 11:32找不到小红书爆文选题?去淘宝差评区抄!人人都是产品经理 · 09/15 11:29派早报:Steam Frame 开启预购、WPS 多端支持 Markdown 等少数派 · 09/16 08:39做了两年AI落地,我总结了这7点思考人人都是产品经理 · 09/16 11:04CLARITY法案为何倒在参议院门口?这主流如你所愿金色财经 · 09/16 12:08想把喜欢的故事做成动画?我用 AIXTV 把《聊斋》做出来了人人都是产品经理 · 09/16 17:22B站AI无限竞技场今日上线!全球百大AI模型同场竞技,GPT-6高居榜首量子位 · 09/16 14:23超越代币化:让RWA在链上发挥实用价值金色财经 · 09/15 12:11