arXiv cs.AI 发布于 09/23 12:00

Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation

(翻译)合成人物画像能预测真实受众反应吗?一项仿真到现实研究:无画像基线优于基于画像的文案模拟

查看原文

资讯摘要

Abstract page for arXiv paper 2609.25010: Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation

AI 摘要

arXiv 论文检验用大模型合成人物画像预测受众反应的效度。作者以 Upworthy 研究档案中数千个标题 A/B 测试的真实点击数据为基准,对比十人画像面板与零样本无画像基线。结果显示无画像基线排序明显更优(Kendall τ=0.361,top-1 准确率 49.2%),画像面板仅 τ=0.084、34.6%。结论在三个数据划分及不同模型家族上保持稳健。

AI 问答

这项研究的核心发现是什么?

在预测真实受众点击时,不做人物设定的零样本基线排序效果明显优于十人画像面板,说明画像条件反而降低了预测效度。

研究用什么作为真实基准?

使用 Upworthy 研究档案中数千个共享真实流量的标题 A/B 测试及其测得的点击数据,其中统计上可区分胜负、可用于验证的样本为 399 个。

结论是否稳健?

结果在三个独立的 Upworthy 数据划分上复现,在另一领域新闻数据集上方向一致,并对随机种子、提示措辞和模型选择(含 Gemini 多个层级与 OpenAI gpt-4.1)保持稳健。

打开原文

更多资讯

三晖电气:股东于文彪及其一致行动人拟减持不超3%公司股份36氪 · 10/09 20:02阶跃 Step 5 Preview 登上 OpenRouter 全球第一,10月15日开源!雷峰网 · 10/10 11:37日本美滨核电站3号机组反应堆重启36氪 · 10/10 09:28华尔街新高藏隐忧金色财经 · 10/09 22:27App工厂,才是AI时代最被低估的生意人人都是产品经理 · 10/10 14:59Rails 之父 DHH 狂吹 Rust 快 150 倍,被开发者翻代码后群嘲InfoQ 中文 · 10/10 23:24C盘爆红救星!开源神器 MuRig v1.2.0 发布,支持自定义环境安装路径!开源中国 · 10/10 18:19TRAE终于把Code和Work合并了量子位 · 10/09 17:19人社部:截至9月底三项社会保险基金累计结余11.2万亿元36氪 · 10/10 10:21独家丨华为云销售组织大调整,将实行大区制雷峰网 · 10/10 15:25Cloudflare 让决策模型打起了价格战:Clef 降价、提速、上多模态开源中国 · 10/10 16:25Cloudflare 收购 Deno,Deno 停止开发Solidot · 10/10 14:01微软发布基于 Qwen 后训练的决策模型 “Microsoft-Decision-1”开源中国 · 10/10 14:51黄仁勋为微软站台:没有 Windows 就不会有英伟达,Satya 当场“讨市值”InfoQ 中文 · 10/10 01:53冷钱包遭经销商投毒 超8600万美元被盗 请立刻排查金色财经 · 10/10 14:56母婴业这样用WorkBuddy就对了人人都是产品经理 · 10/10 14:40内蒙古:全区所有水泥熟料生产线11月起实施共5个月实行错峰生产36氪 · 10/10 17:52以太坊大区块时代将至:Glamsterdam 通过测试网首考金色财经 · 10/09 17:38ModStartBlog v11.3.0 安全加固、体验优化,自动化测试更强大开源中国 · 10/10 18:23一个没卖出去的 AI 产品,我决定把它开源人人都是产品经理 · 10/10 10:31国旅文化投资集团增资至11.63亿元,增幅超130%36氪 · 10/10 12:05世界的下一个版本,由我们定义 |2026苏客松招募启动36氪 · 10/10 10:35村田制作所子公司拟投90亿日元扩产MLCC陶瓷原料36氪 · 10/10 14:37成年人要的「安心」,有时是一支笔给的36氪 · 10/10 15:30AI灾难或将发生?Anthropic、OpenAI推演最坏情景金色财经 · 10/10 13:38Zentrola 1.1.0 发布:应用接入、成本核算与月度 Token 配额开源中国 · 10/09 19:50在生产环境中保护MCP:超越网关的纵深防御InfoQ 中文 · 10/09 17:0513只低估值个股推出大手笔回购或增持计划36氪 · 10/10 09:25乱序 HTML 流技术从 JavaScript 框架转移到浏览器中InfoQ 中文 · 10/09 23:30人社部:力争到2030年技能人才占就业人员比例升至35%36氪 · 10/10 12:21