arXiv cs.AI 发布于 08/26 12:00

RENDER: Controlling Reader-Facing Evidence in LLM Memory Evaluation

(翻译)RENDER:在LLM记忆评估中控制面向读者的证据

查看原文

资讯摘要

Abstract page for arXiv paper 2608.23568: RENDER: Controlling Reader-Facing Evidence in LLM Memory Evaluation

AI 摘要

arXiv论文介绍RENDER基准控制方法,用于检验LLM记忆与RAG评估中读者可见证据形式对结果的影响。研究用五级数据包阶梯和ChatGPT风格条目、LangChain摘要、MemGPT类型化记录、原始对话等模板,在500个LongMemEval问题与9个模型上进行测试。结果显示,匹配预算的解析数据包较按最近截断的原始对话提升42.4-72.6分,作者建议评测应报告或控制读者可见的证据形式。

AI 问答

RENDER基准主要研究什么问题?

RENDER研究在LLM记忆与RAG评估中,输入给模型的记忆或历史以不同形式呈现(如摘要、类型化记录、原始对话等)会如何影响评估结果。

RENDER在实验中发现了什么?

在500个LongMemEval问题和9个模型上,匹配预算的解析数据包比按最近截断的原始对话得分高42.4-72.6分;三种模型在正式账本式条目上得分为0%,但换成自然语言条目后可达45.4-53.4%。

打开原文

更多资讯

美债失控狂飙:冲击到底有多大?金色财经 · 10/09 21:25大模型通用答案没有考虑每个人需求金色财经 · 10/10 09:02最大买家离场在即:ETH每天超 700 万美元抛压谁来接金色财经 · 10/09 20:22从 Demo 到生产:AI Agent 缺的到底是什么?InfoQ 中文 · 10/09 19:13小红书+AI+知识库,我现在无敌了人人都是产品经理 · 10/10 10:45数据越多≠决策越好:从无人机滑翔到多机器人通信,重新审视数据与信息的关系 | IROS 2026雷峰网 · 10/10 11:28这三个摄影 App, 配得上你全新的 iPhone 18 Pro爱范儿 / APPSO · 10/10 12:12北京市“十五五”时期深化国际消费中心城市建设规划发布36氪 · 10/10 14:09Linear 通过 1000 多次 PR 从 styled-components 迁移到 Meta 的 StyleXInfoQ 中文 · 10/11 02:09「10.11大暴跌」一周年:加密市场发生了哪些变化?金色财经 · 10/10 21:05唐山港:1—9月预计累计完成货物吞吐量1.89亿吨,同比增长5.06%36氪 · 10/09 19:02热门中概股美股盘前普涨,理想汽车涨超4%36氪 · 10/09 20:52多部门:拟规范汽车采用虚拟操纵件替代传统物理按键的产品36氪 · 10/10 17:25人类愿意向女性形象的 AI 智能体支付的报酬低于男性形象智能体Solidot · 10/09 22:52冷钱包遭经销商投毒 超8600万美元被盗 请立刻排查金色财经 · 10/10 14:56对话赵长江:智界RX要成为华为的「Pura X」雷峰网 · 10/10 15:52Cloudflare 收购 Deno,Deno 停止开发Solidot · 10/10 14:01.NET多类型数据库通用库更新升级到V26.10.9开源中国 · 10/10 10:01OpenAI dots全面登陆手机 开口指挥Codex干活了金色财经 · 10/10 10:59新思科技与亚马逊达成多年期定制芯片战略IP协议36氪 · 10/10 13:41美财长:美国国债已攀升至约41万亿美元规模36氪 · 10/10 09:15教育部:教师发展中心全新上线,教师AI素养全覆盖培训启动36氪 · 10/10 15:58深交所:9月28日至10月9日,共对141起证券异常交易行为采取了自律监管措施36氪 · 10/09 19:57给客户装个Workbuddy就能搞定的事,为什么我还在搭工作流人人都是产品经理 · 10/10 10:525 万 star 的 REA:把逆向工程变成 agent 的一项本地能力开源中国 · 10/10 14:29多部门:汽车生产企业不得作虚假、夸大或引人误解的宣传36氪 · 10/10 17:25七部门:推动电商领域高水平开放36氪 · 10/10 10:16一个没卖出去的 AI 产品,我决定把它开源人人都是产品经理 · 10/10 10:31内蒙古:全区所有水泥熟料生产线11月起实施共5个月实行错峰生产36氪 · 10/10 17:52节后机票价格“跳水”,多条航线低于高铁票价36氪 · 10/10 12:57