AWS Machine Learning Blog 发布于 08/22 00:59

Reduce RAG costs on Amazon Bedrock with query-aware compression

(翻译)通过查询感知压缩降低 Amazon Bedrock 上的 RAG 成本

查看原文

资讯摘要

Input tokens are often a meaningful part of the cost of running Retrieval Augmented Generation (RAG) at scale. This post describes a query-aware context compression pattern on Amazon Bedrock: after retrieval, a smaller model filters retrieved chunks against the query before the primary model answers

AI 摘要

本文介绍了在 Amazon Bedrock 上通过查询感知压缩降低 RAG 成本的方法。该模式在检索后、最终回答前,使用较小的模型(如 Claude Haiku)根据用户查询过滤检索到的文本块,再让主模型(如 Claude Sonnet)基于压缩后的证据生成答案,从而减少输入令牌数,降低成本并降低幻觉风险。

AI 问答

查询感知压缩如何降低 RAG 成本?

在检索后使用较小模型过滤与查询相关的文本块,只将相关片段发送给主模型,从而减少主模型处理的输入令牌数,降低推理成本。

实现该模式需要哪些前提条件?

需要有效的 AWS 账户、为 Lambda 函数创建 IAM 角色并添加权限,以及在 Bedrock 中启用所需的模型访问权限(如 Claude Haiku 和 Claude Sonnet)。

打开原文

更多资讯

特斯拉在欧洲将 Full Self-Driving 改名为 Tesla Assisted DrivingSolidot · 10/10 16:52重新思考 Neobank 新兴银行金色财经 · 10/10 17:04JEPA、空间智能路线正面交锋:WorldArena 2.0 挑战赛开考「能不能被机器人真正用起来」| IROS 2026雷峰网 · 10/10 13:30Kimi 现代高速开源治理的 AI Native 实践|QCon上海InfoQ 中文 · 10/09 18:00Sui 难民:华语开发者为什么选择离开?金色财经 · 10/09 21:29成年人要的「安心」,有时是一支笔给的36氪 · 10/10 15:30奇瑞汽车旗下合肥智能科技公司增资至1.68亿,增幅1580%36氪 · 10/10 14:25数据越多≠决策越好:从无人机滑翔到多机器人通信,重新审视数据与信息的关系 | IROS 2026雷峰网 · 10/10 11:28超110台中国AR眼镜为WTTC全球峰会提供实时翻译服务36氪 · 10/10 12:12金色Web3.0日报 | Starknet拟升级为L1 2027年抗量子金色财经 · 10/09 21:59App工厂,才是AI时代最被低估的生意人人都是产品经理 · 10/10 14:59App+1|专注星空:让「少刷手机」这件事更愉悦一点少数派 · 10/10 10:19谷歌Gemini 4新模型泄露 内测评价:这不Opus 5.5吗金色财经 · 10/10 13:18新模型密集发布,该怎么选?分享我的实测感受人人都是产品经理 · 10/10 14:16实测一个月,我把手机里 20 多个常用 App 全删了,只留了一个豆包工作人人都是产品经理 · 10/10 17:33Modal 破解 Kubernetes 限制,在几秒内扩展 100 万个并发沙箱InfoQ 中文 · 10/10 01:10LinkAndroid v2.4.0 投屏内核更新至 scrcpy 5.0,编码解码全面提速开源中国 · 10/10 18:32阿里开始给AI算账了:用AI的钱,以后各业务线自己出人人都是产品经理 · 10/10 11:09欧盟轮值主席国提议将2028-2034年欧盟预算削减8%至1.6万亿欧元36氪 · 10/10 16:5796岁还能当爸爸,男的要这么强的生育能力有啥用?果壳网 · 10/09 17:15奈飞据悉正进行组织重组,预计将影响约5%的员工36氪 · 10/09 19:43XXL-JOB v3.5.0 发布|OpenAPI 增强、动态 AccessToken、海量日志索引优化开源中国 · 10/09 23:11人社部:将研究出台服务业发展促就业文件,扩大服务业就业总量36氪 · 10/10 10:22字节凶猛:从招聘看字节AI战略战术背后的逻辑与细节人人都是产品经理 · 10/10 14:41商务部:中欧双方将继续探讨在世贸组织规则框架下,降低部分商品关税的可能性36氪 · 10/09 19:20做了八年DSP,Credo怎么突然开始做光芯片了?雷峰网 · 10/09 17:14诺贝尔和平奖授予了南非女法官 Navi PillaySolidot · 10/09 18:58纳芯微推出小型化封装的数字隔离器和隔离接口36氪 · 10/10 10:29食言?微信小程序Store上线人人都是产品经理 · 10/10 09:26不输出文本、只输出概率的 Jev —— 上线几周估值飙到 75 亿美元开源中国 · 10/10 11:06