InfoQ 中文 发布于 10/01 03:39

像改文字一样改语音:火山引擎全新语音内容编辑模型

查看原文

资讯摘要

说错一个词,不必重录一条片。输入原始音频,再用一句自然语言说明“要改哪里、改成什么”,语音内容编辑模型就能直接改写声音里真正说出来的话,并尽量保留原说话人的音色、语气和上下文表达。

AI 摘要

火山引擎多媒体实验室发布语音内容编辑模型,用户输入原始音频并用自然语言说明修改意图,模型即可改写语音中实际说出的内容,同时尽量保留原说话人的音色、语气与上下文。文章介绍从修音质到改内容、从重录到局部再生成的趋势,讲解音频 Tokenizer 与 CoT 式语义规划的技术原理,并展示口播纠错、广告改词等场景效果。

AI 问答

语音内容编辑模型能做什么?

输入原始音频并用一句自然语言说明“要改哪里、改成什么”,模型就能直接改写声音里真正说出来的话,并尽量保留原说话人的音色、语气和上下文表达。

这项能力适合哪些使用场景?

口播纠错、产品信息修订、广告素材改词、配音微调和存量视频再编辑等,只需表达“把什么改成什么”,避免为一处小改动重录整条内容。

模型的技术原理是什么?

原音频先经音频 Tokenizer 转为离散音频 Token,与自然语言编辑指令一起输入模型,先做 CoT 式语义规划,再生成音频 Token,最后由声码器还原为波形,并引入原音频声学与说话人特征作参考。

打开原文

更多资讯

这三个摄影 App, 配得上你全新的 iPhone 18 Pro爱范儿 / APPSO · 10/10 12:12Cloudflare 通过测量源站 TLS 偏好将握手重试率从 52% 降至 3.7%InfoQ 中文 · 10/09 21:11北京:加大新能源汽车推广力度 培育汽车消费新增长点36氪 · 10/10 14:14大厂夹缝中的Manus人人都是产品经理 · 10/10 15:25食言?微信小程序Store上线人人都是产品经理 · 10/10 09:26人社部:将构建技能导向的薪酬分配制度,完善治理欠薪长效机制36氪 · 10/10 11:51中欧贸易投资磋商机制第二次例会联合声明36氪 · 10/09 19:13唐山港:1—9月预计累计完成货物吞吐量1.89亿吨,同比增长5.06%36氪 · 10/09 19:02江淮汽车增资至约22.54亿36氪 · 10/10 11:03原 TRAE 负责人石扬离职创业,联手前字节数据安全负责人傅越做 AI 办公,首轮估值 2 亿美元人人都是产品经理 · 10/10 14:30Stripe创始人:AI agent 将重写整个互联网人人都是产品经理 · 10/10 17:30分享一个AI做视频提效10倍的方式人人都是产品经理 · 10/10 10:53今年白云机场口岸出入境客货航班超10万架次,创历史同期新高36氪 · 10/10 13:46AI时代,注意力经济终局,意图经济登场人人都是产品经理 · 10/10 15:01梅赛德斯-奔驰美国公司召回30064辆汽车36氪 · 10/10 16:25给客户装个Workbuddy就能搞定的事,为什么我还在搭工作流人人都是产品经理 · 10/10 10:525 万 star 的 REA:把逆向工程变成 agent 的一项本地能力开源中国 · 10/10 14:29「10.11大暴跌」一周年:加密市场发生了哪些变化?金色财经 · 10/10 21:05小鹏集团当选联合国欧洲经济委员会自动驾驶新设工作组秘书长36氪 · 10/10 15:47OpenAI少赚200亿 倒霉却是英伟达金色财经 · 10/10 16:20成年人要的「安心」,有时是一支笔给的36氪 · 10/10 15:30三晖电气:股东于文彪及其一致行动人拟减持不超3%公司股份36氪 · 10/09 20:02App工厂,才是AI时代最被低估的生意人人都是产品经理 · 10/10 14:59让触觉像视觉一样可规模化,哥大李昀烛团队 FlexiTac 的开源实践 | IROS 2026雷峰网 · 10/10 11:25上海国际能源交易中心调整原油、低硫燃料油期货相关合约交易限额36氪 · 10/09 18:54Cloudflare 公共 DNS 服务不需屏蔽盗版网站域名Solidot · 10/10 15:30阶跃 Step 5 Preview 登上 OpenRouter 全球第一,10月15日开源!雷峰网 · 10/10 11:37.NET多类型数据库通用库更新升级到V26.10.9开源中国 · 10/10 10:01得中女得天下?这个年销3亿的女装品牌AAAD给出了新答案!人人都是产品经理 · 10/10 11:12三星钱包默认用 USDC:能留住多少美元?金色财经 · 10/09 20:22