arXiv cs.AI 发布于 09/21 12:00

Decoupling Internal Representational Changes and Causal Importance in Fine-Tuned Large Language Models

(翻译)解耦微调大语言模型中的内部表征变化与因果重要性

查看原文

资讯摘要

Abstract page for arXiv paper 2609.21113: Decoupling Internal Representational Changes and Causal Importance in Fine-Tuned Large Language Models

AI 摘要

该论文研究微调如何改变大语言模型的内部机制,考察注意力模式与逐层激活的变化,并对比 EAP 识别的任务相关组件。研究发现 EAP 组件集中于特定层,呈现功能局部化;这些组件的层分布与微调中表征变化最大的层基本不相关。EAP 组件重叠不一定带来跨任务性能迁移,任务性质不同时甚至可能导致性能下降。

AI 问答

微调如何影响大语言模型的内部表征?

研究考察注意力模式和逐层激活,发现 EAP 识别的任务相关组件集中在特定层,且其跨层分布与表征变化最大的层基本不相关。

EAP 组件重叠是否意味着跨任务性能可以迁移?

不一定。若任务性质不同,如分类与生成任务,组件重叠未必带来迁移,甚至可能因一个任务微调而降低另一个任务的表现。

打开原文

更多资讯

特朗普政府要求AI公司在发生安全事件后立即上报36氪 · 10/10 09:19“物外智趣”完成数千万元人民币天使轮融资36氪 · 10/10 13:55我国成功发射卫星互联网低轨27组卫星36氪 · 10/10 09:14当年「字节投毒实习生」田柯宇,估值 2 亿美元,要挑战李飞飞做世界模型雷峰网 · 10/09 18:34GMIF 2026:日均140万亿Token调用,正在改变SSD的能力与分工雷峰网 · 10/10 09:38泰国证交所修订卖空和高频交易规则36氪 · 10/10 11:57海航控股旗下北京新华顺航商贸公司增资至22亿36氪 · 10/10 16:30Cloudflare 公共 DNS 服务不需屏蔽盗版网站域名Solidot · 10/10 15:30机构:预估2031年VCSEL市场需求量将有望达到6.5亿颗36氪 · 10/10 12:52市场监管总局谈“美团收购麦芽田股权案”:将依法推进本案后续审查36氪 · 10/10 16:24母婴业这样用WorkBuddy就对了人人都是产品经理 · 10/10 14:40三晖电气:股东于文彪及其一致行动人拟减持不超3%公司股份36氪 · 10/09 20:02谷歌正在内测新 AI 模型,员工称其编码能力和 Claude Opus 5.5 打平开源中国 · 10/10 17:08同样是珍珠,为啥价格能差10倍?果壳网 · 10/10 22:15纯炒作?那为什么只有 Muse 爆了人人都是产品经理 · 10/10 10:13设计系统负责人的语义生长之约束显化:把1条”绝对不能”翻译成机器规则人人都是产品经理 · 10/10 09:21葛洲坝航运扩能工程进入主体施工阶段36氪 · 10/10 16:55国旅文化投资集团增资至11.63亿元,增幅超130%36氪 · 10/10 12:05第三季度21家上市银行获511家机构调研36氪 · 10/10 10:17亚马逊云科技在 Aurora DSQL 中引入外键约束InfoQ 中文 · 10/11 03:00美“天鹅座”货运飞船结束任务 离开国际空间站36氪 · 10/10 09:24加强汽车产品创新设计等方面管理,四部门征求意见36氪 · 10/10 17:09一篇把锅从模型甩回公司手里的短文 —— 「计算机无法做出决定」开源中国 · 10/10 15:58广东加速推进广韶高速改扩建工作,未来将缓解京港澳高速交通压力36氪 · 10/10 14:07梅赛德斯-奔驰美国公司召回30064辆汽车36氪 · 10/10 16:25中国人民银行行长潘功胜会见法国总统外事顾问博纳36氪 · 10/10 11:38Galaxy:写在10/10崩盘一周年后 加密基本面持续向好金色财经 · 10/10 09:35“双向奔赴”成亮眼风景线,A+H板块年内扩至209家36氪 · 10/10 09:17人社部:“十五五”时期,每年将培养培训100万名高层次、急需紧缺技术人才36氪 · 10/10 11:11受内存、存储芯片短缺推高价格,游戏硬件销量跌至13年新低36氪 · 10/10 10:20