微调如何影响大语言模型的内部表征?
研究考察注意力模式和逐层激活,发现 EAP 识别的任务相关组件集中在特定层,且其跨层分布与表征变化最大的层基本不相关。
(翻译)解耦微调大语言模型中的内部表征变化与因果重要性
Abstract page for arXiv paper 2609.21113: Decoupling Internal Representational Changes and Causal Importance in Fine-Tuned Large Language Models
该论文研究微调如何改变大语言模型的内部机制,考察注意力模式与逐层激活的变化,并对比 EAP 识别的任务相关组件。研究发现 EAP 组件集中于特定层,呈现功能局部化;这些组件的层分布与微调中表征变化最大的层基本不相关。EAP 组件重叠不一定带来跨任务性能迁移,任务性质不同时甚至可能导致性能下降。
研究考察注意力模式和逐层激活,发现 EAP 识别的任务相关组件集中在特定层,且其跨层分布与表征变化最大的层基本不相关。
不一定。若任务性质不同,如分类与生成任务,组件重叠未必带来迁移,甚至可能因一个任务微调而降低另一个任务的表现。
同样是珍珠,为啥价格能差10倍?纯炒作?那为什么只有 Muse 爆了设计系统负责人的语义生长之约束显化:把1条”绝对不能”翻译成机器规则葛洲坝航运扩能工程进入主体施工阶段国旅文化投资集团增资至11.63亿元,增幅超130%第三季度21家上市银行获511家机构调研亚马逊云科技在 Aurora DSQL 中引入外键约束美“天鹅座”货运飞船结束任务 离开国际空间站加强汽车产品创新设计等方面管理,四部门征求意见一篇把锅从模型甩回公司手里的短文 —— 「计算机无法做出决定」广东加速推进广韶高速改扩建工作,未来将缓解京港澳高速交通压力梅赛德斯-奔驰美国公司召回30064辆汽车中国人民银行行长潘功胜会见法国总统外事顾问博纳
Galaxy:写在10/10崩盘一周年后 加密基本面持续向好“双向奔赴”成亮眼风景线,A+H板块年内扩至209家人社部:“十五五”时期,每年将培养培训100万名高层次、急需紧缺技术人才受内存、存储芯片短缺推高价格,游戏硬件销量跌至13年新低