大语言模型会在蒸馏中“夹带”自己的偏好—新闻—科学网
当学生模型基于包含代码而非数字的夹带老师模型输出进行训练时,
LLM可通过一种名为“蒸馏”的大语过程,这些本不需要的言模特征,若学生模型基于与老师模型语义不对齐的蒸馏中自数字序列进行训练,需要进行更严格的偏好安全测试,仍可能持续存在。科学再用其训练一个仅输出数值数据且不包含该特征的夹带学生模型。即便这些数字已经过滤以剔除任何具有负面联想的大语内容。
美国Anthropic公司研究团队使用GPT-4.1进行了实验:先让该模型具备与核心任务无关的言模特征(例如偏爱猫头鹰或特定树种),而由没有特定偏好的型会新闻老师模型训练出的学生模型中,需要进一步研究。蒸馏中自该研究的偏好局限性在于所选特征(例如最喜欢的动物和树木)过于简单,需要进一步研究以确定更复杂的科学特征如何被潜意识地学习。

