直接回答:灾难性遗忘指模型在新任务上微调后,原有的通用能力(或其他任务能力)显著退化——神经网络参数被新数据拉走,旧知识的表示被破坏。全量微调最明显,训练越久、数据分布越偏,遗忘越严重。
展开解析:缓解手段按工程成本排序:第一,数据混合——在领域数据中混入 5%~20% 的通用指令数据(回放 rehearsal),最简单有效;第二,参数高效微调——LoRA 只动 0.1% 参数,天然限制漂移幅度,遗忘远轻于全量,基座能力随适配器卸载即恢复;第三,正则约束——对重要参数加 EWC 惩罚项,或用 KL 散度约束输出分布不偏离原模型(RLHF 里的 KL 惩罚同理);第四,降低学习率与训练轮数,遗忘本质是更新过猛,小学习率加早停能显著缓解。评估侧要做对应设计:微调验收不能只看目标任务指标,必须配通用能力回归集(如 MMLU 子集、通用写作样本)监控退化。工程实践里的常见场景:医疗模型微调完不会闲聊了、代码模型微调完推理能力下降——根因都是数据配比单一加训练过度。判断标准:目标任务提升若伴随通用能力掉超过 1~2 个点,就该回调配比或降学习率重来。
追问方向:为什么 LoRA 遗忘更轻?持续预训练(CPT)与 SFT 的遗忘有何不同?
(约 450 字)