泛化误差可分解为偏差² + 方差 + 不可约噪声。偏差是模型预测期望与真实值的差距,反映拟合能力;方差是模型对训练数据扰动的敏感程度,反映稳定性。简单模型高偏差低方差,复杂模型低偏差高方差,二者此消彼长,最优复杂度位于总误差最低点。
实践含义:高偏差(欠拟合)应提升模型容量、增加特征;高方差(过拟合)应加数据、加正则、做集成。Bagging(如随机森林)主要降方差,Boosting 主要降偏差,这是集成方法的理论解释。
易错点:认为偏差方差永远严格此消彼长——现代深度学习中出现双下降(double descent)现象,过参数化模型在插值点之后测试误差可再次下降,说明该权衡在大模型时代需要更细致的理解。追问方向:如何用实验估计偏差与方差?