激活函数为网络引入非线性，没有它多层网络等价于单层线性变换。Sigmoid 把输出压到 (0,1)，但两端饱和导致梯度趋零，且输出非零中心化，已基本退出隐藏层；Tanh 零中心化但同样饱和。ReLU(x)=max(0,x) 在正区间梯度恒为 1，计算廉价，大幅缓解梯度消失，是 CV 时代默认选择。GELU 用输入自身的标准正态 CDF 做平滑门控，是 ReLU 的光滑随机化版本，成为 Transformer（BERT、GPT）的标配；近年 PaLM、LLaMA 等进一步采用 SwiGLU 变体，效果更优。

易错点：ReLU 存在死亡神经元问题（输入恒负时梯度为零不再更新），可用 Leaky ReLU 缓解；Sigmoid 仍用于二分类输出层和门控结构。追问方向：为什么 GLU 类变体在大模型里优于 GELU？激活函数与初始化如何配合？