正态分布

一维正态分布由均值 \(\mu\) 和方差 \(\sigma^2\) 决定，其概率密度为：

\[ p(x)=\frac{1}{\sqrt{2\pi\sigma^2}} \exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right). \]

标准正态分布取 \(\mu=0\)、\(\sigma^2=1\)。在线性回归中，对独立同分布的高斯噪声作最大似然估计，会得到平方损失；在神经网络初始化中，正态分布常用于随机采样初始参数。

需要区分“标准化”和“服从正态分布”：把数据变换为零均值、单位方差，并不会自动使其分布变成正态分布。