深度神经网络中的归一化¶
归一化¶
数据归一化的含义是使得不同维度的特征具有相同的尺度。
标准化¶
最大最小值归一化¶
以最大最小值为界，把总体数据线性插值到这个区间里面。
批归一化 (Batch Normalization, BN)¶
Batch Normalization 计算一个小批量内的均值和方差，再把激活标准化为近似零均值、单位方差，最后通过可学习的缩放和平移恢复表示能力。标准化后的数据不一定服从正态分布。
层归一化 (Layer Normalization, LN)¶
主要是针对序列数据的归一化方法，针对同一层的所有神经元进行归一化，不依赖 batch 统计量。
均方根层归一化 (Root Mean Square Layer Normalization, RMS Nrom)¶
动态双曲正切 (Dynamic Tanh, DyT)¶
定义如下
\[
\text{DyT}(X) = \gamma \cdot \tanh(\alpha x) + \beta
\]
实例归一化 (Instance Normalization, IN)¶
最初应用于图像的风格迁移。通过计算实例统计量，标准化。
组归一化 (Group Normalization, GN)¶
针对小批量任务的赶紧归一化方法，LN 和 IN 的处理维度，在 batch 极小的时候仍能保持稳定的估计。