损失函数

为了从假设类中找到合适的权重 \(w\)，需要用损失函数衡量单个样本或一批样本上的预测误差。训练目标通常是在数据集上最小化损失的平均值，并可能加入正则项。

平方损失和交叉熵不仅是经验规则，也分别对应常见概率模型的负对数似然。参见最大似然估计。