点击一条连接,追踪这个权重的计算与梯度
一次更新后的结论 · 提前预览
条长表示新损失 / 初始损失,最高显示 100%
预测 ŷ · 初始 → 更新后
平方损失 L · 初始 → 更新后L = ½ (y − ŷ)²
六个权重,一起迈出一步
| 连接 | 初始权重 θ | 梯度 ∂L/∂θ | 改变量 −η∇L | 更新后 θ′ |
|---|
01 / 反向传播在问什么?
把一个权重轻轻调大,损失会往哪边走?梯度是这个变化率。从损失出发,沿路径乘上每个局部导数,就能把这个问题传回每条连接。
02 / ReLU 是一道门
z > 0 时,数值和梯度都能通过;z < 0 时,输出为 0,梯度也被截断。试试“关闭节点 1”,再观察相关权重的梯度。步长过大也可能跨过目标、增大损失。