NEURAL SIGNAL LAB / 01

一条误差的旅程

数值向前走,责任向后找。用六条连接,看懂一次学习。

← 返回第一次作业与参考答案

2 个输入 · 2 个隐藏节点 · 1 个输出

两层 ReLU 神经网络 输入 A 和 B 分别连接隐藏节点 1、2,隐藏节点连接输出节点 3。点击连接可查看计算。

点击一条连接,追踪这个权重的计算与梯度

一次更新后的结论 · 提前预览
条长表示新损失 / 初始损失,最高显示 100%
预测 ŷ · 初始 → 更新后
平方损失 L · 初始 → 更新后L = ½ (y − ŷ)²

六个权重,一起迈出一步

连接 初始权重 θ 梯度 ∂L/∂θ 改变量 −η∇L 更新后 θ′

01 / 反向传播在问什么?

把一个权重轻轻调大,损失会往哪边走?梯度是这个变化率。从损失出发,沿路径乘上每个局部导数,就能把这个问题传回每条连接。

02 / ReLU 是一道门

z > 0 时,数值和梯度都能通过;z < 0 时,输出为 0,梯度也被截断。试试“关闭节点 1”,再观察相关权重的梯度。步长过大也可能跨过目标、增大损失。