优化算法

优化算法，是在给定假设类和损失函数的情况下，快速找到最优参数的算法。

最常用的是梯度下降算法。核心思路是，正梯度是「上山」最快的方向，那么我们可以沿反方向走，找到下山的路。

关于凸性、驻点、学习率以及参数和超参数的区别，参见0.4-最优化基础。