1. 前言 今天我们聊一聊机器学习和深度学习里面都至关重要的一个环节，优化损失函数。我们知道一个模型只有损失函数收敛到了一定的值，才有可能会有好的结果，降低损失方式的工作就是优化方法需要做的事。下面 ...

深度学习中的优化问题通常指的是：寻找神经网络上的一组参数θ，它能显著地降低代价函数J(θ)。针对此类问题，研究人员提出了多种优化算法，Sebastian Ruder 在《An overview ...

前言 AI 人工智能包含了机器学习与深度学习，在前几篇文章曾经介绍过机器学习的基础知识，包括了监督学习和无监督学习，有兴趣的朋友可以阅读《 Python 机器学习实战 》。而深度学习开始只是机器学习 ...

training set 训练集　　validation set 验证集　　test set测试集 这些与衡量你做的怎么样有关 当你知道怎么衡量你在一个问题的表现，问题就解决了一半。（衡量表现 ...

1. 梯度下降 沿着目标函数梯度的反方向搜索极小值。 式中，$\theta$是模型参数，$J(\theta)$目标函数（损失函数），$\eta$是学习率。 2. 随机梯度下降（SGD） ...

参考 https://ruder.io/optimizing-gradient-descent/ 。 本文不是简单地翻译，而是真的花了一天的时间和心思来写，这一过程中我也重新复习了一遍，而且 ...

梯度下降伪代码 梯度下降可以优化损失函数的值，使其尽量小，即可找到最好（在数据集上拟合效果最好）的模型参数。 现在假设模型\(f\)中只有一个参数\(w\)，则损失函数为\(L(f)=L(w)\) ...