目录 前言 常见概念 目标函数（objective function） 收敛（convergence） 局部最小值（local mininu ...

最优化的背景 古希腊的欧几里得时期就存在最优化的思想，当时提出了一个很著名的问题：在周长相同的一切矩形中，以正方形的面积为最大。接下来几个世纪，微积分的建立使得最优化理论可以用来解决无约束的极值问题，随后为了解决有约束条件的最优化问题，发展了变分法。上世纪40年代，由于军事上的需要产生了运筹学 ...

一、机器学习的概念 　　1、什么是学习？ 　　　　--从人的学习说起 　　　　--学习理论；从实践中总结 　　　　--在理论上推导；在实践中检验 　　　　--通过各种手段获取知识或技能的过程 　　2、机器怎么学习？ 　　　　--处理某个特定的任务，以大量的“经验”为基础 ...

1. 前言 熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。这篇博客主要总结一下使用导数的最优化方法的几个基本方法，梳理梳理相关的数学知识，本人也是一边 ...

一、什么是机器学习？简述机器学习的一般过程。 　　机器学习是通过算法使得机器从大量历史数据中学习规律，从而对新样本做分类或者预测。 　　一个机器学习过程主要分为三个阶段： 　　（1）训练阶段，训练阶段的主要工作是根据训练数据建立模型。 　　（2）测试阶段，测试阶段的主要工作是利用验证集 ...

1. 梯度下降法（Gradient Descent） 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向 ...

1.找到最优学习率的方法 （1）笨方法——指数提高学习率 从0.0001开始尝试，然后用0.001，每个量级的学习率都去跑一下网络，然后观察一下loss的情况，选择一个相对合理的学习率，但是这种方法太耗时间了。 （2）简单的启发方法【有时间总结】 参考：https ...

第1章介绍 1. 为什么要进行视频压缩？ 未经压缩的数字视频的数据量巨大 存储困难 一张DVD只能存储几秒钟的未压缩数字视频。 传 ...