之前学习机器学习和数据挖掘的时候，很多都是知道这些算法的设计机制，对数学推导和求解过程依然是一知半解，最近看了一些机器学习算法的求解和各种优化算法，也发现了这些算法设计和公式推导背后的数学精妙之处和随处可见的最优化的影子。还是决定从最优化理论开始补起，本文主要内容如下： ...

1. 前言 熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。这篇博客主要总结一下使用导数的最优化方法的几个基本方法，梳理梳理相关的数学知识，本人也是一边 ...

1. 梯度下降法（Gradient Descent） 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向 ...

一、机器学习的概念 　　1、什么是学习？ 　　　　--从人的学习说起 　　　　--学习理论；从实践中总结 　　　　--在理论上推导；在实践中检验 　　　　--通过各种手段获取知识或技能的过程 　　2、机器怎么学习？ 　　　　--处理某个特定的任务，以大量的“经验”为基础 ...

最优化的背景 古希腊的欧几里得时期就存在最优化的思想，当时提出了一个很著名的问题：在周长相同的一切矩形中，以正方形的面积为最大。接下来几个世纪，微积分的建立使得最优化理论可以用来解决无约束的极值问题，随后为了解决有约束条件的最优化问题，发展了变分法。上世纪40年代，由于军事上的需要产生了运筹学 ...

1.找到最优学习率的方法 （1）笨方法——指数提高学习率 从0.0001开始尝试，然后用0.001，每个量级的学习率都去跑一下网络，然后观察一下loss的情况，选择一个相对合理的学习率，但是这种方法太耗时间了。 （2）简单的启发方法【有时间总结】 参考：https ...

2015-09-09 今天买的凸优化刚到。从今天开始学习一些基础的概念。不知道2年的时间能不能学会并且解决实际的问题。 线性函数需要严格满足等式，而凸函数仅仅需要在a和b取特定值得情况下满足不等式。因此线性规划问题也是凸优化问题，可以将凸优化看成是线性规划的扩展。 1. ...

第 1 章 凸优化基础 无论做任何事情，人们总是希望以最小的代价获得最大的利益，力求最好! 为此，人们发明各式各样的数学工具：导数，积分等。 现代优化理论大都来源于处理多元问题的理论，它有三个重要的基础： 矩阵理论：矩阵是描述多元问题的最基本的工具，为多元问题分析和求解提供 ...