一、BFGS算法 在“优化算法——拟牛顿法之BFGS算法”中，我们得到了BFGS算法的校正公式： 利用Sherman-Morrison公式可对上式进行变换，得到 令，则得到： 二、BGFS算法存在的问题 在BFGS算法中。每次都要 ...

牛顿法 考虑如下无约束极小化问题： $$\min_{x} f(x)$$ 其中$x\in R^N$,并且假设$f(x)$为凸函数，二阶可微。当前点记为$x_k$,最优点记为$x^*$。 梯度下降法用的是一阶偏导，牛顿法用二阶偏导。以标量为例，在当前点进行泰勒二阶展开： $$\varphi ...

数据、特征和数值优化算法是机器学习的核心，而牛顿法及其改良（拟牛顿法）是机器最常用的一类数字优化算法，今天就从牛顿法开始，介绍几个拟牛顿法算法。本博文只介绍算法的思想，具体的数学推导过程不做介绍。 1. 牛顿法 牛顿法的核心思想是”利用函数在当前点的一阶导数，以及二阶导数，寻找搜寻方向“（回想 ...

欢迎转载，转载请注明出处，徽沪一郎。 概要 本文简要描述线性回归算法在Spark MLLib中的具体实现，涉及线性回归算法本身及线性回归并行处理的理论基础，然后对代码实现部分进行走读。 线性回归模型 机器学习算法是的主要目的是找到最能够对数据做出合理解释的模型，这个模型是假设函数，一步步 ...

欢迎转载，转载请注明出处，徽沪一郎。 概要 本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark officical document上的来做，总会出现这样或那样的编译 ...

欢迎转载，转载请注明出处，徽沪一郎 概要 在新近发布的spark 1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。 Hive简介 Hive的由来 以下部分摘自 ...

欢迎转载，转载请注明出处,徽沪一郎。 概要 之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？ 既然scala已经提供了repl，为什么spark还要 ...

欢迎转载，转载请注明出处，徽沪一郎。 概要 Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。 Yarn为应用程序开发提供了比较好的实现标准，Spark ...