一、BFGS算法 在“優化算法——擬牛頓法之BFGS算法”中，我們得到了BFGS算法的校正公式： 利用Sherman-Morrison公式可對上式進行變換，得到 令，則得到： 二、BGFS算法存在的問題 在BFGS算法中。每次都要 ...

牛頓法 考慮如下無約束極小化問題： $$\min_{x} f(x)$$ 其中$x\in R^N$,並且假設$f(x)$為凸函數，二階可微。當前點記為$x_k$,最優點記為$x^*$。 梯度下降法用的是一階偏導，牛頓法用二階偏導。以標量為例，在當前點進行泰勒二階展開： $$\varphi ...

數據、特征和數值優化算法是機器學習的核心，而牛頓法及其改良（擬牛頓法）是機器最常用的一類數字優化算法，今天就從牛頓法開始，介紹幾個擬牛頓法算法。本博文只介紹算法的思想，具體的數學推導過程不做介紹。 1. 牛頓法 牛頓法的核心思想是”利用函數在當前點的一階導數，以及二階導數，尋找搜尋方向“（回想 ...

歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本文簡要描述線性回歸算法在Spark MLLib中的具體實現，涉及線性回歸算法本身及線性回歸並行處理的理論基礎，然后對代碼實現部分進行走讀。 線性回歸模型 機器學習算法是的主要目的是找到最能夠對數據做出合理解釋的模型，這個模型是假設函數，一步步 ...

歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本來源碼編譯沒有什么可說的，對於java項目來說，只要會點maven或ant的簡單命令，依葫蘆畫瓢，一下子就ok了。但到了Spark上面，事情似乎不這么簡單，按照spark officical document上的來做，總會出現這樣或那樣的編譯 ...

歡迎轉載，轉載請注明出處，徽滬一郎 概要 在新近發布的spark 1.0中新加了sql的模塊，更為引人注意的是對hive中的hiveql也提供了良好的支持，作為一個源碼分析控，了解一下spark是如何完成對hql的支持是一件非常有趣的事情。 Hive簡介 Hive的由來 以下部分摘自 ...

歡迎轉載，轉載請注明出處,徽滬一郎。 概要 之所以對spark shell的內部實現產生興趣全部緣於好奇代碼的編譯加載過程，scala是需要編譯才能執行的語言，但提供的scala repl可以實現代碼的實時交互式執行，這是為什么呢？ 既然scala已經提供了repl，為什么spark還要 ...

歡迎轉載，轉載請注明出處，徽滬一郎。 概要 Hadoop2中的Yarn是一個分布式計算資源的管理平台，由於其有極好的模型抽象，非常有可能成為分布式計算資源管理的事實標准。其主要職責將是分布式計算集群的管理，集群中計算資源的管理與分配。 Yarn為應用程序開發提供了比較好的實現標准，Spark ...