Apache Spark源碼走讀之23 -- Spark MLLib中擬牛頓法L-BFGS的源碼實現
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本文就擬牛頓法L-BFGS的由來做一個簡要的回顧，然后就其在spark mllib中的實現進行源碼走讀。 擬牛頓法 數學原理 代碼實現 L-BFGS算法中使用到的正則化方法 ...
原文：Apache Spark源碼走讀之22 -- 淺談mllib中線性回歸的算法實現
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本文簡要描述線性回歸算法在Spark MLLib中的具體實現，涉及線性回歸算法本身及線性回歸並行處理的理論基礎，然后對代碼實現部分進行走讀。 線性回歸模型 機器學習算法是的主要目的是找到最能夠對數據做出合理解釋的模型，這個模型是假設函數，一步步的推導基本遵循這樣的思路 假設函數 為了找到最好的假設函數，需要找到合理的評估標准，一般來說使用損失函數來做為評 ...
2014-08-15 20:04 3 4455 推薦指數：
相關推薦
spark-MLlib之線性回歸
>>提君博客原創 http://www.cnblogs.com/tijun/ << 假定線性擬合方程： 提君博客原創 變量 Xi 是 i 個變量或者說屬性 參數 ai 是模型訓練的目的就是計算出這些參數的值。 線性回歸分析的整個過程可以簡單 ...
Spark線性回歸算法【代碼實現，源碼分析】
一.算法簡介 線性回歸(Linear Regression)是利用稱為線性回歸方程的最小平方函數對一個或多個自變量和因變量之間關系進行建模的一種回歸分析。這種函數是一個或多個稱為回歸系數的模型參數的線性組合。只有一個自變量的情況稱為一元線性回歸,大於一個自變量情況的叫做多元線性回歸 ...
Apache Spark源碼走讀之13 -- hiveql on spark實現詳解
歡迎轉載，轉載請注明出處，徽滬一郎 概要 在新近發布的spark 1.0中新加了sql的模塊，更為引人注意的是對hive中的hiveql也提供了良好的支持，作為一個源碼分析控，了解一下spark是如何完成對hql的支持是一件非常有趣的事情。 Hive簡介 Hive的由來 以下部分摘自 ...
Spark MLlib回歸算法LinearRegression
算法說明 線性回歸是利用稱為線性回歸方程的函數對一個或多個自變量和因變量之間關系進行建模的一種回歸分析方法，只有一個自變量的情況稱為簡單回歸，大於一個自變量情況的叫做多元回歸，在實際情況中大多數都是多元回歸。 線性回歸（Linear Regression）問題屬於監督學習 ...
Apache Spark源碼走讀之16 -- spark repl實現詳解
歡迎轉載，轉載請注明出處,徽滬一郎。 概要 之所以對spark shell的內部實現產生興趣全部緣於好奇代碼的編譯加載過程，scala是需要編譯才能執行的語言，但提供的scala repl可以實現代碼的實時交互式執行，這是為什么呢？ 既然scala已經提供了repl，為什么spark還要 ...
Apache Spark源碼走讀之9 -- Spark源碼編譯
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本來源碼編譯沒有什么可說的，對於java項目來說，只要會點maven或ant的簡單命令，依葫蘆畫瓢，一下子就ok了。但到了Spark上面，事情似乎不這么簡單，按照spark officical document上的來做，總會出現這樣或那樣的編譯 ...
Apache Spark源碼走讀之14 -- Graphx實現剖析
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 圖的並行化處理一直是一個非常熱門的話題，這里頭的重點有兩個，一是如何將圖的算法並行化，二是找到一個合適的並行化處理框架。Spark作為一個非常優秀的並行處理框架，將一些並行化的算法移到其上面就成了一個很自然的事情。 Graphx是一些圖的常用算法 ...