引用：http://www.cnblogs.com/pinard/p/6018889.html 最近在學習機器學習的相關框架，看到最小角回歸理解了一下： 在介紹最小角回歸算法前，我們需要了解兩個相關算法，一個是前向選擇算法（Foward Selection），一個是前向梯度算法（Forward ...

最近開始看Elements of Statistical Learning， 今天的內容是線性模型（第三章。。這本書東西非常多，不知道何年何月才能讀完了），主要是在看變量選擇。感覺變量選擇這一塊領域非常有意思，而大三那門回歸分析只是學了一些皮毛而已。過兩天有空，記一些ESL這本書里講的各種變量選擇 ...

　　本文主要使用了對數幾率回歸法與線性判別法（ＬＤＡ）對數據集（西瓜３.０）進行分類。其中在對數幾率回歸法中，求解最優權重Ｗ時，分別使用梯度下降法，隨機梯度下降與牛頓法。 代碼如下： View Code 結果： 牛頓法： 迭代 5步：w ...

普通最小二乘法 理論： 損失函數： 權重計算： 1、對於普通最小二乘的系數估計問題，其依賴於模型各項的相互獨立性。 2、當各項是相關的，且設計矩陣 X的各列近似線性相關，那么，設計矩陣會趨向於奇異矩陣，這會導致最小二乘估計對於隨機誤差非常敏感，產生很大的方差 ...

代碼實現： 結果： 總結：各回歸算法在相同的測試數據中表現差距很多，且算法內的配置參數調整對自身算法的效果影響也是巨大的， 　　因此合理挑選合適的算法和配置合適的配置參數是使用算法的關鍵！ ...

一、邏輯回歸 1) Classification(分類) 分類問題舉例： 郵件：垃圾郵件/非垃圾郵件？ 在線交易：是否欺詐（是/否）？ 腫瘤：惡性/良性？ 以上問題可以稱之為二分類問題，可以用如下形式定義： 其中0稱之為負例，1稱之為正例。 對於多分類問題 ...

回歸與梯度下降 回歸在數學上來說是給定一個點集，能夠用一條曲線去擬合之，如果這個曲線是一條直線，那就被稱為線性回歸，如果曲線是一條二次曲線，就被稱為二次回歸，回歸還有很多的變種，如locally weighted回歸，logistic回歸 ...

通過學習斯坦福公開課的線性規划和梯度下降，參考他人代碼自己做了測試，寫了個類以后有時間再去擴展，代碼注釋以后再加，作業好多： 　　　　　　　　　　圖1. 迭代過程中的誤差cost ...