再談Lasso回歸 | elastic net | Ridge Regression


前文:Lasso linear model實例 | Proliferation index | 評估單細胞的增殖指數

參考:LASSO回歸在生物醫學資料中的簡單實例 - 生信技能樹

Linear least squares, Lasso,ridge regression有何本質區別?

你應該掌握的七種回歸技術  (好文,解釋了各個回歸的特點,以及分別應用在什么場合)

熱門數據挖掘模型應用入門(一): LASSO 回歸 - 侯澄鈞

Feature Selection using LASSO - 原文論文  (英文的講解更全面,更好理解,強烈推薦閱讀)

這幅圖解釋了為什么LASSO會讓大部分的βj(λ) = 0

假設一個二維模型對應的系數是 β1 和 β2,然后 β 是最小化誤差平方和的點, 即用傳統線性回歸得到的自變量系數。 但我們想讓這個系數點必須落在藍色的正方形內,所以就有了一系列圍繞 β 的同心橢圓, 其中最先與藍色正方形接觸的點,就是符合約束同時最小化誤差平方和的點。

 

兩篇經典文章:

Prediction of clinical outcome in glioblastoma using a biologically relevant nine-microRNA signature

Reconstruction of enhancer–target networks in 935 samples of human primary cells, tissues and cell lines

 

回歸中的多重共線性 Multicollinearity

elastic net

 

sklearn.linear_model.LassoCV  Python API

 

常識:

||w||_2: ||w||帶一個下標2 的意思是這個該向量的范數為歐幾里得范數,設w=<x1,x2,x3>, ||w||_2=x1^2+x2^2+x3^2 的開根號。
(||w||_2)^2 的意思是w的歐幾里得范數的平方,也就是(||w||_2)^2=x1^2+x2^2+x3^2

 ŷ:y的估計值

 arg min 就是使后面這個式子達到最小值時的變量的取值

 


 

今天經同學指點才發現自己的認知問題,豁然開朗!!

在python sklearn里,L1就是Lasso,L2就是ridge!

所以Lasso就像是貝葉斯一樣,只是附加到基礎模型上的東西。

Is regression with L1 regularization the same as Lasso, and with L2 regularization the same as ridge regression? And how to write “Lasso”?

 

待續~

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM