前文:Lasso linear model實例 | Proliferation index | 評估單細胞的增殖指數
參考:LASSO回歸在生物醫學資料中的簡單實例 - 生信技能樹
Linear least squares, Lasso,ridge regression有何本質區別?
你應該掌握的七種回歸技術 (好文,解釋了各個回歸的特點,以及分別應用在什么場合)
熱門數據挖掘模型應用入門(一): LASSO 回歸 - 侯澄鈞
Feature Selection using LASSO - 原文論文 (英文的講解更全面,更好理解,強烈推薦閱讀)
這幅圖解釋了為什么LASSO會讓大部分的βj(λ) = 0
假設一個二維模型對應的系數是 β1 和 β2,然后 β 是最小化誤差平方和的點, 即用傳統線性回歸得到的自變量系數。 但我們想讓這個系數點必須落在藍色的正方形內,所以就有了一系列圍繞 β 的同心橢圓, 其中最先與藍色正方形接觸的點,就是符合約束同時最小化誤差平方和的點。
兩篇經典文章:
Prediction of clinical outcome in glioblastoma using a biologically relevant nine-microRNA signature
回歸中的多重共線性 Multicollinearity
elastic net
sklearn.linear_model.LassoCV Python API
常識:
||w||_2: ||w||帶一個下標2 的意思是這個該向量的范數為歐幾里得范數,設w=<x1,x2,x3>, ||w||_2=x1^2+x2^2+x3^2 的開根號。
(||w||_2)^2 的意思是w的歐幾里得范數的平方,也就是(||w||_2)^2=x1^2+x2^2+x3^2
ŷ:y的估計值
arg min 就是使后面這個式子達到最小值時的變量的取值
今天經同學指點才發現自己的認知問題,豁然開朗!!
在python sklearn里,L1就是Lasso,L2就是ridge!
所以Lasso就像是貝葉斯一樣,只是附加到基礎模型上的東西。
待續~