作者：Edwin Jarvis
特征選擇(排序)對於數據科學家、機器學習從業者來說非常重要。好的特征選擇能夠提升模型的性能，更能幫助我們理解數據的特點、底層結構，這對進一步改善模型、算法都有着重要作用。
特征選擇主要有兩個功能：
- 減少特征數量、降維，使模型泛化能力更強，減少過擬合
- 增強對特征和特征值之間的理解
拿到數據集，一個特征選擇方法，往往很難同時完成這兩個目的。通常情況下，我們經常不管三七二十一，選擇一種自己最熟悉或者最方便的特征選擇方法（往往目的是降維，而忽略了對特征和數據理解的目的）。
在許多機器學習相關的書里，很難找到關於特征選擇的內容，因為特征選擇要解決的問題往往被視為機器學習的一種副作用，一般不會單獨拿出來討論。
本文將結合Scikit-learn提供的例子介紹幾種常用的特征選擇方法，它們各自的優缺點和問題。
1 去掉取值變化小的特征 Removing features with low variance
這應該是最簡單的特征選擇方法了：假設某特征的特征值只有0和1，並且在所有輸入樣本中，95%的實例的該特征取值都是1，那就可以認為這個特征作用不大。如果100%都是1，那這個特征就沒意義了。當特征值都是離散型變量的時候這種方法才能用，如果是連續型變量，就需要將連續變量離散化之后才能用，而且實際當中，一般不太會有95%以上都取某個值的特征存在，所以這種方法雖然簡單但是不太好用。可以把它作為特征選擇的預處理，先去掉那些取值變化小的特征，然后再從接下來提到的的特征選擇方法中選擇合適的進行進一步的特征選擇。
2 單變量特征選擇 Univariate feature selection
單變量特征選擇能夠對每一個特征進行測試，衡量該特征和響應變量之間的關系，根據得分扔掉不好的特征。對於回歸和分類問題可以采用卡方檢驗等方式對特征進行測試。
這種方法比較簡單，易於運行，易於理解，通常對於理解數據有較好的效果（但對特征優化、提高泛化能力來說不一定有效）；這種方法有許多改進的版本、變種。
2.1 Pearson相關系數 Pearson Correlation
皮爾森相關系數是一種最簡單的，能幫助理解特征和響應變量之間關系的方法，該方法衡量的是變量之間的線性相關性，結果的取值區間為[-1，1]，-1表示完全的負相關(這個變量下降，那個就會上升)，+1表示完全的正相關，0表示沒有線性相關。
Pearson Correlation速度快、易於計算，經常在拿到數據(經過清洗和特征提取之后的)之后第一時間就執行。Scipy的pearsonr方法能夠同時計算相關系數和p-value，
import numpy as np from scipy.stats import pearsonr np.random.seed(0) size = 300 x = np.random.normal(0, 1, size) print "Lower noise", pearsonr(x, x + np.random.normal(0, 1, size)) print "Higher noise", pearsonr(x, x + np.random.normal(0, 10, size))
Lower noise (0.71824836862138386, 7.3240173129992273e-49)
Higher noise (0.057964292079338148, 0.31700993885324746)
這個例子中，我們比較了變量在加入噪音之前和之后的差異。當噪音比較小的時候，相關性很強，p-value很低。
Scikit-learn提供的f_regrssion方法能夠批量計算特征的p-value，非常方便，參考sklearn的pipeline
Pearson相關系數的一個明顯缺陷是，作為特征排序機制，他只對線性關系敏感。如果關系是非線性的，即便兩個變量具有一一對應的關系，Pearson相關性也可能會接近0。
x = np.random.uniform(-1, 1, 100000) print pearsonr(x, x**2)[0]
-0.00230804707612
更多類似的例子參考sample plots。另外，如果僅僅根據相關系數這個值來判斷的話，有時候會具有很強的誤導性，如Anscombe’s quartet，最好把數據可視化出來，以免得出錯誤的結論。
2.2 互信息和最大信息系數 Mutual information and maximal information coefficient (MIC)
以上就是經典的互信息公式了。想把互信息直接用於特征選擇其實不是太方便：1、它不屬於度量方式，也沒有辦法歸一化，在不同數據及上的結果無法做比較；2、對於連續變量的計算不是很方便（X和Y都是集合，x，y都是離散的取值），通常變量需要先離散化，而互信息的結果對離散化的方式很敏感。
最大信息系數克服了這兩個問題。它首先尋找一種最優的離散化方式，然后把互信息取值轉換成一種度量方式，取值區間在[0，1]。minepy提供了MIC功能。
反過頭來看y=x^2這個例子，MIC算出來的互信息值為1(最大的取值)。
from minepy import MINE m = MINE() x = np.random.uniform(-1, 1, 10000) m.compute_score(x, x**2) print m.mic()
1.0
MIC的統計能力遭到了一些質疑，當零假設不成立時，MIC的統計就會受到影響。在有的數據集上不存在這個問題，但有的數據集上就存在這個問題。
2.3 距離相關系數 (Distance correlation)
距離相關系數是為了克服Pearson相關系數的弱點而生的。在x和x^2這個例子中，即便Pearson相關系數是0，我們也不能斷定這兩個變量是獨立的（有可能是非線性相關）；但如果距離相關系數是0，那么我們就可以說這兩個變量是獨立的。
R的energy包里提供了距離相關系數的實現，另外這是Python gist的實現。
#R-code > x = runif (1000, -1, 1) > dcor(x, x**2) [1] 0.4943864
盡管有MIC和距離相關系數在了，但當變量之間的關系接近線性相關的時候，Pearson相關系數仍然是不可替代的。第一、Pearson相關系數計算速度快，這在處理大規模數據的時候很重要。第二、Pearson相關系數的取值區間是[-1，1]，而MIC和距離相關系數都是[0，1]。這個特點使得Pearson相關系數能夠表征更豐富的關系，符號表示關系的正負，絕對值能夠表示強度。當然，Pearson相關性有效的前提是兩個變量的變化關系是單調的。
2.4 基於學習模型的特征排序 (Model based ranking)
這種方法的思路是直接使用你要用的機器學習算法，針對每個單獨的特征和響應變量建立預測模型。其實Pearson相關系數等價於線性回歸里的標准化回歸系數。假如某個特征和響應變量之間的關系是非線性的，可以用基於樹的方法（決策樹、隨機森林）、或者擴展的線性模型等。基於樹的方法比較易於使用，因為他們對非線性關系的建模比較好，並且不需要太多的調試。但要注意過擬合問題，因此樹的深度最好不要太大，再就是運用交叉驗證。
在波士頓房價數據集上使用sklearn的隨機森林回歸給出一個單變量選擇的例子：
from sklearn.cross_validation import cross_val_score, ShuffleSplit from sklearn.datasets import load_boston from sklearn.ensemble import RandomForestRegressor #Load boston housing dataset as an example boston = load_boston() X = boston["data"] Y = boston["target"] names = boston["feature_names"] rf = RandomForestRegressor(n_estimators=20, max_depth=4) scores = [] for i in range(X.shape[1]): score = cross_val_score(rf, X[:, i:i+1], Y, scoring="r2", cv=ShuffleSplit(len(X), 3, .3)) scores.append((round(np.mean(score), 3), names[i])) print sorted(scores, reverse=True)
[(0.636, ‘LSTAT’), (0.59, ‘RM’), (0.472, ‘NOX’), (0.369, ‘INDUS’), (0.311, ‘PTRATIO’), (0.24, ‘TAX’), (0.24, ‘CRIM’), (0.185, ‘RAD’), (0.16, ‘ZN’), (0.087, ‘B’), (0.062, ‘DIS’), (0.036, ‘CHAS’), (0.027, ‘AGE’)]
3 線性模型和正則化
單變量特征選擇方法獨立的衡量每個特征與響應變量之間的關系，另一種主流的特征選擇方法是基於機器學習模型的方法。有些機器學習方法本身就具有對特征進行打分的機制，或者很容易將其運用到特征選擇任務中，例如回歸模型，SVM，決策樹，隨機森林等等。說句題外話，這種方法好像在一些地方叫做wrapper類型，大概意思是說，特征排序模型和機器學習模型是耦盒在一起的，對應的非wrapper類型的特征選擇方法叫做filter類型。
下面將介紹如何用回歸模型的系數來選擇特征。越是重要的特征在模型中對應的系數就會越大，而跟輸出變量越是無關的特征對應的系數就會越接近於0。在噪音不多的數據上，或者是數據量遠遠大於特征數的數據上，如果特征之間相對來說是比較獨立的，那么即便是運用最簡單的線性回歸模型也一樣能取得非常好的效果。
from sklearn.linear_model import LinearRegression import numpy as np np.random.seed(0) size = 5000 #A dataset with 3 features X = np.random.normal(0, 1, (size, 3)) #Y = X0 + 2*X1 + noise Y = X[:,0] + 2*X[:,1] + np.random.normal(0, 2, size) lr = LinearRegression() lr.fit(X, Y) #A helper method for pretty-printing linear models def pretty_print_linear(coefs, names = None, sort = False): if names == None: names = ["X%s" % x for x in range(len(coefs))] lst = zip(coefs, names) if sort: lst = sorted(lst, key = lambda x:-np.abs(x[0])) return " + ".join("%s * %s" % (round(coef, 3), name) for coef, name in lst) print "Linear model:", pretty_print_linear(lr.coef_)
Linear model: 0.984 * X0 + 1.995 * X1 + -0.041 * X2
在這個例子當中，盡管數據中存在一些噪音，但這種特征選擇模型仍然能夠很好的體現出數據的底層結構。當然這也是因為例子中的這個問題非常適合用線性模型來解：特征和響應變量之間全都是線性關系，並且特征之間均是獨立的。
在很多實際的數據當中，往往存在多個互相關聯的特征，這時候模型就會變得不穩定，數據中細微的變化就可能導致模型的巨大變化（模型的變化本質上是系數，或者叫參數，可以理解成W），這會讓模型的預測變得困難，這種現象也稱為多重共線性。例如，假設我們有個數據集，它的真實模型應該是Y=X1+X2，當我們觀察的時候，發現Y’=X1+X2+e，e是噪音。如果X1和X2之間存在線性關系，例如X1約等於X2，這個時候由於噪音e的存在，我們學到的模型可能就不是Y=X1+X2了，有可能是Y=2X1，或者Y=-X1+3X2。
下邊這個例子當中，在同一個數據上加入了一些噪音，用隨機森林算法進行特征選擇。
from sklearn.linear_model import LinearRegression size = 100 np.random.seed(seed=5) X_seed = np.random.normal(0, 1, size) X1 = X_seed + np.random.normal(0, .1, size) X2 = X_seed + np.random.normal(0, .1, size) X3 = X_seed + np.random.normal(0, .1, size) Y = X1 + X2 + X3 + np.random.normal(0,1, size) X = np.array([X1, X2, X3]).T lr = LinearRegression() lr.fit(X,Y) print "Linear model:", pretty_print_linear(lr.coef_)
Linear model: -1.291 * X0 + 1.591 * X1 + 2.747 * X2
系數之和接近3，基本上和上上個例子的結果一致，應該說學到的模型對於預測來說還是不錯的。但是，如果從系數的字面意思上去解釋特征的重要性的話，X3對於輸出變量來說具有很強的正面影響，而X1具有負面影響，而實際上所有特征與輸出變量之間的影響是均等的。
同樣的方法和套路可以用到類似的線性模型上，比如邏輯回歸。
3.1 正則化模型
正則化就是把額外的約束或者懲罰項加到已有模型（損失函數）上，以防止過擬合並提高泛化能力。損失函數由原來的E(X,Y)變為E(X,Y)+alpha||w||，w是模型系數組成的向量（有些地方也叫參數parameter，coefficients），||·||一般是L1或者L2范數，alpha是一個可調的參數，控制着正則化的強度。當用在線性模型上時，L1正則化和L2正則化也稱為Lasso和Ridge。
3.2 L1正則化/Lasso
L1正則化將系數w的l1范數作為懲罰項加到損失函數上，由於正則項非零，這就迫使那些弱的特征所對應的系數變成0。因此L1正則化往往會使學到的模型很稀疏（系數w經常為0），這個特性使得L1正則化成為一種很好的特征選擇方法。
Scikit-learn為線性回歸提供了Lasso，為分類提供了L1邏輯回歸。
下面的例子在波士頓房價數據上運行了Lasso，其中參數alpha是通過grid search進行優化的。
from sklearn.linear_model import Lasso from sklearn.preprocessing import StandardScaler from sklearn.datasets import load_boston boston = load_boston() scaler = StandardScaler() X = scaler.fit_transform(boston["data"]) Y = boston["target"] names = boston["feature_names"] lasso = Lasso(alpha=.3) lasso.fit(X, Y) print "Lasso model: ", pretty_print_linear(lasso.coef_, names, sort = True)
Lasso model: -3.707 * LSTAT + 2.992 * RM + -1.757 * PTRATIO + -1.081 * DIS + -0.7 * NOX + 0.631 * B + 0.54 * CHAS + -0.236 * CRIM + 0.081 * ZN + -0.0 * INDUS + -0.0 * AGE + 0.0 * RAD + -0.0 * TAX
可以看到，很多特征的系數都是0。如果繼續增加alpha的值，得到的模型就會越來越稀疏，即越來越多的特征系數會變成0。
然而，L1正則化像非正則化線性模型一樣也是不穩定的，如果特征集合中具有相關聯的特征，當數據發生細微變化時也有可能導致很大的模型差異。
3.3 L2正則化/Ridge regression
L2正則化將系數向量的L2范數添加到了損失函數中。由於L2懲罰項中系數是二次方的，這使得L2和L1有着諸多差異，最明顯的一點就是，L2正則化會讓系數的取值變得平均。對於關聯特征，這意味着他們能夠獲得更相近的對應系數。還是以Y=X1+X2為例，假設X1和X2具有很強的關聯，如果用L1正則化，不論學到的模型是Y=X1+X2還是Y=2X1，懲罰都是一樣的，都是2alpha。但是對於L2來說，第一個模型的懲罰項是2alpha，但第二個模型的是4*alpha。可以看出，系數之和為常數時，各系數相等時懲罰是最小的，所以才有了L2會讓各個系數趨於相同的特點。
可以看出，L2正則化對於特征選擇來說一種穩定的模型，不像L1正則化那樣，系數會因為細微的數據變化而波動。所以L2正則化和L1正則化提供的價值是不同的，L2正則化對於特征理解來說更加有用：表示能力強的特征對應的系數是非零。
回過頭來看看3個互相關聯的特征的例子，分別以10個不同的種子隨機初始化運行10次，來觀察L1和L2正則化的穩定性。
from sklearn.linear_model import Ridge from sklearn.metrics import r2_score size = 100 #We run the method 10 times with different random seeds for i in range(10): print "Random seed %s" % i np.random.seed(seed=i) X_seed = np.random.normal(0, 1, size) X1 = X_seed + np.random.normal(0, .1, size) X2 = X_seed + np.random.normal(0, .1, size) X3 = X_seed + np.random.normal(0, .1, size) Y = X1 + X2 + X3 + np.random.normal(0, 1, size) X = np.array([X1, X2, X3]).T lr = LinearRegression() lr.fit(X,Y) print "Linear model:", pretty_print_linear(lr.coef_) ridge = Ridge(alpha=10) ridge.fit(X,Y) print "Ridge model:", pretty_print_linear(ridge.coef_) print
Random seed 0 Linear model: 0.728 * X0 + 2.309 * X1 + -0.082 * X2 Ridge model: 0.938 * X0 + 1.059 * X1 + 0.877 * X2
Random seed 1 Linear model: 1.152 * X0 + 2.366 * X1 + -0.599 * X2 Ridge model: 0.984 * X0 + 1.068 * X1 + 0.759 * X2
Random seed 2 Linear model: 0.697 * X0 + 0.322 * X1 + 2.086 * X2 Ridge model: 0.972 * X0 + 0.943 * X1 + 1.085 * X2
Random seed 3 Linear model: 0.287 * X0 + 1.254 * X1 + 1.491 * X2 Ridge model: 0.919 * X0 + 1.005 * X1 + 1.033 * X2
Random seed 4 Linear model: 0.187 * X0 + 0.772 * X1 + 2.189 * X2 Ridge model: 0.964 * X0 + 0.982 * X1 + 1.098 * X2
Random seed 5 Linear model: -1.291 * X0 + 1.591 * X1 + 2.747 * X2 Ridge model: 0.758 * X0 + 1.011 * X1 + 1.139 * X2
Random seed 6 Linear model: 1.199 * X0 + -0.031 * X1 + 1.915 * X2 Ridge model: 1.016 * X0 + 0.89 * X1 + 1.091 * X2
Random seed 7 Linear model: 1.474 * X0 + 1.762 * X1 + -0.151 * X2 Ridge model: 1.018 * X0 + 1.039 * X1 + 0.901 * X2
Random seed 8 Linear model: 0.084 * X0 + 1.88 * X1 + 1.107 * X2 Ridge model: 0.907 * X0 + 1.071 * X1 + 1.008 * X2
Random seed 9 Linear model: 0.714 * X0 + 0.776 * X1 + 1.364 * X2 Ridge model: 0.896 * X0 + 0.903 * X1 + 0.98 * X2
可以看出，不同的數據上線性回歸得到的模型（系數）相差甚遠，但對於L2正則化模型來說，結果中的系數非常的穩定，差別較小，都比較接近於1，能夠反映出數據的內在結構。
4 隨機森林
隨機森林具有准確率高、魯棒性好、易於使用等優點，這使得它成為了目前最流行的機器學習算法之一。隨機森林提供了兩種特征選擇的方法：mean decrease impurity和mean decrease accuracy。
4.1 平均不純度減少 mean decrease impurity
隨機森林由多個決策樹構成。決策樹中的每一個節點都是關於某個特征的條件，為的是將數據集按照不同的響應變量一分為二。利用不純度可以確定節點（最優條件），對於分類問題，通常采用基尼不純度或者信息增益，對於回歸問題，通常采用的是方差或者最小二乘擬合。當訓練決策樹的時候，可以計算出每個特征減少了多少樹的不純度。對於一個決策樹森林來說，可以算出每個特征平均減少了多少不純度，並把它平均減少的不純度作為特征選擇的值。
下邊的例子是sklearn中基於隨機森林的特征重要度度量方法：
from sklearn.datasets import load_boston from sklearn.ensemble import RandomForestRegressor import numpy as np #Load boston housing dataset as an example boston = load_boston() X = boston["data"] Y = boston["target"] names = boston["feature_names"] rf = RandomForestRegressor() rf.fit(X, Y) print "Features sorted by their score:" print sorted(zip(map(lambda x: round(x, 4), rf.feature_importances_), names), reverse=True)
Features sorted by their score: [(0.5298, ‘LSTAT’), (0.4116, ‘RM’), (0.0252, ‘DIS’), (0.0172, ‘CRIM’), (0.0065, ‘NOX’), (0.0035, ‘PTRATIO’), (0.0021, ‘TAX’), (0.0017, ‘AGE’), (0.0012, ‘B’), (0.0008, ‘INDUS’), (0.0004, ‘RAD’), (0.0001, ‘CHAS’), (0.0, ‘ZN’)]
這里特征得分實際上采用的是Gini Importance。使用基於不純度的方法的時候，要記住：1、這種方法存在偏向，對具有更多類別的變量會更有利；2、對於存在關聯的多個特征，其中任意一個都可以作為指示器（優秀的特征），並且一旦某個特征被選擇之后，其他特征的重要度就會急劇下降，因為不純度已經被選中的那個特征降下來了，其他的特征就很難再降低那么多不純度了，這樣一來，只有先被選中的那個特征重要度很高，其他的關聯特征重要度往往較低。在理解數據時，這就會造成誤解，導致錯誤的認為先被選中的特征是很重要的，而其余的特征是不重要的，但實際上這些特征對響應變量的作用確實非常接近的（這跟Lasso是很像的）。
特征隨機選擇方法稍微緩解了這個問題，但總的來說並沒有完全解決。下面的例子中，X0、X1、X2是三個互相關聯的變量，在沒有噪音的情況下，輸出變量是三者之和。
size = 10000 np.random.seed(seed=10) X_seed = np.random.normal(0, 1, size) X0 = X_seed + np.random.normal(0, .1, size) X1 = X_seed + np.random.normal(0, .1, size) X2 = X_seed + np.random.normal(0, .1, size) X = np.array([X0, X1, X2]).T Y = X0 + X1 + X2 rf = RandomForestRegressor(n_estimators=20, max_features=2) rf.fit(X, Y); print "Scores for X0, X1, X2:", map(lambda x:round (x,3), rf.feature_importances_)
Scores for X0, X1, X2: [0.278, 0.66, 0.062]
當計算特征重要性時，可以看到X1的重要度比X2的重要度要高出10倍，但實際上他們真正的重要度是一樣的。盡管數據量已經很大且沒有噪音，且用了20棵樹來做隨機選擇，但這個問題還是會存在。
需要注意的一點是，關聯特征的打分存在不穩定的現象，這不僅僅是隨機森林特有的，大多數基於模型的特征選擇方法都存在這個問題。
4.2 平均精確率減少 Mean decrease accuracy
另一種常用的特征選擇方法就是直接度量每個特征對模型精確率的影響。主要思路是打亂每個特征的特征值順序，並且度量順序變動對模型的精確率的影響。很明顯，對於不重要的變量來說，打亂順序對模型的精確率影響不會太大，但是對於重要的變量來說，打亂順序就會降低模型的精確率。
這個方法sklearn中沒有直接提供，但是很容易實現，下面繼續在波士頓房價數據集上進行實現。
from sklearn.cross_validation import ShuffleSplit from sklearn.metrics import r2_score from collections import defaultdict X = boston["data"] Y = boston["target"] rf = RandomForestRegressor() scores = defaultdict(list) #crossvalidate the scores on a number of different random splits of the data for train_idx, test_idx in ShuffleSplit(len(X), 100, .3): X_train, X_test = X[train_idx], X[test_idx] Y_train, Y_test = Y[train_idx], Y[test_idx] r = rf.fit(X_train, Y_train) acc = r2_score(Y_test, rf.predict(X_test)) for i in range(X.shape[1]): X_t = X_test.copy() np.random.shuffle(X_t[:, i]) shuff_acc = r2_score(Y_test, rf.predict(X_t)) scores[names[i]].append((acc-shuff_acc)/acc) print "Features sorted by their score:" print sorted([(round(np.mean(score), 4), feat) for feat, score in scores.items()], reverse=True)
Features sorted by their score: [(0.7276, ‘LSTAT’), (0.5675, ‘RM’), (0.0867, ‘DIS’), (0.0407, ‘NOX’), (0.0351, ‘CRIM’), (0.0233, ‘PTRATIO’), (0.0168, ‘TAX’), (0.0122, ‘AGE’), (0.005, ‘B’), (0.0048, ‘INDUS’), (0.0043, ‘RAD’), (0.0004, ‘ZN’), (0.0001, ‘CHAS’)]
在這個例子當中，LSTAT和RM這兩個特征對模型的性能有着很大的影響，打亂這兩個特征的特征值使得模型的性能下降了73%和57%。注意，盡管這些我們是在所有特征上進行了訓練得到了模型，然后才得到了每個特征的重要性測試，這並不意味着我們扔掉某個或者某些重要特征后模型的性能就一定會下降很多，因為即便某個特征刪掉之后，其關聯特征一樣可以發揮作用，讓模型性能基本上不變。
5 兩種頂層特征選擇算法
之所以叫做頂層，是因為他們都是建立在基於模型的特征選擇方法基礎之上的，例如回歸和SVM，在不同的子集上建立模型，然后匯總最終確定特征得分。
5.1 穩定性選擇 Stability selection
穩定性選擇是一種基於二次抽樣和選擇算法相結合較新的方法，選擇算法可以是回歸、SVM或其他類似的方法。它的主要思想是在不同的數據子集和特征子集上運行特征選擇算法，不斷的重復，最終匯總特征選擇結果，比如可以統計某個特征被認為是重要特征的頻率（被選為重要特征的次數除以它所在的子集被測試的次數）。理想情況下，重要特征的得分會接近100%。稍微弱一點的特征得分會是非0的數，而最無用的特征得分將會接近於0。
sklearn在隨機lasso和隨機邏輯回歸中有對穩定性選擇的實現。
from sklearn.linear_model import RandomizedLasso from sklearn.datasets import load_boston boston = load_boston() #using the Boston housing data. #Data gets scaled automatically by sklearn's implementation X = boston["data"] Y = boston["target"] names = boston["feature_names"] rlasso = RandomizedLasso(alpha=0.025) rlasso.fit(X, Y) print "Features sorted by their score:" print sorted(zip(map(lambda x: round(x, 4), rlasso.scores_), names), reverse=True)
Features sorted by their score: [(1.0, ‘RM’), (1.0, ‘PTRATIO’), (1.0, ‘LSTAT’), (0.62, ‘CHAS’), (0.595, ‘B’), (0.39, ‘TAX’), (0.385, ‘CRIM’), (0.25, ‘DIS’), (0.22, ‘NOX’), (0.125, ‘INDUS’), (0.045, ‘ZN’), (0.02, ‘RAD’), (0.015, ‘AGE’)]
在上邊這個例子當中，最高的3個特征得分是1.0，這表示他們總會被選作有用的特征（當然，得分會收到正則化參數alpha的影響，但是sklearn的隨機lasso能夠自動選擇最優的alpha）。接下來的幾個特征得分就開始下降，但是下降的不是特別急劇，這跟純lasso的方法和隨機森林的結果不一樣。能夠看出穩定性選擇對於克服過擬合和對數據理解來說都是有幫助的：總的來說，好的特征不會因為有相似的特征、關聯特征而得分為0，這跟Lasso是不同的。對於特征選擇任務，在許多數據集和環境下，穩定性選擇往往是性能最好的方法之一。
5.2 遞歸特征消除 Recursive feature elimination (RFE)
遞歸特征消除的主要思想是反復的構建模型（如SVM或者回歸模型）然后選出最好的（或者最差的）的特征（可以根據系數來選），把選出來的特征放到一遍，然后在剩余的特征上重復這個過程，直到所有特征都遍歷了。這個過程中特征被消除的次序就是特征的排序。因此，這是一種尋找最優特征子集的貪心算法。
RFE的穩定性很大程度上取決於在迭代的時候底層用哪種模型。例如，假如RFE采用的普通的回歸，沒有經過正則化的回歸是不穩定的，那么RFE就是不穩定的；假如采用的是Ridge，而用Ridge正則化的回歸是穩定的，那么RFE就是穩定的。
Sklearn提供了RFE包，可以用於特征消除，還提供了RFECV，可以通過交叉驗證來對的特征進行排序。
from sklearn.feature_selection import RFE from sklearn.linear_model import LinearRegression boston = load_boston() X = boston["data"] Y = boston["target"] names = boston["feature_names"] #use linear regression as the model lr = LinearRegression() #rank all features, i.e continue the elimination until the last one rfe = RFE(lr, n_features_to_select=1) rfe.fit(X,Y) print "Features sorted by their rank:" print sorted(zip(map(lambda x: round(x, 4), rfe.ranking_), names))
Features sorted by their rank: [(1.0, ‘NOX’), (2.0, ‘RM’), (3.0, ‘CHAS’), (4.0, ‘PTRATIO’), (5.0, ‘DIS’), (6.0, ‘LSTAT’), (7.0, ‘RAD’), (8.0, ‘CRIM’), (9.0, ‘INDUS’), (10.0, ‘ZN’), (11.0, ‘TAX’), (12.0, ‘B’), (13.0, ‘AGE’)]
6 一個完整的例子
下面將本文所有提到的方法進行實驗對比，數據集采用Friedman #1 回歸數據（這篇論文中的數據）。數據是用這個公式產生的：
X1到X5是由單變量分布生成的，e是標准正態變量N(0,1)。另外，原始的數據集中含有5個噪音變量 X5,…,X10，跟響應變量是獨立的。我們增加了4個額外的變量X11,…X14，分別是X1,…,X4的關聯變量，通過f(x)=x+N(0,0.01)生成，這將產生大於0.999的關聯系數。這樣生成的數據能夠體現出不同的特征排序方法應對關聯特征時的表現。
接下來將會在上述數據上運行所有的特征選擇方法，並且將每種方法給出的得分進行歸一化，讓取值都落在0-1之間。對於RFE來說，由於它給出的是順序而不是得分，我們將最好的5個的得分定為1，其他的特征的得分均勻的分布在0-1之間。
from sklearn.datasets import load_boston from sklearn.linear_model import (LinearRegression, Ridge, Lasso, RandomizedLasso) from sklearn.feature_selection import RFE, f_regression from sklearn.preprocessing import MinMaxScaler from sklearn.ensemble import RandomForestRegressor import numpy as np from minepy import MINE np.random.seed(0) size = 750 X = np.random.uniform(0, 1, (size, 14)) #"Friedamn #1” regression problem Y = (10 * np.sin(np.pi*X[:,0]*X[:,1]) + 20*(X[:,2] - .5)**2 + 10*X[:,3] + 5*X[:,4] + np.random.normal(0,1)) #Add 3 additional correlated variables (correlated with X1-X3) X[:,10:] = X[:,:4] + np.random.normal(0, .025, (size,4)) names = ["x%s" % i for i in range(1,15)] ranks = {} def rank_to_dict(ranks, names, order=1): minmax = MinMaxScaler() ranks = minmax.fit_transform(order*np.array([ranks]).T).T[0] ranks = map(lambda x: round(x, 2), ranks) return dict(zip(names, ranks )) lr = LinearRegression(normalize=True) lr.fit(X, Y) ranks["Linear reg"] = rank_to_dict(np.abs(lr.coef_), names) ridge = Ridge(alpha=7) ridge.fit(X, Y) ranks["Ridge"] = rank_to_dict(np.abs(ridge.coef_), names) lasso = Lasso(alpha=.05) lasso.fit(X, Y) ranks["Lasso"] = rank_to_dict(np.abs(lasso.coef_), names) rlasso = RandomizedLasso(alpha=0.04) rlasso.fit(X, Y) ranks["Stability"] = rank_to_dict(np.abs(rlasso.scores_), names) #stop the search when 5 features are left (they will get equal scores) rfe = RFE(lr, n_features_to_select=5) rfe.fit(X,Y) ranks["RFE"] = rank_to_dict(map(float, rfe.ranking_), names, order=-1) rf = RandomForestRegressor() rf.fit(X,Y) ranks["RF"] = rank_to_dict(rf.feature_importances_, names) f, pval = f_regression(X, Y, center=True) ranks["Corr."] = rank_to_dict(f, names) mine = MINE() mic_scores = [] for i in range(X.shape[1]): mine.compute_score(X[:,i], Y) m = mine.mic() mic_scores.append(m) ranks["MIC"] = rank_to_dict(mic_scores, names) r = {} for name in names: r[name] = round(np.mean([ranks[method][name] for method in ranks.keys()]), 2) methods = sorted(ranks.keys()) ranks["Mean"] = r methods.append("Mean") print "\t%s" % "\t".join(methods) for name in names: print "%s\t%s" % (name, "\t".join(map(str, [ranks[method][name] for method in methods])))
從以上結果中可以找到一些有趣的發現：
特征之間存在線性關聯關系，每個特征都是獨立評價的，因此X1,…X4的得分和X11,…X14的得分非常接近，而噪音特征X5,…,X10正如預期的那樣和響應變量之間幾乎沒有關系。由於變量X3是二次的，因此X3和響應變量之間看不出有關系（除了MIC之外，其他方法都找不到關系）。這種方法能夠衡量出特征和響應變量之間的線性關系，但若想選出優質特征來提升模型的泛化能力，這種方法就不是特別給力了，因為所有的優質特征都不可避免的會被挑出來兩次。
Lasso能夠挑出一些優質特征，同時讓其他特征的系數趨於0。當如需要減少特征數的時候它很有用，但是對於數據理解來說不是很好用。（例如在結果表中，X11,X12,X13的得分都是0，好像他們跟輸出變量之間沒有很強的聯系，但實際上不是這樣的）
MIC對特征一視同仁，這一點上和關聯系數有點像，另外，它能夠找出X3和響應變量之間的非線性關系。
隨機森林基於不純度的排序結果非常鮮明，在得分最高的幾個特征之后的特征，得分急劇的下降。從表中可以看到，得分第三的特征比第一的小4倍。而其他的特征選擇算法就沒有下降的這么劇烈。
Ridge將回歸系數均勻的分攤到各個關聯變量上，從表中可以看出，X11,…,X14和X1,…,X4的得分非常接近。
穩定性選擇常常是一種既能夠有助於理解數據又能夠挑出優質特征的這種選擇，在結果表中就能很好的看出。像Lasso一樣，它能找到那些性能比較好的特征（X1，X2，X4，X5），同時，與這些特征關聯度很強的變量也得到了較高的得分。
總結
- 對於理解數據、數據的結構、特點來說，單變量特征選擇是個非常好的選擇。盡管可以用它對特征進行排序來優化模型，但由於它不能發現冗余（例如假如一個特征子集，其中的特征之間具有很強的關聯，那么從中選擇最優的特征時就很難考慮到冗余的問題）。
- 正則化的線性模型對於特征理解和特征選擇來說是非常強大的工具。L1正則化能夠生成稀疏的模型，對於選擇特征子集來說非常有用；相比起L1正則化，L2正則化的表現更加穩定，由於有用的特征往往對應系數非零，因此L2正則化對於數據的理解來說很合適。由於響應變量和特征之間往往是非線性關系，可以采用basis expansion的方式將特征轉換到一個更加合適的空間當中，在此基礎上再考慮運用簡單的線性模型。
- 隨機森林是一種非常流行的特征選擇方法，它易於使用，一般不需要feature engineering、調參等繁瑣的步驟，並且很多工具包都提供了平均不純度下降方法。它的兩個主要問題，1是重要的特征有可能得分很低（關聯特征問題），2是這種方法對特征變量類別多的特征越有利（偏向問題）。盡管如此，這種方法仍然非常值得在你的應用中試一試。
- 特征選擇在很多機器學習和數據挖掘場景中都是非常有用的。在使用的時候要弄清楚自己的目標是什么，然后找到哪種方法適用於自己的任務。當選擇最優特征以提升模型性能的時候，可以采用交叉驗證的方法來驗證某種方法是否比其他方法要好。當用特征選擇的方法來理解數據的時候要留心，特征選擇模型的穩定性非常重要，穩定性差的模型很容易就會導致錯誤的結論。對數據進行二次采樣然后在子集上運行特征選擇算法能夠有所幫助，如果在各個子集上的結果是一致的，那就可以說在這個數據集上得出來的結論是可信的，可以用這種特征選擇模型的結果來理解數據。
Tips
什么是卡方檢驗？用方差來衡量某個觀測頻率和理論頻率之間差異性的方法
什么是皮爾森卡方檢驗？這是一種最常用的卡方檢驗方法，它有兩個用途：1是計算某個變量對某種分布的擬合程度，2是根據兩個觀測變量的Contingency table來計算這兩個變量是否是獨立的。主要有三個步驟：第一步用方差和的方式來計算觀測頻率和理論頻率之間卡方值；第二步算出卡方檢驗的自由度（行數-1乘以列數-1）；第三步比較卡方值和對應自由度的卡方分布，判斷顯著性。
什么是p-value？簡單地說，p-value就是為了驗證假設和實際之間一致性的統計學意義的值，即假設檢驗。有些地方叫右尾概率，根據卡方值和自由度可以算出一個固定的p-value，
什么是響應變量(response value)？簡單地說，模型的輸入叫做explanatroy variables，模型的輸出叫做response variables，其實就是要驗證該特征對結果造成了什么樣的影響
什么是度量(metric)?
什么是零假設(null hypothesis)?在相關性檢驗中，一般會取“兩者之間無關聯”作為零假設，而在獨立性檢驗中，一般會取“兩者之間是獨立”作為零假設。與零假設相對的是備擇假設（對立假設），即希望證明是正確的另一種可能。
什么是多重共線性？
什么是grid search？
That’s it
References
- http://blog.datadive.net/selecting-good-features-part-i-univariate-selection/
- http://blog.datadive.net/selecting-good-features-part-ii-linear-models-and-regularization/
- http://scikit-learn.org/stable/modules/feature_selection.html#univariate-feature-selection
- http://www.quora.com/What-are-some-feature-selection-methods
- http://www.quora.com/What-are-some-feature-selection-algorithms
- http://www.quora.com/What-are-some-feature-selection-methods-for-SVMs
- http://www.quora.com/What-is-the-difference-between-principal-component-analysis-PCA-and-feature-selection-in-machine-learning-Is-PCA-a-means-of-feature-selection