缺失值的處理
刪除變量：若變量的缺失率較高（大於80%），覆蓋率較低，且重要性較低，可以直接將變量刪除。
定值填充：工程中常見用-9999進行替代
統計量填充：若缺失率較低（小於95%）且重要性較低，則根據數據分布的情況進行填充。對於數據符合均勻分布，用該變量的均值填補缺失，對於數據存在傾斜分布的情況，采用中位數進行填補。
插值法填充：包括隨機插值，多重差補法，熱平台插補，拉格朗日插值，牛頓插值等
模型填充：使用回歸、貝葉斯、隨機森林、決策樹等模型對缺失數據進行預測。
啞變量填充：若變量是離散型，且不同值較少，可轉換成啞變量，例如性別SEX變量，存在male,fameal,NA三個不同的值，可將該列轉換成 IS_SEX_MALE, IS_SEX_FEMALE, IS_SEX_NA。若某個變量存在十幾個不同的值，可根據每個值的頻數，將頻數較小的值歸為一類'other'，降低維度。此做法可最大化保留變量的信息。
離群點處理
處理方法
簡單統計分析：根據箱線圖、各分位點判斷是否存在異常，例如pandas的describe函數可以快速發現異常值。
3 原則：若數據存在正態分布，偏離均值的3 之外. 通常定義 范圍內的點為離群點。
基於絕對離差中位數（MAD）：這是一種穩健對抗離群數據的距離值方法，采用計算各觀測值與平均值的距離總和的方法。放大了離群值的影響。
基於距離：通過定義對象之間的臨近性度量，根據距離判斷異常對象是否遠離其他對象，缺點是計算復雜度較高，不適用於大數據集和存在不同密度區域的數據集
基於密度：離群點的局部密度顯著低於大部分近鄰點，適用於非均勻的數據集
基於聚類：利用聚類算法，丟棄遠離其他簇的小簇。
具體處理手段
根據異常點的數量和影響，考慮是否將該條記錄刪除，信息損失多
若對數據做了log-scale 對數變換后消除了異常值，則此方法生效，且不損失信息
平均值或中位數替代異常點，簡單高效，信息的損失較少
在訓練樹模型時，樹模型對離群點的魯棒性較高，無信息損失，不影響模型訓練效果
噪聲處理
噪聲是變量的隨機誤差和方差，是觀測點和真實點之間的誤差，即 。通常的處理辦法：對數據進行分箱操作，等頻或等寬分箱，然后用每個箱的平均數，中位數或者邊界值（不同數據分布，處理方法不同）代替箱中所有的數，起到平滑數據的作用。另外一種做法是，建立該變量和預測變量的回歸模型，根據回歸系數和預測變量，反解出自變量的近似值。 實體識別問題：例如，數據分析者或計算機如何才能確信一個數 據庫中的 customer_id 和另一個數據庫中的 cust_number 指的是同一實體?通常，數據庫和數據倉庫 有元數據——關於數據的數據。這種元數據可以幫助避免模式集成中的錯誤。
冗余問題。一個屬性是冗余的，如果它能由另一個表“導出”;如年薪。屬性或 維命名的不一致也可能導致數據集中的冗余。用相關性檢測冗余：數值型變量可計算相關系數矩陣，標稱型變量可計算卡方檢驗。
2.數據集成
數據分析任務多半涉及數據集成。數據集成將多個數據源中的數據結合成、存放在一個一致的數據存儲，如數據倉庫中。這些源可能包括多個數據庫、數據方或一般文件。
實體識別問題：例如，數據分析者或計算機如何才能確信一個數 據庫中的 customer_id 和另一個數據庫中的 cust_number 指的是同一實體?通常，數據庫和數據倉庫 有元數據——關於數據的數據。這種元數據可以幫助避免模式集成中的錯誤。
冗余問題。一個屬性是冗余的，如果它能由另一個表“導出”;如年薪。屬性或 維命名的不一致也可能導致數據集中的冗余。用相關性檢測冗余：數值型變量可計算相關系數矩陣，標稱型變量可計算卡方檢驗。
數據值的沖突和處理：不同數據源，在統一合並時，保持規范化，去重。
用於數據分析的數據可能包含數以百計的屬性，其中大部分屬性與挖掘任務不相關，是冗余的。維度歸約通過刪除不相關的屬性，來減少數據量，並保證信息的損失最小。
屬性子集選擇：目標是找出最小屬性集，使得數據類的概率分布盡可能地接近使用所有屬性的原分布。在壓縮 的屬性集上挖掘還有其它的優點。它減少了出現在發現模式上的屬性的數目，使得模式更易於理解。
逐步向前選擇：該過程由空屬性集開始，選擇原屬性集中最好的屬性，並將它添加到該集合
中。在其后的每一次迭代，將原屬性集剩下的屬性中的最好的屬性添加到該集合中。
逐步向后刪除：該過程由整個屬性集開始。在每一步，刪除掉尚在屬性集中的最壞屬性。
向前選擇和向后刪除的結合：向前選擇和向后刪除方法可以結合在一起，每一步選擇一個最 好的屬性，並在剩余屬性中刪除一個最壞的屬性。
python scikit-learn 中的遞歸特征消除算法Recursive feature elimination (RFE)，就是利用這樣的思想進行特征子集篩選的，一般考慮建立SVM或回歸模型。
單變量重要性：分析單變量和目標變量的相關性，刪除預測能力較低的變量。這種方法不同於屬性子集選擇，通常從統計學和信息的角度去分析。
pearson相關系數和卡方檢驗，分析目標變量和單變量的相關性。
回歸系數：訓練線性回歸或邏輯回歸，提取每個變量的表決系數，進行重要性排序。
樹模型的Gini指數：訓練決策樹模型，提取每個變量的重要度，即Gini指數進行排序。
Lasso正則化：訓練回歸模型時，加入L1正則化參數，將特征向量稀疏化。
IV指標：風控模型中，通常求解每個變量的IV值，來定義變量的重要度，一般將閥值設定在0.02以上。
以上提到的方法，沒有講解具體的理論知識和實現方法，需要同學們自己去熟悉掌握。樓主通常的做法是根據業務需求來定，如果基於業務的用戶或商品特征，需要較多的解釋性，考慮采用統計上的一些方法，如變量的分布曲線，直方圖等，再計算相關性指標，最后去考慮一些模型方法。如果建模需要，則通常采用模型方法去篩選特征，如果用一些更為復雜的GBDT，DNN等模型，建議不做特征選擇，而做特征交叉。
維度變換是將現有數據降低到更小的維度，盡量保證數據信息的完整性。樓主將介紹常用的幾種有損失的維度變換方法，將大大地提高實踐中建模的效率
主成分分析（PCA）和因子分析（FA）：PCA通過空間映射的方式，將當前維度映射到更低的維度，使得每個變量在新空間的方差最大。FA則是找到當前特征向量的公因子（維度更小），用公因子的線性組合來描述當前的特征向量。
奇異值分解（SVD）：SVD的降維可解釋性較低，且計算量比PCA大，一般用在稀疏矩陣上降維，例如圖片壓縮，推薦系統。
聚類：將某一類具有相似性的特征聚到單個變量，從而大大降低維度。
線性組合：將多個變量做線性回歸，根據每個變量的表決系數，賦予變量權重，可將該類變量根據權重組合成一個變量。
流行學習：流行學習中一些復雜的非線性方法，可參考skearn：LLE Example
數據變換包括對數據進行規范化，離散化，稀疏化處理，達到適用於挖掘的目的。
規范化處理：數據中不同特征的量綱可能不一致，數值間的差別可能很大，不進行處理可能會影響到數據分析的結果，因此，需要對數據按照一定比例進行縮放，使之落在一個特定的區域，便於進行綜合分析。特別是基於距離的挖掘方法，聚類，KNN，SVM一定要做規范化處理。
最大 - 最小規范化：將數據映射到[0,1]區間，
Z-Score標准化：處理后的數據均值為0，方差為1，
Log變換：在時間序列數據中，對於數據量級相差較大的變量，通常做Log函數的變換， .
2、離散化處理：數據離散化是指將連續的數據進行分段，使其變為一段段離散化的區間。分段的原則有基於等距離、等頻率或優化的方法。數據離散化的原因主要有以下幾點：
模型需要：比如決策樹、朴素貝葉斯等算法，都是基於離散型的數據展開的。如果要使用該類算法，必須將離散型的數據進行。有效的離散化能減小算法的時間和空間開銷，提高系統對樣本的分類聚類能力和抗噪聲能力。
離散化的特征相對於連續型特征更易理解。
可以有效的克服數據中隱藏的缺陷，使模型結果更加穩定。
等頻法：使得每個箱中的樣本數量相等，例如總樣本n=100，分成k=5個箱，則分箱原則是保證落入每個箱的樣本量=20。
等寬法：使得屬性的箱寬度相等，例如年齡變量（0-100之間），可分成 [0,20]，[20,40]，[40,60]，[60,80]，[80,100]五個等寬的箱。
聚類法：根據聚類出來的簇，每個簇中的數據為一個箱，簇的數量模型給定。
3、稀疏化處理：針對離散型且標稱變量，無法進行有序的LabelEncoder時，通常考慮將變量做0，1啞變量的稀疏化處理，例如動物類型變量中含有貓，狗，豬，羊四個不同值，將該變量轉換成is_豬，is_貓，is_狗，is_羊四個啞變量。若是變量的不同值較多，則根據頻數，將出現次數較少的值統一歸為一類'rare'。稀疏化處理既有利於模型快速收斂，又能提升模型的抗噪能力。