Pandas判斷缺失值 注意，有些數據用0代替特征值，這個時候，可以將0用None 代替，這樣，isnull 函數就可以檢測出來了，而且fillna 和dropna函數都可以直接工作了。 處理缺失值 直接刪除 將存在遺漏信息屬性值的對象（元組，記錄）刪除，從而得到一個完備的信息表 ...

本文為數據茶水間群友原創，經授權在本公眾號發表。 關於作者：JunLiang，一個熱愛挖掘的數據從業者，勤學好問、動手達人，期待與大家一起交流探討機器學習相關內容~ 0x00 前言 我們在《特征工程系列：特征篩選的原理與實現（上）》中介紹了特征選擇的分類，並詳細介紹了過濾式特征篩選的原理 ...

有的時候，已有的特征可能並沒有有效的表征特征，尤其是針對特殊的業務的時候，極有可能需要對已有的特征進行變換，從而讓特征更加能夠表征特有的業務。這里介紹幾種常用的特征構造方法。 (1) 統計量構造 使用常用的統計量構造特征，常用的統計量有： 四分位數、中位數、平均值、標准差、偏差、偏度 ...

數據對齊 Z分數標准化     將數據轉換成服從標准正太分布的數據     $$     \hat x = \frac{x-\mu}{\sigma}     $$ 歸一化     將數據 ...

特征工程系列：GBDT特征構造以及聚類特征構造 本文為數據茶水間群友原創，經授權在本公眾號發表。 關於作者：JunLiang，一個熱愛挖掘的數據從業者，勤學好問、動手達人，期待與大家一起交流探討機器學習相關內容~ 0x00 前言 數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限 ...

在進行特征工程的時候，為了確保模型的准確性，需要將一些異常數據排除，從而防止模型被帶偏。因此，在特征工程任務中，需要一些方法，來識別異常值。 異常值識別 (1) 箱線法 通常用戶用某個統計分布對數據點進行建模，再以假定的模型，根據點的分布來確定是否異常。 如通過分析統計數據的散度情況，即數據 ...

特征工程系列：聚合特征構造以及轉換特征構造 本文為數據茶水間群友原創，經授權在本公眾號發表。 關於作者：JunLiang，一個熱愛挖掘的數據從業者，勤學好問、動手達人，期待與大家一起交流探討機器學習相關內容~ 0x00 前言 數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限 ...

特征工程系列：數據清洗 本文為數據茶水間群友原創，經授權在本公眾號發表。 關於作者：JunLiang，一個熱愛挖掘的數據從業者，勤學好問、動手達人，期待與大家一起交流探討機器學習相關內容~ 0x00 前言 數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已。由此可見，特征工程 ...