機器學習中的數據清洗與特征工程
背景 隨着美團交易規模的逐步增大，積累下來的業務數據和交易數據越來越多，這些數據是美團做為一個團購平台最寶貴的財富。通過對這些數據的分析和挖掘，不僅能給美團業務發展方向提供決策支持，也為業務的迭代指明了方向。目前在美團的團購系統中大量地應用到了機器學習和數據挖掘技術，例如個性化推薦 ...
原文：特征工程系列：數據清洗
特征工程系列：數據清洗 本文為數據茶水間群友原創，經授權在本公眾號發表。 關於作者：JunLiang，一個熱愛挖掘的數據從業者，勤學好問 動手達人，期待與大家一起交流探討機器學習相關內容 x 前言 數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已。由此可見，特征工程在機器學習中占有相當重要的地位。在實際應用當中，可以說特征工程是機器學習成功的關鍵。 那特征工程是什么 特征工程是利用 ...
2019-08-13 09:16 0 535 推薦指數：
相關推薦
特征工程系列：（五）特征構造
、偏鋒、離散系統 通過加大時間周期構造 例如周和月，統計更長周期例如周和月的數據作為特征。 ...
特征工程系列：（三）特征對齊與表征
數據對齊 Z分數標准化 將數據轉換成服從標准正太分布的數據 $$ \hat x = \frac{x-\mu}{\sigma} $$ 歸一化 將數據縮放到0-1之間，注意對於稀疏數據，最好不要使用歸一化，因為稀疏數據大部分是由0構成，歸一化之后 ...
特征工程系列：（二）缺失值處理
Pandas判斷缺失值 注意，有些數據用0代替特征值，這個時候，可以將0用None 代替，這樣，isnull 函數就可以檢測出來了，而且fillna 和dropna函數都可以直接工作了。 處理缺失值 直接刪除 將存在遺漏信息屬性值的對象（元組，記錄）刪除，從而得到一個完備的信息表 ...
特征工程系列：GBDT特征構造以及聚類特征構造
特征工程系列：GBDT特征構造以及聚類特征構造 本文為數據茶水間群友原創，經授權在本公眾號發表。 關於作者：JunLiang，一個熱愛挖掘的數據從業者，勤學好問、動手達人，期待與大家一起交流探討機器學習相關內容~ 0x00 前言 數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限 ...
特征工程系列：聚合特征構造以及轉換特征構造
特征工程系列：聚合特征構造以及轉換特征構造 本文為數據茶水間群友原創，經授權在本公眾號發表。 關於作者：JunLiang，一個熱愛挖掘的數據從業者，勤學好問、動手達人，期待與大家一起交流探討機器學習相關內容~ 0x00 前言 數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限 ...
特征工程系列：特征預處理（下）
特征工程系列：特征預處理（下） 本文為數據茶水間群友原創，經授權在本公眾號發表。 關於作者：JunLiang，一個熱愛挖掘的數據從業者，勤學好問、動手達人，期待與大家一起交流探討機器學習相關內容~ 0x00 前言 數據預處理包含數據探索、數據清洗和特征預處理三部分，《特征工程系列：特征 ...
特征工程系列：（六）特征選擇之方差過濾
有時候，數據集中的某一個特征，方差非常小，非常接近，這樣導致的結果就是，沒有區分度，那么這個特征其實就不是一個好的特征，因此方差過濾的思想就是，找到那些有區分度的特征（方差大） 如果一個特征服從伯努利分布，也就是說，這個特征只有兩個類別。這個時候，也可以進行方差過濾，伯努利分布的方差計算公式 ...