大數據分析處理基本流程
- 數據准備
- 數據獲取(爬蟲,統計)
- 數據清洗(獲得想要的數據,去除無用的相關數據)
- 特征工程
- 特征提取
- 比如我爬下網頁,網頁中有圖片,視頻,文本信息,url等等之類的特征消息
- 特征選擇
- 網頁保存這學生的信息,我想要計算每個學生的BMI(身體質量指數),而這類信息是在網頁中的文本信息中的名字,身高和體重就行了,除此之外的學習成績,寢室號就不重要了。
- 特征提取
- 建模分析
- 模型選擇
- 模型訓練
- 模型評測
- 數據可視化和分析報告