CTR任務的特點:
大量離散特征
大量高維度稀疏特征
特征工程:特征組合對於效果非常關鍵
傳統ctr預估方法:
基礎版:線性模型LR
改進版:加入特征組合
FM模型: 訓練特征向量,提高模型泛化能力
GBDT模型:輸出多維特征
LR+GBDT
GBDT+FM模型
集成GBDT和FM各自的優勢
• GBDT發現最有效的組合特征Feature Set
• 將Feature Set引入FM模型中
深度學習:
圖片處理: CNN
自然語言處理: 雙向RNN+attention
深度學習CTR模型要解決的幾個關鍵問題
CTR任務特點:大量離散特征的表示問題
CTR任務特點:如何快速處理大量高維度稀疏特征?(OneHot 2 Dense)
特征工程:如何從手工到自動?(深度學習的優勢)
特征工程:如何捕獲和表達兩兩組合特征?(FM機制神經網絡化)
特征工程:如何捕獲和表達多組組合特征?(利用Deep網絡)
特征:
連續特征
離散特征
離散特征如何讓DNN可以處理
解決思路:從OneHot到Dense Vector
引入低階特征
高階特征與低階特征融合
