針對交叉(高階)特征學習提出的DeepFM是一個end-to-end模型,不需要像wide&deep那樣在wide端人工構造特征。
網絡結構:
sparse features的構造:類別型特征one-hot,連續型特征數值表示,或者分段離散后one-hot
FM與NN分別輸出預測y后,對兩個結果進行sigmoid
FM部分:
paper指出在數據稀疏的情況下,FM仍能有效地學出二階特征,最后FM的預測為:
deep部分:
papar指出這個網絡結構兩個特別的點:
1)雖然input的field vector長度不一,但是它們embedding出來的長度是固定的
2)FM的latent vector V向量作為原始特征到embedding vector的權重矩陣,放在網絡里學習,如下圖。
(個人理解,也就是說在網絡的一二層,學出來的weight就是FM的latent vector,然后在FM component中使用,計算y_fromFM)
deepFM中FM與deep部分共享一份embedding數據,有兩點好處:
1)能夠從原始特征同時學習低階和高階特征
2)不需要像W&D做特征工程
paper之后比較了該模型與W&D在內的好幾個模型,因為還沒有讀它們的原始論文,暫不記了。