論文筆記-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction


針對交叉(高階)特征學習提出的DeepFM是一個end-to-end模型,不需要像wide&deep那樣在wide端人工構造特征。

 

網絡結構:

sparse features的構造:類別型特征one-hot,連續型特征數值表示,或者分段離散后one-hot

 

FM與NN分別輸出預測y后,對兩個結果進行sigmoid

 

FM部分:

paper指出在數據稀疏的情況下,FM仍能有效地學出二階特征,最后FM的預測為:

 

deep部分:

papar指出這個網絡結構兩個特別的點:

1)雖然input的field vector長度不一,但是它們embedding出來的長度是固定的

2)FM的latent vector V向量作為原始特征到embedding vector的權重矩陣,放在網絡里學習,如下圖。

(個人理解,也就是說在網絡的一二層,學出來的weight就是FM的latent vector,然后在FM component中使用,計算y_fromFM)

 

deepFM中FM與deep部分共享一份embedding數據,有兩點好處:

1)能夠從原始特征同時學習低階和高階特征

2)不需要像W&D做特征工程

 

paper之后比較了該模型與W&D在內的好幾個模型,因為還沒有讀它們的原始論文,暫不記了。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM