CTR學習筆記&代碼實現2-深度ctr模型 MLP->Wide&Deep
背景 這一篇我們從基礎的深度ctr模型談起。我很喜歡Wide&Deep的框架感覺之后很多改進都可以納入這個框架中。Wide負責樣本中出現的頻繁項挖掘，Deep負責樣本中未出現的特征泛化。而后續的改進要么用不同的IFC讓Deep更有效的提取特征交互信息，要么是讓Wide更好的記憶樣本信息 ...
原文：CTR學習筆記&代碼實現4-深度ctr模型 NFM/AFM
這一節我們總結FM另外兩個遠親NFM，AFM。NFM和AFM都是針對Wide amp Deep 中Deep部分的改造。上一章PNN用到了向量內積外積來提取特征交互信息，總共向量乘積就這幾種，這不NFM就帶着element wise hadamard product來了。AFM則是引入了注意力機制把NFM的等權求和變成了加權求和。 以下代碼針對Dense輸入感覺更容易理解模型結構，針對spare輸入 ...
2020-05-01 21:00 0 1247 推薦指數：
相關推薦
CTR學習筆記&代碼實現3-深度ctr模型 FNN->PNN->DeepFM
Dense輸入感覺更容易理解模型結構，針對spare輸入的代碼和完整代碼 👇 https://git ...
CTR學習筆記&代碼實現6-深度ctr模型 后浪 xDeepFM/FiBiNET
xDeepFM用改良的DCN替代了DeepFM的FM部分來學習組合特征信息，而FiBiNET則是應用SENET加入了特征權重比NFM，AFM更進了一步。在看兩個model前建議對DeepFM, Deep&Cross, AFM，NFM都有簡單了解，不熟悉的可以看下文章最后其他model的博客 ...
CTR學習筆記&代碼實現5-深度ctr模型 DeepCrossing -> Deep&Cross
之前總結了PNN,NFM,AFM這類兩兩向量乘積的方式，這一節我們換新的思路來看特征交互。DeepCrossing是最早在CTR模型中使用ResNet的前輩，DCN在ResNet上進一步創新，為高階特征交互提供了新的方法並支持任意階數的特征交叉。 以下代碼針對Dense輸入更容易理解模型結構 ...
深度排序模型概述（二）PNN/NFM/AFM
在CTR預估中，為了解決稀疏特征的問題，學者們提出了FM模型來建模特征之間的交互關系。但是FM模型只能表達特征之間兩兩組合之間的關系，無法建模兩個特征之間深層次的關系或者說多個特征之間的交互關系，因此學者們通過Deep Network來建模更高階的特征之間的關系。 因此,FM和深度網絡DNN的結合 ...
CTR學習筆記&代碼實現1-深度學習的前奏LR->FFM
CTR學習筆記系列的第一篇，總結在深度模型稱王之前經典LR，FM, FFM模型，這些經典模型后續也作為組件用於各個深度模型。模型分別用自定義Keras Layer和estimator來實現，哈哈一個是舊愛一個是新歡。特征工程依賴feature_column實現，這里做的比較簡單在后面的深度模型再好 ...
（讀論文）推薦系統之ctr預估-NFM模型解析
本系列的第六篇，一起讀論文~ 本人才疏學淺，不足之處歡迎大家指出和交流。 今天要分享的是另一個Deep模型NFM(串行結構)。NFM也是用FM+DNN來對問題建模的，相比於之前提到的Wide&Deep(Google)、DeepFM(華為+哈工大)、PNN(上交)和之后會分享的的DCN ...
深度學習分布式訓練及CTR預估模型應用
前言：我在github上創建了一個新的repo：PaddleAI, 准備用Paddle做的一系列有趣又實用的案例，所有的案例都會上傳數據代碼和預訓練模型，下載后可以在30s內上手，跑demo出結果，讓大家盡快看到訓練結果，用小批量數據調試，再用全量數據跑模型，當然，也可以基於我上傳的預訓練模型 ...