本文記錄幾個在廣告和推薦里面rank階段常用的模型。 廣告領域機器學習問題的輸入其實很大程度了影響了模型的選擇，因為輸入一般維度非常高，稀疏，同時包含連續性特征和離散型特征。模型即使到現在DeepFM類的方法，其實也都很簡單。模型的發展主要體現於對特征的充分挖掘上，比如利用低階和高階特征、嘗試自動 ...

Wide&Deep learning 最近調試了幾天WDL，留個筆記。 WDL是Google在2016年的paper，目標是用於自己Google play中的app推薦。 官方介紹 paper download 推薦系統 推薦系統主要分為兩個部分，檢索系統(Retrieval ...

推薦系統在電商等平台使用廣泛，這里討論wide&deep推薦模型，初始是由google推出的，主要用於app的推薦。 概念理解 Wide & Deep模型，旨在使得訓練得到的模型能夠同時獲得記憶（memorization）和泛化（generalization）能力 ...

背景 這一篇我們從基礎的深度ctr模型談起。我很喜歡Wide&Deep的框架感覺之后很多改進都可以納入這個框架中。Wide負責樣本中出現的頻繁項挖掘，Deep負責樣本中未出現的特征泛化。而后續的改進要么用不同的IFC讓Deep更有效的提取特征交互信息，要么是讓Wide更好的記憶樣本信息 ...

在讀了FM和FNN/PNN的論文后，來學習一下16年的一篇Google的論文，文章將傳統的LR和DNN組合構成一個wide&deep模型（並行結構），既保留了LR的擬合能力，又具有DNN的泛化能力，並且不需要單獨訓練模型，可以方便模型的迭代，一起來看下吧。 原文：Wide & ...

背景 在CTR預估任務中，線性模型仍占有半壁江山。利用手工構造的交叉組合特征來使線性模型具有“記憶性”，使模型記住共現頻率較高的特征組合，往往也能達到一個不錯的baseline，且可解釋性強。但這種方式有着較為明顯的缺點：首先，特征工程需要耗費太多精力。其次，因為模型是強行記住這些組合特征 ...

今天我們剖析的也是推薦領域的經典論文，叫做Wide & Deep Learning for Recommender Systems。它發表於2016年，作者是Google App Store的推薦團隊。這年剛好是深度學習興起的時間。這篇文章討論的就是如何利用深度學習模型來進行推薦系統 ...

Wide & Deep算法解決的問題 在推薦系統中LR算法應用的非常廣泛，但是LR是一種線性模型，沒法學到特征交叉（高階組合特征），為了解決這個問題，在實際中我們常常需要做特征工程提取高階特征，一種常用的做法就是求特征的cross-product，如（“gender=female ...