一、全鏈路精准預估技術：
傳統的多階段建模在實際中存在SSB和DS問題：
多階段模型的樣本漏斗：
召回->粗排->精排->展現->點擊->轉化->復購
-
樣本選擇偏差 (Sample Selection Bias, SSB) 問題。后一階段的模型基於上一階段的采樣后的樣本子集進行訓練，但是最終是在全樣本空間進行推理，這帶來了嚴重的模型的泛化性問題。
-
數據稀疏性 (Data Sparsity, DS) 問題 。通常后一階段模型的訓練樣本規模通常遠低於前一階段任務，相鄰兩階段的樣本規模通常差多個量級，但是參數空間卻是類似的。這同時加大了模型訓練的難度，同樣帶來了泛化性問題。
文中所提出的 Entire Space Multi-task Model (ESMM) 可以同時消除這兩個問題，通過：
i）直接在整個樣本空間建模CVR;
並使用端到端的衡量指標 pCTCVR=pCTR*pCVR; 這樣來解決樣本經過轉化漏斗后量級相差較大從而影響泛化性能的問題。
使用 x=[tT1,tT2,...,tTk]T 這樣的多 field 三維稀疏的特征向量，來利用用戶行為序列的信息；y 和 z 是帶有y=1或 z=1的二元標簽，分別指示是否發生點擊或轉化事件。y→z 揭示點擊和轉化標簽的序列依賴性；
ESMM的損失函數如下：
其中 θctr 和 θcvr 是 CTR 和 CVR 網絡的參數，l函數是交叉熵損失函數。
ii）采用特征表示遷移學習策略。
通過讓CVR 網絡和 CTR 網絡共享參數來實現。
CTR 任務所有展現次數的樣本規模比 CVR 任務要豐富多個量級。該參數共享機制使 ESMM 中的 CVR 網絡可以從未點擊的展現中學習，緩解了數據稀疏性問題。
實驗
（1）對比方法
-
Base 是前面介紹引入的基准模型。
-
AMAN 應用負抽樣策略，在 {10%，20%，50%，100%} 中搜索最佳采樣率。
-
Oversampling 復制正樣本以降低稀疏數據訓練的難度，在 {2,3,5,10}搜索最優抽樣率。
-
Unbias Learning 通過拒絕采樣來適應觀測的真實分布，其中我們改寫 pCTR 為拒絕概率，同時為了保證數值穩定性，對它做了一定的平滑處理。
-
Division 通過單獨訓練的 CTR 和 CTCVR 網絡估計 pCTR 和 pCTCVR 並通過等式（2）計算 pCVR。
-
ESMM-NS 是 ESMM 的精簡版，不共享 Embedding Layer 的參數。
（2）對比指標
-
CVR 預估任務，衡量 具有點擊的樣本子集上的 pCVR 上的 AUC 指標
-
CTCVR 預估任務，衡量 包含所有展現樣本集中的 pCTCVR 的 AUC 指標，旨在間接對比整個輸入全空間不同的 CVR 建模的優劣，它反映了與 SSB 問題對應的模型性能。
二、精准廣告Online Learning算法
1、算法架構
2、實時化算法升級
實時模型+實時特征+實時樣本
3、模型透視分析
（1）理解時序特征的作用；
（2）剖析異常狀況影響；
4、展望：打造電商場景實時全鏈路算法
三、深度點擊率預估模型探索
1、深度點擊率模型
傳統的ctr預估模型通常是線性模型，依賴特征工程來學習非線性關系；
為了充分挖掘模型的自動組合特征能力，減少特征表示和相關性計算的約束，構造擬合能力更強的網絡結構，我們提出直接對特征進行表示學習，之后通過深層網絡來擬合相關性計算，構造深層的端到端 CTR 預估模型。
2、模型特征體系與結構設計
Deep Ctr Model 將樣本特征 ID 分 Feature Group 映射到 Embedding 空間，接入后續網絡進行端到端的訓練，Embedding Network 的參數在 Model 里同時聯合訓練。
Relevance Network （相關性網絡）用來做多個 Feature Group 在 Embedding 空間的非線性變換和組合。
這樣的 End2End 訓練方式導致了參數的分布不均勻，普通情況下在 ID Embedding 部分參數比后端網絡參數要多很多。為了解決 Relevance Network 在超大 Embedding 參數空間下模型收斂難度的問題，我們設計了 Ensemble Network （集成網絡），用效果較優的 Feedback Model 構造低維 Feedback Feature，結合 Relevance Network 的中間表示得到最終的 Relevance Score（相關性分數，這里特指 CTR，也就是預測值）。 Ensemble Network 的設計使得模型可以更快更好的收斂。
3、模型訓練和優化
（1）訓練數據和指標：
|
樣本規模
|
20 億樣本，每條樣本平均約 500 個 ID 類特征
|
|
參數規模
|
特征量千萬量級，參數億量級
|
|
訓練時間
|
約 80 分鍾
|
離線對比實驗中，我們將 GAUC（Group AUC）作為主要衡量指標，計算方式是分用戶計算 AUC 后加權，相比全樣本 AUC 更好地反映線上效果。
（2）優化算法選擇
SGD、Nesterov Momentum 與 Adam 優缺點對比
從圖中可以看出 Adam 在收斂速度上的明顯優勢，這一趨勢和在其他數據集上的對比結果是一致的。
相比於 SGD，Adam 這種自適應學習率的更新方式更加平穩，更適合處理稀疏數據。
（3）激活函數的調優和創新
Sigmoid
Batch Normalization + PRelu
Dice
（4）模型特征組合能力分析
特征體系包括 40 組 Feature Group，其中 13 組是人工設計的交叉組合特征。為了探索 Deep Ctr Model 的特征組合能力，我們做了一系列對比試驗。實驗設計基於以下認知：
-
有/無 某交叉特征，同一模型的 GAUC Gap 可以衡量該特征對於該模型的增益；
-
都沒有某交叉特征，不同模型的 GAUC Gap 可以衡量它們的特征組合（從而學到該缺失交叉特征）能力的差異。
離線評估指標：train loss，test GAUC
4、線上實驗效果
（1）與Base Model 進行ab test觀察ctr的逐天穩定提升；(離線評估的提升與線上提升效果一致否？)
（2）累計一周的指標，CTR（Click-Through-Rate）和 RPM（Revenue PerMille）相對base line提升。
參考：
計算廣告ctr預估系列文章 https://blog.csdn.net/u010352603/article/details/80590129
其他：
- 《推薦系統實踐》. 項亮
- http://surprise.readthedocs.io/en/stable/similarities.html
- 《Recommender Systems Handbook》.Francesco Ricci · Lior Rokach · Bracha Shapira · Paul B. Kantor