推薦中的多任務學習-阿里ESMM

本文將介紹阿里發表在 SIGIR’18 的論文ESMM《Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate》。文章提出使用多任務學習解決CVR（轉化率）預估時的樣本選擇偏差和數據稀疏問題。

• 背景

在推薦系統、在線廣告等應用中，CVR預估比CTR預估更加重要，CTR預估聚焦於點擊率預估，即預測用戶會不會點擊，但是用戶點擊后進行消費才是最終目標。傳統的CVR預估任務通常采用類似於CTR預估的技術，然而，這種做法存在兩個重大問題：1) 樣本選擇偏差；2) 訓練數據稀疏

1.樣本選擇偏差

轉化是在點擊之后發生，傳統CVR預估模型在clicked數據上訓練，但是在推理時使用了整個樣本空間見圖。訓練樣本和實際數據不服從同一分布，不符合機器學習中訓練數據和測試數據獨立同分布的假設。直觀的說，會產生轉化的用戶不一定都是進行了點擊操作的用戶，如果只使用點擊后的樣本來訓練，會導致CVR學習產生偏置。具體的實驗結果可以見原論文[1]

2.訓練數據稀疏

訓練數據稀疏問題很明顯，點擊樣本在整個樣本空間中只占了很小一部分，而轉化樣本更少，高度稀疏的訓練數據使得模型的學習變得相當困難。

• ESMM

首先明確CTR、CVR、CTCVR。CTR表示點擊率、CVR表示假設用戶點擊后的轉化率、CTCVR表示用戶點擊並且成功轉化。

如何解決上述問題？ESMM 引入點擊率（CTR）和點擊轉化率（CTCVR）作為輔助任務，將CVR作為一個中間變量。它們的關系如下

\[\underbrace{p(y=1, z=1 | x)}_{p C T C V R}=\underbrace{p(y=1 | x)}_{p C T R} \times \underbrace{p(z=1 | y=1, x)}_{p C V R} \]

可以看出，\(pCTR\)和\(pCTCVR\)是在整個樣本空間上進行學習得到的，只是label不同，\(pCVR\)是中間變量，這樣就解決了樣本選擇偏差問題。模型架構如下

可以看出在 ESMM 中，CVR 與 CTR 任務共享Embedding 參數。這種參數共享機制使 ESMM 中的 CVR 網絡可以從未點擊的樣本中學習，在一定程度緩解了數據稀疏性問題。

至此，兩個問題已經被解決了，下面看下ESMM如何學習，模型的損失函數如下：

\[\begin{aligned}L\left(\theta_{c v r}, \theta_{c t r}\right) &=\sum_{i=1}^{N} l\left(y_{i}, f\left(x_{i} ; \theta_{c t r}\right)\right)+\sum_{i=1}^{N} l\left(y_{i} \& z_{i}, f\left(x_{i} ; \theta_{c t r}\right) \times f\left(x_{i} ; \theta_{c v r}\right)\right)\end{aligned} \]

第一項是CTR預估的損失，點擊label為1否則為0；第二項是CTCVR預估的損失，點擊且轉化的label為1，否則為0。

這里還有一個問題，既然\(pCTCVR\)可以由\(pCTR\)和\(pCVR\)相乘得到，那么從理論上說，轉化為除法也可以，即

\[p(z=1 | y=1, x)=\frac{p(y=1, z=1 | x)}{p(y=1 | x)} \]

這樣可以分別訓練兩個模型，CTR和CVCTR，最終也可以得到CVR。論文對這種情況做了實驗分析，發現實際上\(pCTR\)的值較小，會引起數值不穩定。

• discussion

1. 巧妙的引入了兩個輔助任務解決CVR預估，解決了樣本選擇偏置問題，共享參數可以緩解數據稀疏
2. 多任務學習在其他領域已經有很多應用，但在推薦中，更應該結合具體的數據和任務設計。例如，在跨領域任務中，不同領域的環境樣本是不一樣的，但用戶信息可能有重復，那么針對這種場景怎么設計多任務學習，樣本信息的利用需要更多得考慮。

references:

[1] Xiao Ma, Liqin Zhao, Guan Huang, Zhi Wang, Zelin Hu, Xiaoqiang Zhu, and Kun Gai. 2018. Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate. SIGIR (2018).

[2] https://github.com/alibaba/x-deeplearning/wiki/%E5%85%A8%E7%A9%BA%E9%97%B4%E5%A4%9A%E4%BB%BB%E5%8A%A1%E6%A8%A1%E5%9E%8B(ESMM)