接上文《廣告流量分析之評價指標的選擇(一)》今天我們聊聊ctr指標與oCPA指標。
案例二：CTR預估評價（分清指標所處的階段）
做廣告算法的同學應該都熟悉CTR預估的概念，計算廣告預估曝光出去后被點擊的概率。
在我們的系統中，有兩個階段存在CTR預估問題，粗排（LiteCTR）階段、精排（pCTR）階段。最近在分析流量的數據時，遇到一個現象: LiteCTR bias 與pCVR bias 相差不大，在某些時間甚至更好，就猜想既然LiteCTR和pCTR效果差不多，那在精排中用LiteCTR替換pCTR是不是流量收入應該不會有什么大的變化，然而去掉pCTR過程卻可以省下很多計算資源。我就起了一個實驗，精排中用LiteCTR替換pCTR。
實驗結果大失所望。實驗組的LiteCTR bias高達20%，而對照組用的pCTR bias還是原來的5%以內。
為啥會有這種差異？那是由於LiteCTR和pCTR的目標是不一樣的。LiteCTR目標是為進入精排的100個廣告進行ctr預估；而pCTR目標是為最終曝光1個廣告進行ctr預估。在最開始我計算的LiteCTR bias和pCTR bias都是以曝光為目標計算的，因此在最開始我就把評價目標整錯了，因此一開始的結論就是錯誤的。
案例三：oCPA效果評價（確定問題分析角度）
oCPA是一種為廣告主提供的按轉化出價，按點擊收費的投放方式。它的評價指標：
廣告達成率=廣告的實際收入/（廣告出價*廣告轉化數），值越接近1越好。
前段時間在做流量分析時，遇到了一個問題，在流量2上做了一個操作，讓流量1上的部分廣告主可以到流量2上進行投放，然后流量1的收入在下跌。從這個操作后，觀察到一個現象流量1的CPC下降了，流量2的CPC上升了。（其他指標比較平穩，因此判斷收入變化是CPC變化引發的）。
CPC=廣告出價*pCVR。其中廣告出價是定值，一天只修改1次；而pCVR(轉化率預估）每個流量是不一樣。因此CPC的這種差距很可能是來自pCVR的，對比流量1和流量2的pCVR, 流量2的pCVR Bias明顯高於流量1。再看一下CPC的公式，廣告出價不變，pCVR偏高，CPC自然偏高，因此出現了流量2 CPC增加的現象，從而導致收入的增加。而又因為oCPA目標是保證廣告達成率，一個廣告在流量2收入增加，自然流量1收入就要減少，來保證廣告的達成率為1。其實這也是符合能量守恆定律的，在一個相對穩定的廣告系統里面，流量既不會憑空產生，也不會憑空消失，它只會從一種形式轉化為另一種形式，一些廣告拿到了更多的量，另一些廣告的量就會減少，而總的流量保持不變。
這里所反應的問題就是oCPA的關注目標（廣告達成率）和我們在流量側的關注目標（流量達成率）的差異。看問題角度不一樣，大家的評價指標就會不同。
總結一下廣告流量分析之評價指標的選擇系列，在分析問題時，要首先明確問題評價指標，根據指標所處的階段（粗排or精排）、分析角度（流量or廣告主）等的不同，選擇合適的評價指標。
歡迎大家關注計算廣告那些事兒哈，除了原創文章之外，也會不定期和大家分享業內大牛的文章哈！