AB實驗的高端玩法系列2 - 更敏感的AB實驗, CUPED！
背景 AB實驗可謂是互聯網公司進行產品迭代增加用戶粘性的大殺器。但人們對AB實驗的應用往往只停留在開實驗算P值，然后let it go。。。let it go 。。。 讓我們把AB實驗的結果簡單的拆解成兩個方面: \[P(實驗結果顯著) = P(統計檢驗顯著|實驗有效)× P(實驗有效 ...
原文：AB實驗的高端玩法系列1 - AB實驗人群定向/個體效果差異/HTE/Uplift Model 論文github收藏
一直以來機器學習希望解決的一個問題就是 what if ，也就是決策指導： 如果我給用戶發優惠券用戶會留下來么 如果患者服了這個葯血壓會降低么 如果APP增加這個功能會增加用戶的使用時長么 如果實施這個貨幣政策對有效提振經濟么 這類問題之所以難以解決是因為ground truth在現實中是觀測不到的，一個已經服了葯的患者血壓降低但我們無從知道在同一時刻如果他沒有服葯血壓是不是也會降低。 這個時候做 ...
2019-10-21 07:01 2 2444 推薦指數：
相關推薦
AB實驗的高端玩法系列3 - AB組不隨機？觀測試驗？Propensity Score
背景 都說隨機是AB實驗的核心，為什么隨機這么重要呢？有人說因為隨機所以AB組整體不存在差異，這樣才能准確估計實驗效果（ATE） \[ATE = E(Y_t(1) - Y_c(0)) \] 那究竟隨機是如何定義的呢？ 根據Rubin Causal Model， 想要讓上述估計無偏 ...
AB實驗人群定向HTE模型4 - Double Machine Learning
Hetergeneous Treatment Effect旨在量化實驗對不同人群的差異影響，進而通過人群定向/數值策略的方式進行差異化實驗，或者對實驗進行調整。Double Machine Learning把Treatment作為特征，通過估計特征對目標的影響來計算實驗的差異效果 ...
AB實驗人群定向HTE模型2 - Causal Tree with Trigger
這篇論文是在 Recursive Partitioning for Heterogeneous Causal Effects 的基礎上加入了兩個新元素： Trigger：對不同群體的treatment選擇個性化閾值。 E.g優惠券力度，紅包金額 新的Node Penalty: 旨在增強 ...
AB實驗的高端玩法系列4- 實驗滲透低？用戶未被觸達？CACE/LATE
CACE全稱Compiler Average Casual Effect或者Local Average Treatment Effect。在觀測數據中的應用需要和Instrument Variable結合來看，這里我們只討論CACE的框架給隨機AB實驗提供的一些learning。你碰到過以下低實驗 ...
AB實驗人群定向HTE模型5 - Meta Learner
Meta Learner和之前介紹的Causal Tree直接估計模型不同，屬於間接估計模型的一種。它並不直接對treatment effect進行建模，而是通過對response effect(target)進行建模，用treatment帶來的target變化作為HTE的估計。主要方法有3種 ...
AB實驗人群定向HTE模型1 - Causal Tree
這篇是treatment effect估計相關的論文系列第一篇所以會啰嗦一點多給出點背景。 論文 Athey, S., and Imbens, G. 2016. Recursive partitioning for heterogeneous causal effects. ...
【轉】AB實驗設計思路及實驗落地
這篇文章會討論： 在什么情況下需要做 AB 實驗 從產品/交互角度，如何設計一個實驗 前端工程師如何打點 如何統計數據，並保證數據准確可信 如何分析實驗數據，有哪些數據需要重點關注 附：如何搭建前端實驗項目，以 mip-experiment 為例 ...