AB實驗的高端玩法系列3 - AB組不隨機？觀測試驗？Propensity Score
背景 都說隨機是AB實驗的核心，為什么隨機這么重要呢？有人說因為隨機所以AB組整體不存在差異，這樣才能准確估計實驗效果（ATE） \[ATE = E(Y_t(1) - Y_c(0)) \] 那究竟隨機是如何定義的呢？ 根據Rubin Causal Model， 想要讓上述估計無偏 ...
原文：AB實驗的高端玩法系列2 - 更敏感的AB實驗, CUPED！
背景 AB實驗可謂是互聯網公司進行產品迭代增加用戶粘性的大殺器。但人們對AB實驗的應用往往只停留在開實驗算P值，然后let it go。。。let it go 。。。 讓我們把AB實驗的結果簡單的拆解成兩個方面: P 實驗結果顯著 P 統計檢驗顯著 實驗有效 P 實驗有效 如果你的產品改進方案本來就沒啥效果當然怎么開實驗都沒用，但如果方案有效，請不要讓 statictical Hack 浪費一個優 ...
2019-10-27 21:49 0 1180 推薦指數：
相關推薦
AB實驗的高端玩法系列4- 實驗滲透低？用戶未被觸達？CACE/LATE
CACE全稱Compiler Average Casual Effect或者Local Average Treatment Effect。在觀測數據中的應用需要和Instrument Variable結合來看，這里我們只討論CACE的框架給隨機AB實驗提供的一些learning。你碰到過以下低實驗 ...
AB實驗的高端玩法系列1 - AB實驗人群定向/個體效果差異/HTE/Uplift Model 論文github收藏
一直以來機器學習希望解決的一個問題就是'what if'，也就是決策指導： 如果我給用戶發優惠券用戶會留下來么？ 如果患者服了這個葯血壓會降低么？ 如果APP增加這個功能會增加用戶的使 ...
【轉】AB實驗設計思路及實驗落地
這篇文章會討論： 在什么情況下需要做 AB 實驗 從產品/交互角度，如何設計一個實驗 前端工程師如何打點 如何統計數據，並保證數據准確可信 如何分析實驗數據，有哪些數據需要重點關注 附：如何搭建前端實驗項目，以 mip-experiment 為例 ...
AB實驗人群定向HTE模型2 - Causal Tree with Trigger
這篇論文是在 Recursive Partitioning for Heterogeneous Causal Effects 的基礎上加入了兩個新元素： Trigger：對不同群體的treat ...
為什么在數據驅動的路上，AB 實驗值得信賴？
在線AB實驗成為當今互聯網公司中必不可少的數據驅動的工具，很多公司把自己的應用來做一次AB實驗作為數據驅動的試金石。 文 | 松寶 來自 字節跳動數據平台團隊增長平台 在線AB實驗成為當今互聯網公司中必不可少的數據驅動的工具，很多公司把自己的應用來做一次AB實驗作為數據驅動的試金石 ...
AB實驗人群定向HTE模型5 - Meta Learner
Meta Learner和之前介紹的Causal Tree直接估計模型不同，屬於間接估計模型的一種。它並不直接對treatment effect進行建模，而是通過對response effect(ta ...
AB實驗人群定向HTE模型1 - Causal Tree
這篇是treatment effect估計相關的論文系列第一篇所以會啰嗦一點多給出點背景。 論文 Athey, S., and Imbens, G. 2016. Recursive partitioning for heterogeneous causal effects. ...