AB实验的高端玩法系列3 - AB组不随机？观测试验？Propensity Score
背景 都说随机是AB实验的核心，为什么随机这么重要呢？有人说因为随机所以AB组整体不存在差异，这样才能准确估计实验效果（ATE） \[ATE = E(Y_t(1) - Y_c(0)) \] 那究竟随机是如何定义的呢？ 根据Rubin Causal Model， 想要让上述估计无偏 ...
原文：AB实验的高端玩法系列2 - 更敏感的AB实验, CUPED！
背景 AB实验可谓是互联网公司进行产品迭代增加用户粘性的大杀器。但人们对AB实验的应用往往只停留在开实验算P值，然后let it go。。。let it go 。。。 让我们把AB实验的结果简单的拆解成两个方面: P 实验结果显著 P 统计检验显著 实验有效 P 实验有效 如果你的产品改进方案本来就没啥效果当然怎么开实验都没用，但如果方案有效，请不要让 statictical Hack 浪费一个优 ...
2019-10-27 21:49 0 1180 推荐指数：
相关推荐
AB实验的高端玩法系列4- 实验渗透低？用户未被触达？CACE/LATE
CACE全称Compiler Average Casual Effect或者Local Average Treatment Effect。在观测数据中的应用需要和Instrument Variable结合来看，这里我们只讨论CACE的框架给随机AB实验提供的一些learning。你碰到过以下低实验 ...
AB实验的高端玩法系列1 - AB实验人群定向/个体效果差异/HTE/Uplift Model 论文github收藏
一直以来机器学习希望解决的一个问题就是'what if'，也就是决策指导： 如果我给用户发优惠券用户会留下来么？ 如果患者服了这个药血压会降低么？ 如果APP增加这个功能会增加用户的使 ...
【转】AB实验设计思路及实验落地
这篇文章会讨论： 在什么情况下需要做 AB 实验 从产品/交互角度，如何设计一个实验 前端工程师如何打点 如何统计数据，并保证数据准确可信 如何分析实验数据，有哪些数据需要重点关注 附：如何搭建前端实验项目，以 mip-experiment 为例 ...
AB实验人群定向HTE模型2 - Causal Tree with Trigger
这篇论文是在 Recursive Partitioning for Heterogeneous Causal Effects 的基础上加入了两个新元素： Trigger：对不同群体的treat ...
为什么在数据驱动的路上，AB 实验值得信赖？
在线AB实验成为当今互联网公司中必不可少的数据驱动的工具，很多公司把自己的应用来做一次AB实验作为数据驱动的试金石。 文 | 松宝 来自 字节跳动数据平台团队增长平台 在线AB实验成为当今互联网公司中必不可少的数据驱动的工具，很多公司把自己的应用来做一次AB实验作为数据驱动的试金石 ...
AB实验人群定向HTE模型5 - Meta Learner
Meta Learner和之前介绍的Causal Tree直接估计模型不同，属于间接估计模型的一种。它并不直接对treatment effect进行建模，而是通过对response effect(ta ...
AB实验人群定向HTE模型1 - Causal Tree
这篇是treatment effect估计相关的论文系列第一篇所以会啰嗦一点多给出点背景。 论文 Athey, S., and Imbens, G. 2016. Recursive partitioning for heterogeneous causal effects. ...