AB实验的高端玩法系列2 - 更敏感的AB实验, CUPED！
背景 AB实验可谓是互联网公司进行产品迭代增加用户粘性的大杀器。但人们对AB实验的应用往往只停留在开实验算P值，然后let it go。。。let it go 。。。 让我们把AB实验的结果简单的拆解成两个方面: \[P(实验结果显著) = P(统计检验显著|实验有效)× P(实验有效 ...
原文：AB实验的高端玩法系列1 - AB实验人群定向/个体效果差异/HTE/Uplift Model 论文github收藏
一直以来机器学习希望解决的一个问题就是 what if ，也就是决策指导： 如果我给用户发优惠券用户会留下来么 如果患者服了这个药血压会降低么 如果APP增加这个功能会增加用户的使用时长么 如果实施这个货币政策对有效提振经济么 这类问题之所以难以解决是因为ground truth在现实中是观测不到的，一个已经服了药的患者血压降低但我们无从知道在同一时刻如果他没有服药血压是不是也会降低。 这个时候做 ...
2019-10-21 07:01 2 2444 推荐指数：
相关推荐
AB实验的高端玩法系列3 - AB组不随机？观测试验？Propensity Score
背景 都说随机是AB实验的核心，为什么随机这么重要呢？有人说因为随机所以AB组整体不存在差异，这样才能准确估计实验效果（ATE） \[ATE = E(Y_t(1) - Y_c(0)) \] 那究竟随机是如何定义的呢？ 根据Rubin Causal Model， 想要让上述估计无偏 ...
AB实验人群定向HTE模型4 - Double Machine Learning
Hetergeneous Treatment Effect旨在量化实验对不同人群的差异影响，进而通过人群定向/数值策略的方式进行差异化实验，或者对实验进行调整。Double Machine Learning把Treatment作为特征，通过估计特征对目标的影响来计算实验的差异效果 ...
AB实验人群定向HTE模型2 - Causal Tree with Trigger
这篇论文是在 Recursive Partitioning for Heterogeneous Causal Effects 的基础上加入了两个新元素： Trigger：对不同群体的treatment选择个性化阈值。 E.g优惠券力度，红包金额 新的Node Penalty: 旨在增强 ...
AB实验的高端玩法系列4- 实验渗透低？用户未被触达？CACE/LATE
CACE全称Compiler Average Casual Effect或者Local Average Treatment Effect。在观测数据中的应用需要和Instrument Variable结合来看，这里我们只讨论CACE的框架给随机AB实验提供的一些learning。你碰到过以下低实验 ...
AB实验人群定向HTE模型5 - Meta Learner
Meta Learner和之前介绍的Causal Tree直接估计模型不同，属于间接估计模型的一种。它并不直接对treatment effect进行建模，而是通过对response effect(target)进行建模，用treatment带来的target变化作为HTE的估计。主要方法有3种 ...
AB实验人群定向HTE模型1 - Causal Tree
这篇是treatment effect估计相关的论文系列第一篇所以会啰嗦一点多给出点背景。 论文 Athey, S., and Imbens, G. 2016. Recursive partitioning for heterogeneous causal effects. ...
【转】AB实验设计思路及实验落地
这篇文章会讨论： 在什么情况下需要做 AB 实验 从产品/交互角度，如何设计一个实验 前端工程师如何打点 如何统计数据，并保证数据准确可信 如何分析实验数据，有哪些数据需要重点关注 附：如何搭建前端实验项目，以 mip-experiment 为例 ...