阿里star论文阅读《One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction》


背景

这是阿里发的一篇 Multi-Domain CTR 预估论文,本质上就是一个multitask模型

 

模型结构

star模型结构如上图所示,和普通的ctr模型对比,主要有以下几个区别:

1. BN层换成了PN,简单来说就是对不同domain的样本采用了不同的BN

2. Star Topology FCN,不同domain有一个共享的FCN,每个domain也有自己的FCN

3. 加了一个辅助任务,强化模型区分不同domian

 

Partitioned Normalization

batch normalization (BN) 是模型中常见的一种结构

训练时:

 

 预估时:

 

 

 BN假设了所有的样本都是服从相同分布的,BN适合单domain的任务,对于多domain的任务,阿里star提出了partitioned normalization结构

训练时:

 

预估时:

和普通BN相比,PN有以下几点不同:

1. 每个mini batch的样本要属于同一个domain

2. 训练时,不仅学习了所有domain共享的一对参数(γ,β),对于每个domain还另外学习了一对参数(γp,βp

3. 预估时,每个domain都要计算它的期望和方差

 

Star Topology FCN 

 

Star Topology FCN的结构如上图所示,由一个每个domian共享的FCN和多个每个domain私有的FCN组成

 

 

Auxiliary Network 

为了加强模型对各个domain的区分能力,阿里star网路引入了一个辅助任务。每个domain的标识是一个ID特征,也会学习它的embedding,concat到其它特征上,然后通过两层的FCN得到一个1维的值

这里标记主任务的输出为sm,辅助任务的输出时sa,那么最终的输出是:

 这个辅助任务可以理解为为每个子任务学习了一个bias

 

Loss

 

 

 

 

 

 

 

 

 

 

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM