轉自：https://coladrill.github.io/2020/06/01/用戶行為序列建模/
https://zhuanlan.zhihu.com/p/138136777?utm_source=qq&utm_medium=social&utm_oi=566394839504048128
https://tech.meituan.com/2020/04/16/transformer-in-meituan.html
Transformer 在美團搜索排序中的實踐 : https://tech.meituan.com/2020/04/16/transformer-in-meituan.html
理解用戶是搜索排序中一個非常重要的問題，工業級的推薦系統一般需要大量的泛化特征來較好的表達用戶。這些泛化特征可以分為兩類：
- 偏靜態的特征，例如用戶的基本屬性（年齡、性別、職業等等）特征、長期偏好（品類、價格等等）特征；
- 動態變化的特征，例如刻畫用戶興趣的實時行為序列特征。
用戶的實時行為特征能夠明顯加強不同樣本之間的區分度，所以在模型中優化用戶行為序列建模是讓模型更好理解用戶的關鍵環節。
推薦系統中的用戶興趣變化非常劇烈，比如電商推薦中，用戶一會看看服飾，一會看看電子產品，若只使用靜態特征進行推薦，每次推薦的內容是一樣的，這無疑是不能滿足用戶需求，實時性需要保障。
大致來講，用戶行為序列建模包含以下幾種方式：
- Pooling方法；特點是將用戶歷史行為看做一個無序集合，方法有sum/max pooling等；
- Attention模型：屬於Pooling方法的一種，優點在於靈活的捕捉全局和局部的聯系，方法有DIN、DIEN、DSIN、BST等；
- 序列模型：將用戶行為看做一個具有時間屬性的序列，方法有RNN、LSTN、GRU等；
- 關注用戶的多興趣表達：方法有MIND等；
結合業務場景的其他方法。