最近調研了不少遷移學習的工作，分享給大家。因為我感覺遷移學習在NLP領域的很多任務中有很大的利用價值，畢竟高質量的標注數據是很少的，而人工標注費時費力，而且質量不一定好。
1. Domain Adaptation 領域自適應
1.1 動機
領域自適應是一種遷移學習，它將不同源領域的數據或特征映射到同一個特征空間，以便於利用其源領域數據或特征來增強目標領域的訓練，進而達到更好的訓練效果。領域自適應學習不要求訓練數據和測試數據一定具有相同的分布。
1.2 目的
利用數據或特征更多的源領域來提升數據或特征相對較少的目標領域的模型性能。
1.3論文和代碼
論文：https://arxiv.org/abs/1707.05956，ICCV 2017
代碼：https://github.com/poppinace/TAISL
推薦理由：無監督的領域自適應和張量表示。傳統的領域自適應一般是針對向量的本文換了一種方式，值得借鑒。
領域自適應在對話系統領域論文也不少，簡單推薦幾篇：
https://arxiv.org/abs/1609.02846
https://arxiv.org/abs/1808.02586
http://www.aclweb.org/anthology/C18-1103
https://arxiv.org/abs/1111.0048
http://ttic.uchicago.edu/~klivescu/papers/margolis_etal_danlp2010.pdf
2. Online transfer learning 在線遷移學習
在線遷移學習的框架
2.1 動機
把在線學習和遷移學習相結合，用於訓練的源領域的數據在開始訓練前並不是全部確定的，而是隨着時間的推移而不斷增加。
2.2 目的
充分理由源領域的數據進行訓練，以便於更好的遷移到目的領域。
2.3 論文和代碼
論文：https://icml.cc/Conferences/2010/papers/219.pdf，AIJ 2014.
推薦理由：把在線學習和遷移學習相結合，這更符合很實際情況下源領域數據一點一點源源不斷的積累的情況。這是在線遷移學習的第一個公開的研究成果，也是目前最值得學習的研究成果。
3. Lifelong transfer learning 終身遷移學習
3.1動機
不再單單是在特定領域終身學習，而是通過終身不斷的學習來提升源領域到目標領域的遷移效果。
3.2 目的
通過終身不斷的學習來增強源領域到目標領域的遷移。
3.3 論文和代碼
論文：http://www.cis.upenn.edu/~eeaton/papers/BouAmmar2015Autonomous.pdf， IJCAI 2015.
代碼：https://github.com/haithamb/pginterella
推薦理由：終身策略梯度強化學習與自主跨領域知識轉移相結合，很適合缺少訓練數據的決策類任務，比如任務型對話系統中的DPL（對話策略學習）。目前這方面工作極少，感覺很適合研究。
4. Heterogeneous Transfer Learning 異構遷移學習
4.1 動機
遷移學習一般不要求訓練數據和測試數據有相同的分布，而異構遷移學習連訓練數據和測試數據的特征維度也不再要求一樣。
4.2 目的
訓練數據和測試數據的特征維度也允許不同，這樣更有利於擴大遷移學習的適用范圍。
4.3 論文和代碼
論文：http://proceedings.mlr.press/v95/shen18b/shen18b.pdf， ACML 2018。
代碼：https://github.com/Isilendil/OSTL
推薦理由：基於稀疏特征變換的無監督異構域自適應，用稀疏特征變換來做異構遷移學習很貼近實際情況。
5. Deep Transfer Learning 深度遷移學習
5.1 動機
深度學習具有非常強的數據擬合能力，可學習到泛化能力更強的特征表達，而遷移學習能學習到領域無關的特征表達。如果通過深度神經網絡利用其他領域的知識，能充分利用神經網絡來學習所有領域共同具有的特征表示。
5.2 目的
將深度學習與遷移學習相結合，同時利用深度學習和遷移學習的優勢。
5.3 論文和代碼
論文：https://arxiv.org/abs/1608.06019，NIPS 2016。
代碼：https://github.com/tensorflow/models/tree/master/research/domain_adaptation
推薦理由：
6. Reinforcement Transfer Learning 強化遷移學習
6.1 動機
強化學習需要多步決策，其實在決策時如果數據較少，可能可以嘗試策略的遷移學習。
6.2 目的
將強化學習與遷移學習相結合，同時利用強化學習和遷移學習的優勢。
6.3 論文和代碼
論文：https://arxiv.org/abs/1810.06667，arXiv 1810.06667。
代碼：https://github.com/yaserkl/TransferRL
推薦理由：深度學習+強化學習+遷移學習做文本的自動摘要，充分理由三者的優勢互補，很適合學習。
7. Adversarial transfer learning 對抗遷移學習
7.1 動機
遷移學習一般是單向的遷移，那么如果雙向進行對抗的遷移學習的話，效果可能會更好，因為可以互相遷移而共享共有的數據和特征。
7.2 目的
雙向對抗的遷移學習，盡最大努力的充分利用源領域和目標領域的數據和特征。
7.3 論文和代碼
論文：https://arxiv.org/abs/1712.02560
代碼：https://github.com/mil-tokyo/MCD_DA
推薦理由：無監督領域自適應的最大分類器差異，讓分類器之間不斷對抗遷移，以便於提升效果。