http://blog.csdn.net/linolzhang/article/details/73358219
一. 了解遷移學習
遷移學習（Transfer Learning）目標是將從一個環境中學到的知識用來幫助新環境中的學習任務。
> The ability of a system to recognize and apply knowledge and skills learned in previous tasks to novel tasks。
入門推薦一篇公認的比較好的 【Survey】： A Survey on Transfer Learning，Sinno JialinPan, Qiang Yang，IEEE Trans
另外，戴文淵的碩士學位論文也可以看一下：基於實例和特征的遷移學習算法研究
Survey 作者歸納了 Transfer Learning 相關的知識域，有必要了解一下這些名詞：
● Learning學習 - learning to learn
● 終身學習 - life-long learning
● 知識轉移 - knowledge transfer
● 歸納遷移 - inductive transfer
● 多任務學習 - multi-task learning
● 知識的鞏固 - knowledge consolidation
● 上下文相關學習 - context sensitive learning
● 基於知識的歸納偏差 - knowledge-based inductive bias
● 元學習 - meta learning
● 增量學習 - and incremental/cumulative learning
另外，進展及 Open Source Toolkit 可以參考：http://www.cse.ust.hk/TL/index.html
二. 遷移學習分類
遷移學習（Transfer Learning）根據 領域 和 任務的相似性，可以這樣划分：
我們根據 源Domain和目前Domain 之間的關系，源Task 和 目標Task之間的關系，以及任務方法更詳細的整理為下表：
源Domain &
目標Domain
源Task &
目標Task
源Data & 目標Data
任務方法
傳統機器學習
相同
相同
有標簽 | 有標簽
遷移學習
歸納式遷移學習
相同/相關
相關
多任務學習 - 有標簽 | 有標簽
自我學習 - 無標簽 | 有標簽
分類回歸
直推式遷移學習
相關
相同
有標簽 | 無標簽
分類回歸
無監督遷移學習
相關
相關
無標簽 | 無標簽
聚類降維
實際上，歸納式遷移學習 是應用最廣泛的一種方法，從這點上看，遷移學習更適合 有標簽的應用域。
根據技術方法，我們將遷移學習的方法划分為：
說明
歸納式
直推式
無監督
基於樣本
的遷移學習
通過調整 源Domain的標簽（輔助） 和 目標Domain標簽的權重，協同訓練得到目標模型。
典型方法：TrAdaBoost
√
√
基於特征
的遷移學習
找到 “好”特征 來減少源Domain和目標Domain之間的不同，能夠降低分類、回歸誤差。
典型方法：Self-taught learning，multi-task structure learning
√
√
√
基於參數
的遷移學習
發現源Domain和目標Domain之間的共享參數或先驗關系。
典型方法：Learning to learn，Regularized multi-task learning
√
基於相關性
的遷移學習
建立源Domain和目標Domain之間的相關知識映射。
典型方法：Mapping 方法
√
遷移學習方法雖然在學術有很多研究工作，實際上在應用領域並不算成熟，這本身就是一個很大的命題，關於遷移學習的條件 和 本質也並未形成一套正統的體系來引領研究方向，更多的也是在實驗摸索。
遷移學習 目前面臨如下幾個問題：
1. 哪種情況適合做遷移學習？ - What
這里先給個自己的理解：
分類和回歸問題是比較適合做遷移學習的場景，有標簽的源數據是最好的輔助。
2. 該選擇哪種方法？ - Which
簡單而行之有效的方法是首選，領域在快速發展，也不必拘泥算法本身，改善結果才是硬道理。
3. 如何避免負遷移？ - How
遷移學習的目標是改善目標域的 Task效果，這里面 負遷移（Negative Transfer）是很多研究者面臨的一個問題，如何得到行之有效的改進，避免負遷移是需要大家去評估和權衡的。
三. 經典算法 TrAdaBoost
TrAdaBoost 算法是基於 樣本遷移的 開山之作，由 戴文淵 提出，有着足夠的影響力放在第一位來進行講解。
論文下載：Boosting for Transfer Learning
算法的基本思想是 從源 Domain 數據中 篩選有效數據，過濾掉與目標 Domain 不match的數據，通過 Boosting方法建立一種權重調整機制，增加有效數據權重，降低無效數據權重，下圖是 TrAdaBoost 算法的示意圖（截圖來自於 庄福振 - 遷移學習研究進展）：
TrAdaBoost 算法比較簡單，用一句話概括就是 從過期數據里面 找出和目標數據最接近的樣本數據。
來看 TrAdaBoost 的算法步驟：
這里需要說明的一點就是 權重的更新方式，對於輔助樣本來講，預測值和標簽越接近，權重越大；而對於目標數據則是相反，預測值和標簽差異越大，權重越大。這種策略狠容易理解，我們想找到輔助樣本中 和 目標數據分布最接近的樣本，同時放大目標樣本Loss的影響，那么理想的結果就是：
目標樣本預測值與標簽盡量匹配（不放過一個沒匹配好的數據），輔助樣本在前面的基礎上篩選出最 match（權重大的） 的部分。
作者在后面給出了理論證明，這里有兩個公式（來證明算法收斂）：
因篇幅問題，這里就不再展開了（和作者說的一樣），有興趣可以參考原Paper，看下實驗結果：
實驗發現，當 同分布數據（目標數據）占比當低於0.1時，算法效果明顯，當比例超過 0.1時，TrBoost 退化為 SVM 的效果。
這又是一個顯而易見的結論，我們認為大於0.1時，僅僅依靠 目前數據就足夠完成樣本訓練，這種情況下，輔助樣本的貢獻可以忽略。
另外，當 目標數據 和 輔助數據 差別比較大時，該方法是不 Work的，印證了最初的假設，這里不再展開證明。
最后，給出網友提供的C代碼：【下載地址】
四. 多任務學習
多任務學習（Multi-Task Learning, MTL）是一種同時學習多個任務的機器學習方法，該方法由來已久，和深度學習沒什么關系。
如果非要把它 和深度學習加上一個 link，我們可以這樣來表示：
input1 -> Hidden1-> H1-> Out1 input1 -> Out1
input2 -> Hidden2-> H2-> Out2 ==> input2 -> Hidden123 -> H123 -> Out2
input3 -> Hidden3-> H3-> Out3 input3 -> Out3
也比較好理解，相當於把多個 Task網絡進行合並，同時訓練多個任務，這種情況並不鮮見，比如以下2個方向：
1）目標檢測 － 復合多任務
目標檢測是 分類問題＋回歸問題的組合，這是一個典型的 Multi-Task，比如:
Detection＝Classification＋Location
Mask RCNN = Classification＋Location＋Segmentation
檢測問題前面描述的比較多了，這里就不再貼圖了。
2）特征提取
多任務特征提取，多個輸出，這一類問題代表就是 數據結構化，特征識別。
下圖是港中文 湯曉鷗組發表的TCDCN（Facial Landmark Detection by Deep Multi-task Learning），很多講 Multi－Task的軟文都拿出來說，我們也借用一下。
在這里 Multi-Task 被同時用作 人臉關鍵點定位、姿態估計和屬性預測（比如性別、年齡、人種、微笑？戴眼鏡？）
多任務學習適用於這樣的情況：
1）多個任務之間存在關聯，比如行人和車輛檢測，對於深度網絡也可以理解為有部分共同的網絡結構；
2）每個獨立任務的訓練數據比較少，單獨訓練無法有效收斂；
3）多個任務之間存在相關性信息，單獨訓練時無法有效挖掘；
可以看一下這篇 Tutorial：www.public.asu.edu/~jye02/Software/MALSAR/MTL-SDM12.pdf
關於多任務學習的應用，比如 分類任務下的二級分類，人臉識別等，大家可以更進一步了解。