域適應(Domain adaptation)


定義

  在遷移學習中, 當源域和目標的數據分布不同但兩個任務相同時,這種 特殊 的遷移學習 叫做域適應 (Domain Adaptation)。

Domain adaptation有哪些實現手段呢?

  幾乎所有的手段都嘗試去學習一個特征轉換,使得在轉換過后的特征空間上,source dataset和target dataset分布的區分度達到最小。現實世界當中這個問題又分為不同的類型:1)邊緣分布相同,條件分布不同且相關2)邊緣分布不同且相關,條件分布相同3)邊緣分布和條件分布都不同且相關。
  下邊就稍微介紹一下邊緣分布,條件分布:所謂邊緣分布就是數據在特征空間當中的分布,如果你不理解特征空間這個詞,把它理解為數據分布就好。可能還會有人問現實當中數據分布很抽象,你怎么知道幾萬張圖片,它們的分布是怎樣的?這個問題是初入坑必須要搞明白的,衡量圖像我們也是通過特征(例如,haar特征,梯度,顏色直方圖等等),將圖像特征量化成數字,分布就能看出來了,所以記住我們討論分布的前提是我們已經確定用哪種特征來衡量數據。同樣條件分布就是某個確定樣本的分類概率分布了,如果是二分類問題,那么此條件分布就看作一個伯努利分布,其他情況以此類推。

Domain adaptation中的學習策略

  Instance reweightingsubspace learning是Domain adaptation中兩種經典的學習策略,前者對source data每一個樣本加權,學習一組權使得分布差異最小化,后者則是轉換到一個新的共享樣本空間上,使得兩者的分布相匹配。另外比較重要的的一點是,實際訓練當中,“最小化分布差異”這個約束條件是放在目標函數中和最小化誤差一起優化的,而不是單獨優化。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM