前言：
最近發現了一篇很有意思的論文，有關集成學習中的可持續性的研究，這里翻譯了一下，供了解和學習使用
劉兵：美國芝加哥大學的計算機科學教授。他的研究包括情緒分析和意見挖掘、終身機器學習、數據挖掘、機器學習和自然語言處理。他目前擔任ACM SIGKDD的主席，ACM Fellow, AAAI Fellow, and IEEE Fellow。
下面是正文內容：
引言：
機器學習(ML)對數據分析和人工智能(AI)的廣告都有幫助。最近，深度學習的成功使它達到了一個新的高度。在工業、科學和工程領域，幾乎所有的應用程序都成功地使用了ML算法。
目前對ML的主流范例是在給定的數據集上運行一個ML算法來生成一個模型。該模型隨后應用於現實生活中的任務中。我們把這種范式稱為孤立學習，因為它不考慮任何其他相關的信息或過去的知識。這種孤立學習的根本問題在於它沒有記憶。它不保留過去的知識，並利用它來幫助未來的學習。因此，需要大量的訓練樣本才能有效地學習。對於監督學習，訓練數據標簽通常是手工完成的，這是非常耗費人力和時間的。由於世界上有太多可能的任務，因此幾乎不可能為每個任務標記大量的示例，以便進行一個ML算法來學習。更糟的是，每件事都在不斷變化，因此標簽需要不斷地進行，這是一項艱巨的任務。當前的孤立學習模式可能不適合構建一個真正智能的系統，但只適合在非常狹窄的領域中解決問題。
我們人類似乎學到了很多不同的東西。我們從不孤立地學習。相反，我們總是保留並積累過去學到的知識，並在未來的學習中無縫地使用它。隨着時間的推移，我們學習得越來越多，知識越來越淵博，學習越來越有效。終生機器學習(簡稱LML)(簡稱終生學習)旨在模仿人類學習過程和能力。這種類型的學習是很自然的，因為我們周圍的事物都是緊密相關的和相互關聯的。過去的概念和它們之間的關系可以幫助我們更好地理解一個新的主題，因為很多事情在不同的領域和任務中都是共享的。例如，我們人類不需要1000個正面評價和1000個負面評論，因為一個ML算法需要建立一個精確的分類來識別關於電影的負面評論和負面評論。事實上，對於這個任務，如果沒有單獨的訓練回顧，我們就可以執行分類任務了。怎么能這樣呢?原因很簡單。這是因為我們在過去已經積累了很多關於人們如何贊揚和批評事物的知識，盡管這些贊揚和批評可能都是在線評論的形式。事實上，如果沒有過去的知識，人類可能很難在2000年的積極和消極的訓練評估中手動建立一個好的分類器。
終身機器學習的定義：
定義：終身機器學習(LML)是一個連續不斷的學習過程，在這個過程中，學習者已經完成了N個學習任務，T1，T2，..TN。當面對(N+1)的任務TN+1和它的數據DN+1時，學習者可以利用其知識庫(知識庫)(內存)中的先驗知識來幫助學習TN+1。知識庫存儲並維護在過去學習N個任務時所學習和積累的知識。在學習了TN+1之后，知識庫更新了從TN+1中學習的(中間和最后的)結果。
陳等人[1]的這一定義表明，LML的關鍵特征是 1)持續學習，2) 知識積累在知識庫(知識庫)中，3)利用知識庫中的知識來幫助未來的學習。這些特點使它有別於其他相關的學習任務，如轉移學習[2]和多任務學習[3]。
遷移學習(TL)：使用一個源域來幫助一個目標獲取域學習。它假設源域S有大量的標記訓練數據，目標域T只有很少或沒有標記的訓練數據，但有大量未標記的數據。TL利用被標記的數據來幫助在目標域中學習。由於幾個原因，TL與LML不同。首先，TL不是連續的。它只使用源域來幫助目標域學習。其次，TL並沒有積累所學的知識。第三，TL是單向的，使用源來幫助目標。LML可以在任何方向上進行。第四，TL假設源與目標非常相似。這種相似性是由人類用戶決定的。LML並沒有做出這樣一個強有力的假設。人類用戶通常不參與確定任務的相似性。
多任務學習(MTL)：的目標是執行多個相似學習任務的聯合優化，這樣它們就可以共享彼此的知識，從而獲得更好的整體效果。然而，MTL仍然在傳統的范式中工作。在優化單個任務的過程中，它會優化幾個任務。如果我們把幾個任務看作一個更大的任務，它就會減少到傳統的優化，這在MTL的大多數優化公式中都是如此。隨着時間的推移，它不會積累任何知識，它也沒有持續學習的概念，這是LML的關鍵特性。盡管有人會說MTL可以在添加新任務時聯合優化所有任務，但是在單個進程中同時優化所有任務是相當困難的，因為任務是非常不同的，而且是非常numer的。
終身機器學習的歷史：
LML的概念是在1995年由Thrun和Mitchell [4]提出的。從那時起，它就被研究了四個主要方向:
終身監督學習，Thrun [5] 開始學習終身概念學習，每一個過去或新任務都是一個階級或概念。在基於記憶的學習和中立的網絡環境中，提出了幾種LML技術。在參考文獻[6]中，神經網絡方法得到了改進。費等[7]將這種形式的LML擴展到累積學習，在遇到新類時，構建了一個新的多類分類器，可以對所有的過去和新類進行分類。它還檢測測試中未見的類。這為自我學習鋪平了道路，因為它能夠探測到看不見的類，從而使它學習新的東西。Ruvolo和Eaton[8]提出一種有效的LML算法(ELLA)來改進一種多任務學習方法。陳等[1] 人在朴素貝葉斯分類的背景下提出了一種LML技術。對LML的理論研究是由Pentina和Pentina [9]所做的。
陳和劉[10]首先提出了終身無監督學習的終身學習模式。隨后，他們也報告了其他幾個模型。所提出的技術可以從許多過去的任務中學習知識，並利用這些知識幫助在新任務中生成更一致的主題。劉[11]等人提出了一種利用LML方法提取信息的方法，劉[12]提出了一種終生的圖形標記方法，將兩種類型的表達式分離開來。
終生的半監督學習在這個領域的工作是由永無止境的語言學習者(NELL)系統[13]所代表的。自從2010年1月以來，NELL一直在為信息提取而不斷地閱讀網絡，並且已經擁有了數百萬的實體和關系。
終生強化學習Thrun和Mitchell [4]第一次學習終生強化學習(LRL)，用於機器人學習。Tanaka和Yamamura [14]提出了一種“LRL”方法，將每一個環境視為一項任務。Bou Ammar等[15]人提出了一種政策梯度有效的LRL算法。
總結：
雖然LML已經存在了20多年，但到目前為止還沒有進行大量的研究。一個原因可能是，過去20年里的ML研究側重於統計和算法的方法。LML通常需要系統方法。然而，隨着統計機器學習的日益成熟，研究人員意識到它的局限性，LML將變得越來越重要。可以肯定的是，如果沒有LML的能力來積累學習的知識並在過去的知識的幫助下學習新的任務，那么我們將無法建立一個真正的智能系統。我們只能在非常狹窄的領域內解決問題。
參考文獻：
1.Chen Z Y, Ma N Z, Liu B. Lifelong learning for sentiment classification. In: Proceedings of ACL Conference. 2015
2.Pan S J, Yang Q. A survey on transfer learning. IEEE Transaction on Knowledge and Data Engineering, 2010, 22(10): 1345–1359
3.Caruana R. Multitask learning. Machine Learning, 1997, 28(1)
4.Thrun S, Mitchell T M. Lifelong robot learning. In: Steels L, ed. The Biology and Technology of Intelligent Autonomous Agents. Berlin: Springer, 1995, 165–196
5.Thrun S. Is learning the n-th thing any easier than learning the first? Advances in Neural Information Processing Systems, 1996: 640–646
6.Silver D L, Mercer R E. The task rehearsal method of life-long learning: overcoming impoverished data. In: Proceedings of the 15th Conference of the Canadian Society for Computational Studies of Intelligence on Advances in Artificial Intelligence. 2002, 90–101
7.Fei G L, Wang S, Liu B. Learning cumulatively to become more knowledgeable. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016, 1565–1574
8.Ruvolo P, Eaton E. ELLA: an efficient lifelong learning algorithm. In: Proceedings of International Conference on Machine Learning. 2013, 507–515
9.Pentina A, Lampert C H. A PAC-Bayesian bound for lifelong learning. In: Proceedings of International Conference on Machine Learning. 2014, 991–999
10.Chen Z Y, Liu B. Topic modeling using topics from many domains, lifelong learning and big data. In: Proceedings of International Conference on Machine Learning. 2014
11.Liu Q, Liu B, Zhang Y L, Kim D S, Gao Z Q. Improving opinion aspect extraction using semantic similarity and aspect associations. In: Proceedings of the 30th AAAI Conference on Artificial Intelligence. 2016
12.Shu L, Liu B, Xu H, Kim A. Separating entities and aspects in opinion targets using lifelong graph labeling. In: Proceedings of Conference on Empirical Methods in Natural Language Processing, 2016
13.Mitchell T, Cohen W, Hruschka E, Talukdar P, Betteridge J, Carlson A, Dalvi B, Gardner M, Kisiel B, Krishnamurthy J, Lao N, Mazaitis K, Mohamed T, Nakashole N, Platanios E, Ritter A, Samadi M, Settles B, Wang R, Wijaya D, Gupta A, Chen X, Saparov A, Greaves M, Welling J. Never-ending learning. In: Proceedings of the 29th AAAI Conference on Artificial Intelligence. 2015, 2302–2310
14.Tanaka F, Yamamura M. An approach to lifelong reinforcement learning through multiple environments. In: Proceedings of the 6th European Workshop on Learning Robots. 1997, 93–99
15.Bou Ammar H, Eaton E, Ruvolo P, Taylor M. Online multi-task learning for policy gradient methods. In: Proceedings of the 31st International Conference on Machine Learning. 2014, 1206–1214
原文鏈接：https://link.springer.com/article/10.1007%2Fs11704-016-6903-6