Overcoming catastrophic forgetting in neural networks（克服神經網絡中的災難性遺忘）
原文：
https://www.pnas.org/content/pnas/early/2017/03/13/1611835114.full.pdf
翻譯：
https://www.dengfanxin.cn/?p=368
摘要：
以順序方式學習任務的能力對於人工智能的發展至關重要。直到現在，神經網絡還沒有能力做到這一點，人們普遍認為，災難性遺忘是連接模型（connectionist models，即神經網絡）的一個不可避免的特征。我們表明，有可能克服這種限制，訓練能夠保持長期未經歷的任務專業知識的網絡。我們的方法通過選擇性地減慢對於這些任務重要的權重的學習來記住舊任務。我們通過一組基於手寫數字數據集的分類任務以及依次學習幾個Atari 2600游戲來證明我們的方法具有可擴展性和有效性。
摘取自翻譯：
在實現通用智能時，神經網絡需要持續學習的能力。
持續學習：學習連貫的任務而不會忘記如何執行之前訓練過的任務的能力。
災難性遺忘（catastrophic forgetting）：在一個順序無標注的、可能隨機切換的、同種任務可能長時間不復現的 任務序列中，AI對當前任務B進行學習時，對先前任務A的知識會突然地丟失的現象。通常發生在對任務A很重要的神經網絡的權重正好滿足任務B的目標時。
當前解決辦法是：訓練時可同時獲得多個任務的數據（與SHL-MDNN在一個batch中包括所有任務的數據這一做法類似），即使得權重對所有任務進行聯合優化（多任務學習范式-深度學習技術）。但這中方法不適用於大規模任務。
與人工神經網絡形式鮮明對比的是人類和其他動物似乎能夠以連續的方式學習[11]。最近的證據提示哺乳動物的大腦可能會通過大腦皮層回路來保護先前獲得的知識，從而避免災難性遺忘[11-14]。當小鼠需要一個新技能的時候，一定比例的突觸就會增強，表現為單一神經元的樹突棘數量的增加[13]。至關重要的是，即使進行了后續的其他任務的學習，這些增加了的樹突棘能夠得到保持，以便幾個月后相關能力仍然得到保留。當這些樹突棘被選擇性"擦除"后，相關的技能就會被遺忘[11,12]。這表明對這些增強的突觸的保護對於任務能力的保留至關重要。這些實驗發現與諸如瀑布模型[15, 16]這樣的神經生物學模型提示我們大腦皮層中的持續學習依賴於任務相關突觸的鞏固，知識能夠長久地編碼得益於讓一部分突觸降低可塑性從而在相當長的時間范圍內變得穩定。
本次工作將展示任務相關突觸鞏固為人工智能的持續學習問題提供了獨特的解決方案。我們為人工智能神經網絡開發了一種類似於突觸鞏固的算法，稱之為可塑權重鞏固（elastic weight consolidation，EWC）。這個算法會針對那些對特定任務特別重要的特定權重降低學習率。也會展示EWC如何應用在監督學習和強化學習問題中，在不會遺忘舊任務的情況下，按次序地訓練多個任務，並與之前的深度學習技術進行對比。