DeepMind 彈性權重鞏固演算法讓 AI 擁有“記憶” ，將成機器高效學習的敲門磚

一直以來，電腦程式都是個“左耳進，右耳出”的“傻小子”，它們很快就會忘掉所做過的任務。DeepMind 決定改變傳統的學習法則，讓程式在學習新任務時也不忘掉舊任務。在追逐更智慧程式的道路上，這是很重要的一步，能漸進學習的程式才能適應更多工。

眼下，在解決文本翻譯、圖像分類和圖像生成等任務時，深度神經網路是機器學習中最成功最有效的方式。不過，只有將資料一股腦地塞給它，深度神經網路才能變得“多才多藝”。

神經網路輸入時，它會在數位神經元與輸出方案之間建立聯繫，而當它學習新事物時，神經網路不得不重新建立新的聯繫，同時有效覆蓋舊的聯繫。這樣的情況被稱之為“災難性忘卻”（catastrophic forgetting），業內普遍認為這是阻礙神經網路技術不斷進步的最大絆腳石。

與深度神經網路相比，人類大腦的工作方式就大不相同。我們可以漸進式的學習，一次掌握一些技巧，在學習新技巧時，此前的經驗還能提高我們的學習效率。

雷鋒網瞭解到，DeepMind 在

美國國家科學院院刊（PNAS）上發表的論文

就提出了一個解決“災難性忘卻”的有效方式，這一方法的靈感來自神經科學的研究成果，即人類和哺乳動物擁有鞏固先前獲得的技能和記憶的能力。 

神經科學家已經能區分大腦中兩種類型的鞏固方式：系統鞏固（systems consolidation ）與突觸鞏固（synaptic consolidation）。系統鞏固的過程中，人類大腦將快速學習部分獲得的記憶轉印進了緩慢學習的部分。這一轉印過程有有意識的回憶參與，也有無意識回憶的參與，人類做夢時就能完成這一轉印過程。而在突觸鞏固中，如果一種技能在此前的學習中非常重要，神經元之間連接就不會被覆蓋。DeepMind 的演算法就是沾了突觸鞏固的光，成功解決了“災難性忘卻”的問題。

神經網路中神經元的連接與大腦非常相似，在學習完一個技巧後，DeepMind 會計算出在神經網路中的哪個連接對已學到的任務最為重要。隨後在學習新技巧時，這些重要的連接就會被保護起來不被覆蓋。這樣一來，在計算成本沒有顯著升高的情況下，“左耳進，右耳出”的問題就解決了。

如果用數學術語來解釋，可理解為在一個新任務中把每個連接所附加的保護比作彈簧，彈簧的強度與其連接的重要性成比例。因此，DeepMind 將這種演算法稱之為“彈性權重鞏固”（Elastic Weight Consolidation，EWC）。

為了測試該演算法，DeepMind 讓程式不斷嘗試玩 Atari 遊戲。據雷鋒網瞭解，單單從得分來學習一個遊戲是一項具有挑戰性的任務，但是依次學習多個遊戲則更加困難，因為每個遊戲需要單獨的戰略。如下圖所示，如果沒有 EWC 演算法，程式會在遊戲停止後快速將之前的事忘得一乾二淨（藍色），這就意味著其實程式什麼遊戲都沒學會。不過，如果用上 EWC 演算法（棕色和紅色），程式就不那麼容易遺忘，且可以逐個學會多個遊戲。 

眼下電腦程式還不能適應即時學習的節奏，不過 DeepMind 的新演算法已經攻克了“災難性忘卻”這座大山。未來，這項研究結果可能是電腦程式通往靈活高效學習的敲門磚。

同時，這項研究也深化了 DeepMind 對“鞏固”在人類大腦中產生過程的理解。事實上，該演算法所基於的神經科學理論都是在非常簡單的例子中得到證實的。通過將該理論應用在更現實和複雜的機器學習環境中，DeepMind 希望進一步加強對突觸鞏固在記憶保存中的作用及其機制的研究。

Via. 

DeepMind.com

，雷鋒網編譯