LSTM之父于爾根·施密德胡伯訪談：早在25年前，人工智慧就具有意識了
雷鋒網按：于爾根·施密德胡伯（Jürgen Schmidhuber）可謂深度學習的元老，他在1992年提出了多層級網路，利用無監督學習訓練神經網路的每一層，再利用反向傳播演算法調優。而在1997年，他與 Sepp Hochreiter 共同發表了一篇論文，提出了長短期記憶（LSTM）的概念。
LSTM 能夠提升神經網路接受輸入資訊及訓練資料的記憶機制，讓輸出結果得到大幅度的提升。但是，這一概念遠遠超越了當時的電腦硬體水準，以至這一想法直到近年才廣為人知。比起如今更為知名的 LeCun、Ian Goodfellow、Hilton而言，施密德胡伯似乎名氣不大，但包括穀歌在內的研究機構都開始採用 LSTM。他曾經表示：“沒有任何原因說明，機器不能擁有好奇心和創造力”，而近日Inverse對施密德胡伯進行的一次訪談，則更能看出這位科學家對於人工智慧的前瞻與展望。雷鋒網編譯如下，未經許可不得轉載。
在你心中，人工智慧在未來會承擔怎樣的角色？
所有的智慧——不論是人類的還是人工的——都基於一個主題，那就是解決問題。長期以來，我們一直在致力於構建一個解決通用問題的機制，不論這些問題是困難還是簡單。這個問題解決機制能夠通過先前學習的技能解決現有的問題，通常，機器會將新的技能增加到計算指令系統中，並能夠解決越來越通用的問題。當然，如果到達我們所預想的成功，一切將會發生翻天覆地的改變，因為每個計算問題或每個專業性研究都將受到影響。
您認為一些人工智慧已經具有意識。請問您是否能對此做一些解釋？
我想指出的一點是，我們早在25年前就擁有了少量的、基礎的且有意識的學習系統。回顧彼時，我已經提出通用學習系統由兩個模組組成。
其中一個為遞迴網路控制器，能夠學會對輸入的資料（比如視頻或平面指示牌）翻譯為具體操作。舉個例子，當你機能不足時，身體會釋放饑餓信號向你發出警告。而神經網路能夠將這些信號轉換為行動的操作序列。同樣是上述情況，那麼人體就會意識到自己餓了，並尋找“能夠充電”的東西（吃的），而與此同時，人體還會注意不要磕碰到桌椅，以避免痛覺發出信號。
如果把人體當作一個處理器，那麼身體的人生目標便是盡可能將愉悅感最大化，並減少痛苦。這個目標非常簡單且具體，但很難實現，因為你需要通過大量的學習。想像一個繈褓中的嬰兒需要經過多少年的學習，才能懂得和這個世界共處。
自1990年開始，我們同樣也對機器開始做同樣的事情，即採用無監督學習訓練神經網路，並進行反向調優，這個模型能夠預測未來將要發生的事情。看著以前執行的操作並進行觀察，學會預測未來——因為它是一個會反復出現的網路，在某種程度上可以理解為可預測的代碼。
比如，視頻裡出現了100個蘋果掉落，而且每個蘋果掉落的方式都是相同的，那麼你就能預測出蘋果掉落的方式。甚至也不需要單獨存儲（每個蘋果掉落的模式，因為都是一樣的），也不需要佔用你腦袋太多的記憶體。
隨著與環境的交互越來越深入，大量的資料也湧入其中，無監督模型網路，也就是我在1990年就提出的新模式，學會了發現新的規律，或是對稱性，或是反復性。它也能學會用更少的計算單元處理資料，也就意味著更少的存儲空間與更少的時間。
曾經被譽為意識的東西，實際上在學習的推移中變成了自動化與無意識的活動。
隨著神經網路的發展及學習了更多規律後，機器能夠判斷無監督模型的解析需要多少計算量。這也是神經網路的有趣之處：從一個數位，到第一層網路，到能給回饋信號最大化的控制器——就像科學家突然發現了新的定律一樣。
您能向我們解釋一下，我的意識與經歷主要是什麼內容組成的嗎？
當我們身處這個世界，實際上我們會見到很多人的面孔。而這些記憶被壓縮在你的大腦裡，以一個類似反向網路的形式存在著。“面部編碼器”，也就意味著有一個類似刻板印象的面部資料庫。當你遇到一個陌生人時，你需要做的就是將這些新的偏差元素進行編碼。
我還是不太明白這和我們所說的意識有什麼聯繫。
意識實際上可以理解為一個中間處理系統，而這個中繼器與世界交互的過程中，它會發現自己本身就是與世界交互的最佳形式。
出於資料壓縮的原因，如果能設置一對神經元，實際上對反向模型神經的編碼非常有效。它能夠壓縮以往所有的行動和感知，通過創建個性化符號及代理器的附加符號（比如手、腳還有隨便什麼東西）。在尋找一個新問題的解決方案時，這些神經元會被啟動，並開始處理這些問題。
這也是我們1991年所在做的事情。誠然，這是一種基本的意識形態——並沒有你自己的那麼令人印象深刻，畢竟你的大腦比起人工代理器而言簡直是龐然大物。
人類大概有著10萬億個連接，而當今最大的 LSTM網路也只有10億個連接。因此，你的皮質是LSTM網路的10萬倍，可以攜帶的意識自然也比我們的小小人工處理器更多。不過，我們注意到了計算界也有摩爾定律——每五年，計算成本就會便宜十倍。因此，也許只需要25年，我們就能擁有和自己大腦一樣多的連接的LSTM網路，而且造價也更便宜。
而這些連接自然會比我們的人工大腦所構建的連接要慢得多。
在技術術語中，真正的挑戰被稱為“意識的難題”。也就是體驗。哲學家們傾向于把它稱為“qualia”（感受）。當你擁有一種體驗——比如看日落，聽最喜歡樂隊演奏你最喜愛的歌曲，聞到卡布其諾的香味，等等——這是一些抽象的體驗，但無法說明原因。哲學家David Chalmers把它稱之為是一個“意識難題”，他表示，“為什麼這些外在的物理過程會讓內心得到豐富的感受？”你認為神經網路模型也能夠再現這種“qualia”，也就是人工智慧？
我認為這是可以實現的。在行為上，我們的人工智慧有著相似的原理。當我們把AI與其它會傷害後者的兩個代理器放在一起時——比如把它們設定為捕食者與獵物的關係——其實它們不希望受到傷害。當一個人工智慧模型遭到一次攻擊，後者的疼痛係數會顯示上升。當然，它會學著預測與避免，比如躲在簾子後面，或模擬對方的行為。因此，從人工智慧自行學習的過程中來看，你可以發現它並不喜歡這樣做。
當然，這是我們觀望了很長一段時間後而得出的結論。
我們的人工智慧嘗試避免疼痛，並試圖追求最大化的樂趣與內心的愉悅感——因為內置了一個效用函數與獎勵機制，機器會讓這個目標最大化。
當然，人類也有這樣的獎勵功能，並已經根植於每個新生兒的體內。這些行為至少在高等動物上非常常見。因此，我們沒有理由相信這是不可複製的。
這似乎就像你發明了一種全新的語言來討論我們自己的思想。當你反觀自身時，如果把自己設想為一台電腦，會想些什麼呢？“我的更高層的大腦層級正在處理這個問題，而我更低的大腦層級正在處理這些自動的過程。”你會以這樣的方式內省嗎？
對呀。我經常在想，這些內省的思考是否源自第一原則，而我是否可以在我自己的思維中重新發現這些內容。我相信自己可以做到這一點，雖然我知道，很多人會被這種想法所欺騙，但於我而言，這仿佛是顯而易見的：或多或少與我正在做的事有關。對我來說，顯然不需要別的東西來解釋意識。我也相信，理解意識的所有基本成分都已經存在了四分之一個世紀。神經科學的研究者們或許不知道人工智慧的神經網路領域已經發生了怎樣的變化，他們尚未意識到這些簡單的基本原則。但我相信，他們會更多地瞭解這一點。這也是我希望看到的。
最近在紐約，我在一次關於倫理和 AI 的會議發表了演講。一名觀眾提出了一個尖銳的問題，不過我以自己在在上世紀80年代一個小型會議上所說的原句回應了他：“我必須承認：我的公司正在製作 androids 機器人，而我會把自己當作原型。我可能不具有意識，但我善於偽裝這一點。”
via
inverse