傑夫·欣頓 | AI 傳奇系列之三
雷鋒網按：本文作者陳宗周，環球科學雜誌社社長、總編輯，創辦了《環球科學》丶《電腦報》丶《知識經濟》等科技媒體，是全國有影響的媒體人、科學作家、媒體企業家，對科技史、前沿科技、數位技術、互聯網、人工智慧的進展保持長期研究，並寫有大量相關文章。先後擔任中科普傳媒有限公司總經理、天極網董事長、中國科技報研究會副理事長等職務，也是中囯科協第七屆全國委員會委員。
本文為陳宗周的《AI 傳奇系列》第三篇，由《環球科學》授權刊載。
發明個人電腦與互聯網，是人類的兩大傳奇。現在，AI 正在成為我們親手締造的又一個傳奇。正像蒸汽機開啟了工業革命時代一樣，AI 也將把人類社會帶入新世紀。
正是傑夫·欣頓（Geoffrey Hinton）等科學家在人工神經網路領域鍥而不捨的研究與探索，深度學習才會脫穎而出，創造出今天 AI 的一個個奇跡。
實習生培訓班的老人
2012 年的一天，穀歌公司的實習生培訓班裡，來了一位頭髮花白的奇怪老人。在這群年輕實習生中，他顯得非常特別，不但年齡很大，卻仿佛什麼都不懂。比如，培訓老師說：“輸入你的 LDAP（輕量目錄資料庫）使用者登錄碼。”老人會立刻舉手問道：“什麼是 LDAP？”培訓班上的年輕人都在想，“那個老傢伙是誰？為什麼他連 LDAP 都不知道？”
直到有一天，有人在餐廳午餐時發現老人，立刻走過來熱情地說，“欣頓教授，我選修了你的課。你在這裡做什麼？”實習生們大為驚訝，原來天天和他們坐在一起的這位老實習生，是“深度學習教父”、加拿大多倫多大學電腦系教授傑夫·欣頓。
不過，那時的欣頓，在 AI 圈子裡雖已很有名氣，但和今天的影響相比，不可同日而語。現在，欣頓引領的深度學習技術潮流，已經席捲全球，成為 AI 這一輪復興的關鍵技術。傑夫·欣頓也成為媒體追捧的科技巨星。
欣頓居然在穀歌公司參加過實習生培訓，這是一段頗有戲劇性的故事。谷歌大腦（Google Brain）負責人傑夫·迪恩邀請欣頓到穀歌工作，他自己也願意到穀歌短期工作三個月，雙方一拍即合。可是穀歌有一些古怪的規定，短期工作的欣頓必須經過實習生培訓。這樣，六十多歲的他，出現在實習生隊伍裡。
2013年春天，穀歌收購了多倫多的 DNNresearch 公司。這家深度神經網路研究公司，前一年剛創辦，連欣頓共三人。收購後，欣頓很自然地成為穀歌公司AI顧問。大感意外的他，這樣告訴別人：“
我以為他們對我們的智慧財產權感興趣，結果他們對我們這幾個人感興趣
。”
是的，雄心勃勃在 AI 領域進取的穀歌，感興趣的正是欣頓這位深度學習領軍人物。這次收購，打響了高科技公司巨頭的深度學習人才爭奪戰第一槍。後來，曾在欣頓門下做過博士後的紐約大學電腦系教授雅恩·樂昆（Yann LeCun，即楊立昆）、蒙特利爾大學教授約書亞·本希奧（Yoshua Bengio）先後被 Facebook、微軟聘用。欣頓和這兩位教授，被稱為深度學習的“加拿大黑手黨三人幫”，他們都與加拿大有淵源，又成為深度學習的先驅。他們被高科技巨頭公司網羅，是深度學習人才戰的標誌。隨著越來越多的企業加入這場 AI 人才大戰，AI 在各行各業的深入應用也不斷加快。
人工神經網路道路崎嶇
當前的 AI 熱潮，與以前兩次有極大不同的是，不但科研人員大量流向企業，投資主體也已經從政府轉向企業。回顧電腦和互聯網走過的道路，同樣都有這樣的路徑：從軍事和科研領域轉向商用，再轉向大規模民用，從而在全社會普及。今天的 AI，正在向全社會普及之中。而這一切，與欣頓為代表的一批深度學習領域科學家在 AI 寒冬中頑強堅持科研方向有很大關係。
傑夫·欣頓 1947 年出生於英國。他的家族有很深的學術淵源，他的曾祖父的岳父就是喬治·布林（George Boole），是符號邏輯領域的先驅，這是促進電腦誕生與發展的重要基礎研究之一，“布林代數”就是以他的姓命名。
欣頓很早就開始思考人的大腦。16 歲時一位同學給他介紹關於記憶的理論：大腦對於事物和概念的記憶，不是存儲在某個單一的地點，而是像全息照片一樣，分散式存儲於一個巨大神經元網路裡。全息照片、分散式、神經元網路，這些概念深深啟發了他，讓他對神經網路產生了濃厚興趣。
很自然地，他進入劍橋大學心理學專業並於 1970 年本科畢業。1978 年，他取得愛丁堡大學 AI 專業博士學位，這所大學的 AI 實驗室，是世界上最早建立的四個 AI 研究基地之一。博士畢業後，他在卡內基梅隆大學等多所高校遊學，最後到加拿大多倫多大學任教。無論他走到哪裡，他的研究方向始終聚焦人工神經網路。他在神經網路方面的漫長學術生涯，幾乎與 AI 學科同齡。
人工神經網路（ANN），簡稱神經網路，是AI的重要研究領域。AI 研究領域一直有兩大學派，一派是符號學派，被稱為符號主義;另一派是聯結學派，也被稱為聯結主義。兩大學派都從人腦得到啟示，開始 AI研究。符號學派從人腦的推理功能出發，認為要模擬人腦的邏輯推理思維，就要把相關的資訊抽象為符號，然後進行符號運算，從而實現推理功能。聯結學派則從人腦的組織出發，進行機器類比。人腦有大量被稱為神經元的腦細胞，人之所以能夠進行思維，就是因為這些神經元互相聯結，處理各種資訊。同樣，如果用機器類比神經元，並建立人工神經元聯結網路，這樣的人工神經網路就能夠進行思維。屬於聯結學派的人工神經網路，一直按照這樣的思路進行研究。
正像 AI 領域的所有研究一樣，人工神經網路道路註定不會平坦。
神經網路概念實際上先於 AI，在 20 世紀 40 年代就出現了。AI 學科的創始人之一的馬文·明斯基 1951 年就研製出基於神經網路的學習機，他在達特茅斯會議期間拿出來交流的，正是這一神經網路系統。1957 年康奈爾大學心理學教授弗蘭克·羅森布拉特（Frank Rosenblatt）提出的“感知器”（Perceptron），是第一次用演算法來精確定義神經網路和第一個具有自組織自學習能力的數學模型。另一方面，這台電子感知機因為能讀入並識別簡單的字母和圖像，而在當時引起轟動，引來對AI的無數美好遐想。
但那個時代的神經網路系統不可能實用，馬文·明斯基自己也對感知機提出嚴厲批評。人工神經網路的研究，很快在 AI 的第一次寒冬中進入低潮。
寒冬中的堅持
傑夫·欣頓博士畢業不久，AI 剛好迎來第二次高☆禁☆潮。一直在神經網路領域耕耘的他並沒有感到好時光到來，因為那個時代符號學派占了上風，名噪一時的專家系統、智慧推理機，都是符號主義的勝利。而到了 AI 的第二次寒冬，所有的AI項目卻都受到重創，神經網路也如此。
人工神經網路想法非常好，研究成果也大量出現。但隨著對人腦研究的深入，人們發現，人腦的確是宇宙中最複雜的精靈之物，模仿人腦的人工神經網路系統，談何容易。
一個人類的大腦保守估計有 1000 億個神經元。人們常常比喻人腦像一台電腦，實際上每一個神經元都是一台電腦。每一個神經元有無數突觸與其他神經元相連，估計突觸的數量在 100 萬億到 1000 萬億之間。穀歌大腦是最著名的人工神經網路系統，即使在今天，目標也不過是達到大腦某一部分的功能。
由於人工神經網路的高度複雜性，這一研究方向一度被認為是學術死路。在AI第二次進入低谷時，很多同行開始轉去研究別的領域，但是欣頓等人仍然在這裡堅守，他因而被視為不可理喻的怪人，說起神經網路，人們都用不屑的眼神看著他。儘管欣頓在人工神經網路領域碩果累累，並在 1998 年被選為英國皇家學會院士，還獲得了很多其他榮譽，但仍不能扭轉人們的偏見。很長一段時間裡，多倫多大學電腦系私下流行著一句對新生的警告：不要去欣頓的實驗室。
欣頓不為所動，仍然堅持自己的神經網路研究方向。據說他有一種激勵自己的特殊方法，每週發洩般大吼一次：我發現大腦是怎樣工作的啦！這樣的習慣，幾十年一直保持下來。
在神經網路相關學術論文很難得到發表的那段時間，他堅持寫了兩百多篇研究論文，為後來的突破打下了堅實的基礎。科研經費又成為他的大問題。但功夫不負有心人。2004 年，欣頓終於從加拿大高等研究所（CIFAR）獲得了每年50萬美元的經費支持，如果和日本五代機等知名AI項目得到的巨額資金相比，這實在是一筆微薄的經費。但是，名為“神經計算和適應感知”的這一專案，在樂昆和本希奧兩位志同道合者的良好合作下，他們將一批一流的電腦、生物學、電子工程、神經科學、物理學和心理學專家團結在一起，共同探索神經網路類比人腦智慧的新方法。
深度學習登場
重大突破出現了。2006年7月28日，欣頓和學生題為《用神經網路降低資料維數》的論文在美國權威的《Science》雜誌發表，這篇論文被認為是深度學習領域開創性論文。論文中介紹了神經網路的一些新思想和新方法，引起AI和人工神經網路界的關注。而他們和經費支持者 CIFAR 一起，開始把新思想和新方法，用20年前就出現過但沒引起重視的一個術語“深度學習”（Deep Learning）來描述和包裝。深度學習開始登場，漸漸地成為AI和神經網路最熱門的研究方向，在有些場合，深度學習甚至成為神經網路的代名詞。
儘管 2006 年以後深度學習就開始引起關注，但震撼性的影響發生在 6 年後，在前面提到的 2012 年 ImageNet 圖像識別競賽上。ImageNet 是斯坦福大學華裔女科學家李飛飛和普林斯頓大學華裔教授李凱 2007 年起合作開發的大型圖像識別專案基礎上創辦的權威競賽，這項競賽已經成為圖像識別領域當年最高水準者之間的較量。
欣頓的兩位學生組成多倫多大學小組，在 2012 年的競賽中採用深度學習贏得了競賽的圖像分類比賽冠軍，不僅識別出猴子，而且區分出蜘蛛猴和吼猴，以及各種各樣不同品種的貓。
一次比賽的冠軍也許並不重要，重要的是欣頓小組用了與其他參賽者完全不同的方法，得到顛覆性的結果。競賽中，他們採用深度學習的識別結果，準確率超過第二名東京大學10%以上，而第二到第四名都採用傳統電腦圖像識別方法進行分類，他們之間準確率的差別不超過1%。也就是說，採用深度學習，把圖像識別的準確率進步一下子提高了一個數量級。2012 年 10 月，在義大利佛羅倫斯的研討會上，競賽組織者李飛飛宣佈了這一壓倒性的結果，在電腦視覺領域產生了極大的震動，並迅速波及到整個 AI 界和產業界。
深度學習的熱潮從此掀起，一波接一波向前迅猛推進，不斷進入一個又一個領域並連戰連捷，勢如破竹，形成今天銳不可擋的AI狂潮。
未完待續……