神經認知學在機器人中的發展和應用（附PPT+視頻） | 硬創公開課

如何讓機器人的大腦“模仿”得更像人類的大腦？科學家們給出的答案是研究人腦結構的分子層面，嘗試深入地瞭解人腦細胞的情況，進而將“拼圖”完成，還原大腦。那麼，什麼是神經認知學，神經認知在機器人領域都有哪些應用？

本期雷鋒網硬創公開課邀請到TIANBOT資深機器人研究工程師田博，為我們做主題為《神經認知學在機器人中的發展和應用》的分享。

內容介紹

本期公開課包含但不限於以下內容：

神經認知在機器人領域應用簡介

BBD與神經區域連接猜想

RatSLAM，ehSLAM與空間認知細胞

HMax與視覺皮層

Neuromorphic與神經元連接

嘉賓介紹

田博，TIANBOT資深機器人研究工程師，清華大學企業家協會（TEEC）青創會員。溫州市機器人與智慧製造特聘專家，580計畫創業人才。知乎機器人話題優秀回答者。於 2007 年開始從事機器人研發工作，工作範圍涵蓋機械設計、控制、演算法等，在校期間獲得 RoboCup 人形組第四名。參與過研發小型和大型的人形機器人，輪式機器人的環境感知演算法。發表多篇機器人（IROS）和人工智慧頂級國際會議（AAAI）文章，開發移動機器人超過十種，包括足式與輪式。回國後進行移動服務式機器人創業，受邀在人工智慧大會、機器人核心器件計算法等大小會議上發表演講，創業項目獲得南京創贏未來金獎，創辦南京天之博特機器人科技有限公司，志在培養機器人技術與開發人才。參加央視財經頻道的創業英雄匯。

公開課完整視頻（共96分鐘）：

以下為嘉賓分享內容實錄精編。關注雷鋒網旗下微信公眾號，回復「PPT」可獲取嘉賓完整PPT。

我從07年開始做機器人研究，並且有幸在2011年加入唐華錦博士在新加坡科技局資訊所創建的計算神經組，從屬於李海洲博士的人類語言科技部門與機器人技術項目部門。我於2011年5月至2015年1月在組內從事神經認知機器人的研發，也是這個組發展最好的時期。本次講座的主要內容都來自我在組內三年半時間的研究經歷，涉及到整個組的工作，而這個組由唐華錦領導，所以在這裡介紹下他本人。

唐華錦教授于浙江大學、上海交通大學完成本科和碩士學習，于新加坡國立大學電腦工程系留學獲得博士學位。 其後在意法半導體公司擔任研發工程師，並于澳大利亞昆士蘭大學腦科學研究所從事博士後研究，2008-2014年在新加坡科技研究局資訊通信研究院任認知計算和機器人認知實驗室主任。2014 至今，擔任四川大學電腦學院類腦計算研究中心主任。入選國家青年千人計畫、四川省千人計畫。

唐華錦教授擔任多個國際一流學術期刊包括IEEE Transactions on Neural Networks and Learning Systems, IEEE Transactions on Cognitive and Developmental Systems 和 Frontiers in Neuromorphic Engineering 的Associate Editor，Frontiers in Robotics and AI 編委，並擔任多個國際會議主席或程式委員會主席，IEEE計算智慧學會教育分委會主席、IEEE認知與發育系統技術委員會副主席等。

唐華錦當時是計算神經組的主任，于2014年在四川大學正式任教授，他離開以後我也就在15年回國創業了。現在我主要從事ROS的職業培訓，並進行移動式服務機器人的開發。另外我也在知乎上經常回答關於機器人的話題，ID為【

賈子楓

】，歡迎大家關注！

機器人技術發展趨勢

這是基於我個人對機器人發展的理解對機器人的劃分。最早是工業機器人，研究內容是規劃和控制，從1960s就開始了。

後來的軍用機器人包括火星機器人、救災機器人、水下機器人、空中機器人、地面機器人，研究的主要是機器人的移動性能，包括本田的ASIMO和波士頓動力的機器人，雖然本田的目標是讓ASIMO成為服務機器人，但是研究的主要是機器人的移動性能。

軍用機器人的下一步我們希望做服務機器人，這幾年隨著機器人的發展，大家對服務機器人的概念也越來越熟悉。讓工業機器人變成移動機器人，我們需要增加它的移動性能，但是一個會動的機器人，我們往往用遙控的方式，如果想要它自己動是非常困難的，所以具備適用性和空間認知是服務機器人的共性基礎技術，包括語音對話。

再往後，我們希望機器人能夠發展成家庭機器人或是個人機器人，這時候機器人需要足夠的理解能力和足夠的安全性。

我們認為目前機器人的發展處在軍用機器人向服務機器人跨越的階段，現在所有技術都處在這個節點，也就是移動技術和語音交互方面。

為什麼機器人要應用神經認知的方法？

傳統的方法是用世界的模型加上機器人模型，也就是說在這兩個模型裡面我們需要知道所有的細節，然後得到一個非常工程的解決方案，比如早期的工業機器人上，我們知道它的關節、連結長短，我們用運用機器學算它的路徑，得出一系列的解。但是，現在我們發現，這種解決方案只適合汽車工業，3C領域比如做分揀是不適用的，因為我們面臨的環境是千變萬化的，也就是說我們沒辦法用單一的世界模型去描述機器人所處的環境，所以我們要拋棄世界模型的方案。

這是我們設想的未來機器人結構，首先從大腦得出一個模型，然後得出一個記憶模型。為什麼是記憶模型？因為大腦有很多功能， 從神經認知學的角度講，人類之所以能成長為萬靈之長，主要是因為人類大腦的新皮層足夠大並且急劇擴張，而新皮層主要任務就是存儲， 相當於我們記憶經過編碼後存儲在新皮層，而骨皮層和中皮層從最早的齧齒類動物到現在靈長類動物並沒有發生特別大的變化，我們認為人類之所以產生智慧，可能最主要的原因就是記憶的量變到質變。所以，我們希望將這個模型應用在機器人上，也就是把大腦放進去，工程師不需要為機器人做世界模型的建立，而是機器人自己去建立世界模型，這種機器人我們稱之為NEural COgnitive Robot，即神經認知機器人。

當然，我們也在思考光一個大腦能否產生智慧，目前普遍的說法是不行，所以光放入大腦是不行的，還需要很多感測器一起產生作用，因為在這個大閉環中，需要先獲取外部的資訊，經過大腦神經網路處理，最後到執行機構，然後再回到感知系統獲取資訊，是一個不斷判斷、回饋到抉擇的過程，也就是產生智慧的過程。 

神經認知（計算神經）的研究內容

我本身是做機器人的，但為什麼當初會願意加入這個神經認知組呢？我們感覺機器人發展到現階段，演算法是不足以支援我們對機器人的想像空間的，即使不斷堆砌工程師，機器人能達到的智慧水準也只是一個有限值，而神經認知學的方法有可能從根本上改變現下機器人智慧低下的狀況。 

神經認知學的整個體系有兩個大的分類：微觀的神經電路和宏觀的人工智慧。

對於微觀的神經電路研究，大家是想研究類比神經比較基本的規則，包括我們研究Synapse（突觸）是怎樣激發的，我們希望把一個神經元的模型做好，然後慢慢堆砌，當數量級達到一定程度的時候，也許系統就產生智慧了，當然這也只是一種猜測。另外，人類的神經元實在太多了，所以我們會根據認知心理學做分類，包括Memory Coding（記憶編碼）、Associative Memory（記憶關聯）、Synaptic Learning（突觸學習）、Neural Coding（神經編碼）、Episodic Memory（片段記憶）。

從宏觀的角度來說，我們希望在機器人上體現出智慧，也就是說我們在研究機器人的時候不是特別在意內部怎樣實現的，或者說當整個系統應用在機器人上的時候，我不關心你在生理級別與生物系統的類似性，我們只關心機器人體現出應有的智慧。對於機器人的智慧，我們 強調對環境的適應性，也就是對不同環境是否能夠適應。

神經認知學及其在機器人學科中的發展簡介

在這裡介紹幾位神經認知學或是機器人學研究領域比較有代表性的人物，也是代表著神經認知學在機器人應用上的發展。Edward Tolman是早期的心理學家，研究了很多認知相關的內容，所以他算一個認知心理學方面的專家，非常有名，主要是提出了空間認知地圖的概念，不過已經過世了；Gerald Edelman 應該在2014年剛剛過世，我在神經認知組的時候參考了很多他的研究，他也是BBD（Brain-based Device）的提出者；做視覺的同學應該對Tomaso Poggio 比較熟悉，他是Hmax的創始人；Michael Milford 是做RatSLAM 的，也是我最為熟悉的。

這幾個人的工作好像沒什麼關係，又是地圖，又是BBD，又是視覺的，在這裡也就不每個點都詳細講了，我就按照我們組為什麼要去研究這個東西、我們是怎麼想的這個思路來講下。

一系列的神經認知機器人——NECO

我們當時做機器人，想法很簡單，因為神經認知學試驗剛開始大家都用老鼠，各種各樣的迷宮裡，給它們一些食物，研究它們的行為，所以我們就在想是否可以用機器人替代這只老鼠，把神經認知模型放進機器人裡面。這也是為什麼唐華錦教授當初要讓做機器人的人加入他們神經認知組，而且他們其實主要偏向於計算神經學。我們去了之後，最開始就找對照模型，就是前面提到的心理學家Edward Tolman 在1940s年做的一個實驗，讓一個老鼠在一個十字型迷宮裡（上圖圖左），我們是放了一個機器人進去（上圖圖中和圖右），機器人可以看見牆上我們給出的landmark（地標），從而對環境做出判斷，最終它的任務是找到乳酪。

這些也是我們做過的實驗，機器人在實際環境中的應用，看機器人是否能適應各種不同的環境。

最初的認知機器人概念——類腦晶片的架構

這是我們對第一個十字迷宮做的類腦晶片的架構，首先要對空間有簡單的感知，但這個空間只是一個十字型，所以我們只需要對幾個選擇有一個選擇性，相當於機器人在空間的認知只有四個點，只有四個方向，所以只有四個選擇。另外，我們需要機器人認識一些物體，因為用的是視覺方案，所以我們需要瞭解在記憶中是如何表達的，而不是傳統的比如我看下顏色做二制化，然後與顏色範本進行匹配得出一個結果，我們是用整體圖像做輸入，給它一個記憶表達，然後會有神經連接的強化，促使輸出。機器人最後得到的系統輸出值，其實是在整個系統四個神經元裡面選擇一個神經元，這個神經元的輸出就代表一個方向，會命令機器人轉到某一方向。

這個架構是用神經認知的模型，部分架構用的是機器人工程化的方法，這個方法也是貫穿了我們那幾年的研究，我們認為神經認知學難以解決的部分，就會用機器人工程化的方法去替代。當然，當神經認知模型比較成熟了以後，這部分也是可以替換的。

雷鋒網按：接下來內容涉及到大量理論知識，嘉賓講解了BBD、HMAX 、空間認知地圖以及RatSLAM 的理念，文字難以描述，雷鋒網直接附上PPT，感興趣的讀者可以觀看上面的視頻，此部分內容可在33min開始觀看。

未來的工作

Behavior learning（行為學習）：這是我們一直想實現的機器人功能，就是說我來教，它來學。能將學到的東西做舉一反三。

Active and lifelong learning（主動和終生學習）：像教小孩兒一樣教機器人。讓機器人從沒有任何知識表達的存儲就開始學習，以現在機器人的技術來說，是沒辦法實現的，所以未來需要借助於神經認知學。

Neuromorphic（神經形態學）：人類大腦內所有的神經元最後都是將我們所看到的資訊轉化為電信號，整個神經系統是一個大的電路，Neuromorphic 的工作就是模擬神經元的連接，前面一個神經元的信號傳過來，如何激發後面的神經元，形成一個大型的並行電路，再把每個部分的Neuromorphic 的晶片連接到執行機構上，形成一個與大腦神經架構類似的電路，這個時候我們可以做或者說只能做端到端的學習，現在深度學習非常喜歡講端到端的學習，而人本身就是一個端到端學習的案例，我們自己的神經系統放上神經認知學，換上Neuromorphic 的晶片，這是一個很順暢的邏輯，也是我們未來的工作，現在還是覺得比較遠。

Q&A 環節

雷鋒網讀者：目前在研究中遇到最大的難點是什麼？

田博：

因為我本身是做機器人的，做神經認知研究後關於神經學的概念剛開始理解起來會比較吃力，因為是跨學科、強交叉，可以說在第一年我大量閱讀Science、Nature 的文章，與我本身工作背景差異非常大，所以是非常吃力的。如果你是學工科的，想從事神經學的研究，這個坎兒是一定要過去的。CMU的機器人所和匹茲堡大學神經所有一個聯合培養的人才項目，世界上最知名的研究機器人的學校也意識到傳統的方法無法解決我們想解決的機器人問題。所以最主要還是客服跨學科的問題，跨過這個坎兒，後來就越來越順了。

另外，就是神經的模型這塊，因為我們得到的神經模型是神經學家從動物上經過表述過來的，這時候我們需要將計算模型翻譯成程式，再把程式放在機器人裡面，這個工作量相當大，從理論到實踐，中間要做假設和測試，相對來說是比較累的。

雷鋒網讀者：目前在應用上有哪些走在前面的企業和產品？

田博：

基本上還是大企業，IBM有一個類腦晶片TrueNorth，還有一個叫DVS的攝像頭，這些攝像頭我覺得最有可能最先應用的與Neuromorphic 相關的產品，對於機器人來說，我是覺得還有點難，當時研究的東西直接應用是非常困難，但是主導思想是非常關鍵的，會讓我們在產品開發時，架構是合理的，但直接應用是非常難的。

雷鋒網讀者：神經認知學與意念控制是同一概念嗎？

田博：

不是，這個我非常肯定。就我自己的理解，意念控制大多偏向於EEG，主要就是獲取腦電信號，包括康復機器人就是獲取運動信號，然後讓機器人帶動你的肌肉運動，這個和神經認知有著根本性的區別，我們做神經認知是希望模擬神經活動的原理，而EEG希望撲捉神經的一些現象從而進行應用，所以簡單來說，神經認知是一個更加根本性的問題，和意念控制還不太一樣。