編者按：本文中
，
雷鋒網將為大家介紹一名在世界 AI 江湖享有特殊聲望的人工智慧大牛—— Rosalind Picard。
她是麻省理工學院（MIT）教授，在 MIT 的跨領域尖端科學實驗室 Media Lab 從事機器學習與神經科學的交叉研究，一手創立了 Media Lab 情感計算研究部。她同時是兩家初創公司 Affectiva 和 Empatica 的聯合創始人，前者研發情緒識別、監測技術，後者生產整合這些技術的醫療感測器，例如醫用可穿戴設備。
但最重要的是，她的著作《Affective Computing》開創了電腦科學和人工智慧學科中的新分支——“情感計算”
。
《Affective Computing》
她的研究橫跨多個領域，涉及腦神經科學、電腦視覺、人機交互等等，但專注於情緒識別，以及人機交互中的情感溝通。她的研究之路並不平坦。在機器學習技術停留在演算法時代時，研究“情感”並不受到學界的歡迎。一開始，各大 AI 學術會議拒絕接受她的成果與論文。但隨著 AI 技術的發展，
如何賦予 AI“認知”與“情感”
這一課題變得越來越突出。李飛飛就在近日表示：
“我認為下一步人工智慧的發展，需要加強對情感，情緒的瞭解，要走進認知學，心理學。我說的不僅是腦科學，而是認知學。因為我們目前對人的情感理解非常少，而這對於人工智慧來說是很重要的。”
而身為“情緒計算”之母的 Rosalind Picard，便是該領域首屈一指的專家。在機器學習演算法工具日漸普及的今天，人們猛然醒覺“認知”“情感”正是創造出真正的 AI 的瓶頸。於是，全世界的目光都投向了 Rosalind Picard 的研究。此次，AAAI 2017 邀請她前來做專題演講，介紹
“情緒計算”學科的由來、情緒識別機器學習演算法、以及能監測人體焦慮、緊張情緒的感測器的最新研究進展
Rosalind Picard
Rosalind Picard：這次演講中，我想要與大家分享很多故事。尤其自我早年受到 AI 啟發後，研究中遇到的驚奇發現。
我年輕的時候，想要創造一個無比智慧的 AI 。它的智慧程度就像馬文明斯基的描述那樣：“它是那麼得智慧，如果它把我們當做寵物一樣養著，只會是我們的幸運”。一開始我覺得這特別酷。但細想之下就意識到，我並不想成為家庭寵物。但我仍然想要開發高度智慧的 AI，來理解我們的大腦如何工作——對此，創建一個會思考的智慧個體，是最好的方式。
為什麼研究“情感”？
學習生涯中，我被訓練為一個電氣工程師——偏向于架構方向，尤其是晶片和硬體設計。我對一件事非常感興趣：這些零件怎麼組合成一個系統，使得我們能“看”。我從事了電腦視覺，並在人類“感知”（perception）領域做了廣泛閱讀，包括感知如何在我們的大腦中運作。
該過程中，我遇到了一個十分驚奇的發現：
大腦深處涉及情感、記憶、意圖的部分，對大腦皮層（cortical）的影響，要比大腦皮層對它們的影響要大。
而大腦皮層被看做是人類智慧活動發生的場所。當時我想，記憶和意圖十分重要，但我不想涉及情感。這背後有一些小心思：作為一個工程學和電腦科學專業的女人，我不想把“情感”話題帶進研究，會讓別人笑話（雷鋒網注：男性佔據大多數的領域對女性的性別偏見）。
但瞭解地越深，我越是沮喪地發現，
情感在一系列智慧活動中都起到核心作用：
包括感知、決策、邏輯推理、社交、行動選擇、言語措辭。
與此同時，
我們從事的 AI 研究，在各個方面似乎都因為忽視了情感、無法充分理解情感的各項機制，而難以取得進展。
因而我十分不情願地，打算在這方面做些研究。不出意外，一開始所有成果都被學術會議拒之門外。因此，在即將成為終身教授之前，我寫了一本叫“情感計算”的書《Affective Computing》。幸運的是，這本書獲得了許多人的認可。所以我今天（才能站在這裡）十分欣喜地與大家分享，我和我的學生研究生涯中的一些故事，以及學到的一些東西。
情緒識別
研究早期，有一個方面我沒能考慮到：HCI （human-machine interface，即人機交互介面）。後來我得到指點——HCI 是智能交互必不可少的前提。我認識一幫芬蘭赫爾辛基大學的 HCI 研究人員，他們想，也許電腦科學可算是 HCI 下屬的一個子學科，因為最終是人類在對機器進行評估、交互，並且決定了機器的形態、功能。
我入行時有一個逐漸形成的大趨勢：如果你想要做智慧交互，你的工作就是開發那些可愛的智慧體（agent）。就比如——有多少人記得微軟 Office 的智能助手 Clippy？你或許不知道的是，當比爾·蓋茨宣佈 Clippy 將被取消，大家都給他起立鼓掌。很多人推文：“Clippy 應該被吊死！”。但是為什麼他們這麼恨 Clippy？Clippy 其實是個很聰明的機器學習 AI，它能準確判斷你在 Word 裡寫的是信件還是普通文章。我認為，大家不喜歡 Clippy 的原因是：它看起來太開心了。而當 Clippy 在 Office 中出現的時候，你的心情如何？恐怕是苦逼（因為在工作）。
微軟 Office 智慧助手 Clippy
當你心情不好的時候，別人看到你，如果他/它有智慧，他會改變表情、不再看起來開心，以免刺激到你。但做到這一點，它們需要能感知、識別你的狀態；它們需要理解該狀態，知道什麼才是恰當的反應；它們還需要能夠類比、表現出那個恰當的回應。順便說一句，這當然不是什麼新研究發現，人類知道這一點至少有幾千年了——古時的諺語、歇後語、名言警句還有基督教典籍，很多都講到“向心情沉重的人唱歡快的歌，就像驅趕冬日的寒冷一樣徒勞”。
因此，我們必須在情感上表現得聰明有智慧，識別情感、對它進行回應。即便一台電腦並沒有類比情感的內部機制，既然它們（電腦）會和我們交互，就必須在情感方面變得更智慧。
所以我展開研究，利用電腦視覺和其他技術，訓練電腦識別人類的情感表達。早年我讀到一個情感學家寫的東西：在面部運動編碼系統（FACS，詳見維琪百科）中，當一個人同時做出第動作單元“臉蛋抬升”（Action unit 6：cheek rise）和第 12 動作單元“嘴角向外拉伸”，這是一個發自內心的笑容，這個人是真的開心。但當朋友給你拍照時，他說“茄子”，你做出笑容，那卻是假的。
第六和第 12 動作單元
研究中，我們錄製了一些測試者沮喪時的視頻，測試者並不知道我們想要抓取的是沮喪情緒，所以他們的反應真實可靠（雷鋒網注：這裡 Rosalind Picard 現場播放了一段用作演示）。這段視頻中，測試者面部出現兩次第六動作單元和第 12 動作單元，但這顯然並不是因為開心。這兩個動作單元，並不總意味著那個人是發自內心的喜悅。事實上，我們的研究發現，90% 的人在沮喪時做出了這兩個面部動作。同樣的情況，通過教育軟體在幼齡兒童身上被發現。
識別發自內心的笑和苦笑
該研究中，我們把四個機器學習演算法，應用于區分開心的笑和苦笑（沮喪時的笑容）這一任務。在判斷真實笑容上，機器與人類的判斷水準相似。在判斷苦笑上，機器學習的成功率是 92%，大幅優於人類。當然，這不意味著機器學習在識別所有面部活動上都超越了人類，而僅在人類有感知偏差、會把某個表情誤認為是另一個的領域。詳情請見我的論文。這其中的一個有效特徵很可能是 Dynamics（動態），換句話說，發自內心的笑容有緩慢的展開速度，這是相對於沮喪笑容的突然、迅速——雖然不開心，但要讓自己感覺好些。
人類和機器學習演算法，識別真笑、苦笑的正確率比較
但該研究需要更多的資料，所以我們把許多短視頻（包括超級碗 Super Bowl 的視頻，都是一些很幽默、喜感的內容，不會讓參與者不滿）放到網上，邀請人們打開網路攝像頭登入觀看，分享他們觀看時的表情。但這實驗中只啟用了喜悅笑容的探測。下圖左下角的綠線、橙線代表了已經觀看過這次些視頻的觀眾，相比首次觀看的人（藍線），他們其實笑地更多。另一個發現是觀眾發笑的時間——非首次觀看的觀眾，在看到笑點之前就已經有笑的表情。這其實很有趣，這告訴我們，
“笑”這一行為或許能夠揭示人們的過去、以及與特定內容打交道的經歷。
人類何時發笑的因素，不止是“開心”
開發和應用
機器學習開發者們，一直在琢磨如何提升機器學習的成效。我們的實驗給開發者社區帶來的核心資訊是：
相比轉換機器學習模型，增加資料量的效果要好得多。
研究中，對於特定（第四）動作單元，真正的提升是在大約 10 萬個訓練樣本之後才發生。第四動作單元是“皺眉頭”（這裡指的是眉毛之間起皺紋）——當你聚精會神或對某事感到迷惑、厭惡時的面部活動，很多人眉毛之間都有永久性的“川”字皺紋。我們開發了一個能根據該動作單元判斷情緒表達的檢測模型。有用戶在很不理想的光線環境下登入測試系統，我們從中獲得了很多資料。
如果你想要嘗試我們的測試系統，可以在 iOS 應用商店或安卓 Google Play 商店 免費下載，app 名為 “AffdexMe”。
目前，在 24 個面部表情的識別上，AffdexMe 達到了 90% 的精確度，
在印度、巴西和中國、南非、美國、歐洲等地都能下載。我的公司 Empatica 向開發者提供了即時情緒 SDK。如果你需要研究與情緒關聯的技術，現在完全免費的（對於研究人員如此。對於商業化應用，在將來未必免費）。
AffdexMe
在面部表情的研究中，我接觸到許多患有孤獨症的人士。我和我的學生 Steve Mann 開發了類似于穀歌眼鏡的設備，並集成了面部表情識別裝置。當我戴著該智慧眼鏡和你說話時，如果你對話題感興趣並且對我微笑，眼鏡螢幕會顯示綠色；如果你流露出困惑的神情，我會看到鏡片顯示的黃色光；如果你流露出負面情緒，我會看到紅色光，這向我們提示需要更好地處理談話。
監測緊張與焦慮
當我與一個患孤獨症的年輕女士做實驗時，她太緊張與我說話，於是打字對我說：“Ros，你做得不對。你讀別人的情緒，對我來說並不是問題，但你讀不到我的。”當時我感到有些受傷，因為這是我賴以謀生的工作。
但她繼續說：“並不只是你，所有人都體會不到我的情緒。”
我就說：“大家為什麼會體察不出對方的情緒？我們沒能從你身上讀出的情感是什麼？或者，我們讀錯了什麼？”她說:”你們感覺不到我的緊張、焦慮。”我意識到，很多人在高度緊張、心頭沉重時，或許其焦慮情緒馬上就要爆發，但他自己卻沒意識到，而是把自己內心關閉，與周遭分隔開。比方說，中學裡某老師對一個的男孩子說：“起來！做點正事去”，只是很普通的話。但小男孩卻一下子情緒崩潰了，因為他剛被學校開除。如果老師能正確解讀這個小男孩的情緒，就能避免類似情況發生。
多年前我們開始做大量情緒檢測實驗的時候，把這看作是一般性的情緒激動信號，但後來證明它比我們想像的遠遠更豐富有趣。
對於檢測出汗的手掌的技術，過去我們稱之為“galvanic skin response”，如今一般更科學、嚴謹地稱為“electrodermal activity”（EDA，皮膚電活動），測量皮膚的電導係數（conductance）和微摩爾（micromole）。
在麻省理工的 Media Lab，我們著手開發裝備該技術的設備，讓測試者七天 24 小時佩戴，監測其資料，希望為情緒崩潰等情緒變化提供線索。Empatica 有兩個已經商業化的產品：E4 智慧手錶推出已經有一年，專為研究人員收集測試者收據。它已被認證為醫療設備，能收集符合臨床要求的資料；另外還有 Embrace 智慧手環，我會隨後介紹。
E4 智慧手錶
我們的興趣在於，獲取能讓我們讀取自主神經系統（autonomic nerve system）兩大分支（“sympathetic division” 和 “parasympathetic division”）的資料，它們能呈現出緊張、“fight or flight”（打還是跑）和“rest and digest”（休息、消化）反應。收集的兩大信號會即時傳輸到移動設備，你能看到皮膚電活動、微摩爾、脈搏（需要按住智慧手錶），脈搏又可用來計算心率。
除這兩大分支（sympathetic，parasympathetic）以外，自主神經系統還有第三個分支：enteric。它很有意思，但現在我們還沒有測量的好辦法。人腦有數億個神經元，在人睡眠時會進行無數有趣的活動、還有各種很酷的學習跡象，所以人腦智慧研究的成果非常值得期待。但現在的研究重心是逃跑反應（flight response）和 parasympathetic 分支的“休息、消化”。前者通過皮膚來監測，後者則通常是觀察心率圖譜中的高頻波段。
使用普通智慧手機監測心率、呼吸頻率
由於很多研究有孤獨者患者參與，我們經常受到要求，開發他們這一群體易於使用的產品。舉個例子，我們研究團隊是世界首個利用普通攝像頭、電腦視覺技術、時間序列分析（time series analysis）、分解法（decomposition），無需人體接觸而根據測試者臉色（雷鋒網注：心跳快慢影響面部血液流動，產生面部顏色變化）來讀取心率和呼吸頻率的演算法。
最近，我們在嘗試根據你隨身攜帶的物品（例如口袋裡的智能手機），讀取心率和呼吸頻率，而無需佩戴任何設備。我們把該技術的精確率與業界的“黃金標準”——專業醫療呼吸感測器和 ECG 心率檢測設備對比，以下是受試者在不同姿勢下的平均誤差：
醫療級的手指脈搏感測器（戴在受試者手指）誤差在 4 心率/分鐘左右，而我們的技術平均誤差幾乎全部在 4 以下，因而可說是十分準確。對於習慣把手機放在手提包裡的人們，如果手提包與人體接觸有限，僅僅用手提著，誤差會稍稍大一些；但如果手提包緊貼於身側，還是非常精確的。另外，如果你手持智慧手機，無論是注視螢幕或是舉著它接聽電話，監測結果都非常精確。但如果你用手指不停點擊螢幕、執行觸摸操作，誤差會變大，這倒在意料之中。大家請等我們的好消息——
未來會推出能監測心率和呼吸頻率的手機 app，而不需要專門的感測器。
用 EDA 監測大腦活動
關於 parasympathetic 和心率監測到此為止了，這次講座剩下的部分將聚焦於 EDA 和電導係數。首先，當下的研究階段對我來說十分關鍵——這是我第一次看到測試者七天 24 小時不間斷的皮膚電導係數資料，目前測試者全是 MIT 的學生。圖中每一行代表著一天。EDA 在實驗室工作時段（圖中用黃色表示）升高在我們預料之中，這是由於學術交流、認知負荷、情緒負荷、高難度的 MIT 學習和研究（非常難、需要全神貫注的作業）。看電視時 EDA 很低。令人驚訝的是（學生的）社交活動很少，這就是 MIT 的生活（笑）。社交時 EDA 小幅上升，但不及實驗室時段。當你只是聽別人講話時，EDA 較低，但當你講話時，它會上升。
最大的驚訝來自于睡覺時段：這期間的皮膚電活動比一天中其他時段都要高。
不僅 MIT 學生如此，普通人也是這般。我們對此提出了許多研究問題，也發表了許多論文，在這裡，我只想指出一點：我們想知道 EDA、EEG （腦電波監測裝置，戴在受試者頭部） 和 ACC 各自、以及它們之間組合而成的特徵，是否都能反映出睡眠時段的大腦活動高峰期。大家都知道，睡眠讓人腦子更好使——當一個人學了些新東西然後去睡覺，睡醒後進行測試往往成績更好。
於是我們進行了標準的記憶鞏固、學習、睡眠實驗，把睡眠後比睡眠前提升最大的受試者，和提升幅度最小、甚至沒有提升抑或降低的受試者進行對比測試。我們創建了一個二元分類器，來看看是否能夠使用這些特徵，把兩組受試者區分出來。迄今為止所發現的最佳特徵是六個智慧體（agents）的特徵，利用六個很簡單的機器學習模型進行特徵測試。如圖所示，我們看到在一組實驗中紫色所代表的測試（EDA+ACC）；其它所有實驗中紅色所代表的測試（EDA），最能辨別出睡眠時的大腦高峰活動。
細想之下，這其實很讓人驚訝：為什麼手腕上的汗水分泌，會和大腦中的學習活動相關？為什麼 EEG 的效果不如它？
監測癲癇猝死症（SUDEP）
當我們成功開發出汗液分析腕帶（配有皮膚電導係數感測器，能夠七天 24 小時運行）之後，很多人上門借取，用於各種研究。有一天，實驗室裡的一名本科生對我說：“教授 Picard，我的弟弟不能說話，他有孤獨症，我很想知道到底是什麼事讓他這麼緊張？我能借一個智慧腕帶在聖誕假期時給我弟弟用嗎？拜託了！”我回答道：“當然可以，別只拿一個，帶走兩個吧。”
之後，我開始在辦公室電腦上查看這個小男孩的資料。第一天很正常，雖然男孩因為不喜歡雙手的腕帶而尖叫，覺得累贅。第二天也很正常，是個放鬆的假日。但在第三天，異變發生了：一隻腕帶的指數突然飆得極高，而另一隻腕帶卻沒有反應。我以為感測器一定是壞了，怎麼可能身體一側感到緊張、焦慮，另一側卻沒有？我仔細查看資料，兩個傳感裝置在這前後一切正常，任何異樣。我試圖找到問題所在，但沮喪地一無所獲，不得不破例給我假期中的學生打電話。學生說，那剛好是他弟弟癲癇大發作前 20 分鐘。
雷鋒網按：這件事令 Rosalind Picard 異常震驚，一度以為是感測器故障，這是因為：
腦電波在癲癇發作前產生預兆性的異常活動聞所未聞，若證實，將是醫學上的突破性發現；
癲癇只在身體一側產生異常反應，亦匪夷所思。
為解開這兩個謎題， Rosalind Picard 求證於某兒童醫院的癲癇腦外科醫生，該醫生在從醫生涯中的確遇到過癲癇發作前在身體一側產生生理反應的病例，但醫學上尚未有合理解釋。於是兩人展開研究，在癲癇患者身上進行 EEG、EDA 監測。實驗結果證實，所有患者均在癲癇發作時才產生異常腦電波、皮膚電活動（雷鋒網注：小男孩的皮膚電異常，應為無痙攣症狀的癲癇發作）。另外，研究發現，由於大腦中許多組織成對出現，當只有其中一個受到異常腦電波刺激，身體另一側的皮膚會產生異常皮膚電活動（舉個例子，若右側腦組織接受異常刺激，人體左側皮膚會有異常電活動，反之亦然）。
癲癇發作時的腦電波異常
在此這些都不是主要成果，Rosalind Picard 等另外揭開了一個重大研究發現：
當 EEG 感測器檢測到測試者腦電波活動停止時
（癲癇猝死症（SUDEP）症狀，大腦活動完全停止，導致患者呼吸停止），
停止的時間越長，死亡的風險就越大，但同時，EDA 檢測到的皮膚電指數就越高。
癲癇猝死症時，大腦活動停止
簡而言之，
皮膚電活動指數能準確監測癲癇猝死症。
該發現意義深遠——這代表著，若癲癇患者隨身佩戴 EDA 傳感設備，一旦癲癇猝死症發作，系統就能立刻通知其他人，予以救援。順便說一句，癲癇猝死症的死亡率在神經系統疾病中僅次於中風，排在第二名，超過阿茲海默症（注：民間常做老年癡呆症）；但當它發作，癲癇者昏迷時，外界及時干預具有非常高的成功救活幾率。許多不必要的死亡，其實是癲癇猝死症未能及時發現。
因此，Rosalind Picard 和她的同事推出了智慧腕帶 Embrace，內置 EDA 模組，能準確監測癲癇患者的狀態。Embrace 已獲得歐盟的醫療設備認證，並正在申請美國的許可。
Embrace
Embrace 發佈之後，Rosalind Picard 收到一個患者家庭的感謝信。事情是這樣的：該家庭的媽媽給患有癲癇的女兒買了 Embrace，24 小時佩戴。出事時，媽媽正在家裡洗澡，但她的智慧手機突然發出 Embrace 發來的警報。她拿起手機看了一下，不確實是否該相信，但猶豫一下後就沖出浴室，發現女兒臉朝下趴在地面上，呼吸停止，臉色變成了藍紫色。她把女兒翻過來，實施簡單的刺激，女兒重新開始呼吸，臉色慢慢變紅。她十分感謝 Embrace 救了女兒一命。
被媽媽和 Embrace 拯救的小女孩
預防抑鬱症
我們正在做一些更具深遠意義的事情。
在美國15-44歲的人群中，重度抑鬱症是造成殘疾的主因。下面是 CDC 搜集的橫跨15年的資料，反映出一個非常嚴肅的社會趨勢：
在 1999-2014 年間，美國自殺率增長了 24%
45-64 歲白人男性人群自殺率上升 59%
45-64 歲白人女性人群自殺率上升 80%
5-14 歲年輕女孩自殺率翻了三倍
抑鬱症不僅在美國，在全世界範圍內都將成為人類的重大生存威脅：發展中國家的自殺率更高且仍在增長。
WHO （世衛組織）的預測是：
到 2020 年，每 20 秒就有一人自殺。
而到 2030 年，抑鬱將超越癌症、交通事故、戰爭和中風，成為人類死亡和殘疾的首要誘因。
當然這個資料只是預測，我們不希望這成為現實。所以在麻省理工的 MediaLab，我們在思考：“為什麼不開發一些預防措施呢？”今天，我們已經能很容易地從手機、可穿戴等設備裡獲得情緒焦慮資料、睡眠資料、社交資料和其它情緒資料。我們每年從參與研究的用戶身上，搜集超過 10 億樣本資料，包括睡眠波、運動、光照（lightning exposure）、自主神經系統焦慮、發資訊行為、打電話行為、地理位置、社交網路互動 、移動出行等等資料。
結合機器學習技術進行因果推理，我們或許能預測情緒變化。如果我們能預測出部分心情變化，那麼就能避免一些對自己不利的事，提高生活品質。舉個例子，當你工作到淩晨，不確定是要去睡覺，還是多花點時間把工作完成。機器學習演算法可根據過去的資料，推算出如果你熬夜工作，第二天身體狀態會很不好、心情很差的概率，再根據推算結果給出建議。
但現在的資料規模還遠遠不夠，需收集更多。若有了足夠的資料，如果我們能為每個城市做天氣預報，為什麼不能給每個人做心情預報？如此一來，我們或許能幫助很多人避免一些焦慮、抑鬱情緒，甚至是抑鬱症。目前抑鬱症治療的主要障礙是診斷：不少患者從來沒有去醫院看過醫生，絕大多數人只在情況變得嚴重時才看醫生。很多人直到被家人、朋友拽去醫院神經科才意識到自己出現了問題。
如果我們能通過機器學習技術分析資料，提供早期預警呢？如果我們能通過及早發現、採取措施，預防 80% 的抑鬱症呢？
得到預警之後，人們可以及時處理導致其抑鬱狀態的導火索，避免病情惡化；然後通過一系列社交、運動、睡眠、飲食、焦慮來改善生理、精神狀態。這是我的研究小組正著手挑戰的難題之一，這會是一個長期的研究課題。