徐迎慶：這7年我們如何做出一款讓盲人走進互聯網的產品 | 微軟亞洲研究院院友會
11月14日下午，微軟亞洲研究院在自己的18歲生日之際邀請到眾多前微軟研究院的成員，現清華大學教授徐迎慶分享了《針對視覺受損人群的觸覺認知研究》主題演講，講述了過去7年中他和他的團隊在觸覺研究上的感悟與成果。本文根據徐迎慶的演技整理而成，在不影響願意的情況下略作刪減。
徐迎慶，清華大學資訊藝術設計系主任、清華大學終身學習實驗室主任、清華大學無障礙發展研究院副院長，1999年至2011年期間曾就職于微軟亞洲研究院。
這個項目在微軟期間就開始了，大概做了7年。我想做的是針對視覺受損人群的觸覺研究。
從WHO
（World Health Organization）
的數字來看，全球有2.85億人是視覺嚴重受損，這個數字是可怕的。
我們曾經在盲人學校看到，同學們雖然視力嚴重受損，但是有的同學每天把頭貼在螢幕上，渴望著與外界的溝通。記得幾年前我們開始這個項目的時候，有一個研究生去了盲人學校回來之後感動得熱淚盈眶，她說這些孩子特別了不起，一定要做一點事情為他們。
從那時起，清華大學魯曉波教授、史元春教授、和我本人就共同發起了這個項目至今。我們希望通過觸覺和觸覺交互的設計，結合語音等多通道的沉浸認知讓盲人通過觸摸學習更豐富的知識，比如複雜的圖形圖像的理解。目前國際上這是一個前沿的研究熱點。針對盲人的交互研究有很多的工作已經做了，比如可穿戴移動互聯網輔助設備、智慧導航盲杖、盲人手錶、移動PDA等等，包括各種各樣的語音辨識軟體。這裡順便說一下，如果你們看過盲人用語音聊天，你會感覺非常驚訝，我們現在的語速加速3倍、5倍以後是他們語音的聊天，他們能聽得懂，我們跟不上。觸覺圖像的大幅面、高精度研究，美國、歐洲很多實驗室都做過嘗試。在多通道方面，我們過去幾年一直在開展這個工作。
什麼是觸覺圖像？
觸覺圖像就是通過實體表面的凸凹理解圖像，為使用者提供直接的觸覺體驗，可以觸覺渲染，也可以視覺渲染。另外製作出這些圖像有很多種方法，比如熱塑、微囊紙、熱敏紙、觸點列印等等，這些設備相對來說製作起來不方便，而且相對沒有那麼多，還有點貴。同時帶來一個問題，打了很多紙，紙很厚，有凸凹點，不容易存放和運輸，而且只能顯示靜態的東西。
大家知道互聯網的發展，在互聯網上除了文字更多的是圖形、圖像、視頻，這樣發展的趨勢把盲人朋友放在了互聯網之外，他們如果沒有一個好的工具，就更沒有辦法理解這個東西，這是一個非常大的挑戰。儘管現在有盲人圖書、盲人打字機甚至盲人點顯器，但是怎麼説明他們學習圖形圖像抽象的東西，以及獲取互聯網的資訊，這不僅是挑戰，而是全人類面臨的義務和責任。
觸覺圖像顯示器市場上大尺寸非常貴，而且大尺寸也不是大家想像的那麼大，這個就是比較大的了。太小的尺寸，由於解析度的問題認知效果就大打折扣。即便這樣一個小的現在提高價格差不多5.5萬歐元，將近40萬人民幣左右。
針對這樣的問題，我們從幾方面下手。首先是沉浸認識，要做觸覺的東西，從認知的角度，什麼是他們能夠接受，他們習慣的以及他們能夠真正通過觸覺來理解的圖像。另一方面僅僅是觸覺，大家知道盲人的聽覺也非常的發達，從聽覺的角度來說，觸覺和聽覺的多通道怎麼融合，開發多通道的沉浸的體驗，同時我們希望能夠開發一款相對低成本的觸覺圖像顯示器。
問題有哪些？
比如如何提高盲人圖形圖像的認知和交互體驗，如何設計觸覺圖形。如果把普通的圖像簡單地提取一個邊緣的話，從觸覺人質的角度來看是很難理解的，必須有一套相對來說經過改進的圖像便於觸覺理解。如何設計既有高精度、大幅面又低成本的圖像顯示器，以及在更多的場景下如何融入觸聽覺沉浸式資訊的獲取。
我們非常幸運有很多的合作夥伴，例如：北京盲人學校、北京聯合大學特殊教育學院，我們和這些專家們探討如何探索圖形庫的內容的框架。
中國盲校的教學材料
這是盲文，中國的盲人是基於中文拼音的。而且還不僅僅是文字，很多盲人音樂家非常厲害，這是他們學習音樂課的基本樂符。而學習物理課的公式和一些圖形表達，物理化學課的內容，怎麼通過這樣一些圖形來讓他們上課。包括化學分子式，他們用的紙都是這樣，小時候總是捐畫報紙，當時不理解，後來才知道這是盲人同學用它紮字、做記錄，我們的同學也自己去學習如何用盲文記錄，這是非常有意義的體驗過程。
用戶體驗研究
我們為測試做了很多的圖形準備，這些是從標準的圖形庫中拿出來的，然後進行很多篩選和用戶訪談，包括來主動、被動的使得圖形能夠更加有效的被識別。這個過程中我們發現了很多與我們的假設完全不一樣的事情，比如我們一直認為一個後天的盲人和先天的盲人同樣接觸識別一組圖形的時候，應該是後天的識別的更好，因為他有過經驗。但我們的實驗表明，先天的盲人表現更好。後來才發現，這些後天盲人的先天經驗干擾了他們對正確結果的判斷，這些是完全和我們的想像不一樣的。還有一個問題是，發生在什麼時候。我們每週都在做用戶體驗的設計，包括主動和被動的。和他們一起討論，什麼樣的圖形是合適的，怎麼提取這裡面的關鍵內容。
同樣我們也提出了一套觸聽覺多通道的交互模型，希望能夠從認知能力上，不同的通道能夠佔用不同的腦力資源，能夠從交互介面上觸覺和聽覺的資訊分別佔據不同的傳輸空間，使得干擾最小、融合最大。這個項目本身也是多學科的融合，
除了我，還有清華大學美術院系魯曉波教授、電腦系史元春教授，清華醫學院的洪波教授，還有中科院心理所的劉燁研究員、以及我們的研究生焦陽、龔江濤等等。
通過大家的努力，我們得到非常有意思的資料。我們能夠看到聽覺區域兩個方面都是差不多的，而在大腦的結構上盲人的視覺區域小於明眼人的視覺區域。盲人觸摸東西非常快，那個速度讓我們驚呆了。但是通過腦核磁腦的成像，盲人與明眼人手部運動在腦的成像是差不多的，這個讓我們體會到其實我們閉上眼睛經過一但時間訓練也可以達到，有些東西是由後天訓練確定的。所以當時的一些假設，比如盲人的視覺區域比正常人小，fmRI結果支援了第一個假設，但是我們覺得盲人的手的運動區域要大，但是在實驗中沒有支持這個假設。這是多學科交叉和融合的工作。
Graille
我們對這樣的一個設備做了功能的設計，比如我們希望它有這樣的一些功能，能夠支持、學習、社交、分享。我們提出的技術指標，渲染幅面大於120×60點，現在有7200點，如何在這麼小的空間上控制7200點，能夠真正即時的顯示出來，這並不是簡單的事情。這個工作為什麼這麼困難做了這麼多年。這麼小的結構，直徑1毫米，這樣的結構上，我們在這上面設計了幾套機械聯動裝置。
再談一下產業化的東西，首先如為盲人朋友提供更好的服務是各國政府關心的問題。中國政府也非常關注這個事情，我們也拿到了國家的重大專項的支持，同時聯合國兒童基金會，中國殘疾人協會等也一直關心相關的研究。我們也在和百度合作，這個項目如果做出來原型，我們會和百度做盲人搜索平臺，盲人用這樣的設備來搜索、購物，做力所能及的事情。剛開始可能不能什麼都做，但是萬水千山第一步總是要邁出去。
進一步的研究
除了給盲人用以外，我們在電腦視覺上也提出了一些新的挑戰。比如什麼是圖像語義特徵，什麼是觸覺圖像的語義特徵，如何提取這種圖像。例如，簡單的閾值計算或者提取邊緣並不能夠使得盲人能夠理解這樣的圖像，只有真的有語義的、精煉的表達出來才有可能對圖像壓縮、編碼、傳輸真正起到幫助作用。借這個機會，我也特別感謝微軟研究院曾經給過很大的支持，現在一直也在關注和關心這個項目。同時，也有很多單位給了這個專案很大的支持和贊助，比如微軟亞洲研究院、Intel中國研究院、百度公司、國家自然科學基金、國家重大專項研究計畫、北京盲人學校、北京聯合大學特殊教育專業、中科院軟體所、中科院心理所、聯合國兒童基金會、清華大學美術學院、電腦系、醫學院、心理學系等等。衷心感謝團隊中的每一位成員的努力！