你是我的眼：微軟説明盲人用聲音欣賞美術作品

分類＼手機
時間＼2016-11-22

編者按：蘇格蘭盲人畫家在微軟的研究專案 The Oregon Project 幫助下重拾信心，繼續繪畫創作。然而 The Oregon Project 的意義不僅於此，它通過建立一個 3D 聲音場景使失明、弱視患者能通過配音欣賞繪畫作品內容。

本文原文發表于

Microsoft Research Blog，原文題目是“Interpreting visual art with sound for a more inclusive experience”。由雷鋒網獨家編譯，未經許可，謝絕轉載。

蘇格蘭有一位頗有名氣的風景畫家 Keith Salmon。他從古老崎嶇的蘇格蘭高地獲得靈感，將山和天際線用縹緲且富有感情的抽象手法表現出來。不幸的是，Salmon 很多年來受到視力下降的困擾，這對於一個風景畫家是致命的。受過美術和雕塑訓練的 Salmon 通過豐富自己的創作技巧來克服感官的不足。他不得不減少畫中的風景寫實，而更著重于對原野氣息抽象、繁妙的表達。

“ Arran 島的冬天”，Keith Salmon

由於糖尿病視網膜病變，Salmon 從 1980 年代就開始視力下降。在很多年裡，他只有一隻眼睛有微弱的視力。但他適應了過來，繼續繪畫並由愛人 Anita Groves 陪伴他登山。

上個月，已被鑒定為盲人的 Salmon，對微軟的一項創新研究進行了一場發佈會。這項研究旨在

用三維立體的聲音來表現二維的繪畫

，幫助 Salmon 在失去了大部分視覺的情況下豐富他的繪畫藝術。它

通過四台 Kinect（微軟的體感攝影機），15 只裝在高處的揚聲器和 54 段配音對 Salmon 的三幅繪畫作品從聽覺和空間維度進行表達

。這三幅作品畫的是俄勒岡的地獄穀，因此，該項目被命名為 The Oregon Project （“俄勒岡項目”）。

Keith Salmon （左），Neel Joshi （右）；背後是Keith Salmon 的三幅地獄穀風景畫

這套系統在主題為“藝術與科技”的西雅圖 9e2 展覽上首次展出，它的意義有兩點：

1.為 Salmon 這樣的藝術家提供繼續創作的途徑。2. 為有視覺缺憾的觀眾提供欣賞美術作品的機會。

Salmon 說：”如果在幾年內，當你去國家博物館或者美術館，這項技術已經成為了參觀體驗的一部分，那想必是極好的。”

在這套系統中，每幅繪畫的面前是包含了 18 段聲帶的 3D 空間。Kinect 攝像頭追蹤參觀者在該空間內的動作來播放不同的聲帶。不管參觀者是盲人還是普通人，該系統都能讓作品更生動並更有交互性。在稍遠些的位置，參觀者能聽到鳥叫聲，水流聲和風吹青草的聲音。而這些聲音是 Salmon 和他的合作者在地獄穀實地錄製的。

當參觀者靠近一些，會聽到與 Salmon 畫中藍色、綠色、棕色和赭色繪畫顏料相呼應的數碼配樂。站得再近一些，參觀者甚至能聽到 Salmon 在畫室創作、顏料棒在畫紙上擦塗的聲音。這是為了模仿有視力的人觀察美術作品細節（細微處畫筆的勾勒）時的體驗。Kinect 攝像頭會追蹤參觀者手臂的揮動，根據它來改變播放的音樂。這能幫助參觀者成為藝術創作過程的一部分，並用身體、手臂的移動來創作屬於他們的音樂體驗。在展覽上，成年人主要是靠行走來創作不同音樂的合輯，而孩子們則跳來跳去並揮舞雙手。

Salmon 解釋說：”從 3D 空間的週邊走向內圍，自然聲音與人造聲音的過渡十分和諧自然。這是一種奇妙的、有氛圍感的、空間的、山水景色的感覺，它把整個藝術串聯在一起。”

這個聲音系統源自于微軟研究員Neel Joshi， Meredith Ringel Morris 和前實習生 Kyle Rector 創作的試驗專案 Eyes-Free Art （“不需要眼睛的美術”）。該專案旨在説明弱視力的觀眾欣賞視覺藝術（比如繪畫）。

如今，很多博物館都為失明參觀者提供解說，和戴著手套觸摸雕塑的活動。微軟研究人員想要創造一個更私人訂制的體驗。但它仍然是公共的，任何人都可以參與其中，並且不依賴於講解員。

在探索了很多設想之後，微軟研究人員們決定創造一個基於 Kinect 攝影機的空間音響系統。他們希望聲音和視覺能夠在這個系統中有同樣的美感，並且同樣重要。

Joshi 說，視覺探索是一個基於距離遠近的個人體驗：當一個人離得更近，他會看到更多的細節，他們這些研究員想要模仿這些現象。他不僅是該專案開發者，還是一名在當地社區很活躍的畫家和互動藝術家。

早在去年，研究員們就邀請了弱視參觀者來測試原型機。那台原型機

用經過程式設計的音樂、講述和各種聲音來表現 Frida Kahlo, Henri Matisse 和其他藝術家的作品。測試者極其得享受參觀過程。其中一名女士曾是資深藝術愛好者，失明之後她就不再去畫展了。她甚至在參觀中激動地流下淚水。但是研究團隊知道，這還不算藝術，他們必須做更多。

憑藉與藝術家的聯繫，Joshi 開始與 Salmon 合作把 Salmon 的藝術創作與微軟的技術結合起來。他們與西雅圖電影製作人和攝影師 Dan Thornton，蘇格蘭音效師 Graham Byron 和 9e2 展覽主辦人 John Boylan 合作，在為期九天的 9e2 展覽該系統。雖然整個項目是試驗性的，短期內沒有讓它商業化、向大眾開放的打算，研究人員們已經申請了Eyes-Free Art 的專利，並且會繼續研究怎麼創造更易使用、更具藝術效果的體驗。

Neel Joshi 正在 The Oregon Project 工作

Amos Miller 是一名有視力障礙的微軟研究員，他評價該系統有“天生的包容性”：既允許他享受個性化的體驗，也可以進行社會化的體驗，而且兩者都符合藝術家的設計思路。

他說：“Eyes-Free Art 系統證明，你可以創造具有正能量、包容性的體驗。” Miller 是 Cities Unlocked 專案的研發人員。它是一個通過建造 3D 聲景來幫助弱視人群在城市中走動的項目。

Sheri Richardson 是兩個盲人組織 Vision Loss Connections 和 blind since infancy 的主席。對她而言，這套系統是一個充滿活力和感性的探索藝術的方式。它允許你用不同的視角欣賞藝術，而且不依賴於別人的講解。她特別喜歡用地獄谷的自然聲音再現畫家在那裡進行創作的場景。

Richardson 說：“ Kinect 的人體追蹤技術，還有聲音隨著你在畫中移動的感覺，讓參觀這套系統很有體驗性，並且喚起了心底的感情。”

對於 Salmon 來說，他本就微弱的視力在幾年前開始繼續惡化。 Eyes-Free Art 系統給了他在將來的歲月裡繼續藝術生涯的希望。

他說：“這很讓人驚豔。我重新獲得了未來。即使我的視力不斷惡化，我仍會堅持畫下去——我會利用聲音來創作。這是一個學習和適應的過程。”

Keith Salmon 在登山

“The Oregon Project” 會於 2017 年四月在愛丁堡藝術學院再次展覽。

小結：微軟 The Oregon Project 這套系統算不得多麼複雜，其技術也很難稱得上是突破。但是通過這一系列聲音採集、編輯和3D 場景佈置，我們當中的少數群體——失明者，能夠以屬於他們自己的方式欣賞本來遙不可及的藝術。可以說，雖然畫面和 3D 聲場都是出於同一幅繪畫作品，但失明者所聽到的，與我們普通人眼裡所看到的，是完全不一樣的藝術。它以這種技術上並不複雜的方式，賦予了繪畫作品”第二生命”。雖然這項技術短期內沒有實用化的前景，但這代表了科技在未來的探索方向。它提醒我們，科技進步的最大意義或許不是給我們提供更多的娛樂選擇，而是改善每一個人的生活——是的，每一個人。讓身處社會邊緣的弱勢群體也能分享到科技進步的帶來的益處與快樂。

via

Microsoft

【招聘】雷鋒網堅持在人工智慧、無人駕駛、VR/AR、Fintech、未來醫療等領域第一時間提供海外科技動態與資訊。我們需要若干關注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優良的外翻編輯加入。工作地點深圳。簡歷投遞至 guoyixin@leiphone.com 。兼職及實習均可。