穀歌正在研究移除MR視頻中的頭顯

穀歌在一篇博客文章中透露，他們正在研究一個奇怪的小項目，通過將使用者的臉顯示在MR視頻中以使這些MR視頻更加逼真，現在這一項目已進入了最後的階段。

通過面部捕捉程式、眼部追蹤及一些電腦視覺技巧，穀歌的機器感知團隊設計了一個系統以獲得逼真的面部反應，而這些面部表情可以通過改良版的透明頭顯展現出來。

根據官方博客表示，這一研究的原理為：

技術核心是使用用戶的臉部3D建模作為被遮擋面部的代替。這一代替物用來在MR(混合現實)視頻中來同步人臉，從而打造出被頭盔遮住的面部表情。

首先，我們會使用我們稱之為“注視點動態外觀(gaze-dependent dynamic appearance)”來捕捉用戶的個性化3D臉模。首先是校準步驟，需要使用者站在一個顏色+深度攝像機，還有一台顯示器前面，然後用眼鏡在顯示器上去追看一個標記。

我們用這種一次性的校準(時間花費不到一分鐘)來獲得用戶的3D臉模，然後獲得不同的凝視方向、眨眼所映射的圖像(或材質)的資料庫。這一“注視資料庫”(也就是通過眼睛注視來對應不同的臉模材質)讓我們能夠在同步中動態更換臉的形象，並且生成想要的凝視視線，讓同步的臉部表情看上去自然、生動。

很顯然，這個“頭顯移除”方案並不是困擾VR內容創作者/分享者最大的問題，有些消費者甚至都不認為這是個問題，但是看到穀歌這麼用心去解決還是很欣慰。這種簡單的將用戶的眼睛帶回到VR中做法，使得科技對於消費觀察者來說不再那麼高深莫測。