還記得去年HTC Vive剛上市的時候，伴隨著一堆很有黑科技感的MR視頻麼？將現實玩家與VR虛擬世界結合的酷炫MR視頻，也正是由於這些宣傳視頻，吸引了大量玩家。不過呢，玩家戴著VR看不到臉少了點表情，所以，穀歌就說：“來，我們弄個VR臉貼上去，看起來更真了！”
穀歌在一篇博客文章中透露，他們正在研究一個奇怪的小項目，通過將玩家的臉顯示在MR視頻中，讓玩家在遊玩過程中的表情也體驗在視頻中。
通過面部捕捉程式、眼部追蹤及一些電腦視覺技巧，穀歌的機器感知團隊設計了一個系統以獲得逼真的面部反應，而這些面部表情可以通過改良版的透明頭顯展現出來。
根據官方博客表示，實現原理為：
技術核心是使用用戶的臉部3D建模作為被遮擋面部的代替。這一代替物用來在MR（混合現實）視頻中來同步人臉，從而打造出被頭盔遮住的面部表情。
首先，使用稱之為“注視點動態外觀（gaze-dependent dynamic appearance）”來捕捉用戶的個性化3D臉模。先是校準步驟，需要使用者站在一個顏色+深度攝像機，還有一台顯示器前面，然後用眼鏡在顯示器上去追看一個標記。
我們用這種一次性的校準（時間花費不到一分鐘）來獲得用戶的3D臉模，然後獲得不同的凝視方向、眨眼所映射的圖像（或材質）的資料庫。這一“注視資料庫”（也就是通過眼睛注視來對應不同的臉模材質）讓我們能夠在同步中動態更換臉的形象，並且生成想要的凝視視線，讓同步的臉部表情看上去自然、生動。
雖然目前這張臉看上去很呆板充滿喜感，但是穀歌這種鑽研精神值得學習。話說也沒多少人去拍這種MR視頻，也就遊戲宣傳視頻用得多........