在VR頭顯裡想像這樣一個場景:
你站在中越邊境的河谷,觀看壯美的景色——但頭顯裡播放的並非普通的全景視頻,而是可以隨著身體移動和頭部傾斜,看到被畫面中的物體擋住的更多東西,甚至……整個場景。
比如你的面前有一個油桶,但你可以稍微挪動一點,或者把頭向右傾斜,就能看到油桶背後的溪流:
這顯然不是一個幾百塊錢的雙攝全景攝像頭就能實現的。其實,這部視頻的拍攝手法叫做Volumetric Capture,翻譯成中文叫“容積捕獲”,採用特殊的設備,像三維空間掃描一樣記錄下了攝像頭周圍所在區域的全部物理環境。拍攝它的公司叫做HypeVR,該公司聯合創始人泰德·施洛維茨告訴我,這段全息影像的每幀資料量就高達3GB。
昨天,PingWest品玩在英特爾的VR發佈會上粗略體驗了一下HypeVR所拍攝的這段內容。今天我們又找到了該公司的創始人兼CEO Tonaci Tran,更深入地體驗和瞭解了這項技術。
這段全息影像的記錄時間是2016年11月14日,地點是中越邊境的板約瀑布。簡單來說,HypeVR開發的這種新視頻格式,具有三個特性:360°全景+高清+六自由度。
全景不消細說。在清晰度方面,一般的全景攝像採用多相機陣列(比如GoPro)的方案,和HypeVR根本沒法比——該公司的一個多相機陣列就要用到Velodyne開發的雷射雷達(LiDAR),再配上12台世界上最頂級的Red超高清攝像機。僅供參考:Red的解析度為5K,12台……清晰度難以想像。
至於六自由度,英文叫做6 degrees of freedom (6dof)是一個物理上的術語,指的是物體能夠在三維空間裡,在xyz三軸方向上自由運動以及圍繞三軸自由轉動的能力。在VR業界,6dof是一種技術指標,指的是當頭顯的佩戴者在三維空間裡前後左右上下移動和搖頭、擺頭時,頭顯裡所顯示的空間畫面能夠隨之變化,就像在真實空間裡一樣。
但並非所有的VR內容的錄放都支援6dof。如果一個全景攝像頭放在定點上錄製內容,它拍下的其實也只是一個二維的畫面。而在拍攝中加入雷射雷達,使得最後產生的二維畫面多了一維——空間,其實是HypeVR全息影像錄製技術最大的不同。這樣錄製和最後剪輯製作完成的內容,不是二維的畫面,而是具有空間感的全息影像。
還有一個問題:最後成片中的畫面裡,那些桶、水牛和其他擋住視野的物體,它們背後的畫面又該怎樣拍呢?HypeVR以商業機密為由沒有想我透露太具體的細節,但我猜測採用的方法應該類似於:先在一個點拍攝(point zero),然後更換一個能拍到障礙物背後的點(point a),然後按照從0到a的距離和方向,在全息場景重建的時候,拼接a的內容到0的內容裡。
蹲下,或者往左/右邊走,就能看到被水牛擋住的地方。這是其它VR視頻絕對無法做到的。
但顯然,這樣製作出來的最終內容格式肯定不是普通和VR視頻一般採用的mp4格式,而是一種全新的格式。Tran對我表示:
從容積捕獲(volumetric capture)、場景重現(reconstruction)、壓縮編碼(compression codec)、播放和直播串流所採用的圖像引擎(graphics engine for playback and volumetric streaming),一切都是全新的。我們認為這就是視頻2.0時代。
Tran是美國出生的越南人,曾在加州大學聖地牙哥分校學習數字媒體創作。因為10年前創立了第一家Red高清電影攝像機出租服務,他在越南也引起過不小的轟動,還曾因此在越南電影界獲得了不小的名氣。
2014年,為了實現“打造下一代視頻技術”的夢想,他和電影巨頭二十世紀福斯的數位技術專家泰德·施洛維茨一同創立了HypeVR。
該公司總部位於加州聖地牙哥。Tran告訴我,他認為HypeVR在相機陣列、全息場景重建、6dof全息視訊壓縮和全息視頻串流方面,有著絕對的技術優勢。至於公司的技術優勢,他用一句話總結為“獨家的容積捕獲、製作和播放引擎,專為視頻2.0時代打造。”也正因此,英特爾將HypeVR視作重要的合作夥伴,邀請其參加CES的發佈會和現場演示。
接連兩天由淺及深地體驗了HypeVR帶來的全息可互動影像之後,我心理對於VR視頻的芥蒂消除了一些。之前我對所謂的VR內容不太感冒的原因就在於,它們只是把我綁在一個固定的地方,然後允許我轉動腦袋,並沒有什麼所謂的“沉浸”感,反而感覺自由被限制了。
我問Tran“在你們這段視頻裡,我到底有多大的自由度?”他告訴我:“只要這條頭顯的線夠長、頭顯還在感測器追蹤的範圍裡,你想走多遠走多遠。”