AMD沉浸式技術總監：如何用顯卡幫助開發者打造更優質的VR內容？ | UOD 2017

Frank Vitz

一直以來，VR 對畫面品質有著較高的要求，而能決定畫面品質的除了開發者使用的開發工具，更需要依靠高性能的顯卡。在近日的 Unreal Open Day 開發者活動上，雷鋒網見到了 AMD 的沉浸式技術總監 Frank Vitz，他談到了如何發揮顯卡的潛能，在開發過程中幫助開發者打造更好的內容。雷鋒網認為這對開發者來說也方便了不少。

以下雷鋒網對其演講內容做了整理：

沉浸式技術讓實際世界與數位世界或者類比世界之間的界限變得模糊了，現在人們已經沉浸在了新的環境當中，這包括虛擬實境、增強現實、混合現實、遠端監控、HDR以及觸覺介面等等，這些都是能夠為我們今天所採用的技術。你們知道虛擬實境產業已經成為了所有這些領域的催化劑，而且它還會變得越來越大，沒有人知道它會變得多大，但是我們有一個非常有意思的預測，會有巨量的發展。

我們不能只告訴人們，這樣的巨浪就要來了，我們要告訴他們巨浪來了以後，怎樣學會衝浪，應該怎麼樣應付自如。我們想做的就是讓他處在巨浪中間，告訴他們自己應該如何駕馭巨浪。首先我們要把人們放在巨浪當中，這就是我做的類比，我喜歡衝浪，而且我也喜歡在這個行業當中所產生的巨大的影響。

在AMD，我是一個相對比較新的人，但是我在這方面是非常積極的，做多媒體已經做了很多年了。我們現在做的 ITG，這是一個工作流程，對這些方面人們的關注是越來越多。我們大概有三十名工程師組成的團隊，我們的工作是解決一些問題。

我們的使命是非常簡單的，用一句話來說，我們要知道可以這麼做，然後知道如何解決這背後的複雜問題，知道如何快速的以節省成本的方式，來做 ITG 的規劃，每年它的生成速度最快，每年我們為開發人員更好接觸這樣的能力。

我們要解決這些挑戰，現在處在一個非常戰略性的位置，我們要開發新的工具，要讓他們有新的特徵。我們有一個開源倉庫叫做GPU，現在GPUopen.com，因為有些人已經知道了這是一個開放倉庫，我們還需要一些產品系列來生產出來，如同我們造船一樣，這裡面既應硬體也有軟體。

我是做視覺效果，這是數位效果的早期階段，裡邊還涉及到如何從事工作，我們還有一些非常強有益的工具，最後我們有電腦方面的加速。我想做的就是把我們在電影當中學到的東西，放在遊戲行業當中，這是我很長時間以來一直說的，從電影到遊戲。

現在像虛幻引擎，為我們提供了一個框架，在這個框架內，你可以解決電影互動的問題，我們通過VR可以實現，所以在我的腦子裡，即時引擎現在是關鍵。因為他們提供了一個框架和一個工具，讓人們能夠有沉浸式的體驗，我認為這是它最有潛力的方法。我認為在座的人中，大多數能夠把給你們這些工具，把我們的硬體融入到你們的遊戲當中，我們怎麼做到的呢？我們是設計並且創造新的特徵，我們還使用GPU，把它放在ADK、SDK、API來實現，我們還有一個GPUopen源，這是非常酷的東西。

不只是想讓你使用AMD的產品，我們是讓你能夠有很多的解決方案，而無論你說的問題是什麼，我們的戰略就是有這樣軟體的特徵，他們能夠在所有的GPU上運行，所以如果你走了GPUopen.com，可以看到有一個庫，裡面有更多AMD的事例，使用的資料等等。

我們有一個叫做 LiquidVR，裡面設置了不同功能特徵。從兩年前到現在，我們都一直使用一個GPU，這是不成問題的，而多顯卡可以降低延遲，提高渲染的效率，我們可以左眼和右眼同時進行渲染，這樣兩個眼同時進行的，並且可以傳遞到螢幕之上，這樣是比我們甚至是高端的顯卡，刺激性的渲染還要快。就是說我們先左眼加上右眼，才能到螢幕上，所以我們多顯卡情況下，即使是兩個低端的顯卡也是比高端的顯卡快的，而我們低延遲就是關鍵。

另外一個功能是向前的渲染，這個不是一般的AMD的硬體。向前的渲染，也很多人說，是一個新的好東西，但實際上不是一個新的東西，我們只是說，做了一種不一樣的渲染，因為考慮到照明和不同的印。有的時候回頭看一步就開拓天空了。其實向前的渲染對於VR來說非常適用的，因為它並不是像我們之前渲染一樣，有這麼多的細節，這樣的話，其他的功能更好適用VR了。它也是有非常棒的團隊，做得非常不錯。而我們做的，只是說優化了一下，讓它在AMD的性能更好。我們也可以向大家保證，這樣的技術在AMD上運行得非常好。

我們注意到音訊也是VR不可或缺的一部分，簡單的身歷聲不行的，必須要讓聲音來自於正確的角度，讓它聽起來好像是我們在走到房間的不同角度，聲音反射也不一樣。如果我們做這樣的建模，要瞭解每個關卡的聲學設置特別難，我們可以用同樣幾何的形狀，用於渲染視覺的形狀，渲染我們的音訊，這個就是我們的產品。

這是一個外掛程式，這個外掛程式可以良好的渲染世界之中的材質，還有不同的幾何形狀，能夠非常好的實現現實世界的聲學特徵。我們知道一個聲音從聲源過來的時候，從耳朵中聽到的，不光是一個聲音，還聽到了衍射、慢反射、反射，我們所用的這個技術叫做“卷積”，我們也知道這個顯卡，可以處理32個不同的路徑，同時進行處理，所以只要你有一個比較好的耳機，聽起來會非常棒。

而且我們大腦可以區分哪些是真的，哪些是假的，所以我們才可以做到這一點。我也是一個音訊的鐵粉，我們的True Audio Next就是支援音訊的外掛程式，而且我們做了一個非常簡單的VR建模，作為一個樣品。當然不是一個非常複雜的代碼，但是我們把它作為一個外掛程式，這樣的話不管用什麼音訊的系統都會覺得很有用的。

下面一個叫做高級的媒體框架，或者叫AMF，它也是作為AMD執行的，它所做的事情能夠提供顯卡加速的解碼和編碼。我們可以在AMD的硬體之上，用專用的硬體進行，而且不會影響到其他的系統。比如說打開兩個視窗，一個放4K的視頻，與此同時，我們即時運行這樣的遊戲不會受到影響，這一點也是VR當中越來越重要的。

比如我們有360視頻，可能是預渲染的，加上即時渲染的前面的一些即時渲染，這樣就能夠有跨操作性了，就是在不同API，不同的顯卡上都可以有，DX9，DX11、DX12都可以。因為我們可以解碼，來做推特的連播放，同時我們又玩遊戲也不影響我們的幀率，這是有意思的一點，而且我們可以提供一些其他的元件，比如多媒體的應用，比如說是色塊的轉化，或者是拓展，還有包括計算等等。

這個是我們的方塊圖，我們看是怎麼起作用的，可以編碼、解碼，而且可以提供我們顯卡的功能，這個對於我們的程式師來說非常的好，因為如果能夠在於遊戲中執行這個，實現這個，或者我們去使用它的話，它能夠代替我們的預設虛幻引擎的編碼，我們會運行更快。

TressFX也是非常好的功能，是即時毛皮的模擬，我們有這樣的設置，很快做一些毛皮的動態出來，我們能夠提供這樣的外掛程式，可以用maya，然後在我們的素材上生成這個毛髮，然後再對模擬進行渲染。我們提供所有的原始程式碼，還有一點比較有趣，我們的計算對於毛皮的計算是當地語系化的計算，非常的複雜，有物理引擎，包括毛皮怎麼動什麼的，它不需要非常精確的32位元精度就可以做到了，所以我們覺得可以用tress FX，FP16的架構就可以進行計算了。就在下一個顯卡的產品就可以內設這一點，我們基本上可以把整個處理量乘以二，現在還在開發當中，但是進展也是非常迅速，正想辦法集到新的引擎裡。還有多視窗的渲染，也是在我們VR下面的，可以左眼、右眼渲染上進行優化，減少重複，這也是複雜的說法，其實簡單點說，我們只是有一個顯卡，也可以去優化我們左眼、右眼資料的調用或者載入，可以同時去做，不管一個顯卡，還是說多顯卡的效率提升都是可以做到的。

我們這種高保真的渲染挑戰，在VR是在哪裡呢？實際上，它不是唯一的一個我們想要高保真的地方，在我們的企業級的應用上，有時候，即使是最好的向前渲染，或者說是掃描的演算法都沒有辦法得到相片級的表現，比如用遊戲引擎渲染我們的過場動畫什麼的，我們也希望有非常好的渲染得到高的圖像品質。那現在確實是有一些選項了，可擴展的光線追蹤可以加速我們的顯卡，而且它使用的是行業標準，這樣的話能夠更好的運用我們多顯卡，而且運用我們的CPU，更好分配我們的渲染任務，放在所有機器人的處理器上，它是免費的。

關鍵是我們遊戲引擎的光線追蹤，我們遊戲中很多的花的資源，有時候很複雜，有時候還是重複的，有時候像義大利面一樣，非常的混亂，這樣的一些代碼，但是我們可以把它真正的轉為所謂的像基於現實的這種光線追蹤和這樣的陰影生成，關鍵是我們要生成標準的素材庫，我們可以用標準的遊戲陰影器，還有光線追蹤器，這樣我們就有非常一致性的表現。

我們最近剛剛把我們ProRender集成到產品之中，這樣能夠真正抖出我們的模型，導入到虛幻之中，而且是無縫導入，這個對於一些人很重要，有的時候需要從建築師這裡，或者是從汽車行業這樣的模型之中把它導入出來，導入到我們的其他應用之中，這個就是我們全集成這樣的光線追蹤的設置了，這就是我們虛幻的未來。

當然像我之前所說的，我給大家看到的所有這些，在AMD的硬體上運行非常良好，我們也一直在優化，而且他們也能在其他的顯卡中運行，而且我們的硬體上還有一些功能是其他的硬體不能做的，其中有一個就是我們SSG功能，這也算是一個圖形卡，就在我們卡上，有M.2這樣的設置，也就是說可以直接在這邊收集1TB的資料。這是一個非常快的硬體，他們可以播放這種8K無壓縮的視頻，也就是說，一秒有180多幀，關鍵我們除以四的話，有四的4K流。在VR遊戲的直播之中，背景放一些別的，這就是非常強大的功能，這是AMD的硬體特點，它可以更好的促進我們的遊戲開發或者說我們的遊戲其他應用。像我之前所說的，在大的資料集上，它處理得非常好，而且加上我們的AMD解碼、編碼確實是一個非常棒，非常好的工具。

我們認為未來在於matiGPU，像CPU裡面，這是能量非常大的。在matiGPU你的引擎裡面，你要有比較小的顯卡，有比較大的能量，而且花的錢也比較少，這比你買一個大卡要划算得多。還有VEGA已經來了，我們有一系列特徵可以給原始的性能進行優化，我們管它叫快速的，包裝好的東西，這是我們前面所提的，它指的是我們能夠得到指令，2×16的指令，而且有32個鍵。

但是不管怎麼說，VEGA和Ryzen結合起來才是一個真正的能量屋，去年的時候，我們看到VEGA、Ryzen體系是4K上運行，這裡面規定了一個基準的流量，我們把所有的VR特徵放在一起，我們放在VR上，我們今天和你們分享的這些東西，我們都是也和Ryzen和VEGA放在一起，我們認為這對於開發VR內容來說，是一個非常強有力的工具。

所以總結一下，今天我們所講的內容，在AMD上建立了高品質的硬體，可以有非常好的計算能力和圖形能力我們已經開發了軟體，讓你們能夠進入使用這個強有力的工具並發揮作用，我們提供了一個開放式的，免費的進入模式。我的目標是為我們的虛幻開發人員提供，他們來你所從事的工具需要的各種各樣的工具，這是我們現在工作，正在做的事情，而希望你們的工作也和虛幻能有一些聯繫，非常感謝。