深度 | 起底蘋果 AR 佈局，人才、技術、專利三者皆備
雷鋒網按：蘋果要讓手機率先支援 AR 功能的消息終於被確認了。當 VR、AR 被滿世界熱捧時，蘋果似乎一直無動於衷，即便 CEO 庫克多次對外表示對 AR 十分感興趣。實際上，蘋果一刻也沒有放鬆對新技術的關注，不管是招兵買馬組建團隊，還是通過收購、申請專利以儲備技術，一切的一切都為了“萬事俱備”。所以，不必著急，驚豔的產品值得我們等待。
iPhone 8 延期發佈的原因讓我們再次證實了蘋果對 AR 的野心。
蘋果分析師 Brian White 在給投資者一份說明中提到，“因 3D 感知技術的一些挑戰，5.8 英寸 iPhone8 將會延遲數周上市，但能在 12 月假期之前與大家見面。”其中，他肯定了 5.8 英寸 iPhone 8 中將採用 3D 感知技術和 OLED 顯示幕，而此前也有消息表示，正是因為螢幕和 3D 技術前置攝像頭兩者難以完美匹配，造成了 iPhone 8 的延期。
關於蘋果在做什麼樣的 AR 產品，外界有不少猜測。直到今年 3 月份，彭博社的一篇報導讓我們對此有更加詳實的瞭解。
產品方面，彭博社確認蘋果手機將率先支援 AR 功能。另一方面，蘋果也正在研發數款 AR 產品，其中包括數位眼鏡，可與手機無線連接，並為用戶呈現電影、地圖等內容。聽起來有些像以前的穀歌眼鏡，但比起手機的 AR 功能，蘋果 AR 眼鏡等待的時間要更久。
另外，
報導提到蘋果正在為 iPhone 研發的一項功能是，改變所拍照片或是照片中特定物體的景深；另一項功能是，對照片進行摳圖，如可摳出人像的頭部，對其 180 度翻轉。
這其中可能會加入 AR，生成虛擬特效，類似於 Snapchat 的效果。
為此，iPhone 攝像頭將有望依賴於深度感知技術，並且使用由 PrimeSense 公司研發的演算法。
或許，蘋果不會一次性推出所有這些功能，但現在 iPhone 8 證實將採用 3D 感知技術，想必這也是蘋果向 AR 邁出的一小步。
雷鋒網也從一位業內人士口中得知，
蘋果會在手機上增加一個前置深度攝像頭，用以面部識別和手勢識別，而由於功耗問題沒有解決，並沒有採用後置
。該業內人士表示，“從應用的角度，前置攝像頭的象徵意義更大一些。”
同時，回顧過去蘋果的一些動作，雷鋒網發現，蘋果針對 AR 的人才和技術儲備愈加完善。
人才儲備
Mike Rockwell 2015 年加入蘋果
根據彭博社引述知情人士的報導，蘋果已經組建了一支研發團隊，該團隊聚集了各路硬軟體研發的老兵。而早在 2016 年 1 月，雷鋒網曾報導蘋果當時正在組建一個數百名的“秘密研發團隊”，對虛擬實境頭盔等其他技術進行試驗。
該團隊由前杜比執行副總裁 MiKe Rockwell 負責，他曾是杜比的標誌性人物，擔任過 AR 公司 Meta 的顧問。作為蘋果內部 AR 團隊的負責人，Rockwell 向 Dan Riccio 報告工作，而 Riccio 主要負責 iPhone 和 iPad 硬體工程團隊的工作。
從去年開始，蘋果陸續將其他軟硬體部門的人調往 AR 團隊，包括曾負責蘋果手錶設計的 Fletcher Rothkopf，創建了 THX 標準（一種音效標準，）的 Tomlinson Holman。
蘋果還請了從 3D 視頻到可穿戴硬體各方面的人才加入，包括前亞馬遜 Lumberyard 虛擬實境平臺首席工程師 Cody WHite，前 Meta 軟體發展總監 Duncan McRoberts，前 Oculus 分析師 Yury Petrov，以及曾在 HoloLens 和 Google Earth 工作過的 Avi Bar-Zeev。
這支團隊中也加入了前維塔視覺特效公司成員，他們曾參與過《阿凡達》、《金剛》等影片的製作。
技術儲備
這一點主要體現為蘋果收購其他公司，以及專利申請。
FaceShift 的面部識別
以下是蘋果從 2013 年到 2016 年陸續收購的一系列公司：
2013 年 11 月 收購以色列硬體公司 PrimeSense
該公司主要為微軟的 Xbox 遊戲機製造Kinect 動感捕捉攝像頭。
2014 年12 月 收購臉部視覺識別公司 FaceShift
該公司的技術能夠利用攝像頭對使用者臉部圖像進行即時捕捉，甚至可以生成虛擬的頭像。
2015年 4 月 收購以色列初創公司 LinX
LinX 創建於2011年，該公司的技術能夠通過將數位圖像分成三個部分的方式在照片中增加景深。
2015 年 5 月 收購德國 AR 公司 Metaio
該公司主要開發智慧手機平臺的增強現實應用軟體，比如其曾經開發一款讓傢俱視覺化呈現的工具。Metaio 曾經的 CEO Thomas Alt 目前屬於蘋果戰略交易團隊，決定應該投資哪項技術。
2016 年 1 月 收購 Flyby Media。
該公司主要利用空間感知技術，可以強化人們對其周圍環境的瞭解。
甚至還有消息稱，庫克曾拜訪過 Magic Leap 的辦公司，並表示對他們 AR 技術很感興趣。
“帶有攝像頭的可穿戴資訊系統”專利描述圖
同時，蘋果也沒有放鬆對專利的申請，如下：
2015 年 5 月 申請柔性螢幕專利
這是一種在固體發光圖元周圍設計許多小孔的螢幕，可將螢幕變得又薄又柔軟，以幫助 AR 應用。通過圖元現實虛擬影像，同時透過小孔查看螢幕另一邊的現實圖像。
2016 年 7 月 申請 AR 顯示使用到的類似光波導技術
這項技術是讓圖像從離軸原始檔案中投射出來，通過透明物質(護目鏡或薄片)進入視線。
9 月 申請 AR 映射系統
這套 AR 映射系統能夠利用 iPhone 的硬體將增強現實功能疊加到直播視頻上。用戶通過手機應用可以在一些現實場景中標記數位資訊，比如街道名稱、興趣點等等，並用攝像頭進行掃描。
11 月 申請 AR 頭盔專利
這項專利描述的是一種保留移動電子設備螢幕的頭盔式顯示幕儀器，頭盔式螢幕系統以及操作方案可以讓用戶“配對”或“解除”。
2017 年 2 月 申請帶有攝像頭的可穿戴資訊系統
這項技術可能會用在一款頭戴顯示器中，而顯示器上搭載的攝像頭可以接收與顯示器相同視角的資訊。該系統可下載有趣的內容，並用 AR 展示出來。
3 月 申請專利名為“利用景深加強人臉檢測”
這項專利是通過電腦視覺系統，利用專門的硬體和軟體進行人臉識別，尤其是已經保存到資料庫中的人臉資料。
2016 年 11 月，蘋果被爆與 LG 聯合開發 3D 攝像頭模組，研究如何將自家的3D攝像頭技術應用於 LG Innotek 生產的智慧手機攝像頭模組。
從上述種種來看，我們可以確定，蘋果規劃了兩條 AR 產品路線，一是讓新反覆運算的 iPhone 具有 AR 功能，二是打造一款 AR 眼鏡。
AR 手機的難度在哪？
先來說說， AR 手機。要打造這樣一款手機，到底有什麼難度？
此前，雷鋒網採訪三維建模公司積木易撘時，CTO 鄒聖兵曾解釋三維建模掃描的成像原理：
兩台工業相機和一個投影儀可組成最小的掃描器單元。攝像機得到深度資訊，投影儀能投射已知編碼影像，通過前方交會計算得出點雲，每幅投影儀得到的點雲之間即時匹配，再進行全域優化，實現表面三維點雲重建，點雲三角網格化，也就是得到了投影儀投影物件的三維模型。
“手機要搭載 AR 技術，不只要包含投影儀、攝像頭、還需要鏡子、手機。”鄒聖兵向雷鋒網近一步解釋了手機實現 AR 功能的原理。
傳統的 AR 設備通過手柄、眼球跟追、手勢識別等，實現與投影儀交互，讓投影儀投影已知彩色編碼，通過攝像機和鏡子拍攝的圖片，計算出深度資訊，然後再將計算出的深度資訊結合slam演算法（建模只是點雲資訊，不進行後續），與真實世界進行融合、對齊。接著，在對齊的虛擬場景中進行渲染，渲染出接近真實場景的效果，這就是 AR。
手機如果集成了投影儀、兩個攝像頭、一面鏡子，手機在用戶手中，操作投影儀所對的方向，投影已知彩色編碼圖像到前方物件上，產生畸變的彩色編碼圖像被兩個攝像頭拍攝，拍攝的兩張圖片在手機處理器進行計算，得到前方物件的點雲資訊。鏡子能得到廣角圖像不像攝像頭有景深限制，鏡子得到的廣角圖像，範圍較大，不只是包含了投影儀的投影物件，也包含前方的場景圖片。
該圖片傳入手機處理器進行計算，結合 slam 演算法，計算出場景的輪廓等資訊，再結合手機在場景中的相對位置和視野等資訊，這樣就能實現掃描的點雲資訊與虛擬場景的融合，在虛擬場景中渲染，得出接近真實世界的效果。
Phab2 Pro 的 AR 效果演示
而當前市場上真正推出的 AR 手機是 Phab2 Pro，它是由聯想和穀歌合作的產品，採用了穀歌 Project Tango 技術，內置三顆攝像頭，包括一顆魚眼鏡頭和一顆紅外感測器，可實現空間定位。
鄒聖兵表示，
“Tango 手機中攝像機、兩個攝像頭、一面鏡子和對應的處理器是一個整體，是由一個獨立廠家提供，沒有與手機主機板真正集成，而且由於三維重建需要很強的處理器和較大記憶體，這都不是獨立模組能達到的。
如果蘋果要支援 AR，並且直接集成在主機板，AR 處理與手機其他處理是一個處理器，就要觀察蘋果是否完成相關生態鏈的收購整合
。目前來說，還沒見到樣機，不好評判。”
由此可見，蘋果要成功做出一部 AR 手機，技術是一方面，各技術的集成也十分關鍵。不久前，蘋果宣佈自己將獨立研發 GPU，可能會將CPU 和 GPU 更好結合，從而針對 AR、AI 提升移動設備計算能力。至於iPhone 8 或是後續產品是否會有驚豔的表現，我們可以保持期待。
此外，AR 眼鏡方面最具代表性的便是微軟 HoloLens，以及 Meta。而今年一月有蔡司員工向國外科技博客作者確認，蘋果正與蔡司合作研發 AR 眼鏡。
綜上，不得不說，蘋果對 AR 的野心可不止一點點。當然，我們也希望蘋果能讓 AR 技術更加成熟，並走向更多的消費者。