雷鋒網消息,在2016年5月的I/O開發者大會上,谷歌首次向外透露了其機器學習專用晶片Tensor處理單元(TPU)。之後,穀歌除了公佈它們是圍繞公司自身進行優化的TensorFlow機器學習框架之外,就再未透露更多的細節。今日,谷歌的硬體工程師Norm Jouppi首次向外分享了更多關於該專案的細節和測試結果。
如果你是一個晶片設計師,你可以在穀歌公佈的研究報告裡找到很多關於這一TPU如何運作的細節。
在此次測試中,穀歌基於自己的基準測試對自研晶片進行了測試。測試結果表明,TPU在執行穀歌常規機器學習工作負載方面,比一個標準的GPU/CPU組合(一般是Intel Haswell處理器和Nvidia K80 GPU組合的情況下)平均要快15-30倍。另外,由於資料中心的功耗計算,TPU還能提供高達30-80倍瓦特的速率。研究報告作者表示,如果將來使用更快的記憶體,該TPU還有進一步優化的空間。
值得注意的是,這些數字是關於在生產中使用機器學習模型的,而不是首次創建模型。
穀歌還指出,雖然大多數架構師為卷積神經網路(convolutional neural networks,例如,對於圖像識別工作良好的特定類型的神經網路)優化了其晶片。然而,穀歌表示,這些網路只占其資料中心工作負載的5%左右,而大部分應用使用的是多層感知器( multi-layer perceptrons)。
機器學習的本質是密集計算,比如 Google 工程師舉的例子 —— 如果人們每天用三分鐘的語音搜索,但運行沒有 TPU 加持的語音辨識人物的話,該公司將需要建造兩倍多的資料中心。
事實上,據穀歌表示,該公司在2006年就已開始研究如何其資料中心中使用GPU,FPGA和自訂ASICS(其實質上是TPU)。然而,由於他們所需的大量工作負載,可能只能利用資料中心裡面已經可用的多餘硬體,而當時並沒有那麼多的應用程式真的可以在這種特殊硬體中受益。
據悉,穀歌已經將TPU用於許多內部專案,如機器學習系統RankBrain、Google街景、以及AlphaGo等。但Google尚未給出將TPU應用於外部專案的計畫。
穀歌在其研究報告裡表示:2013年,我們預計到DNN或許在將來會成為非常受歡迎的方向,而這可能會使資料中心的計算需求增加一倍,如果要滿足傳統的CPU將會需要高昂的價格。“因此,我們開始了這個高度優先的項目,以快速生成用於推理的定制ASIC(並購買了現成的GPU來進行培訓)。”谷歌一位工程師表示。
據雷鋒網瞭解,穀歌不太可能在其雲端之外提供TPU。不過穀歌表明,預計將來會有其他人採用我們所學到的知識,並“成為更高水準的繼任者”。
Via
TechCrunch
,雷鋒網編譯