自動駕駛之眼——攝像頭是如何認識交通標識的？

雷鋒網按：本文作者史高拔，汽車電子工程師，供職于國內某汽車技術中心，從事汽車智慧網聯技術研發。本文由雷鋒網獨家發佈。

近日，自動駕駛領域的明星公司Mobileye發佈了2016年的財報。依靠在ADAS視覺解決方案的飛速增長，mobileye2016年總收入為3.582億美元，同比增長48.7%； 淨收益1.084億美元，同比增58.3%。

其提供的“單目攝像頭+視覺處理晶片+圖像識別演算法”的自動駕駛綜合解決方案被譽為“自動駕駛汽車的眼睛”，這項技術使Mobileye在這一領域保持著70%以上的市場份額，基本成為了自動駕駛汽車的標配。

↑ mobileye已成為自動駕駛攝像頭領域的絕對霸主

攝像頭在自動駕駛中有著舉足輕重的地位，就像人的眼睛一樣，攝像頭結合圖像識別技術，能快速識別車輛、行人和交通標誌，可以給現階段的自動駕駛技術提供足夠的環境感知保障。那這顆裝在前擋風玻璃上的攝像頭到底是如何工作的？讓我們從交通標誌識別這一應用場景入手，來一探圖像識別技術的奧秘。

一、交通標誌的易識別特性

由於交通標誌採用特定的文字、圖形和符號，在一定範圍內具有標準、醒目、資訊明確的特性，一直是圖像識別技術在交通領域應用的首選。從圖像識別技術誕生之日起，交通標誌識別的演算法和模型就一直受到廣泛的關注，也讓這一技術發展相對成熟，並應用到自動駕駛領域中來。

↑ 交通標誌識別技術

我國的交通標誌一共有一百餘種，按類別可分為黃底黑邊的警告標誌、白底紅圈的禁令標誌、藍底白字的指示標誌，形狀上以三角形、圓形和矩形為主。明確的形狀和顏色區分、有限的標誌數量，都為圖像識別提供了一個相對穩定的應用環境。

↑ 我國的交通標誌

二、交通標誌識別技術的原理

利用圖像識別技術的交通標誌識別系統一般分為以下幾個工作步驟：

↑圖像識別的步驟

1. 圖像預處理：

在實際的交通場景中，由於運動抖動、自然光、天氣條件等各種因素的影響，不可避免的會在採集的圖像中引入一定程度的干擾和雜訊，所以首先需要將這些不利因素消除，對採集到的圖像進行一些預處理。通過圖像均衡、圖像增強和圖像去噪等演算法，將圖像的光線均衡，突出關鍵資訊。這一步基本和美圖秀秀中的那些工具類似，都是將圖像變得清晰、易辨認。

↑ 對圖像進行預處理，去除雜訊、提高亮度和對比度

2. 交通標誌分割：

預處理後的圖像仍然包含很多資訊，交通標誌在其中只有很小的一個區域，為了減小處理的資料量，加快處理速度，一般都會先將交通標誌的區域檢測出來，再去判斷這個區域中的交通標誌的具體含義。交通標誌在顏色和形狀上都有一定的特殊性，並可按照下圖進行一定程度的分類，所以一般通過這兩個特徵去檢測交通標誌。

↑交通標誌按顏色和形狀分類

顏色分割：

顏色按照國際標準可劃分為RGB、HSV、HSI等顏色空間，並進行量化分析，以RGB空間為例，將顏色按照紅色、綠色、藍色三種顏色進行分割，通過給定交通標誌牌中常用的藍色、黃色、紅色的色度座標範圍，即可過濾掉與之不相關的顏色資訊，快速檢測到交通標誌牌。

↑通過RGB色彩空間處理，快速定位紅色區域

形狀分割：

僅僅檢測顏色顯然又是不夠的，由於光照、背景色的影響和干擾，還需要在顏色檢測結果的基礎上對相應區域進行形狀檢測。交通標誌具有邊緣清晰、形狀簡單易辨認的特點。這些特徵在排除顏色影響後的灰度圖像中更加明顯，因此通過一定的邊緣檢測運算元去判斷圖像圖元中出現的灰度階躍變化，一般就能較為準確的檢測出交通標誌的形狀和輪廓特徵。

↑對檢測區域進行灰度處理，再通過灰度階躍檢測其形狀邊界

3. 交通標誌特徵提取

在圖像檢測完成以後，圖像中基本就只剩下了交通標誌的關鍵資訊，這些資訊簡單直觀，但電腦依然不會知道這些資訊的具體含義，這時候需要再進一步對這些圖像特徵進行提取和比對，才能對具體的資訊進行識別。

圖像的關鍵特徵，是識別具體資訊的關鍵因素，特徵的好壞直接決定了識別的準確度。一般說來這些關鍵特徵需要具有可區分性、簡約性和抗干擾等幾個要素，可區分性即不同標誌的特徵要具有足夠的差異性，簡約性是在保證可區分性的前提下用儘量少的資料表示圖像特徵，這可以保證檢測的速度和效率，抗干擾度即圖像特徵資訊要保證儘量少的會被雜訊、自然光和圖像畸變影響。

在交通標誌識別上，一般會提取顏色特徵、線條變化特徵、矩特徵、灰度長條圖統計特徵等等，並會在事先維護一個足夠樣本數量的特徵庫，包含現有交通標誌的圖像特徵資訊。在識別的時候將採集到的圖像的特徵提取出來與資料庫中的條件進行比對，即可判斷出該交通標誌的實際意義。

4. 識別結果匹配

目前有多種方法實現圖像特徵與特徵庫資料的比對，最為簡單直接的方式是範本匹配：即在特徵庫中將不同交通標誌的特徵參數規定為某些特定的參數，當所採集圖像的特徵參數在某個範圍內，就判斷是這個交通標誌資訊。但由於圖像在採集的時候難免發生形狀畸變、顏色失真等誤差，在實際使用場景中用範本匹配來識別的成功率和準確度並不是特別高，即便優化了影像處理演算法，也還有很多局限。

↑ 通過匹配特徵庫資訊識別標誌

近些年機器學習技術的發展，讓圖像識別也有了很大的變化，通過設定一些簡單的判斷條件，並在特徵庫中加入各種形態和場景下的學習樣本，讓系統不斷加深交通標誌識別的認知和識別概率。機器學習讓識別不再依靠具體固定的參數，而是通過一系列的條件判斷讓系統找到概率最大的目標，以此提升識別的準確度和靈活性。這一技術在目前成為研究的熱點，並有效提高了圖像識別的準確率。

↑ 機器學習在圖像識別中的應用

三、總結

交通標誌識別是圖像識別技術在自動駕駛領域較為成功的應用，其情景相對簡單固定，識別準確度和成功率都讓人滿意。現在自動駕駛中攝像頭識別車輛、行人、自行車、車道線等其他目標的工作原理基本和交通標誌識別類似，只是針對不同的物件所用的的演算法和模型也會進行一定的調整和優化，並維護一個更為多樣的樣本學習庫。Mobileye在自動駕駛攝像頭領域已經耕耘了17年，其演算法集成優化、樣本庫豐富度、識別精確度都處於絕對領先，也為自動駕駛的普及帶來了巨大的福音。

↑圖像識別技術在自動駕駛中的應用

利用攝像頭進行自動駕駛圖像識別已經在部分量產車中應用，但也依然需要面對很多困難和挑戰，例如圖像資訊處理資料量大、實際場景情況複雜、世界各地交通標誌不統一等等，在實際使用中也出現了像特斯拉無法識別大貨車這樣的事故和問題，實際的交通場景中，參與物件太多太雜，要依靠一個攝像頭去解決所有問題顯然是不現實的。也正是為此，目前業界出現了很多新的技術：英偉達圖像理平臺、V2X、雙目攝像頭等等，這些新技術的應用給自動駕駛帶來了更多新的可能性，自動駕駛系統也將越來越完善。