2017年安防雲計算核心技術探討
OFweek安防網訊 雲計算技術以大系統、大資料為最顯著的特徵，而安防行業是一個非常典型的大資料應用場景，安防行業中的卡口監控系統、視頻監控系統由大量的設備組成（包括大量的前端採集設備、後端平臺和雲計算伺服器集群等），每天產生呈幾何級增長的資料，隨著智慧城市大型項目的不斷成功落地，整個安防平臺呈現出資料量超大、資料類型多樣、資料處理邏輯複雜、資料清洗、資料共用、資料採擷難度高等處理難題，對安防廠商提出了巨大的挑戰。
其中主要表現在智慧交通行業領域中海量的交通流資訊和卡口過車抓拍圖片、智慧城市行業領域中的海量視頻錄影檔等非結構化資料，安防行業的主要用戶公安、交警都有著需要對海量圖片和視頻檔進行安全有效的資料存儲、高性能平行計算、智慧化的資料分析挖掘後進行實戰方面的強烈需求，這些都與雲計算特性非常吻合。提供海量存儲的同時，如何快速有效的定位多維度數據，挖掘出各類孤島資料在多維度的潛在關聯關係，一直是我們致力於解決的問題。雲計算、大資料等技術正在慢慢滲入安防行業，隨著這些技術的發展成熟，將對安防行業帶來革命性的影響。
大規模混合計算技術
監控系統產生的大量視頻圖像資料如果只靠人工來進行處理，效率會非常低，借助于視頻智慧化處理演算法，已經可以從視頻圖像資料中獲取一些簡單的特徵進行比對，或者進行模式匹配產生報警事件，提高了處理的效率。這種方式能夠處理的資料量，資料組合的程度，資料的類型等等都還處於較低的水準，無法應對海量資料和日益增長的需求。大規模計算技術的目的就是為了提供一種統一的資料處理平臺，上面可以集成各種智慧化演算法和計算模型，綜合處理海量監控資料，以更快的速度得到更有價值的資料。
統一資源管理技術
監控系統產生的主要資料就是視頻和圖像資料，原始資料經過處理後，會產生更豐富的資料，處理的方式也會有很大不同。比如對於歷史視頻資料可以在幕後處理的視頻資料檢索，對於卡口的車牌和人臉特徵資料需要即時布控，對歷史卡口資訊需要做到即時檢索。這些資料都需要不同的計算框架進行處理，通過引入統一的資源管理平臺，可以在同一個資源池裡運行不同的計算框架，大幅提高資源的利用率，同時在資源被某種業務獨佔時，又能最大限度的發揮系統的性能。
即時檢索技術
傳統的結構化資料都採用關係型數據庫進行保存，通過RAC等技術形成資料庫集群，通過索引方式進行加速，但是核心還是基於行存儲和關係運算，面對海量記錄時在各個方面都已經遇到了瓶頸。即時檢索技術通過引入分散式資料庫，列式存儲，記憶體計算，索引引擎等技術，能應對100億級別的結構化資料，在存儲容量，可擴展性，檢索速度等多個方面都可以得到大幅提升。該系統在智慧交通、刑事偵查等視頻監控領域具備重要的研究價值和廣闊的應用前景。
複雜事件處理技術
隨著安防行業的發展，業務變的也來越複雜，比如智慧交通領域，出現了車輛積分研判、套牌車分析、同行車分析等需求。這些需求存在產生結果所依賴的條件多、處理過程即時性的要求高、需要處理的資料量巨大等特點。傳統的方式是採用關聯式資料庫，通過複雜的SQL語句組合，不斷查詢比對的方式，很難滿足即時性的要求。複雜事件處理通過引入流式計算等技術，動態地對輸入資料進行即時的分析，處理速度可以大幅提供。不符合條件的資料都被丟棄掉，系統中只存在處理的結果或者可能有用的中間資料，這樣對存儲的要求也變小了，完全在記憶體中進行全過程的分析，即時性得到了保證。
人臉檢索技術
人臉檢索的技術在單台伺服器上的應用已經比較成熟，可以應用在身份鑒別、在逃人員抓捕、可疑人員排查、身份證查重等領域。人臉檢測過程可以分為以下幾個階段：視頻或圖像解碼、人臉檢測、特徵提取、特徵比對，前三個步驟都是每次請求對應一次計算，計算量相對可控，而最後一個步驟特徵比每次請求則需要和達億級的人臉特徵進行比對，是運算量最大的一個階段。
一些即時應用的請求數每秒鐘可達請求數達到數百次，每次人臉比對次數可達百萬級別時，則整個系統需要支援每秒億級的人臉特徵比對計算。如此大規模的計算，單機上是無法完成的，必須採用集群完成。特徵庫本身規模不大，但是比對次數很大，屬於典型的計算密集型集群，特徵庫可以全部倒入到記憶體，在記憶體中完成計算。
其中主要表現在智慧交通行業領域中海量的交通流資訊和卡口過車抓拍圖片、智慧城市行業領域中的海量視頻錄影檔等非結構化資料，安防行業的主要用戶公安、交警都有著需要對海量圖片和視頻檔進行安全有效的資料存儲、高性能平行計算、智慧化的資料分析挖掘後進行實戰方面的強烈需求，這些都與雲計算特性非常吻合。提供海量存儲的同時，如何快速有效的定位多維度數據，挖掘出各類孤島資料在多維度的潛在關聯關係，一直是我們致力於解決的問題。雲計算、大資料等技術正在慢慢滲入安防行業，隨著這些技術的發展成熟，將對安防行業帶來革命性的影響。
大規模混合計算技術
監控系統產生的大量視頻圖像資料如果只靠人工來進行處理，效率會非常低，借助于視頻智慧化處理演算法，已經可以從視頻圖像資料中獲取一些簡單的特徵進行比對，或者進行模式匹配產生報警事件，提高了處理的效率。這種方式能夠處理的資料量，資料組合的程度，資料的類型等等都還處於較低的水準，無法應對海量資料和日益增長的需求。大規模計算技術的目的就是為了提供一種統一的資料處理平臺，上面可以集成各種智慧化演算法和計算模型，綜合處理海量監控資料，以更快的速度得到更有價值的資料。
統一資源管理技術
監控系統產生的主要資料就是視頻和圖像資料，原始資料經過處理後，會產生更豐富的資料，處理的方式也會有很大不同。比如對於歷史視頻資料可以在幕後處理的視頻資料檢索，對於卡口的車牌和人臉特徵資料需要即時布控，對歷史卡口資訊需要做到即時檢索。這些資料都需要不同的計算框架進行處理，通過引入統一的資源管理平臺，可以在同一個資源池裡運行不同的計算框架，大幅提高資源的利用率，同時在資源被某種業務獨佔時，又能最大限度的發揮系統的性能。
即時檢索技術
傳統的結構化資料都採用關係型數據庫進行保存，通過RAC等技術形成資料庫集群，通過索引方式進行加速，但是核心還是基於行存儲和關係運算，面對海量記錄時在各個方面都已經遇到了瓶頸。即時檢索技術通過引入分散式資料庫，列式存儲，記憶體計算，索引引擎等技術，能應對100億級別的結構化資料，在存儲容量，可擴展性，檢索速度等多個方面都可以得到大幅提升。該系統在智慧交通、刑事偵查等視頻監控領域具備重要的研究價值和廣闊的應用前景。
複雜事件處理技術
隨著安防行業的發展，業務變的也來越複雜，比如智慧交通領域，出現了車輛積分研判、套牌車分析、同行車分析等需求。這些需求存在產生結果所依賴的條件多、處理過程即時性的要求高、需要處理的資料量巨大等特點。傳統的方式是採用關聯式資料庫，通過複雜的SQL語句組合，不斷查詢比對的方式，很難滿足即時性的要求。複雜事件處理通過引入流式計算等技術，動態地對輸入資料進行即時的分析，處理速度可以大幅提供。不符合條件的資料都被丟棄掉，系統中只存在處理的結果或者可能有用的中間資料，這樣對存儲的要求也變小了，完全在記憶體中進行全過程的分析，即時性得到了保證。
人臉檢索技術
人臉檢索的技術在單台伺服器上的應用已經比較成熟，可以應用在身份鑒別、在逃人員抓捕、可疑人員排查、身份證查重等領域。人臉檢測過程可以分為以下幾個階段：視頻或圖像解碼、人臉檢測、特徵提取、特徵比對，前三個步驟都是每次請求對應一次計算，計算量相對可控，而最後一個步驟特徵比每次請求則需要和達億級的人臉特徵進行比對，是運算量最大的一個階段。
一些即時應用的請求數每秒鐘可達請求數達到數百次，每次人臉比對次數可達百萬級別時，則整個系統需要支援每秒億級的人臉特徵比對計算。如此大規模的計算，單機上是無法完成的，必須採用集群完成。特徵庫本身規模不大，但是比對次數很大，屬於典型的計算密集型集群，特徵庫可以全部倒入到記憶體，在記憶體中完成計算。