據(jù)IDC預測，2020年全球的數(shù)據(jù)總量將達到35ZB，并以每兩年翻一番的速度在急速的增長。大數(shù)據(jù)時代的數(shù)據(jù)不僅僅是數(shù)據(jù)總量的龐大，同時也是種類的龐大。安防行業(yè)有著海量的視頻、圖片數(shù)據(jù)，一個大型城市每天產生的數(shù)據(jù)就可以達到1PB，同時還有飛速增長的特征數(shù)據(jù)，包括卡口過車數(shù)據(jù)、人臉抓拍數(shù)據(jù)、報警數(shù)據(jù)等等。繁多的數(shù)據(jù)種類、PB級的數(shù)據(jù)量、低價值密度的視頻數(shù)據(jù)、快速的數(shù)據(jù)更新處理需求，這些特性都預示著安防行業(yè)已經進入大數(shù)據(jù)時代。 　　從安防行業(yè)數(shù)據(jù)處理流程上看，數(shù)據(jù)經歷了采集->傳輸->存儲->處理這幾個過程，存儲和處理需要大量的服務器，占用了安防系統(tǒng) 80%以上的服務器資源，也是安防企業(yè)需要重點考慮的問題。傳統(tǒng)的安防系統(tǒng)架構比較混雜，各個廠家各個時期的設備，各種技術方案，各種平臺系統(tǒng)交織在一起，沒有清晰的層次，而且都是以業(yè)務為中心，數(shù)據(jù)的存儲和處理水平還比較低，發(fā)展已經遇到一定瓶頸。云計算和云存儲無疑是安防大數(shù)據(jù)的存儲和處理過程最強有力的技術支撐，這兩種技術的出發(fā)點，就是通過分布式技術，把商業(yè)級的計算和存儲資源組成一個集群，實現(xiàn)低成本，高可靠，彈性擴展，易于管理和使用的解決方案，替代傳統(tǒng)的小型機、關系型數(shù)據(jù)庫、高端磁盤陣列組成的方案。
　　其中，云計算是一種大數(shù)據(jù)處理技術，也是一種按使用量付費的模式，它提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池，資源包括網絡，服務器，存儲，應用軟件，服務等類型，這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。云計算通常意味著超大規(guī)模、虛擬化。云存儲則是在云計算概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應用、網格技術或分布式文件系統(tǒng)等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。云存儲對使用者來講，不是指某一個具體的設備或服務器，而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲，實際上用的是整個云存儲系統(tǒng)帶來的一種數(shù)據(jù)訪問服務。
　　按照 Gartner技術成熟曲線勾勒的趨勢，云計算和云存儲技術已經進入了成熟期，互聯(lián)網巨頭已經搭建了各種超大規(guī)模的數(shù)據(jù)中心，并開始影響人們生活的方方面面，而在安防行業(yè)的應用才剛剛開始。考慮現(xiàn)有安防系統(tǒng)存在的問題和大數(shù)據(jù)的涌現(xiàn)，我們認為云計算和云存儲技術完全有潛力解決這些問題，幫助企業(yè)和用戶一起應對大數(shù)據(jù)的挑戰(zhàn)，并實現(xiàn)安防系統(tǒng)的重構。 　　大數(shù)據(jù)存儲關鍵技術
　　隨著安防行業(yè)的不斷發(fā)展，日益豐富的信息采集途徑，多樣化的業(yè)務需求，以及各種行業(yè)各種外圍業(yè)務系統(tǒng)，都要求安防云存儲系統(tǒng)具有多業(yè)務支撐能力，云存儲是最好的解決方案。云存儲的核心是分布式文件系統(tǒng)，實現(xiàn)統(tǒng)一的命名空間、負載均衡、數(shù)據(jù)容錯、靈活擴展、高性能的讀寫能力等。云存儲可以將所有業(yè)務系統(tǒng)的存儲模塊統(tǒng)一到同一個存儲平臺上，支撐各種業(yè)務需求，提供了高度的數(shù)據(jù)共享能力，避免了存儲和應用的耦合，降低了重復投資的風險。
　　隨著IP化、高清化、智能化的不斷演進，系統(tǒng)存儲空間需求日益膨脹，存儲的可靠性和成本也成為最重要的考量，在這兩個方面，用于數(shù)據(jù)容錯的Erasure Code算法都給出了滿意的回答，是公認的下一代容錯算法機制，可以代替?zhèn)鹘y(tǒng)的RAID方式和副本方式，一些主流的公有云存儲系統(tǒng)都已經開始采用EC算法。EC算法可以讓云存儲系統(tǒng)容忍多臺設備或者多塊硬盤的同時損壞，從而大大加強了系統(tǒng)的可靠性，同時可以做到和RAID5，RAID6同一個級別的空間效率。Erasure Code技術在安防行業(yè)云存儲的應用，意味著更高的數(shù)據(jù)可靠性，更好的成本控制。
　　系統(tǒng)規(guī)模變大之后，其管理也需要投入很多資源。對于一個有著成千上萬臺設備的系統(tǒng)而言，配置管理、擴展和出錯處理的自動化顯得非常重要。云存儲系統(tǒng)可以很好的解決此類問題，以EMC Isilon為例，1分鐘就可以完成系統(tǒng)擴展，10分鐘完成系統(tǒng)初始化安裝和配置。出錯處理亦是如此，在設備損壞后，云存儲可以保證業(yè)務不受任何影響，只需將損壞的設備更換掉即可，后臺的數(shù)據(jù)遷移全部由系統(tǒng)自動處理。
　　在大量數(shù)據(jù)讀寫的時候，還需要考慮到系統(tǒng)的性能能否足夠支持上層各種數(shù)據(jù)業(yè)務，比如錄像，抓圖，回放，視頻分析等等，特別是視頻分析，需要以最快的速度讀出原始視頻數(shù)據(jù)，從海量數(shù)據(jù)中發(fā)掘極低密度的價值，對存儲系統(tǒng)是一個很大的考驗。云存儲系統(tǒng)有著天然的帶寬聚合的能力。在數(shù)據(jù)寫入時，用戶的數(shù)據(jù)被系統(tǒng)打散之后存在眾多的存儲節(jié)點中，整個系統(tǒng)的網絡帶寬和磁盤IO都可以得到充分利用。通過帶寬聚合帶來的高性能，可以實現(xiàn)文件的高速訪問，極大提升智能分析等上層業(yè)務的數(shù)據(jù)處理能力。
　　當前市面上有一些所謂的監(jiān)控云存儲系統(tǒng)，一般都只存儲視頻或圖像業(yè)務相關的數(shù)據(jù)，和業(yè)務是緊密耦合的，數(shù)據(jù)可靠性和訪問速度也得不到保證。在舊的時期，這種系統(tǒng)滿足了基本的數(shù)據(jù)存儲需求，但長遠來看，是無法適應安防大數(shù)據(jù)的應用需求的。這類系統(tǒng)沒有核心的分布式文件系統(tǒng)支持，不是真正的云存儲系統(tǒng)，云存儲是實現(xiàn)安防大數(shù)據(jù)有效存儲的必由之路。
　　大數(shù)據(jù)實時處理框架
　　安防系統(tǒng)有大量的視頻圖像數(shù)據(jù)，傳統(tǒng)的使用方式都是事后靠人工來查閱，效率極低。安防系統(tǒng)的終極目標應該是及時制止犯罪，實現(xiàn)公共安全，所以需要對數(shù)據(jù)做到實時處理，甚至能建立預測模型，云計算就是實現(xiàn)這種目標的工具。舉幾個例子，美國洛杉磯警察局運用云計算技術，對歷史卷宗的分析，形成了預測犯罪發(fā)生地的模型;微軟運用云計算技術，將911的歷史數(shù)據(jù)和監(jiān)控視頻相結合，可以成功預測某地的犯罪。
　　云計算系統(tǒng)可以劃分為IaaS，PaaS，SaaS幾個層次。IaaS主要完成了物理資源虛擬化工作，解除了業(yè)務和物理設備的關聯(lián)，使得業(yè)務專注于業(yè)務本身，將資源管理交給了云計算平臺。虛擬化的作用是顯而易見的，它可以將業(yè)務變得彈性化，可以根據(jù)業(yè)務需求，虛擬出相應的計算資源給相應的應用。比如某體育館有演唱會，即可對體育館周邊的視頻數(shù)據(jù)進行重點智能化分析，白天可對交通十字路口的視頻數(shù)據(jù)實時處理，晚上則可重點處理娛樂場所周邊的視頻數(shù)據(jù)。
　　但是，IaaS只是一個基礎，安防行業(yè)云計算的核心價值體現(xiàn)在SaaS層。它需要按照分布式的思維，重新實現(xiàn)安防大數(shù)據(jù)處理的業(yè)務邏輯，一方面要對業(yè)務進行解構，另一方面要和底層的IaaS，PaaS緊密結合，形成相對垂直的系統(tǒng)形態(tài)。在云計算服務化之后，還可以體現(xiàn)出很好的規(guī)模效應。比如，目前的交通系統(tǒng)，由于通信系統(tǒng)和發(fā)布系統(tǒng)一般都是獨立的專用系統(tǒng)，成本高并且整個系統(tǒng)相對封閉，影響了智能交通系統(tǒng)的普及。采用云計算模式以后，對于一些周邊地區(qū)而言，只需要租用相應的智能交通云計算服務即可。這樣就可以大大降低智能交通系統(tǒng)的建設門檻，有利于智能交通系統(tǒng)的普及。隨著更多用戶的加入， 進一步攤薄系統(tǒng)的建設成本，成本的降低又會帶來更多的用戶，通過這種良性循環(huán)，就可以加快智能交通系統(tǒng)的普及。
　　在多種安防大數(shù)據(jù)處理業(yè)務形態(tài)中，智能交通安防大數(shù)據(jù)是目前比較熱門的方向。一個大型城市3個月的過車歷史記錄就達到1800億條，每天20億條記錄。如此龐大的數(shù)據(jù)量給傳統(tǒng)的數(shù)據(jù)存儲和分析計算都帶來了巨大的壓力。傳統(tǒng)系統(tǒng)難以支撐，容量有限，處理速度有限，擴展困難。云計算系統(tǒng)可以很好的解決這個問題，實現(xiàn)性能和設備數(shù)量線性擴展，從而實現(xiàn)千億級數(shù)據(jù)秒級查詢的能力。這種高速檢索能力，給刑偵、交通服務都帶來了巨大的好處，使得類似套牌車等大數(shù)據(jù)量查詢運算的應用變得有可能。
　　不管是何種安防業(yè)務，其大數(shù)據(jù)的處理流程是比較類似的，可以提煉出如圖中所描述的處理框架。首先通過云存儲將大量的圖片、視頻等非結構化數(shù)據(jù)存儲起來，并提供統(tǒng)一的訪問形式，數(shù)據(jù)共享的能力。然后運用云計算的視頻摘要分析能力，從視頻圖像數(shù)據(jù)中提取人和車等元數(shù)據(jù)信息，變成結構化數(shù)據(jù)存儲在分布式數(shù)據(jù)庫中。通過快速檢索技術，可以提供秒級檢索能力，為實時決策提供數(shù)據(jù)支撐。通過離線分析在結構化數(shù)據(jù)上進行數(shù)據(jù)挖掘，將數(shù)據(jù)進行聚類，并最終形成數(shù)據(jù)模型，對未來的事情進行預測。同時云計算的實時計算又能根據(jù)模型來提供實時告警。以上就是安防大數(shù)據(jù)完整的數(shù)據(jù)流。