傳統大數據存儲系統的三種架構?
一般分為存儲層、基礎管理層、應用接口層和接入層。存儲層是云存儲系統的基礎,由存儲設備組成(滿足FC協議、iSCSI協議、NAS協議等。).基礎管理層是云存儲系統的核心,負責存儲設備之間的協同工作、數據加密、分發和容災備份。應用程序接口層是根據用戶需求開發的系統的一部分。根據不同的業務類型,可以開發不同的應用服務接口。接入層是指通過應用程序接口授權用戶登錄并享受云服務。其主要優點是:硬件冗余、節能環保、海量并行擴展、強大的負載均衡功能、統一管理、統一服務交付、管理效率高。云存儲系統從系統架構、文件結構、緩存等方面針對監控應用進行了優化。數據傳輸可以采用流式,底層采用突破傳統文件系統限制的流媒體數據結構,大大提高了系統性能。高清監控存儲是一種大比特流、多并發寫入的存儲應用,對性能、并發和穩定性要求很高。存儲解決方案采用獨特的大緩存排序算法,將多路隨機并發訪問改為順序訪問,解決了頻繁尋道帶來的性能快速下降、硬盤壽命縮短等問題。
系統中會產生PB級的海量監控數據,存儲設備的數量會達到幾十個或者上百個,因此科學高效的管理模式非常重要。云存儲可以提供一種基于集群管理技術的多設備集中管理工具,具有設備集中監控、集群管理、系統軟硬件運行狀態監控、主動報警、鏡像系統檢測等功能。在海量視頻存儲和檢索的應用中,檢索性能尤為重要。在傳統的文件系統中,文件檢索采用"目錄-子目錄-文件-位置"。在海量數據的高清視頻監控中,目錄和文件的數量相當可觀,這種檢索的效率會大打折扣。利用序列號文件定位可以有效解決這個問題。
云存儲可以提供非常高的系統冗余和安全性。當在線存儲系統出現故障時,熱備用機器可以立即接管服務。當故障恢復后,服務和數據將被移回。如果需要調用故障機的數據,可以將故障機的磁盤插入冷備機,實現所有數據的即時可用。
對于高清監控系統,隨著監控前端的增加和存儲時間的延長,擴展性非常重要。市場上有朋友可以提供只針對容量的擴展柜擴展模式和性能容量同步線性擴展的堆棧擴展模式。
除了上述優勢,云存儲系統還將面臨平臺對接整合、業務流程梳理、視頻數據和成本的智能分析和深度挖掘等挑戰。構建大型系統和構建云存儲的商業模式也需要創新。受限于寬帶網絡、web2.0技術、應用存儲技術、文件系統、P2P、數據壓縮。隨著shrink、CDN技術、虛擬化技術的發展,未來云存儲還有很長的路要走。