DOITAPP
DOIT數據智能產業媒體與服務平臺
立即打開
DOITAPP
DOIT數據智能產業媒體與服務平臺
立即打開

行業數字化轉型加速,分布式存儲迎來春天

隨著Cloud、AI技術的應用和普及,隨著各行各業數字化轉型的不斷加速,分布式存儲已經成為用戶口中的熱門話題。我們不禁會問,分布式存儲的春天已經到了嗎?今天,我們就來一探究竟。

數據爆發式增長,呼喚分布式存儲

隨著8K、5G、IoT、大數據、AI等系列技術的發展,數據量迎來了爆發式增長。IDC在《Data Age 2025》的報告中預測,從2018年到2025年,全球數據將從33ZB急速增長到175ZB,其中非結構化數據占比將超過80%。分布式存儲憑借高擴展性和易管理能力,成為承載海量數據的重要選擇,Gartner 2019年新定義的第二存儲陣列,更是專門強調形態上必須是Scale Out的。

IDC數據增長趨勢預測

IDC指出,?前每年存儲下來的數據只有新創建數據的1%左右,其中真正挖掘出價值的數據量不?存儲數據的10%。數據資產已成為企業數字化轉型的核心,未來隨著大數據和AI技術的發展,數據存儲比例和挖掘比例必將大幅提升,需要專業的分布式存儲來提供更高的存儲容量和并發性能。Gartner定義的第二存儲陣列也將大數據分析作為其典型應用場景,認為未來的大數據分析會為分布式存儲帶來海量的數據和性能需求。

分布式存儲市場表現

IDC將分布式存儲歸入了軟件定義存儲來跟蹤,IDC發布的《中國軟件定義存儲(SDS)及超融合存儲(HCI)系統市場季度跟蹤報告,2019年第二季度》顯示,中國區軟件定義存儲已經連續多個季度同比大幅增長。

IDC中國區SDS存儲2017Q2-2019Q2銷售數據

按IDC的預測,中國區SDS存儲銷售從2018年到2023年將保持20%以上的年化增長率;隨著5G、物聯網和人工智能快速發展,到2023年,全球40%左右的存儲系統都將是分布式存儲架構。另一家調研機構Zion Market Research更是預測,全球分布式存儲的銷售額將從2018年的20億美元快速增長到2027年的285億美元,年化增長率高達34.7%。無論從過去幾年的銷售數據還是未來幾年的銷售預測來看,分布式存儲的春天已經到來,以Ceph為代表的開源分布式存儲蓬勃發展,以EMC、華為為代表的專業存儲廠商重兵投入,同樣也印證了這一結論。

IDC中國區SDS存儲2018-2023年銷售數據預測

分布式存儲技術發展趨勢

分布式存儲是未來的發展方向已成為業界共識,那么分布式存儲技術上又有哪些發展趨勢呢,這點可以從Gartner分布式文件&對象存儲關鍵能力要求和各大主流廠商的產品方向上來看一下:

極致效率

Gartner對第二存儲的定義是:首要目的是經濟高效地支持延遲和IOPS不是必需屬性的非結構化數據工作負載, 典型用例包括長期歸檔,大數據分析應用程序的存儲庫,深度歷史研究以及備份/恢復軟件的備份/恢復目標。這就意味著,分布式存儲的首要目標是提供極致效率的數據存儲方案。

從Gartner分布式文件&對象存儲關鍵能力要求來看,效率主要體現在幾個方面:

? 擴展性:整集群應具備擴展到幾百甚至上千存儲節點的能力,簡化管理;單文件系統或單桶需要支持幾百甚至上千億文件,應對現在及未來的海量文件挑戰。

? 互通性:以自動駕駛為代表的新型應用已經越來越多的使用了文件、對象、HDFS多種訪問協議,多協議互通可以避免文件的多次拷貝,有效提升文件的共享訪問效率。

? 存儲效率:分布式存儲需要使用大比例EC(Erasure Coding)替代傳統的副本技術,獲得更高的存儲利用率;應具備重刪、壓縮等數據縮減能力,相同硬件可存儲更多的用戶數據;應支持高密硬件,應對海量數據的空間占用和功耗問題;應具備數據分級能力,熱、溫、冷數據可以使用不同的存儲硬件;

極致性能

分布式存儲不以支持低時延和高IOPS為首要目標,但并不意味著性能對分布式存儲就不重要了。IDC在《Data Age 2025》的報告中預測,實時數據占比將逐年提升,到2025年實時數據占比將達到30%,這么大規模的實時數據,很大一部分是需要借助分布式存儲實現數據采集、存儲和分析的,這就需要分布式存儲能夠提供極致性能來應對。

IDC全球實時數據占比預測

比較典型的如金融的風險評估、交通的自動駕駛、新興的AI應用,都需要從海量數據中快速獲取所需的信息并進行實時分析,這就要求存儲提供亞毫秒級的響應時延,同時以高擴展性應對高并發處理性能需求。業界主流廠商如EMC、PureStorage、華為等都推出了基于全閃存的分布式存儲產品,通過存儲軟件、專有硬件、網絡的深度配合,來滿足上層應用的極致性能需求。

智能管理

傳統數據中心多采用中心管控、集中運維的方式,故障定位多依賴專家的經驗,隨著存儲集群規模的增大和新技術的發展,這一模式運行的成本越來越高。各主流廠商紛紛推出“AI in Storage”的概念,利用云上云下技術結合,實現存儲的智能管理。

云下數據中心,以服務化的方式統一管理不同存儲設備,實現資源的自動化分配和數據在線流動,簡化業務發放;云下設備側,內嵌AI能力學習用戶的操作習慣和IO模型,和云上模型庫匹配實現性能自動優化。云上統一運維側,分析云下海量設備的容量和性能增長的共性規律,實現容量和性能風險提前預測;分析云下設備的故障處理共性規律,提供故障預測能力及自動處理方案。

小結

隨著Cloud和AI時代的數據爆發式增長,分布式存儲的春天已經到來,用戶已經越來越多的選擇分布式存儲。通過協議互通、EC、重刪壓縮、高密等技術達成極致效率是分布式存儲的核心競爭力;軟硬件深度配合,云上云下協同,實現極致性能和智能管理成為分布式存儲發展的重要趨勢。

未經允許不得轉載:DOIT » 行業數字化轉型加速,分布式存儲迎來春天

免费六肖中特