DOITAPP
DOIT數據智能產業媒體與服務平臺
立即打開
DOITAPP
DOIT數據智能產業媒體與服務平臺
立即打開

深信服楊歡:深信服軟件定義存儲EDS應用與實踐

按:12月3日,由百易傳媒(DOIT)主辦的2019中國數據與存儲峰會(DATA & STORAGE SUMMIT)在北京盛大開幕,與會專家對新一代關鍵存儲技術趨勢及數據創新應用進行了熱議,大家一致認為,數據智能將成為數字產業發展的關鍵推動力,驅動中國和企業數字化轉型。

峰會第二天,應主辦方邀請,深信服楊歡EDS運營總監楊歡以“深信服軟件定義存儲EDS應用與實踐”為題發表主題演講,回顧了深信服的存儲歷程,并從智能視頻監控、數據長期保存、數據中心統一存儲和數據備份數據強應用相關三個場景介紹了深信服軟件定義存儲EDS應用與實踐詳細內容。

以下內容根據錄音整理,未經本人審定。

深信服楊歡EDS運營總監楊歡

楊歡:各位專家、領導,大家上午好!我是深信服的楊歡,目前主要負責深信服軟件定義存儲相關的工作,今天很榮幸在這里和大家分享深信服在軟件定義部分的應用和實踐,聊一聊深信服從安全起家,什么時候開始做存儲,為什么轉向存儲,以及目前深信服看業務系統和整個IT信息化建設的變化。

云計算、大數據、AI等新技術驅動數據存儲變革

先看一下技術和應用的變化。傳統的信息化建設應用更多是OA、CRM、ERP業務系統,產生的更多是結構化數據,數據規模并不大,數據量每年增長也就幾個TB?,F在,新技術、新平臺得到廣泛應用,比如云計算、大數據、人工智能、物聯網、人臉識別等,所以在新興的技術驅動下,存儲需要面對云、大數據、Ai這類大規模應用及數據場景。

在這個時代,數據產業面臨四大核心挑戰。

  • 數據爆炸式增長。

根據IDC的數據數據統計報告,2020年數據體量將達到44ZB,2025年數據體量將達到164ZB,而且,大數據、AI這類技術會讓原有數據產生新的數據,進一步放大數據體量。因此,存儲系統必須滿足高擴展性,可提供PB級的結構化、非結構化的海量數據存儲能力。

  • 數據的種類來源多樣化。

現階段云業務的快速發展,一套存儲平臺支撐成百上千的業務系統是存儲必須面臨的挑戰,存儲系統需要同時提供塊、文件、對象多種存儲服務,才能滿足多元化業務應用的需求。

  • 數據的處理性能能高。

大規模圖像業務、視頻應用現在都在往智能分析、大數據分析這個方向發展,這就要求后臺存儲具備有更快的數據讀寫和訪問實時性,比如提供百萬級甚至千萬級IOPS、提供GB級甚至TB級吞吐帶寬。

  • 共享及挖掘數據價值。

現在以及未來,數據都在追求全局最大化共享,比如大數據或AI應用需要把一些之前扔掉的數據重新拿回來做分析,產生新的價值。因而,存儲系統必須提供統一的存儲資源平臺,可實現數據的實時共享以及價值挖掘。

基于以上四個層面的業務變化對于存儲產生要求,深信服早在2013年就開始了軟件定義存儲的布局。

深信服的存儲歷程

說到存儲,大家肯定有疑慮,深信服什么時候做存儲的,做得怎么樣。實際上,我們在2013年就成立了存儲研發部門,為各個產品線提供技術模塊輸出,推出了分布式塊存儲,在2014年先應用于桌面云,2015年又應用于超融合,到目前為止分布式塊存儲服務過的桌面終端用戶數量超過85萬個點交互,超融合客戶數量超過5000家,在這過程中積累了大規模實踐經驗。

經過長時間驗證和積累包括交互的經驗,深信服對分布式存儲技術積累已經達到了非常深的層次,在很高的研發投入之后,2018年年底正式對外發布了獨立的軟件定義存儲,也叫EDS,目前分布式存儲產品線有專職研發人員300人,30%是碩博學歷,其中海內外頂尖博士20多個,這些人在這幾年做了很多高端技術突破,并申請了技術專利,已獲得的專利有68個,申請中的專利有30個。

深信服正式對外發布的分布式存儲EDS,有企業級分布式存儲EDS與智能云存儲平臺,分別匹配小容量小性能,小容量高性能,不同場景的應用需求,利用軟件的交互能力,可以做一些便捷的軟件交互,只要有企業標準的X86服務器就可以搭建。云存儲智能解決方案,通過標準的X86服務器構建了資源池,插不同類型的硬盤資源,通過虛擬化能力,這個庫可以進行邏輯的區分,分別匹配不同的業務系統,文件、對象等等,解決整個數據中心提到的四種能力。

深信服分布式存儲EDS服務四大場景

深信服分布式存儲EDS服務四大場景,分別是智能視頻監控場景,數據長期保存場景,數據中心統一存儲,和數據備份數據強應用相關的場景。

1)應用場景之一:智能視頻監控場景

現階段平安城市智慧交通智慧社區等等這一類項目非常多,為什么稱之為智慧,很大一部分核心原因里邊融入了AI技術,現在聊的最多人臉識別大數據分析等等,這種場景下區別于傳統的視頻安防項目,面臨一些全新的挑戰,分別有三個。

其一是容量激增,核心來源于三個,視頻攝像頭質量越來越高,原來720P,現在可以看到很多高清攝像頭產生的數據容量越來越大,一個城市里邊攝像頭少則幾千,多則幾十萬,如何存儲下去?這是安防平臺建設里面最需要考慮之一,其二是海量圖片,剛才提到了AI安防智能監控這種場景,核心就是人臉識別圖片高性能分析處理。舉個例,在一個人流高峰場景,一個攝像頭每秒拍五張圖片,城市里邊不少于三千個攝像頭,保存周期一到三個月,一年時間里面達到幾十億張,如何把這些圖片存儲分析處理調用,是存儲介質信息化建設所要考慮的。第三是超大集群。視頻監控保存三十天九十天,意味著所有數據要刪除,反復操作對硬盤、對整個集群安全可靠也帶來全新挑戰,故障率激增,故障情況下業務系統如何解決、對于業務系統沒有影響,也是存儲平臺搭建重要考量因素。

  • 分布式架構解決擴展難

為了應對海量數據的高速增長,深信服提供了相應的解決方案,全對稱分布式架構是主流選擇。深信服可以最小3節點起,最大可擴展到5千節點,高達EB級存儲容量。擴展時也很簡單,只需要將新存儲節點加入集群系統,不需要過多配置、也不需要人為干預,后臺會自動做數據遷移和平衡。同時,我們增加了智能自適應功能,在數據同步過程中能夠感知業務壓力并自動調整遷移策略、避免對業務產生影響。其特點是高擴展性,分布式天然就有這種高擴展性的優勢,我們現在EDS可以對外提供5000節點超大集群,同時可以提供EB級大容量的存儲空間來滿足這樣一個存儲需求,EB級意味著1080P攝像頭承載十幾萬攝像頭存儲能力,擴展的時候擁有自動平衡這樣一個能力,加新節點的時候無須人工干預,沒有額外多余的操作存在。

  • 獨創數據庫解決海量小文件

海量的小圖片處理是存儲面臨最大的挑戰,也算是存儲業界公認的一個難題。其核心難點在于兩個:元數據管理和數據本身。

深信服創新研究院目前有60多位國內比較頂尖的研發博士,開發的數據庫提供了四個能力,第一個高性能,因為我們首先把這個數據庫灌裝到每一個節點SND界面,優秀的介質加上高性能擴展性,實現用兩核的吞吐實現17核的吞吐性能。第二點強一致性,源數據重要性不用多說,深信服在數據庫層面將每一個源數據都以三副本的形式,通過(英)協議做成強一致性。第三高可靠性,分布均勻在每一個節點當中,對于源數據安全可靠性不受絲毫影響。第四高擴展性,基于分布式架構做的設計,整個集群擴展的時候,我的SND節點越多,性能越高,能夠滿足未來無限增長小數據處理。

對于數據本身的處理機制,數據小數據可能4K、8K,這一張圖片如果存到存儲里邊不做任何處理,一個4K數據可能占一個條帶,可能出現性能衰減一系列的問題,深信服利用分布式緩存的技術,將所有小數據做了一個合并有一個業務感知,上層下來的數據小于64K的數據,在緩存層面做一個累積,累積成大塊連續性數據之后,才會寫入到SSD當中,可以充分發揮HDD連續寫的性能。上面寫的大塊數據,意味著不會放到條帶當中,會直接刷進HDD,緩存高性能高價值的優秀資源,從而可以解決百億小文件的性能指標,在百億讀寫里邊性能衰減不會超過5%,這個性能在業內還是比較好的一個數值。

  • AI運維 智能化集群管理

第三個問題是如何對巨大的集群高效有效管理。

深信服融入了一些AI運維的機制,創新研究院開發了一個組件模塊,通過第三方的數據,包括自己本身測試數據和生產數據所得到的一些錯誤,形成的錯誤代碼(錯誤代碼一共有1800萬樣板數據),經過52萬小分鐘這樣一個訓練獲得的模型,經過不斷的調優不斷的修整,最后應用到整個存儲集群當中,可以發揮價值。第一個就是大家常說的亞健康檢測。整個存儲系統里邊最容易壞的就是硬盤,硬盤壞之前其實有一些預兆的。管理一個超大集群視頻監控存儲集群,如何快速找到一塊亞健康的硬盤,靠人工不現實,人工系統基于模塊,收集到的硬件信息,響應延遲變高,抖動變大等等,這樣一些數據,通過模型訓練以后可以對某一個節點分析。一旦發出預警之后,存儲系統會自動進行甄別并且進行相應的處理,比如上層寫數據,不再往亞健康盤上寫數據,同時做數據遷移,將原有數據分散到其他磁盤里去,解決這樣一個亞健康盤所突發故障帶來的磁盤影響,這種稱之為主動防御技術,按照主動防御技術,加上大家都有一些副本冗余機制,可以提供六個9安全可靠。通過一個可視化的界面,可以便捷清晰直指損壞磁盤和損壞故障點位置,出具相應的報告,提供相應的運維建議,幫助做這種運維的管理。

基于以上的主動加被動的防御機制,在整個超大集群的管理方面可以說非常的便捷地解決了存儲的管理難度。

講一個簡單的案例。

珠海公安建立了人臉識別的項目,監控設備有三千個攝像頭(兩年之內會建到三萬個左右),交互的容量3.5PB,視頻通過監控平臺到存儲平臺里,通過GPU解析平臺,解析出人臉圖片,傳給大數據平臺做相應比對分析,最終返回業務系統進行業務應用,如人員追蹤、反恐這樣一些操作。目前這個平臺在客戶應用半年左右,數據容量達到幾十億圖片存儲,性能沒有任何衰減,獲得了客戶一致好評。最大的優勢就是說未來客戶擴展的時候,存儲集群可以擴展,底層所有資源池可以進行分區,相互資源不干擾,可以實現統一運維管理,對于整個客戶超大集群運維使用,包括價值效率都有很高的提升。

2)應用場景二:數據長期保存場景

分布式在場景里面有體驗,海量數據長期保存,最大特點就是保存周期特別長。來源于很多因素,比如說醫療數據,電子卷宗都得益于法律法規要求,這么長的周期保存,同時還會隨機調用。如何解決這個問題,是客戶當前考慮得一個問題。用磁帶庫,藍光光盤存下去,隨機調取卷宗的時候,要重新尋找數據,對于客戶來說效率沒有那么高。

  • 超長周期數據保存

長期保存意味著有一定靜默錯誤的風險。

深信服EDS通過4個能力實現了數據的超長周期保存。

第一個有自動數據重構的能力,基于防范整個生命周期中磁盤故障,磁盤故障之后如何進行快速修復,EDS存儲系統,可以在故障的時候自動的出現,利用其余磁盤剩余可用空間,將損壞的數據存儲進去,它的效率可以得到大大提升,可以實現1T30分鐘左右的效率,無需人工干預。

其二數據自動的平衡,平衡很大的原因在于隨著集群使用周期越來越長,一定會往里加一些新的硬盤,新加的硬盤就是空白盤,空白盤的空間要充分利用,存儲系統也可以自動甄別,將整個數據進行重平衡,保證每一個節點,每一塊磁盤高效利用,避免造成單點故障。

第三個數據自動遷移,更多解決老舊設備替換問題,這些問題在傳統上比較痛的,正常情況下一個硬件生命周期三到五年,五年以后整個存儲集群做一個更換。傳統陣列做更換的時候要做數據遷移,同廠商還好,異構廠商還要找第三方服務等等操作,時間成本財力成本風險成本都會大大提升。這種情況下利用分布式架構或者EDS平臺可以實現把某一個新節點插入以后存儲系統的遷移,將老節點抽離出來做一個單獨分區,其他的業務應用做高可靠的保障。

最后是全生命周期迭代,要保存三十年五十年甚至更長的時間,意味著這個集群必須實現全生命周期無停機的迭代,磁盤硬盤迭代的時候,磁盤可以實現插拔的方式,對整個集群沒有太大的影響,可以實現生命周期的迭代,可以保障整個數據長生命周期的存儲需要。

  • 百億級海量文件,高效檢索

大家知道,比如保險行業的保單,生命周期真的是超長,可能一輩子都用不到一回,對保險公司來說保單數量日益劇增,這樣數據量如何存儲下去,傳統是NAS,數量越來越龐大,當你想找到某一個文件,時間越來越長,大大影響保險行業對客戶體驗效果,運維管理也很復雜,如今利用這種海量小文件、小對象這樣一個能力,通過對象二層結構,加上對象標簽的鎖定,自定義的設計,可以實現毫秒級數據檢索,保障用戶隨機檢索信息,可以大大提升,雖然是長周期保存,也可以高效檢索。

  • 3級保障解決靜默錯誤風險

不知道大家對靜默錯誤理解有多少,可能就是基于這四個層面產生一些靜默錯誤問題。靜默錯誤對于存儲系統來說無感知的,剛才也講到數據寫入存儲的時候,存儲認為一致的正確的沒有問題的,靜默存儲存進去之后,不用這段時間發生錯誤,發生錯誤以后,存儲系統會發生一些故障風險,整個集群通過三級保障體系,實現靜默錯誤長期無憂的保存。在數據落盤之前必須保證數據沒問題的,數據寫入存儲系統以后,會啟動數據定期巡檢,整個集群當中,業務壓力不大的時候,半夜某一時刻對整個存儲集群的一個數據進行端到端的校驗,校驗某一個冗余數據是否有問題,如果有問題會立即校正,如果沒問題會反饋。如果發現問題,存儲集群會告警,會自動重建,重建以后會進行一個提示,本次報告清單,它的大致情況是什么樣子。通過三級保障體系,可以有效保證存儲集群長時間保存的時候靜默錯誤帶來的數據安全風險。

EDS通過3級保障解決數據長期保存帶來的靜默錯誤風險。首先,靜默錯誤最大的問題在于已經寫入存儲系統的數據,因外界因素造成數據損壞。而此時存儲系統無感知。只有當讀到此數據時才會發現數據不可用。如果存儲系統恰巧此時發生硬盤故障,且數據是損壞數據的冗余數據,那么,此數據丟失將不可恢復。

EDS通過3級逐步實現了數據安全保障。第一,強一致性落盤,所有落盤數據必須進行一致性校驗,保障數據無誤。第二,數據巡檢,EDS可根據策略實現數據巡檢功能,定期進行數據的安全掃描,比對校驗。確保數據安全可用。第三,自動修復,當EDS發現數據損壞時將會出發自動修復機制,可實現1T/30min的修復速率,快速修復縮短數據安全風險。

對于數據長期保存的用戶來說,第一個是法院,第二個是醫療。在青島市法院,一個區縣法院一年受理五千個八千個案例,每年數據增長量在幾十TB以上,保存三十年五十年的時候,數據量無限增長,如何提供高擴展性和高可靠性,深信服提供了三臺1210,可以滿足客戶系統對數據存儲系統容量的需求,未來增長的時候可以插盤插節點,高效滿足客戶對于未來存儲需求,滿足電子卷宗的同時,這套平臺可以提供塊存儲提供文件存儲,客戶未來有什么新業務上線,某個業務系統發生問題之后,可以無縫遷移,未來整個客戶里面一套存儲平臺,解決所有的數據存儲問題。

3) 應用場景三:數據中心統一存儲

大家最熟悉的、可能很多人一直都在致力于進行維護的就是數據中心,數據中心統一存儲。所謂的數據中心統一存儲更多起源于云數據中心,云數據中心計算層面實現資源的池化,存儲層面目前很多的解決方案都是一臺一臺獨立的(英)設備,意味著就是一個數據的獨立孤島,并沒有實現整個存儲層面資源池化,對于業務系統分析之后,發現了四個需求。

  • 高兼容:兼容多平臺,多存儲協議

兼容對于數據中心統一存儲至關重要。

需求多元化,意味著上層業務系統變多了,對存儲協議要求變的越來越復雜,這邊數據要塊,這邊共享文件協同辦公需要文件,視頻監控網盤需要對象等,傳統的方式一臺一臺獨立建,現在一套存儲解決,存儲平臺必須提供剛才說的這種協議。多廠商,有很多客戶建設區間不同,想進行統一管理,存儲發現結合不了,因此必須兼容多虛擬化平臺,滿足客戶對多虛擬化的要求。

EDS云存儲平臺可實現主流虛擬化的全兼容。首先EDS通過標準的X86服務器構建統一的存儲資源池,通過邏輯分區能力,可分別劃分不同的邏輯資源池,此池用于對接上層業務服務。通過協議網關層,EDS可分別提供iscsi、nfs、CIFS、s3等多種協議接口,滿足業務系統對于塊、文件、對象等多種存儲服務的需求。另一方面,EDS通過restful可實現第三方云管平臺的對接,實現集群的監控運維。真正實現一個數據一個界面監控管理。

  • 高性能:分布式、智能合并等機制提高IOPS和吞吐

接下來我們談談性能部分。

過去,存儲性能主要談的是IOPS,但在云數據中心的環境下,存儲必須同時具備高IOPS和高吞吐,要做到這兩點往往成本極高。而深信服EDS可以用高性價比方案來實現,首先EDS是分布式架構,通過多節點同時提供存儲服務,天然就比傳統存儲有高吞吐的優勢。其次,為了提高IOPS,我們研發了智能分類分層數據處理機制,這個技術的核心是智能化的業務感知,業務系統運行過程中,會產生隨機小IO、也會產生連續的大塊數據,深信服EDS會通過獨特的存儲算法,對不同讀寫要求進行分類處理,比如隨機小IO,優先通過內存和SSD進行加速,而連續大塊數據直接寫到普通硬盤上,最終通過這種IO路徑優化方式,可以將隨機讀寫的速度提高3-5倍。上圖有個實際的例子,深信服用3節點的2U存儲設備,性能就可以媲美傳統中高端全閃存儲,建設成本至少節省一半。

  • 高可靠:數據冗余保護機制+多重主動防御能力

傳統存儲的可靠性一般是通過冗余機制來做的,比如雙控、RAID、熱備盤等,分布式存儲有多副本、糾刪碼、快照復制等技術,但這還是相對被動的保護方式。

深信服EDS除了傳統冗余之外,有一個主動防御機制,在整個存儲集群運行過程中進行實時數據分析監控,增加了主動防御能力來保障可靠性,這里主要利用人工智能技術,實時收集各節點的信息進行綜合分析,可以做到在故障發生之前就能預判軟硬件的風險點,及時預警并提出修復意見??梢酝ㄟ^15天效果發現故障硬件,發現率達到98.5%,錯誤發生概率非常低,可以保障客戶系統故障發生來臨之前可以進行有效的安全防護,避免突發故障對于整個集群的穩定可靠一個安全影響。

舉個例子,硬盤屬于易損件,在出故障前會有一段時間的亞健康狀態,處于亞健康狀態的硬盤,業務依舊可以運行,但體驗、性能比正常要差一些,比如頻繁抖動、時延變高、溫度升高等,深信服EDS可以通過AI檢測系統盡早發現壽命即將完結的SSD磁盤或者出現慢盤的硬盤,并及時更換,從而保證整個存儲集群的健康狀態,防患于未然,避免突發故障造成的業務訪問中斷。

4)應用場景四:網盤/備份數據存儲場景

網盤和備份在深信服歸類為于數據強相關的應用場景,這就是剛才提到的第四點做數據價值挖掘、數據價值產生這么一個場景,其核心在這種場景里都是對于數據安全防護。

在數據化建設數據化轉型過程中,這一部分客戶需求變成剛需,有很多客戶說迫切上網盤,傳統的建設方式都是備份買網盤一體機等等設備,但這種方式會造成什么問題呢?一體機和真正主存儲之間又是數據孤島,無法實現數據全局共享,無法實現數據全局應用,造成不必要的麻煩,對其他平臺會造成連續阻礙。

EDS在此利用容器技術,在分布式存儲資源中劃出部分X86計算資源,進行系統封裝。將備份軟件、網盤軟件直接封裝到EDS存儲平臺中。假如客戶對于此類場景有需求時,只需像使用app 一樣進行授權激活即可輕松上線。此方案,不僅可以幫助用戶輕松的建設網盤應用、數據備份等,同時保障了數據的一平臺化。對于后續的數據管理、共享利用都會更加的便捷高效。深信服EDS深度融合,集成數據應用,不僅僅發揮數據價值,同時立足存儲,關注數據的安全和可用。

這是我們剛才架構圖,底下用都是標準級服務器,除了傳統以外,還有大量的空間還有大量的資源,基于此起了容器技術,向里面進行封裝一些和數據強相關的網盤歸檔備份或者簡單的數據倉等相關應用。這些應用部署以后,客戶有需求存在的,只需要像手機APP一樣進行激活可以實現安全服務數據服務,便捷幫助客戶進行挖掘數據的使用。

網盤、備份提供應用的同時,底層存儲依然是一個大的資源池,資源池可以保證客戶數據再一個大平臺里,可以共享可以利用。

深信服在融合應用的時候,始終關注發掘數據價值,同時立足于存儲更加關注數據的安全和可靠。

我今天的演講就到這里,謝謝大家。

編后:本次2019中國數據與存儲峰會(DATA & STORAGE SUMMIT)為期兩天,包含主論壇、CIO高峰對話,以及大數據、閃存系統、分布式存儲、第二存儲與容災備份、超融合與云存儲、人工智能、數據創新與安全可控、容器創新與應用、SCM第五代存儲與閃存控制器等十大主題論壇,超過100場的專業知識分享。初步統計,本屆峰會吸引了來自政、企、產、學、研、媒體等各方參會者約2000人,在線直播觀看觀眾再創新高,超過10萬余人次。

未經允許不得轉載:DOIT » 深信服楊歡:深信服軟件定義存儲EDS應用與實踐

免费六肖中特