QingStor NeonSAN全閃數字化實踐:生于云端的關鍵業務之選
發布日期:2020-04-29        

主題詞QingStor NeonSAN



 

 穩定可靠和高性能,是企業對存儲產品的兩個需求初衷,而隨著企業的業務規模快速增長、場景應用逐步云化,傳統SSD替換HDD的方式甚至是全閃陣列已難以應對業務擴展的需求,同時有些系統在成本上礙于集中式的硬件設計居高不下,運維難度也相對較高。此時,一些廠商就將目光投向了分布式全閃架構,這也是青云QingCloud正在采用的做法。

     

 近年來,SSD成為存儲行業新的增長驅動力,全閃部署已是大勢所趨。相較于HDD,SSD的IOPS性能和低延遲有著質的提升,單盤容量受益于NAND顆粒成本降低,以及單盤NAND密度的增加,與市場上主流的HDD相比幾乎相當。QingStor NeonSAN正式發布三年以來,已廣泛服務于金融、能源、制造、醫療、傳媒等行業,支撐了企業核心業務應用。由于采用了分布式架構和專為全閃設計的軟件棧,使得其可擴展性、性能表現、部署成本均有優勢,基于標準x86硬件和標準NVMe SSD盤的設計也讓其有著很好的通用性。

     

在IDC最新發布的《中國軟件定義存儲及超融合市場跟蹤研究報告,2019Q4》中,青云QingCloud旗下QingStor企業級分布式存儲和青立方超融合雙雙入圍核心廠商。其中,QingStor NeonSAN連續兩年入圍,躋身軟件定義塊存儲市場四強,并且帶動QingStor企業級分布式存儲近三年復合增長率超過600%。憑借高可靠、高可用、高性能的存儲服務,誕生于全閃時代的QingStor NeonSAN已成為企業核心業務云化轉型的首選。

<%@=4000:%>
 

QingStor NeonSAN

     

就像名稱中的“Ne”元素一樣,QingStor NeonSAN自設計之初就將穩定可靠視為立身之本,并且由于是完全基于SSD新介質設計的全閃架構和軟件棧,可以最大程度發揮硬件的高性能。“青云QingCloud從起初做公有云開始,云硬盤就是軟件定義存儲技術的簡單雛形。青云QingCloud做存儲的理念,從一開始到現在都是和云緊密相連的。我們的產品更匹配云原生應用,適合在云上跑的分布式應用,對此QingStor NeonSAN有一些心得,在產品表現上也有自己明顯的優勢。”QingStor存儲產品經理馮相東說。

     

 產品設計上,QingStor NeonSAN通過對數據、軟件架構和硬件組網的高可靠設計,可靠性可以達到9個9。同時,單卷性能超過10萬IOPS,三節點集群性能可達到100萬IOPS以上,時延控制在90微秒的量級,單卷容量達到100TB以上。節點擴容方面,1個集群可擴展至4096節點,保證性能和容量隨節點增加而線性增長。數據層、控制層、前端接口(為各種應用客戶端使用),以及管理運維,共同組成了QingStor NeonSAN的核心模塊組件。

     

 馮相東介紹稱,QingStor NeonSAN從三個維度構建了穩定高可靠的架構。軟件高可用方面,青云QingCloud梳理了I/O路徑上的所有軟件模塊,在每一個關鍵軟件模塊上都做了高度冗余處理,每個處理I/O的模塊會有3個以上的高可用模塊同時承擔任務,當其中任何模塊發生異常或者硬件錯誤時,其他模塊可以做接管。其中,ZooKeeper服務、元數據服務、管理服務、數據存儲服務、接入服務等核心組件均冗余且高可用,并且可以自動切換。

     

數據高可用方面,主要通過數據分片和多副本策略,提供了多副本間數據的強一致。“我們在做數據處理時,每寫入一筆I/O,比如寫入一個A,一定要在集群(例如三節點的集群)的每個節點上把這個A 100%確認完全寫入后,才會對上層應用返回,通知這筆寫入完成了。保證在寫入數據時,寫入到3個完全可靠,100%一致的副本上。這3個副本其中任意1個或者2個副本發生損壞時,還有可用數據給前端業務使用,不會對數據本身的可用性產生任何影響。讀的時候,我們會選取3個副本中的1個副本作為主副本,以保證讀的時候,整體效率達到最高。”馮相東說。

     

硬件高可用方面,青云QingCloud采用多層冗余的硬件架構,比如最小規模是3節點集群,當任意一個節點宕掉時,其他節點可以正常提供業務。網絡組網時,每個節點都有冗余的網口對外提供業務,其中任何一個網口發生故障時,該網口的業務流量會轉到另一個正常的網口上,繼續提供服務。在每個存儲節點之間,數據交互有專門的存儲網絡,連接后端交換機。在存儲網絡的處理上,青云QingCloud會在每個節點上選取兩個網口連接后端交換機,同樣具備容錯能力。

     

除了高可用之外,性能表現同樣關鍵。為此,青云QingCloud針對三個環節進行了深度處理。首先,在壓力測試時可以讓NVMe SSD的硬件性能達到80%甚至是90%,遠高于同類開源產品的標準,在節點通訊上引入支持RDMA的網絡技術,大幅降低節點間數據同步時延和CPU消耗;其次,塊存儲I/O從應用直接落到裸盤上,中間不會使用文件或對象存儲作為中間格式,達到最簡I/O路徑,從客戶端發送I/O請求開始,在NeonSAN只經過存儲軟件和SSD設備兩步;此外,分布式存儲架構的設計支持橫向擴展,可以讓性能和容量得到很好的線性擴容。

     

 QingStor NeonSAN的部署場景主要分為兩種:作為后端各種云、虛擬化平臺的數據盤,作為關系型數據庫后端的塊存儲平臺。同時,也會為物理機后端數據盤的資源池、大數據分析提供存儲平臺,以及為容器平臺提供持久性存儲方案。為此,QingStor NeonSAN為容器環境做了很多優化適配,不僅可以通過CSI插件對接原生Kubernetes平臺和青云QingCloud的KubeSphere容器平臺,還可以對接青云QingCloud分布式數據庫RadonDB。

     

目前,QingStor NeonSAN已覆蓋主流的云及虛擬化平臺,包括青云QingCloud、VMware、OpenStack、Hyper-V等等。例如,QingStor NeonSAN是VMware的技術合作伙伴,獲得了VMware Storage ready認證,并且支持VMware VAAI-Block功能,可以為VMware虛擬機提供高級功能,使其直接調用存儲端的高級特性,更高效地滿足VMware虛擬化數據中心的存儲需求。

     

當然,使用QingStor NeonSAN替代傳統存儲并不是馬上就可以承接全部核心業務,青云QingCloud為此構建了一套完整的方案,包括獲取需求、引入利益相關者、了解環境的約束條件、測算數據庫負載,調整遷移策略,以及后續的長期規劃等,還對整套系統進行監控和調優。

     

 某保險集團在2015年獲得互聯網保險牌照,通過兩年的運營其業務容量增長62倍,IT基礎架構虛擬資源集群達到百倍提升,核心數據庫的快速增長導致原有架構難以為繼。切換到青云QingCloud后,客戶的整體業務系統效率提升了100%,運維層面的改造周期從月縮短至天,橫向擴容的特性使得增加存儲節點就可以線性提升容量和性能。

     

 某省國電在進行ERP云化遷移時,原有的SAP版本較為老舊,CI+DI架構出現了不少問題,緊耦合的組件在擴容時非常不方便,而且一旦某一臺服務器出現問題后,HA切換時間較長,對業務影響很大,響應也會受阻。對此,青云QingCloud從咨詢開始,幫助客戶在架構設計、業務遷移等方面都進行了重新構建,將原來的兩個組件擴展到四個組件,使得HA切換時間從10分鐘縮短至1分鐘左右,同時避免了會話進程相互影響,保障業務的連續性,成本也得到大幅度降低。

     

一直以來,華潤創業都在使用青云QingCloud云平臺,并借此將核心業務遷移上云,部署了應用級災備。在架構升級時,華潤創業直接接入QingStor NeonSAN分布式集群,然后對Oracle RAC業務進行改造,整個過程中僅涉及數據遷移,業務環境無需改造,只需在Oracle上添加QingStor NeonSAN共享盤,由NeonSAN自身機制提供數據遷移,大幅削減了工作量。


華潤創業部署架構

     

在應用級容災的架構設計上,青云QingCloud在華潤創業的生產中心、災備中心分別建立了兩個zone(區域),由Global(全局)做統一管理。通過資源編排,將主區的業務架構快速復制到備區,同時管理數據會進行自動同步。核心業務部分,利用QingStor NeonSAN異步復制機制完成數據同步,通過異步復制網關將兩邊的數據進行同步,在云平臺上結合QingStor NeonSAN提供災備演練、切換、回切等功能,實現災備的統一管理。

     

重慶市勘測院希望構建一個高效可靠的存儲平臺,滿足多節點大塊數據讀寫,利用分布式存儲系統保證后期業務順滑擴容,存儲系統能夠適配多業務,實現簡單運維。“這個項目是QingStor NeonSAN與VMware虛擬化平臺連接的案例。”青云QingCloud資深解決方案架構師鄭子塵說。


重慶市勘測院分布式存儲資源池

      

升級改造之后,企業級分布式存儲為客戶的核心業務提供了高性能,保障其數據高可用,有效避免了傳統SAN陣列縱向擴容的問題。借助分布式橫向擴容,可以省去額外的數據遷移工作,使得擴容時間大幅縮短80%以上。通過企業級分布式存儲方案,為后續其他業務向云計算架構轉型奠定了基礎。

     

 “青云QingCloud擅長做數字化轉型整體解決方案的交付,從傳統數據庫一體機向x86平臺遷移、SAP ERP等核心應用上云,包括構建災備中心,支撐大數據、AI應用,支撐VMware虛擬化平臺等等。我們可以提供端到端的核心業務云化方案,會跟客戶做一對一咨詢,設計適合的云化方案,將其核心業務做云化遷移。”鄭子塵表示,“QingStor NeonSAN是真正可以承載核心業務的國產企業級分布式塊存儲。我們在案例里看到的都是企業的核心業務,最重要的數據庫、ERP、業務系統,全部跑在QingStor NeonSAN上。”

 


來源:中關村在線-云計算專題
點擊查看網絡原文>>

版權所有@ 北京市電子科技情報研究所 京公網安備 11010102003025號

地址:北京市東城區北河沿大街79號  郵編:100009  Email:[email protected]

在線人數:628

當日訪問計數:26933

累計訪問計數:56339005

三大股票指数