海量數(shù)據(jù) 如何“存得下”

首先，要有足夠的空間承載“東數(shù)西算”工程的海量數(shù)據(jù)。

存儲(chǔ)作為數(shù)字世界的載體和基石，數(shù)據(jù)存力以存儲(chǔ)容量為核心，存儲(chǔ)裝機(jī)容量直接代表著國(guó)家和企業(yè)在數(shù)據(jù)時(shí)代的核心競(jìng)爭(zhēng)力。日前，Gartner公布2022年一季度全球存儲(chǔ)市場(chǎng)報(bào)告，報(bào)告顯示，本季度全球存儲(chǔ)市場(chǎng)裝機(jī)容量12.7EB，同比增長(zhǎng)5.4%；其中浪潮存儲(chǔ)裝機(jī)容量同比增長(zhǎng)39.7%，七倍市場(chǎng)平均增速，裝機(jī)容量達(dá)到1499PB，位列全球前三、中國(guó)第一。浪.潮存儲(chǔ)作為國(guó)際和國(guó)內(nèi)存力擔(dān)當(dāng)，相當(dāng)于全球每增加100TB數(shù)據(jù)存儲(chǔ)裝機(jī)容量，就有11.5TB數(shù)據(jù)存在浪潮存儲(chǔ)中，產(chǎn)品成熟度和競(jìng)爭(zhēng)力得到了市場(chǎng)的驗(yàn)證。

浪潮存儲(chǔ)裝機(jī)容量全球前三、中國(guó)第一

其次，保證數(shù)據(jù)在8個(gè)樞紐、10個(gè)數(shù)據(jù)中心之間進(jìn)行快速、高效、安全傳輸。

浪潮存儲(chǔ)擁有業(yè)界領(lǐng)先的智能WAN加速技術(shù)，采用了免費(fèi)內(nèi)置的業(yè)務(wù)模式，通過提高網(wǎng)絡(luò)帶庫(kù)利用率，將WAN傳輸性能、帶寬提升10倍以上。具體方法為，浪潮存儲(chǔ)采用多數(shù)據(jù)流并發(fā)傳輸機(jī)制：一方面在發(fā)送端，會(huì)將每個(gè)數(shù)據(jù)流進(jìn)行免license壓縮，可實(shí)現(xiàn)2-5倍的數(shù)據(jù)壓縮比；再將壓縮后的數(shù)據(jù)流切成多個(gè)固定大小的數(shù)據(jù)塊，給數(shù)據(jù)塊打上序號(hào)和校驗(yàn)碼，然后向傳輸通道傳輸各個(gè)數(shù)據(jù)流的定長(zhǎng)數(shù)據(jù)塊，源源不斷的發(fā)送過去。另一方面在接受端，對(duì)每個(gè)定長(zhǎng)數(shù)據(jù)塊進(jìn)行校驗(yàn)，一旦發(fā)現(xiàn)數(shù)據(jù)塊有誤或丟失，就反饋給發(fā)送端，發(fā)送端只需要重新傳輸這個(gè)小的定長(zhǎng)數(shù)據(jù)塊，不需要重傳整個(gè)數(shù)據(jù)流。同時(shí)，對(duì)數(shù)據(jù)塊進(jìn)行排序和解壓縮，還原成各個(gè)數(shù)據(jù)流的完整版。

浪潮存儲(chǔ)的WAN加速技術(shù)

東數(shù)西算 如何存得好

在全球積極應(yīng)對(duì)氣候變化目標(biāo)下，綠色低碳成為數(shù)據(jù)中心的重要發(fā)展方向，中國(guó)經(jīng)過充分論證研究，規(guī)劃布局了8大國(guó)家樞紐節(jié)點(diǎn)，引導(dǎo)大規(guī)模數(shù)據(jù)中心適度集聚，通過實(shí)施“東數(shù)西算”工程，積極探索構(gòu)建形成以數(shù)據(jù)流為導(dǎo)向的新型格局。在“碳達(dá)峰、碳中和”大背景下，數(shù)據(jù)中心產(chǎn)業(yè)變革的核心環(huán)節(jié)在于綠色節(jié)能數(shù)據(jù)中心的高質(zhì)量發(fā)展，通過先進(jìn)節(jié)能技術(shù)、高效協(xié)同網(wǎng)絡(luò)和可再生能源來使能數(shù)據(jù)中心自身和高耗能行業(yè)節(jié)能降碳，促進(jìn)實(shí)現(xiàn)“碳達(dá)峰、碳中和”的宏偉戰(zhàn)略目標(biāo)。

首先，存儲(chǔ)底座要采用綠色節(jié)能技術(shù)，降低數(shù)據(jù)中心PUE值。

全閃存儲(chǔ)是實(shí)現(xiàn)綠色節(jié)能的核心技術(shù)。隨著閃存介質(zhì)的不斷發(fā)展，其高性能、低延時(shí)、低功耗的優(yōu)勢(shì)使其成為數(shù)據(jù)中心的寵兒，全閃存儲(chǔ)的占比在國(guó)內(nèi)已達(dá)到24%，存儲(chǔ)介質(zhì)閃存化將是未來數(shù)據(jù)中心的發(fā)展趨勢(shì)。2019年，浪潮就在業(yè)內(nèi)率先提出新數(shù)據(jù)存儲(chǔ)戰(zhàn)略，并打造出極致可靠、高效的HF系列全閃存儲(chǔ)。HF系列從SSD核心器部件，到存儲(chǔ)操作系統(tǒng)，再到算法進(jìn)行全面創(chuàng)新，保障存儲(chǔ)系統(tǒng)穩(wěn)定可靠運(yùn)行。HF系列不斷打磨“iTurbo 2.0智能加速引擎”，優(yōu)化資源調(diào)度算法，利用更多的CPU核心和線程承載更多數(shù)據(jù)存儲(chǔ)進(jìn)程，在存儲(chǔ)性能委員會(huì)組織的SPC-1國(guó)際基準(zhǔn)測(cè)試中，以2300萬(wàn)IOPS的評(píng)測(cè)值奪得性能總榜全球第一。2022年，浪潮全新推出了新一代SSD高速存儲(chǔ)介質(zhì)，能效比上一代產(chǎn)品提升70%以上，能夠幫助存儲(chǔ)系統(tǒng)實(shí)現(xiàn)綠色低碳。

實(shí)時(shí)無(wú)損在線重刪壓縮技術(shù)能夠幫助數(shù)據(jù)中心提升空間利用效率。借助全閃存儲(chǔ)的高性能、低延時(shí)、低功耗的優(yōu)勢(shì)，利用業(yè)界領(lǐng)先的實(shí)時(shí)無(wú)損在線重刪壓縮技術(shù)，可實(shí)現(xiàn)相同空間內(nèi)存儲(chǔ)幾倍甚至幾十倍的數(shù)據(jù)，幫助節(jié)約能耗，實(shí)現(xiàn)綠色低碳。

以壓縮為例，浪潮壓縮技術(shù)原理如下：其一，將壓縮數(shù)據(jù)8byte對(duì)齊，拿8K字節(jié)數(shù)據(jù)舉例，壓縮空間利用率99.8%；其二采用內(nèi)置獨(dú)立加速芯片，對(duì)性能時(shí)延無(wú)影響；其三，當(dāng)寫入數(shù)據(jù)時(shí)，基于弱哈希+字節(jié)對(duì)比，確保重刪效率數(shù)據(jù)一致性；最后基于前壓縮方式，實(shí)現(xiàn)數(shù)據(jù)在緩存中壓縮（專用緩存和壓縮芯片），數(shù)據(jù)存入到磁盤是壓縮后的數(shù)據(jù)量，并通過固定條帶技術(shù)，充分利用空間。據(jù)測(cè)算，數(shù)據(jù)庫(kù)類應(yīng)用壓縮比例為2:1-5:1,日志型應(yīng)用最大壓縮比例可達(dá)10:1。

東數(shù)西算 如何實(shí)現(xiàn)多協(xié)議融合

“萬(wàn)物之始，大道至簡(jiǎn)”，目前企業(yè)的數(shù)據(jù)類型越來越豐富，“多合一”架構(gòu)成為企業(yè)分布式存儲(chǔ)選型的剛需。浪潮分布式存儲(chǔ)追求極簡(jiǎn)，是業(yè)內(nèi)首個(gè)支持四合一架構(gòu)的融合存儲(chǔ)，用戶購(gòu)買一套存儲(chǔ)享有文件、塊、對(duì)象和大數(shù)據(jù)四種服務(wù)，其中文件、對(duì)象和大數(shù)據(jù)3種存儲(chǔ)服務(wù)間可訪問同一份數(shù)據(jù)，數(shù)據(jù)無(wú)需在不同設(shè)備間遷移和拷貝，實(shí)現(xiàn)存一份數(shù)據(jù)相當(dāng)于存了3份，構(gòu)建成真正的統(tǒng)一存儲(chǔ)資源池，業(yè)務(wù)處理效率翻倍提升，滿足性能需求的同時(shí)，幫助IT投資運(yùn)維成本節(jié)約30%以上，實(shí)現(xiàn)綠色低碳。

同時(shí)，還可以對(duì)數(shù)據(jù)進(jìn)行自動(dòng)化運(yùn)維，降低運(yùn)維復(fù)雜度。在數(shù)據(jù)運(yùn)維方面，浪潮基于智能統(tǒng)一存儲(chǔ)管理平臺(tái)InView，實(shí)現(xiàn)數(shù)據(jù)中心“硬盤級(jí)”的性能、容量、故障智能預(yù)測(cè)。與傳統(tǒng)存儲(chǔ)運(yùn)維相比，傳統(tǒng)運(yùn)維在系統(tǒng)運(yùn)維、管理中缺少精細(xì)化管理策略，僅僅對(duì)主機(jī)運(yùn)行做管控，忽略了存儲(chǔ)最小物理單元硬盤運(yùn)維。通過統(tǒng)一的存儲(chǔ)數(shù)據(jù)管理平臺(tái)實(shí)現(xiàn)多套存儲(chǔ)平臺(tái)統(tǒng)一管理，通過統(tǒng)一入口，實(shí)現(xiàn)對(duì)統(tǒng)一存儲(chǔ)和海量存儲(chǔ)的的精細(xì)管理，嵌入式設(shè)計(jì)，對(duì)外始終只呈現(xiàn)一個(gè)系統(tǒng)頁(yè)面，標(biāo)簽欄切換式操作，多設(shè)備間自如切換。能支持在統(tǒng)一的管理軟件內(nèi)，實(shí)現(xiàn)對(duì)存儲(chǔ)系統(tǒng)的容災(zāi)復(fù)制管理，輕松構(gòu)建跨設(shè)備容災(zāi)。 集成AIOPS 功能，針對(duì)分布式海量存儲(chǔ)，可以實(shí)現(xiàn)對(duì)磁盤故障的提前預(yù)測(cè)和告警。提供統(tǒng)一資源存儲(chǔ)管理平臺(tái)，對(duì)存儲(chǔ)系統(tǒng)進(jìn)行集中管理、智能監(jiān)測(cè)和故障預(yù)測(cè)，硬盤兩周時(shí)間預(yù)測(cè)準(zhǔn)確率可以達(dá)到95%以上，增強(qiáng)了東數(shù)西算數(shù)據(jù)中心的健壯性——從以前被動(dòng)的硬盤壞了以后進(jìn)行搶救變成主動(dòng)提前預(yù)測(cè)，有足夠時(shí)間窗口對(duì)壞盤提前進(jìn)行數(shù)據(jù)重構(gòu)，讓EB存儲(chǔ)“巨無(wú)霸”穩(wěn)健、連續(xù)運(yùn)行。

“東數(shù)西算”工程是對(duì)堅(jiān)持新發(fā)展理念、構(gòu)建新發(fā)展格局的貫徹落實(shí)，將為中國(guó)數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化發(fā)展打好堅(jiān)實(shí)底座。數(shù)據(jù)存儲(chǔ)作為支撐東數(shù)西算工程建設(shè)的底層關(guān)鍵技術(shù)，高效、安全、綠色、易管理的重要性不言而喻。浪潮存儲(chǔ)以全球前三、中國(guó)第一的裝機(jī)容量“存下”海量數(shù)據(jù)，通過智能WAN加速技術(shù)確保數(shù)據(jù)傳輸快速、高效、安全，通過全閃介質(zhì)、實(shí)時(shí)無(wú)損在線重刪壓縮、多協(xié)議融合等綠色節(jié)能技術(shù)“存好”數(shù)據(jù)，并通過智能化運(yùn)維InView使數(shù)據(jù)中心間的運(yùn)維更加簡(jiǎn)便。

東數(shù)西算工程剛剛啟幕，面向未來，浪潮存儲(chǔ)將持續(xù)秉承“云存智用，運(yùn)籌新數(shù)據(jù)”理念，不斷加快研發(fā)創(chuàng)新腳步，激活數(shù)據(jù)源力，釋放數(shù)據(jù)潛能，支撐數(shù)字化創(chuàng)新應(yīng)用，服務(wù)數(shù)字化中國(guó)建設(shè)，推動(dòng)?xùn)|數(shù)西算邁向新征程。