omniture

浪潮存儲聯(lián)合華中大,探索科研新基建背后的大數(shù)據(jù)奧秘

2020-09-23 15:48 8815
近期,浪潮云數(shù)智中國行武漢峰會成功舉辦。會上,華中科技大學(xué)計算機(jī)學(xué)院院長馮丹教授表示:“當(dāng)前科研領(lǐng)域在存儲等基礎(chǔ)設(shè)施方面主要有容量、性能和穩(wěn)定性三個典型挑戰(zhàn)。”

北京2020年9月23日 /美通社/ -- 一直以來,從腦疾病的研究到大腦功能的解密,科學(xué)家從未停止過對大腦探索的步伐。在華中科技大學(xué)蘇州腦空間信息研究院,科學(xué)家們正在做一件對于腦科學(xué)研究具有里程碑意義的事情:繪制一張可能是世界上最復(fù)雜的“地圖” -- 靈長類全腦的三維圖譜。

以小鼠三維腦圖譜為例,科學(xué)家們通常先對小鼠進(jìn)行腦成像:將鼠腦標(biāo)本固定,用金剛刀從上至下、從左至右,將鼠腦標(biāo)本順次切成1微米厚度的薄片,一邊切片一邊拍照,照片實時存儲到計算機(jī)系統(tǒng)之中。當(dāng)鼠腦成像結(jié)束,腦科學(xué)家再根據(jù)這些二維照片合成三維腦圖譜。

一個小鼠全腦有超7000萬個神經(jīng)元,繪制小鼠腦圖譜需要15380張圖片,未壓縮的數(shù)據(jù)量高達(dá)8TB。人腦的體積大約是小鼠腦的1500倍,擁有860億個神經(jīng)元,人腦的三維圖譜數(shù)據(jù)量將會再提升幾個量級?,F(xiàn)如今,單純的腦成像已經(jīng)不成問題,但成像之后巨大的數(shù)據(jù)量如何存儲和分析成為當(dāng)下腦科學(xué)等多個科研領(lǐng)域最為棘手的挑戰(zhàn)。

是什么阻礙了“腦洞大開”

華中科大蘇州腦空間信息研究院所遇到的情況是科研機(jī)構(gòu)在新數(shù)據(jù)時代下的一個縮影。

一方面,得益于國家經(jīng)濟(jì)實力的不斷提升,科學(xué)研究投入持續(xù)加大。根據(jù)《2019年全國科技經(jīng)費(fèi)投入統(tǒng)計公報》顯示,2019年全國研究與試驗發(fā)展經(jīng)費(fèi)首次突破2萬億元,達(dá)到22143.6億元,同比增長12.5%。

另一方面,數(shù)字化正在改變科研模式,過去相對薄弱的數(shù)字基礎(chǔ)設(shè)施開始面臨升級,亟需符合未來研發(fā)需求的新型基礎(chǔ)設(shè)施。正如發(fā)改委今年首次明確了新基建的范圍,將支撐科學(xué)研究等具有公益性質(zhì)的重大科技、科教基礎(chǔ)設(shè)施劃分為創(chuàng)新基礎(chǔ)設(shè)施,屬于新基建未來重點投入方向。

“當(dāng)前科研領(lǐng)域在存儲等基礎(chǔ)設(shè)施方面主要有容量、性能和穩(wěn)定性三個典型挑戰(zhàn)?!比A中科技大學(xué)計算機(jī)學(xué)院院長馮丹教授在浪潮云數(shù)智中國行武漢峰會上如是說。

華中科技大學(xué)計算機(jī)學(xué)院院長馮丹教授
華中科技大學(xué)計算機(jī)學(xué)院院長馮丹教授

與其他行業(yè)相比,數(shù)據(jù)在科研領(lǐng)域的生產(chǎn)要素屬性更加快速顯現(xiàn)??蒲袛?shù)據(jù)往往具有數(shù)據(jù)密集型范式的特點,具有數(shù)據(jù)量巨大的特征。以目前世界上靈敏度最高的射電望遠(yuǎn)鏡中國天眼項目為例,每天產(chǎn)生約500TB的零級未壓縮數(shù)據(jù),預(yù)計未來十年數(shù)據(jù)量將超過100PB,對長期運(yùn)行產(chǎn)生的海量數(shù)據(jù)進(jìn)行存儲與計算分析正在深刻改變其科研模式,如何存儲與保護(hù)這些海量數(shù)據(jù)就成為巨大挑戰(zhàn)。

此外,隨著海量數(shù)據(jù)的產(chǎn)生,科研機(jī)構(gòu)通常希望能夠讓數(shù)據(jù)采集、處理和存儲的速度提升,以更好、更快支撐起科學(xué)研究。馮丹教授表示:“科研項目對于性能一直很關(guān)注。早年前,像新材料研發(fā)這些研究可能數(shù)據(jù)量不會很大,但對于后端存儲性能要求極高?,F(xiàn)在,科研的數(shù)據(jù)量普遍很大,對于存儲性能的要求就更高了?!?/p>

例如,華中科大蘇州腦空間信息研究院存儲人腦三維圖譜數(shù)據(jù),如果采用之前的成像系統(tǒng),一臺系統(tǒng)至少需要花費(fèi)20年時間才能完成數(shù)據(jù)的采集,這無疑是當(dāng)前科研機(jī)構(gòu)們所不能接受的,因此需要存儲具有分布式橫向擴(kuò)展能力,提升其并發(fā)性能,讓數(shù)據(jù)的采集與分析更加快速,確保其研究項目的高效。

第三就是穩(wěn)定和可靠,科研數(shù)據(jù)除了數(shù)據(jù)量之外,高質(zhì)量與完整性也至關(guān)重要,因此對于存儲系統(tǒng)的穩(wěn)定性和可靠性要求越來越高。存儲越穩(wěn)定和可靠,意味著對高質(zhì)量科研數(shù)據(jù)的存儲與完整就越有保障。

以清華大學(xué)RUSH腦成像研究項目為例,其對擁有1億神經(jīng)元的小鼠大腦進(jìn)行研究,28臺1200萬像素相機(jī)以每秒30幀、連續(xù)72小時的方式對小鼠進(jìn)行拍攝,每天將產(chǎn)生2.7PB左右的數(shù)據(jù),最后將這些圖片拼接成三維圖像序列,存儲系統(tǒng)需要滿足最長72小時拍攝過程中PB數(shù)據(jù)不丟幀。

事實上,在新數(shù)據(jù)時代加速到來的今天,包括科研領(lǐng)域的各行各業(yè)都在加快數(shù)字化的步伐,也直接驅(qū)動著存儲等基礎(chǔ)設(shè)施走向新的變革。

為數(shù)字化提速,存儲有哪些重要趨勢

當(dāng)下,數(shù)據(jù)正在成為最重要的生產(chǎn)要素,是數(shù)字化轉(zhuǎn)型和智能化升級的基礎(chǔ)。年初的《關(guān)于構(gòu)建更加完善的要素市場化配置體制機(jī)制的意見》報告中首次新增“數(shù)據(jù)”要素,并指出要發(fā)揮“數(shù)據(jù)”這一新型要素對其他要素效率的倍增作用,使數(shù)據(jù)成為推動經(jīng)濟(jì)高質(zhì)量發(fā)展的新動能。

這恰恰是新數(shù)據(jù)時代到來的體現(xiàn)。就像科研領(lǐng)域越來越重視數(shù)據(jù)一樣,各行各業(yè)都渴望充分利用數(shù)據(jù)的價值、為數(shù)字化提速,使得與數(shù)據(jù)密切打交道的存儲呈現(xiàn)出重要的新趨勢?!霸跀?shù)據(jù)呈現(xiàn)爆炸性增長的趨勢下,隨著算力的提升和數(shù)據(jù)的積累,大數(shù)據(jù)智能成為發(fā)展趨勢,也給存儲系統(tǒng)帶來一系列新變化?!瘪T丹教授直言。

馮丹教授介紹,存儲在PCM、3D NAND、3DXPoint等芯片器件上創(chuàng)新,將進(jìn)一步帶動存儲設(shè)備、系統(tǒng)、架構(gòu)和軟件的創(chuàng)新,“面向大數(shù)據(jù)的存儲首先是以數(shù)據(jù)為中心,圍繞數(shù)據(jù)做相應(yīng)處理,其次是近數(shù)據(jù)處理,在離數(shù)據(jù)最近的地方做處理,減少數(shù)據(jù)傳輸帶來的性能損耗;第三則是實現(xiàn)存算一體化或存算融合,直接在存儲中進(jìn)行處理。另外,智能相關(guān)技術(shù)也會加速融入到存儲系統(tǒng)之中,提升存儲系統(tǒng)性能、可管理性等?!?/p>

浪潮存儲
浪潮存儲

浪潮存儲作為近年來存儲市場上快速崛起的代表廠商,則認(rèn)為未來存儲的發(fā)展理念是“云存智用運(yùn)籌新數(shù)據(jù)”,體現(xiàn)到存儲趨勢,可以提煉為三個字:云、閃、智。

首先是“云存”,即存儲需要與云進(jìn)行全面對接。云計算已經(jīng)走向普及,企業(yè)上云的趨勢不可阻擋,混合或者多云環(huán)境將會成為常態(tài)。無論是公有云還是私有云,存儲層實現(xiàn)對它們的對接,將極大有利于數(shù)據(jù)的流動。葉毓睿介紹:“存儲與私有云管理平臺的對接,有利于私有云管理平臺按需驅(qū)動存儲資源的創(chuàng)建、調(diào)整、優(yōu)化甚至回收;而存儲與公有云對接,則有利于更好地使用公有云彈性的資源,讓數(shù)據(jù)流動起來?!?/p>

另外,存儲加速實現(xiàn)全閃化也是大勢所趨。借助于閃存介質(zhì)成本的不斷下降、NVMe、RDMA等與閃存相關(guān)的技術(shù)逐漸走向成熟,閃存在存儲系統(tǒng)中的門檻愈發(fā)下降。隨著基于閃存介質(zhì)的技術(shù)堆棧走向完善,全閃存存儲在性能、功能和容量三者之間有望實現(xiàn)“魚與熊掌可兼得”,有望在更多用戶中得到落地。

第三則是存儲快速邁向智能化。一方面,存儲自身會融入更多人工智能技術(shù),根據(jù)業(yè)務(wù)負(fù)載、運(yùn)維管理等數(shù)據(jù)特征,進(jìn)行不斷的學(xué)習(xí)與優(yōu)化,從而提供更加精準(zhǔn)的預(yù)警信息和執(zhí)行動作。馮丹教授也表示:“融入智能化是存儲的大勢所趨。例如,華中大在研究的主動對象存儲技術(shù)中,最主要體現(xiàn)的就是智能性,讓存儲系統(tǒng)并不是簡單的啞設(shè)備被動響應(yīng)請求,而是會根據(jù)歷史負(fù)載預(yù)測未來趨勢,讓存儲系統(tǒng)可以感知應(yīng)用需求,然后采用不同的策略更好地服務(wù)不同的應(yīng)用?!?/p>

雙方共同探討存儲技術(shù)趨勢
雙方共同探討存儲技術(shù)趨勢

另一方面,AI技術(shù)正在加速落地,但AI準(zhǔn)備、訓(xùn)練、推理和歸檔等各階段的IO特征不同,對于存儲需求也不同,將會進(jìn)一步推動AI存儲產(chǎn)品加速到來?!袄?,AI在模型訓(xùn)練階段的IO特征為高帶寬、低延時和隨機(jī)小IO;而推理階段的IO特征是讀寫混合,要求存儲延時低,能夠快速響應(yīng)?!比~毓睿補(bǔ)充道。

“新數(shù)據(jù)時代”做好準(zhǔn)備

IDC《2019年數(shù)據(jù)及存儲發(fā)展研究報告》中指出,新數(shù)據(jù)時代表現(xiàn)出的新數(shù)據(jù)特征:數(shù)據(jù)增長、企業(yè)對實時數(shù)據(jù)需求增加、多云部署模式成趨勢、多元和非結(jié)構(gòu)化數(shù)據(jù)成為常態(tài)。從本質(zhì)上來看,存儲需要為用戶在新數(shù)據(jù)時代下更好地存好、用好和調(diào)度好數(shù)據(jù),為其數(shù)字化轉(zhuǎn)型和智能化升級提供支撐。

在眾多廠商中,浪潮存儲近年來已經(jīng)成為市場中一股不可或缺的力量。根據(jù)IDC最新數(shù)據(jù)顯示,浪潮存儲在今年第二季度出貨量躍居中國第二,增長速度位列中國第一,并且增速遠(yuǎn)超其他廠商。這背后是浪潮存儲致力于幫助用戶為“新數(shù)據(jù)時代”做好準(zhǔn)備的戰(zhàn)略布局。

2020浪潮云數(shù)智中國行武漢站
2020浪潮云數(shù)智中國行武漢站

浪潮存儲在戰(zhàn)略上提出了“云存智用,運(yùn)籌新數(shù)據(jù)”的理念,打造存儲平臺戰(zhàn)略,重點發(fā)展分布式存儲和閃存存儲等新存儲,并致力于打造存儲七大極致能力,更好地幫助用戶在多元化、應(yīng)用復(fù)雜化的數(shù)據(jù)全局中將數(shù)據(jù)存好、用好和調(diào)度好,更好地發(fā)揮出數(shù)據(jù)價值。

為更好地支撐起“云存智用,運(yùn)籌新數(shù)據(jù)”理念,浪潮存儲在過去幾年投入了20億元巨資攻關(guān)存儲核心技術(shù)的突破,比如浪潮存儲幾年前開始布局閃存盤,其NVMe SSD已經(jīng)在浪潮服務(wù)器中進(jìn)行搭載售賣,接下來還會在集中式存儲和分布式存儲中搭載;另外,浪潮存儲在存儲架構(gòu)上將致力于打造出融合分布式和集中式架構(gòu)優(yōu)勢的新存儲架構(gòu),以實現(xiàn)“一個數(shù)據(jù)中心,一套存儲”的愿景目標(biāo)。

浪潮存儲短短幾年的飛速成長,同樣離不開強(qiáng)大人才體系的打造。浪潮存儲從過去幾十人的規(guī)模如今成長為上千人的團(tuán)隊,其研發(fā)、市場、銷售人才體系不斷充實與壯大。此外,浪潮存儲還注重與華科大等高校、科研機(jī)構(gòu)緊密合作,共同公關(guān)存儲多項核心技術(shù)的突破。

未來,隨著新基建的建設(shè)逐漸深入,千行百業(yè)必然會在數(shù)字基礎(chǔ)設(shè)施層迎來更大的變化,存儲作為新基建中的基石,其作用與價值將會得到進(jìn)一步提升。浪潮存儲將持續(xù)以“云存智用運(yùn)籌新數(shù)據(jù)”賦能智算中心,在分布式存儲和全閃存儲兩大新存儲領(lǐng)域加速創(chuàng)新,釋放數(shù)據(jù)要素價值驅(qū)動行業(yè)數(shù)字化轉(zhuǎn)型。

消息來源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection