北京2023年2月23日 /美通社/ -- 晴空萬里、群星璀璨的麗江高美古，在納西語中的釋義是"天氣好、星星多、離天最近的地方"。這里的年平均晴天超200天，視寧度達到世界優(yōu)良臺址的水平，大氣潔凈透明，抬頭可見滿天的繁星、清晰的銀河，近年來逐步成為國內(nèi)重要的天文觀測站點，逐步成為國內(nèi)外天文工作者的觀測圣地。建設(shè)在高美古的中國科學(xué)院云南天文臺麗江觀測站（以下簡稱麗江觀測站），擁有獨特的地理環(huán)境優(yōu)勢，經(jīng)過多年的建設(shè)，逐步建設(shè)完成了2.4米、1.8米、1.6米等多種口徑規(guī)格光學(xué)望遠鏡和一批小口徑的遠程/自動望遠鏡、日冕儀、射電望遠鏡等科學(xué)觀測裝置，云南天文臺的南方天文觀測集群已經(jīng)初具規(guī)模。
隨著天文觀測需求的不斷提升，天文觀測所產(chǎn)生的觀測數(shù)據(jù)量也越來越大，這也對數(shù)據(jù)存儲和處理提出了更高的要求。為此，麗江觀測站采用浪潮分布式存儲構(gòu)建三級數(shù)據(jù)存儲平臺，為天文研究乃至今后的數(shù)字經(jīng)濟產(chǎn)業(yè)研究提供有利的硬件平臺支撐。
云南天文臺麗江觀測站的2.4米光學(xué)望遠鏡
天文觀測儀器背后驚人的數(shù)據(jù)需求
麗江觀測站擁有多種型號的天文望遠鏡，包括光學(xué)望遠鏡、日冕儀和射電望遠鏡，整個觀測站的觀測能力已經(jīng)覆蓋了從光學(xué)到射電的波段范圍，每年能開展多項具有國際先進水平的天體物理觀測和研究工作。天文領(lǐng)域的科研工作者借助觀測儀器設(shè)備對星體進行觀測，并采集數(shù)據(jù)以便進一步研究。
近些年隨著新的天文觀測技術(shù)快速發(fā)展，觀測的廣度和精度得到極大提升，讓天文工作者更清晰地觀測到天文目標，也更準確地驗證已有物理模型。與此同時，新的天文觀測儀器采集的數(shù)據(jù)量也有了量級的提升，如麗江觀測站正在調(diào)試的云南大學(xué)1.6米多通道測光巡天望遠鏡，其中裝置了3臺大靶面的科學(xué)技術(shù)CCD相機，每個相機由4片9k*9k的芯片拼接而成，在觀測過程中三臺相機同時曝光，一次曝光就能產(chǎn)生近1GB的觀測數(shù)據(jù)，一個觀測夜的觀測數(shù)據(jù)量近3TB，一年的原始觀測數(shù)據(jù)接近1PB。如何有效地傳輸觀測站眾多望遠鏡觀測采集的數(shù)據(jù)、支撐計算平臺高效地分析和處理觀測數(shù)據(jù)、安全存儲原始數(shù)據(jù)和價值數(shù)據(jù)，給麗江天文觀測站的觀測數(shù)據(jù)管理提出了新的需求。
首先，數(shù)據(jù)性能需求。在數(shù)據(jù)采集過程中，天文望遠鏡觀測產(chǎn)生的數(shù)據(jù)，需要通過數(shù)據(jù)采集程序，實時地完成數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、計算、數(shù)據(jù)存盤等多個任務(wù)。數(shù)據(jù)量根據(jù)觀測設(shè)備數(shù)量及型號等因素會有不同，數(shù)據(jù)采集過程就對存儲提出了數(shù)GB/s至數(shù)十GB/s的帶寬需求，以保障數(shù)據(jù)穩(wěn)定寫入。數(shù)據(jù)計算過程，作為以數(shù)據(jù)為驅(qū)動的天文觀測任務(wù)，科研計算平臺需要存儲集群平臺提供數(shù)十GB/s聚合帶寬的讀寫能力以保證計算任務(wù)并行的高效性。在實現(xiàn)用戶數(shù)據(jù)共享的同時，還要針對不同的用戶進行權(quán)限控制和配額限制，以實現(xiàn)存儲數(shù)據(jù)的安全高效使用。
其次，數(shù)據(jù)的長期保存需求。天文觀測的原始數(shù)據(jù)要通過合理的生命周期管理系統(tǒng)進行永久歸檔保留，數(shù)據(jù)的自動化遷移歸檔、數(shù)據(jù)的安全性、歸檔數(shù)據(jù)長期保存成本、存儲的易擴展性是數(shù)據(jù)歸檔存儲考慮的重要因素。
分層存儲方案滿足不同天文數(shù)據(jù)的需求
麗江觀測站為了滿足天文科研工作者對望遠鏡觀測數(shù)據(jù)的存儲和分析處理過程中高帶寬存儲資源需求，從而滿足大量文件的頻繁讀寫，采用了浪潮的計算節(jié)點和分布式存儲搭建了三級分層的存儲資源池，通過浪潮分布式存儲高性能節(jié)點AS13000G5-H搭建高速存儲層提供并行讀寫能力，滿足前端多個計算節(jié)點同時在存儲上進行數(shù)據(jù)讀寫的需求；采用浪潮分布式存儲AS13000G5-M系列4U60高密節(jié)點提供2PB低速存儲空間，用于存儲前端回傳的觀測原始數(shù)據(jù)以及計算集群計算處理后的歸檔數(shù)據(jù)。
浪潮存儲
為天文觀測任務(wù)提供性能保障
浪潮AS13000G5-H通過私有客戶端，能夠使接收到的數(shù)據(jù)并發(fā)寫入每個數(shù)據(jù)節(jié)點，打破傳統(tǒng)存儲的單存儲節(jié)點性能限制，通過RDMA協(xié)議，有效降低數(shù)據(jù)傳輸過程中的時延，進一步提升傳輸效率，單存儲節(jié)點性能可達到GB/s讀寫帶寬。通過并行文件系統(tǒng)可以添加更多的存儲節(jié)點，性能和容量隨節(jié)點數(shù)的增加而線性增長。
科研項目的階段性增長可以按需滿足、高效運維
為保障天文數(shù)據(jù)長期可靠保存、彈性擴展的需求，浪潮存儲在架構(gòu)和運維方面進行了創(chuàng)新。
擴展性方面，浪潮存儲基于分布式存儲架構(gòu)支持靈活擴展，可隨著天文科研項目需求橫向擴展，運用獨特的擴容算法，在擴容同時可保障業(yè)務(wù)性能無明顯波動，性能與容量隨著節(jié)點的擴展而線性增長，避免對現(xiàn)有接收業(yè)務(wù)和科研計算任務(wù)讀寫訪問性能造成影響，存儲空間可達到EB級別，滿足了未來天文觀測儀器設(shè)備提升的存儲增長需求。
在可靠性方面，浪潮分布式存儲采用糾刪策略，允許多個節(jié)點損壞時業(yè)務(wù)不中斷，保證觀測任務(wù)以及計算任務(wù)7x24小時的連續(xù)業(yè)務(wù)訪問，保障天文工作者科研項目順利進行。同時還可搭配InView智能管理平臺，對于天文觀測海量數(shù)據(jù)中心的設(shè)備進行管理，提供容量、性能、故障等預(yù)測性分析等一系列智能化功能，幫助運維人員預(yù)防硬件潛在故障，同時降低存儲的復(fù)雜性和維護成本。
占地260余畝麗江觀測站園區(qū)里運行的光學(xué)望遠鏡每年都要執(zhí)行數(shù)千次的觀測任務(wù)，積累大量的原始觀測數(shù)據(jù)，這些觀測數(shù)據(jù)幫助科研工作者取得了大量研究成果，加速中國天文研究的發(fā)展。如借助2.4米望遠鏡光譜觀測發(fā)現(xiàn)了數(shù)十個高紅移類星體，不斷刷新中國發(fā)現(xiàn)類星體的紅移記錄；通過系外行星的精確視向速度搜尋工作，已經(jīng)發(fā)現(xiàn)若干顆系外行星候選源；擅長搜尋新的凌食系外行星系統(tǒng)的寬視場巡天望遠鏡（小口徑望遠鏡），幫助科學(xué)家們發(fā)現(xiàn)了10多顆凌食系外行星候選體以及200多顆其它類型的變源。正在建設(shè)的云南大學(xué)1.6米多通道測光巡天望遠鏡，建成后將通過3臺相機進行同時曝光的巡天觀測，將直接提供星空的"彩色電影"。
未來云南天文臺麗江觀測站也將在此基礎(chǔ)上，不斷進行天文學(xué)高新技術(shù)創(chuàng)新，為天文學(xué)的科學(xué)應(yīng)用研究服務(wù)提供高質(zhì)量的觀測數(shù)據(jù)，發(fā)揮南方天文觀測集群的前沿作用，推動天文領(lǐng)域研究的快速發(fā)展，探索宇宙奧秘。
