基于第四代英特爾?至強?可擴展處理器的浪潮云海超融合壓縮和糾刪功能設計

北京2023年11月17日 /美通社/ -- 浪潮云海InCloud Rail超融合一體機通過軟件定義計算、存儲和網(wǎng)絡技術實現(xiàn)服務器的資源池化，為整個IT環(huán)境提供更高的可用性、安全性和擴展性，能夠滿足企業(yè)對于降低成本、簡化管理、提高安全性和擴展性的需求，助力企業(yè)遷移核心業(yè)務上云，構建企業(yè)云數(shù)據(jù)中心。

面向海量的數(shù)據(jù)處理需求，浪潮云海超融合一體機提出一種融合壓縮和糾刪功能于一體的數(shù)據(jù)存儲空間優(yōu)化方案，該方案基于英特爾^®至強^®可擴展處理器提供的QAT加速器實現(xiàn)壓縮功能，同時使用英特爾^®智能加速庫實現(xiàn)糾刪功能，可同時支持數(shù)據(jù)壓縮和糾刪。在超融合一體機的海量應用歸檔數(shù)據(jù)場景，它需要在應用運行質量較少受影響的前提下，盡可能提升數(shù)據(jù)存儲效率。在控制成本的前提下，開啟同時支持壓縮和糾刪特性，對于數(shù)據(jù)庫應用節(jié)省存儲空間最高可達70.5%，且對性能的影響較低，能夠助力用戶提升數(shù)據(jù)庫系統(tǒng)的投資收益、釋放數(shù)據(jù)價值。

浪潮云海超融合一體機分布式存儲InCloud dSAN

InCloud dSAN是浪潮云海超融合一體機中新一代的軟件定義存儲產(chǎn)品，面向用戶在私有云、大數(shù)據(jù)、高性能應用、云原生、云邊協(xié)同等多元化的應用場景。隨著Intel 新一代CPU、NVMe硬盤、RDMA智能網(wǎng)卡等高性能物理硬件普及，InCloud dSAN在系統(tǒng)設計方面根據(jù)新一代物理硬件特點設計多種特色功能：

• 全異步和無鎖化的編程技術，發(fā)揮CPU多核性能，：基于SPDK (Storage Performance Development Kit)高性能存儲開發(fā)套件，引入Reactor、Thread、Poller三層邏輯抽象，設計輪詢、異步化、無鎖的軟件框架，從網(wǎng)絡、磁盤、管理等模塊發(fā)揮CPU多核能力。
• 多種鏈路傳輸技術，支持多種組網(wǎng)形態(tài)：設計全棧RDMA功能，從虛擬機、存儲協(xié)議層、副本數(shù)據(jù)轉發(fā)層等內部網(wǎng)絡傳輸方面，支持全棧的用戶態(tài)RDMA鏈路傳輸，利用RDMA零拷貝特性降低時延。
• 全新的存儲引擎設計，發(fā)揮NVMe極致性能：設計基于裸盤讀寫的全新引擎，設計元數(shù)據(jù)、日志、數(shù)據(jù)等邏輯空間，實現(xiàn)元數(shù)據(jù)管理、數(shù)據(jù)分配和I/O調度等邏輯。特別是針對NVMe硬盤，基于SPDK存儲開發(fā)套件中的用戶態(tài)NVMe庫實現(xiàn)特有的NVMe存儲引擎。

浪潮云海超融合在新一代G7硬件平臺的壓縮和糾刪功能設計

在超融合的應用場景中，針對金融、醫(yī)療等行業(yè)的數(shù)據(jù)庫應用不僅對實時讀寫、隨機I/O訪問和大規(guī)模數(shù)據(jù)集等場景對存儲性能有極高要求，同時對于歸檔數(shù)據(jù)的存儲空間也提出了新的需求，如醫(yī)療行業(yè)常見的PACS（Picture Archiving and Communication System）影像歸檔和通信系統(tǒng)，將日常產(chǎn)生的醫(yī)學影像（包括核磁、CT、超聲等圖像）通過數(shù)字化方式海量存儲，同時在需要時可快速調回查看，對存儲系統(tǒng)歸檔和性能有較高的要求。為了應對此場景，浪潮云海新一代超融合一體機的InCloud dSAN設計了新型的數(shù)據(jù)壓縮和糾刪功能，該功能集成英特爾^®QAT加速器和ISA-L加速庫，在原有的高性能設計方案基礎上滿足了極致性能和極致數(shù)據(jù)壓縮兩種需求。

壓縮和糾刪方案主要思想：將壓縮和糾刪計算放置于緩存下刷階段，可以避免在I/O訪問過程中的壓縮和糾刪計算的性能損耗。通過智能的緩存管理，保障了熱點數(shù)據(jù)的I/O訪問集中在緩存層，避免在數(shù)據(jù)訪問過程中的透寫。

• 數(shù)據(jù)分層管理：將數(shù)據(jù)存儲劃分為緩存層和數(shù)據(jù)層，其中緩存層使用高性的NVMe和Sata SSD存儲，同時在緩存層使用多副本的設計，提供高性能數(shù)據(jù)存儲能力。數(shù)據(jù)層提供冷數(shù)據(jù)存儲，主要由HDD硬盤存儲，提供高容量存儲空間。
• 智能緩存管理：設計冷熱分層的智能緩存管理，高效識別熱點數(shù)據(jù)和冷數(shù)據(jù)?？芍С轴槍μ囟ǖ臄?shù)據(jù)設置優(yōu)先級，保證需要支持壓縮和糾刪的數(shù)據(jù)區(qū)域可優(yōu)先保存于緩存空間中。
• 數(shù)據(jù)空間高效存儲：在緩存層中由于副本存儲，將上層應用的小塊IO聚合，當數(shù)據(jù)變成冷數(shù)據(jù)下刷至存儲層時，由于下刷采用數(shù)據(jù)對齊，可聚合成大塊的順序條帶讀寫，可以在數(shù)據(jù)層進行高效的數(shù)據(jù)存儲。
• 壓縮和EC加速計算：在緩存層數(shù)據(jù)下刷時，首先經(jīng)過QAT壓縮處理，經(jīng)過壓縮的數(shù)據(jù)調用EC計算，將糾刪和壓縮數(shù)據(jù)存放到數(shù)據(jù)存儲層。

為了驗證該方案的性能，測試數(shù)據(jù)采用在金融和醫(yī)療等行業(yè)常見的基礎Linux虛擬機鏡像、Windows系統(tǒng)的SQLServer數(shù)據(jù)庫，及Linux系統(tǒng)的Oracle數(shù)據(jù)庫應用。調整QAT壓縮的等級及ISA-L的EC糾刪K/M模型，測試在不同的模型壓縮、糾刪及壓縮和糾刪后的節(jié)省空間，從測試結果分析，同時開啟QAT和EC糾刪最大空間可以節(jié)省比例達70.5%。

收益

充分發(fā)揮第四代英特爾^®至強^®可擴展處理器內置的英特爾^®QAT加速器能力，QAT加速器對于數(shù)據(jù)庫應用節(jié)省數(shù)據(jù)空間為58.4%，EC糾刪根據(jù)不同的K/M模型可計算節(jié)省空間比例，在指定特定K/M模型壓縮和糾刪功能可節(jié)省70.5%。

總結

浪潮云海InCloud Rail新一代超融合一體機，依托于英特爾^®QAT和ISA-L軟件加速庫技術，設計可同時支持壓縮、糾刪、"壓縮和糾刪"等不同的空間節(jié)省方案，采用獨特的數(shù)據(jù)分層、智能緩存管理、軟件硬協(xié)同等設計，完美解決了兼顧高性能、高數(shù)據(jù)冗余度和高存儲空間利用率等技術難題。