基于第四代英特爾?至強?可擴展處理器的浪潮云海超融合壓縮和糾刪功能設計

北京2023年11月17日 /美通社/ -- 浪潮云海InCloud Rail超融合一體機通過軟件定義計算、存儲和網絡技術實現服務器的資源池化，為整個IT環(huán)境提供更高的可用性、安全性和擴展性，能夠滿足企業(yè)對于降低成本、簡化管理、提高安全性和擴展性的需求，助力企業(yè)遷移核心業(yè)務上云，構建企業(yè)云數據中心。

面向海量的數據處理需求，浪潮云海超融合一體機提出一種融合壓縮和糾刪功能于一體的數據存儲空間優(yōu)化方案，該方案基于英特爾^®至強^®可擴展處理器提供的QAT加速器實現壓縮功能，同時使用英特爾^®智能加速庫實現糾刪功能，可同時支持數據壓縮和糾刪。在超融合一體機的海量應用歸檔數據場景，它需要在應用運行質量較少受影響的前提下，盡可能提升數據存儲效率。在控制成本的前提下，開啟同時支持壓縮和糾刪特性，對于數據庫應用節(jié)省存儲空間最高可達70.5%，且對性能的影響較低，能夠助力用戶提升數據庫系統(tǒng)的投資收益、釋放數據價值。

浪潮云海超融合一體機分布式存儲InCloud dSAN

InCloud dSAN是浪潮云海超融合一體機中新一代的軟件定義存儲產品，面向用戶在私有云、大數據、高性能應用、云原生、云邊協(xié)同等多元化的應用場景。隨著Intel 新一代CPU、NVMe硬盤、RDMA智能網卡等高性能物理硬件普及，InCloud dSAN在系統(tǒng)設計方面根據新一代物理硬件特點設計多種特色功能：

• 全異步和無鎖化的編程技術，發(fā)揮CPU多核性能，：基于SPDK (Storage Performance Development Kit)高性能存儲開發(fā)套件，引入Reactor、Thread、Poller三層邏輯抽象，設計輪詢、異步化、無鎖的軟件框架，從網絡、磁盤、管理等模塊發(fā)揮CPU多核能力。
• 多種鏈路傳輸技術，支持多種組網形態(tài)：設計全棧RDMA功能，從虛擬機、存儲協(xié)議層、副本數據轉發(fā)層等內部網絡傳輸方面，支持全棧的用戶態(tài)RDMA鏈路傳輸，利用RDMA零拷貝特性降低時延。
• 全新的存儲引擎設計，發(fā)揮NVMe極致性能：設計基于裸盤讀寫的全新引擎，設計元數據、日志、數據等邏輯空間，實現元數據管理、數據分配和I/O調度等邏輯。特別是針對NVMe硬盤，基于SPDK存儲開發(fā)套件中的用戶態(tài)NVMe庫實現特有的NVMe存儲引擎。

浪潮云海超融合在新一代G7硬件平臺的壓縮和糾刪功能設計

在超融合的應用場景中，針對金融、醫(yī)療等行業(yè)的數據庫應用不僅對實時讀寫、隨機I/O訪問和大規(guī)模數據集等場景對存儲性能有極高要求，同時對于歸檔數據的存儲空間也提出了新的需求，如醫(yī)療行業(yè)常見的PACS（Picture Archiving and Communication System）影像歸檔和通信系統(tǒng)，將日常產生的醫(yī)學影像（包括核磁、CT、超聲等圖像）通過數字化方式海量存儲，同時在需要時可快速調回查看，對存儲系統(tǒng)歸檔和性能有較高的要求。為了應對此場景，浪潮云海新一代超融合一體機的InCloud dSAN設計了新型的數據壓縮和糾刪功能，該功能集成英特爾^®QAT加速器和ISA-L加速庫，在原有的高性能設計方案基礎上滿足了極致性能和極致數據壓縮兩種需求。

壓縮和糾刪方案主要思想：將壓縮和糾刪計算放置于緩存下刷階段，可以避免在I/O訪問過程中的壓縮和糾刪計算的性能損耗。通過智能的緩存管理，保障了熱點數據的I/O訪問集中在緩存層，避免在數據訪問過程中的透寫。

• 數據分層管理：將數據存儲劃分為緩存層和數據層，其中緩存層使用高性的NVMe和Sata SSD存儲，同時在緩存層使用多副本的設計，提供高性能數據存儲能力。數據層提供冷數據存儲，主要由HDD硬盤存儲，提供高容量存儲空間。
• 智能緩存管理：設計冷熱分層的智能緩存管理，高效識別熱點數據和冷數據?？芍С轴槍μ囟ǖ臄祿O置優(yōu)先級，保證需要支持壓縮和糾刪的數據區(qū)域可優(yōu)先保存于緩存空間中。
• 數據空間高效存儲：在緩存層中由于副本存儲，將上層應用的小塊IO聚合，當數據變成冷數據下刷至存儲層時，由于下刷采用數據對齊，可聚合成大塊的順序條帶讀寫，可以在數據層進行高效的數據存儲。
• 壓縮和EC加速計算：在緩存層數據下刷時，首先經過QAT壓縮處理，經過壓縮的數據調用EC計算，將糾刪和壓縮數據存放到數據存儲層。

為了驗證該方案的性能，測試數據采用在金融和醫(yī)療等行業(yè)常見的基礎Linux虛擬機鏡像、Windows系統(tǒng)的SQLServer數據庫，及Linux系統(tǒng)的Oracle數據庫應用。調整QAT壓縮的等級及ISA-L的EC糾刪K/M模型，測試在不同的模型壓縮、糾刪及壓縮和糾刪后的節(jié)省空間，從測試結果分析，同時開啟QAT和EC糾刪最大空間可以節(jié)省比例達70.5%。

收益

充分發(fā)揮第四代英特爾^®至強^®可擴展處理器內置的英特爾^®QAT加速器能力，QAT加速器對于數據庫應用節(jié)省數據空間為58.4%，EC糾刪根據不同的K/M模型可計算節(jié)省空間比例，在指定特定K/M模型壓縮和糾刪功能可節(jié)省70.5%。

總結

浪潮云海InCloud Rail新一代超融合一體機，依托于英特爾^®QAT和ISA-L軟件加速庫技術，設計可同時支持壓縮、糾刪、"壓縮和糾刪"等不同的空間節(jié)省方案，采用獨特的數據分層、智能緩存管理、軟件硬協(xié)同等設計，完美解決了兼顧高性能、高數據冗余度和高存儲空間利用率等技術難題。