北京2021年8月24日 /美通社/ -- 金融企業(yè)業(yè)務運營中會產(chǎn)生大量電子憑證以及視頻圖像等非結構化數(shù)據(jù),包括用戶資料掃描件、照片、視頻、票據(jù)、證件等非結構化影像數(shù)據(jù)。這些非結構化數(shù)據(jù),也可以稱之為內(nèi)容(Content)。如何有效地獲取、處理、管理這些海量的非結構化內(nèi)容,成為金融行業(yè)面臨的主要挑戰(zhàn)。浪潮存儲基于分布式架構為金融企業(yè)提供了影像內(nèi)容管理解決方案。
隨著數(shù)字技術發(fā)展,互聯(lián)網(wǎng)金融和移動支付的需求更加旺盛,給銀行業(yè)務系統(tǒng)帶來了新的挑戰(zhàn)。比如,銀行需要加強業(yè)務層的并發(fā)響應能力,在服務增加了小額貸、網(wǎng)貸、微信、支付寶等一系列應用軟件;銀行在技術組件層需要對高相應的數(shù)據(jù)訪問、數(shù)據(jù)報表、在線分析等,以及大數(shù)據(jù)相關的(數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分發(fā))一系列對應的處理能力;再如,在數(shù)據(jù)層,需要處理內(nèi)容數(shù)據(jù)為包括圖片、視頻等典型的非結構化數(shù)據(jù),賬目、表、數(shù)據(jù)庫等典型的結構化數(shù)據(jù),及大數(shù)據(jù)平臺的、對應互聯(lián)網(wǎng)等半結構化數(shù)據(jù)。內(nèi)容管理平臺就是其中主要面對挑戰(zhàn)的業(yè)務平臺之一。
新數(shù)據(jù)時代下的金融內(nèi)容管理創(chuàng)新
內(nèi)容管理平臺已成為金融企業(yè)基礎平臺之一,它構建了銀行非結構化數(shù)據(jù)的管理平臺,具有綜合存儲管理銀行海量非結構化數(shù)據(jù)的能力,能夠完成從內(nèi)容采集、創(chuàng)建、傳遞到內(nèi)容分析、數(shù)據(jù)展示等內(nèi)容整個生命周期的完全整合。隨著金融行業(yè)的業(yè)務發(fā)展,各線上線下業(yè)務渠道不斷拓展,其產(chǎn)生的影像、音頻、視頻等非結構化數(shù)據(jù)急速增加。據(jù)統(tǒng)計,銀行每天數(shù)據(jù)增量達到TB級,總體數(shù)據(jù)規(guī)模達到PB級,影像文件規(guī)模達到億級,平臺既要滿足實時在線業(yè)務系統(tǒng)的快速響應,又要滿足前臺查詢、大數(shù)據(jù)分析等業(yè)務的快速訪問。因此,大數(shù)據(jù)量和高吞吐是銀行內(nèi)容管理系統(tǒng)長期設計的核心問題。
傳統(tǒng)的影像平臺存儲架構中,很多金融企業(yè)直接將非結構化數(shù)據(jù)存儲在傳統(tǒng)集中式存儲上,集中式架構在數(shù)據(jù)量不大的情況下,使用起來簡單方便,但由于數(shù)據(jù)容量的激增,動態(tài)擴展就會產(chǎn)生問題。在銀行和保險業(yè)務中,金融影像系統(tǒng)保存的影像數(shù)據(jù)隨著互聯(lián)網(wǎng)金融和移動支付以及網(wǎng)貸、小額貸、網(wǎng)上出險等業(yè)務的的盛行,數(shù)據(jù)塊的從原有的KB級的小片到百KB的環(huán)境照片和MB級別的小視頻,高清照片等,文件數(shù)量快速增長到千萬級、億級規(guī)模,存儲設備維護的索引數(shù)據(jù)越來越龐大,讀寫性能嚴重下降。用傳統(tǒng)的存儲架構顯然無法承載龐大的數(shù)據(jù)量,為影像業(yè)務帶來了不小的壓力。
具體來看,金融行業(yè)的非結構化數(shù)據(jù)存儲平臺通常還面臨可靠性、性能等多方面挑戰(zhàn)。
首先,在可靠性和數(shù)據(jù)保護方面,金融行業(yè)重要性必須滿足金融企業(yè)對業(yè)務連續(xù)性的要求,數(shù)據(jù)不丟失,業(yè)務不中斷,符合監(jiān)管部門對系統(tǒng)可靠性及數(shù)據(jù)保護的要求,這就必須搭建安全可靠的數(shù)據(jù)保護能力、容災能力,實現(xiàn)業(yè)務系統(tǒng)在兩中心的同時訪問和數(shù)據(jù)冗余保護。
其次,在高性能訪問方面,既要保證海量小文件的高速錄入、查詢,又要為大文件提供性能保證,以保證業(yè)務的快速響應。
再次,在架構方面,銀行還面臨多樣數(shù)據(jù)類型和不斷增加的數(shù)據(jù)量挑戰(zhàn)。金融行業(yè)數(shù)十億的數(shù)據(jù)積累,非結構化數(shù)據(jù)以指數(shù)級增長,達到PB級規(guī)模,文本、圖像和音頻等多種類型數(shù)據(jù),存在多格式存儲和多協(xié)議訪問的需求;傳統(tǒng)NAS文件系統(tǒng)技術,單個文件系統(tǒng)容量受限,目錄文件系統(tǒng)采用B+樹進行文件索引,當文件數(shù)量過多時,會嚴重影響訪問性能。
經(jīng)濟高效、安全易用 浪潮存儲賦能金融內(nèi)容管理
針對金融行業(yè)對非結構化數(shù)據(jù)存儲的需求,浪潮存儲聯(lián)合業(yè)內(nèi)資深的合作伙伴,共同打造新數(shù)據(jù)時代下的金融內(nèi)容管理場景共同體,為金融用戶提供非結構化數(shù)據(jù)存儲解決方案,幫助用戶建立一個全新的內(nèi)容管理全生命周期管理場景化方案。
其一,極簡架構,輕松應對業(yè)務增長帶來的挑戰(zhàn)。
浪潮分布式存儲以一套存儲平臺構建一個資源池,為金融企業(yè)影像提供塊、文件、對象等多協(xié)訪問能力;通過多源數(shù)據(jù)零拷貝技術消除因數(shù)據(jù)轉(zhuǎn)換帶來的資源消耗,良好對接不同的金融業(yè)務系統(tǒng);支持性能和容量的在線擴展,消除系統(tǒng)瓶頸,單一命名空間可管理文件量數(shù)百倍于NAS存儲,滿足金融金融企業(yè)未來業(yè)務高速增長需求。
其二,極致安全,多重保障業(yè)務不中斷。
針對金融內(nèi)容管理應用場景特點,在應用層面可進行同城雙中心部署模式,大大提高了系統(tǒng)的高可用,做到RPO=0,保證了數(shù)據(jù)安全??蓞f(xié)助客戶完成數(shù)據(jù)的在線遷移和格式轉(zhuǎn)變,保障了金融企業(yè)業(yè)務的連續(xù)性。在硬件層面,支持節(jié)點和磁盤故障的數(shù)據(jù)保護,節(jié)點故障秒級快速切換,為上層業(yè)務訪問提供可靠的連續(xù)性。系統(tǒng)層面,分布式存儲AS13000G5提供糾刪、副本、回收站、WORM、雙活、備份、復制等數(shù)據(jù)保護選擇,滿足金融企業(yè)對數(shù)據(jù)的安全保護需求。
浪潮智能統(tǒng)一存儲管理平臺InView引入AI技術,實現(xiàn)對存儲平臺自動化部署,提供基于深度學習進行磁盤健康度預測,故障預測準確率達95%以上,提升了運維自動化水平。
其三,極致性能,提升業(yè)務系統(tǒng)應用響應效率。
采用對象接口,利用緩存加速功能,提供比NAS更好的小文件訪問性能,提升整體業(yè)務訪問效率。具備內(nèi)容感知和大數(shù)據(jù)挖掘能力,提供百萬級文件的秒級檢索、IO延遲亞毫秒,滿足苛刻的應用體驗。
目前浪潮存儲的金融內(nèi)容場景化解決方案已經(jīng)在某大型股份制商業(yè)銀行落地應用。在此項目中,通過對象接口,iTurbo性能優(yōu)化技術,將金融業(yè)務性能提升50%以上;同時,浪潮存儲通過雙活功能和DNS負載均衡技術保證了雙活數(shù)據(jù)中心之間的業(yè)務均衡處理,為上層業(yè)務訪問提供可靠的連續(xù)性保障;并協(xié)助用戶完成了原數(shù)據(jù)的在線遷移和格式轉(zhuǎn)變,保障了金融企業(yè)業(yè)務的平滑升級。
未來浪潮存儲將繼續(xù)和金融行業(yè)合作伙伴共同搭建起“以用戶為中心、以應用為導向”的內(nèi)容管理場景共同體,為數(shù)據(jù)產(chǎn)生起從采集、傳輸、使用、備份的全數(shù)據(jù)生命周期體系,讓數(shù)據(jù)真正的流動起來,形成了金融數(shù)據(jù)共享和使用的價值閉環(huán)。