omniture

亞馬遜云科技推出“智能湖倉”架構(gòu) | 美通社

2021-07-09 17:08

近日,亞馬遜云科技針對數(shù)據(jù)及數(shù)據(jù)分析等服務(wù)持續(xù)發(fā)力,推出引領(lǐng)大數(shù)據(jù)未來的“智能湖倉”架構(gòu),并從2021年初至今在由光環(huán)新網(wǎng)和西云數(shù)據(jù)運(yùn)營的中國區(qū)域總共上線了近40項相關(guān)服務(wù)和特性。亞馬遜云科技“智能湖倉”架構(gòu)將亞馬遜云科技全面而深入的數(shù)據(jù)服務(wù)無縫集成,打通了數(shù)據(jù)湖和數(shù)據(jù)倉庫之間的數(shù)據(jù)移動和訪問,并且進(jìn)一步實現(xiàn)了數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉庫,以及在數(shù)據(jù)查詢、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等各類專門構(gòu)建的服務(wù)之間按需移動,從而形成統(tǒng)一且連續(xù)的整體,滿足客戶各種實際業(yè)務(wù)場景下的不同需求。亞馬遜云科技“智能湖倉”架構(gòu)具有靈活擴(kuò)展、專門構(gòu)建、數(shù)據(jù)融合、深度智能和開源開放五大特點(diǎn),涵蓋數(shù)據(jù)源、數(shù)據(jù)攝取層、存儲層、目錄層、數(shù)據(jù)處理層和消費(fèi)層六層架構(gòu),可幫助客戶輕松應(yīng)對海量業(yè)務(wù)數(shù)據(jù),充分挖掘數(shù)據(jù)價值。

亞馬遜云科技“智能湖倉”架構(gòu)以Amazon Simple Storage Service(Amazon S3)為基礎(chǔ)構(gòu)建數(shù)據(jù)湖,作為中央存儲庫,圍繞數(shù)據(jù)湖集成專門的“數(shù)據(jù)服務(wù)環(huán)”,包括數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)、大數(shù)據(jù)處理、日志分析等數(shù)據(jù)服務(wù),然后再利用Amazon Lake Formation、Amazon Glue、Amazon Athena、Amazon Redshift Spectrum等工具,實現(xiàn)數(shù)據(jù)湖的構(gòu)建、數(shù)據(jù)的移動和管理等。

  • 靈活擴(kuò)展,安全可靠。亞馬遜云科技“智能湖倉”架構(gòu)用Amazon S3作為數(shù)據(jù)湖的存儲基礎(chǔ),客戶可根據(jù)不斷變化的需求,靈活擴(kuò)展或縮減存儲資源。Amazon S3可達(dá)到 99.999999999%(11 個 9)的數(shù)據(jù)持久性,且具有強(qiáng)大的安全性、合規(guī)性和審計功能。
  • 專門構(gòu)建,極致性能。為了滿足客戶不同的數(shù)據(jù)分析需求,亞馬遜云科技提供全面而深入的、專門構(gòu)建的數(shù)據(jù)分析服務(wù),包括交互式查詢服務(wù)Amazon Athena、云上大數(shù)據(jù)平臺Amazon EMR、日志分析服務(wù)Amazon Elasticsearch Service、Amazon Kinesis、云數(shù)據(jù)倉庫Amazon Redshift等。這些專門構(gòu)建的數(shù)據(jù)分析服務(wù)為客戶提供了極致性能,客戶在使用過程中不必在性能、規(guī)模或成本之間做出任何妥協(xié)。其中Amazon Redshift的性價比是其他企業(yè)云數(shù)據(jù)倉庫的三倍,AQUA(分布式硬件加速緩存)使 Redshift 查詢的運(yùn)行速度比其他其他云數(shù)據(jù)倉庫最高快 10 倍;Amazon EMR運(yùn)行大數(shù)據(jù)處理及分析服務(wù)的成本不到傳統(tǒng)本地解決方案的一半,但其速度比標(biāo)準(zhǔn) Apache Spark 快 3 倍以上。
  • 數(shù)據(jù)融合,統(tǒng)一治理。亞馬遜云科技“智能湖倉”架構(gòu)不止是打通了數(shù)據(jù)湖、數(shù)據(jù)倉庫,還進(jìn)一步將數(shù)據(jù)湖、數(shù)據(jù)倉庫以及所有其它數(shù)據(jù)服務(wù)組成統(tǒng)一且連續(xù)的整體。在實際應(yīng)用場景中,數(shù)據(jù)需要在這些服務(wù)與數(shù)據(jù)存儲方案之間,以及服務(wù)與服務(wù)之間按需來回移動,跨服務(wù)訪問。亞馬遜云科技“智能湖倉”架構(gòu)降低了數(shù)據(jù)融合與數(shù)據(jù)共享時統(tǒng)一安全管控和數(shù)據(jù)治理的難度。其中,Amazon Glue提供數(shù)據(jù)無縫流動能力,Amazon Lake Formation提供了快速構(gòu)建湖倉、簡化安全與管控的全面數(shù)據(jù)管理能力。
  • 敏捷分析,深度智能。亞馬遜云科技將數(shù)據(jù)、數(shù)據(jù)分析服務(wù)與機(jī)器學(xué)習(xí)服務(wù)無縫集成,為客戶提供更智能的服務(wù)。例如Amazon Aurora ML、Amazon Redshift ML、Neptune ML等,數(shù)據(jù)庫開發(fā)者只需使用熟悉的 SQL 語句,就能進(jìn)行機(jī)器學(xué)習(xí)操作;Amazon Glue、Amazon Athena ML、Amazon QuickSight Q等,可以幫助用戶使用熟悉的技術(shù),甚至自然語言來使用機(jī)器學(xué)習(xí),幫助企業(yè)利用數(shù)據(jù)做出更好的決策。用戶還可以通過機(jī)器學(xué)習(xí)服務(wù)Amazon SageMaker、個性化推薦服務(wù)Amazon Personalize等挖掘數(shù)據(jù)智能。
  • 擁抱開源,開放共贏。亞馬遜云科技“智能湖倉”架構(gòu)中的關(guān)鍵組件如Amazon EMR、Amazon Elasticserach Service、Amazon MSK的核心都基于開源代碼,接口與開源完全兼容,無需改變?nèi)魏未a就可以實現(xiàn)遷移,也兼容主流的管理工具。OpenSearch 基于開放的Apache2.0 授權(quán),其代碼完全開放,用戶可以免費(fèi)下載使用并獲得企業(yè)級的功能。這些服務(wù)允許用戶在轉(zhuǎn)型過程中,以非常低的改造成本向云端遷移。

(美通社,2021年7月9日北京)