北京2020年11月30日 /美通社/ -- 日前，亞馬遜云服務(wù)(AWS)宣布面向Apache Airflow的Amazon Managed Workflows(MWAA)正式可用。這項(xiàng)全新服務(wù)讓數(shù)據(jù)工程師可以更輕松地在云端運(yùn)行數(shù)據(jù)處理工作流。Apache Airflow是一款流行的開源工具，可以幫助客戶編寫、調(diào)度和監(jiān)控工作流。通過Amazon MWAA，客戶可以使用熟悉的Airflow平臺來管理工作流，而不改變現(xiàn)有的操作方式，同時改善可伸縮性、可用性和安全性，又無需承擔(dān)構(gòu)建、擴(kuò)展和管理底層基礎(chǔ)設(shè)施。Amazon MWAA可根據(jù)客戶需求，擴(kuò)展工作流執(zhí)行能力，并與AWS安全服務(wù)集成，提供安全訪問客戶數(shù)據(jù)的入口。使用Amazon MWAA無需前期投入，客戶只需為使用的資源付費(fèi)。如欲開始使用Amazon MWAA，請?jiān)L問：https://aws.amazon.com/mwaa。
如今，客戶正使用數(shù)據(jù)分析和機(jī)器學(xué)習(xí)，從大量數(shù)據(jù)中獲得洞察力。為了有效地使用這些數(shù)據(jù)，客戶通常需要首先構(gòu)建一個工作流，定義一系列連續(xù)的任務(wù)來準(zhǔn)備和處理這些數(shù)據(jù)。數(shù)以萬計(jì)的客戶使用AWS Step Functions，可視地構(gòu)建和運(yùn)行具有成本效益和可伸縮的事件驅(qū)動工作流，這些工作流跨多個AWS服務(wù)執(zhí)行任務(wù)。還有一些客戶想要通過Apache Airflow來編排工作流。Apache Airflow有著活躍的開源社區(qū)，有大量的庫，集成了Apache Spark、Hadoop等第三方數(shù)據(jù)處理工具，并可使用Python腳本創(chuàng)建工作流。然而，使用Apache Airflow需要數(shù)據(jù)工程師安裝、維護(hù)、擴(kuò)展和保護(hù)Apache Airflow環(huán)境，這增加了成本和操作復(fù)雜性。此外，為了支持基于角色的身份驗(yàn)證、以實(shí)現(xiàn)安全訪問，Apache Airflow通常需要手動、反復(fù)地更改配置，有時要使用命令行命令，在某些情況下，還需要對Apache Airflow代碼進(jìn)行編輯，容易出錯。客戶還必須集成和配置額外的工具，用以對系統(tǒng)停機(jī)、工作流錯誤和任務(wù)執(zhí)行延遲等問題發(fā)出告警。雖然客戶確實(shí)喜歡Apache Airflow預(yù)集成第三方工具、使用熟悉的Python編程語言等特性，但他們希望不要增加運(yùn)營成本和復(fù)雜性。
Amazon MWAA使得客戶可以很方便地在AWS中構(gòu)建和執(zhí)行Apache Airflow工作流。Amazon MWAA負(fù)責(zé)管理Apache Airflow的配置和日常維護(hù)，客戶不再需要操心補(bǔ)丁、擴(kuò)展，不需要保護(hù)自管理的Apache Airflow部署。使用Amazon MWAA，執(zhí)行任務(wù)的計(jì)算資源可以按需伸縮，為用戶提供一致的性能。客戶數(shù)據(jù)默認(rèn)是安全的，因?yàn)楣ぷ髫?fù)載使用Amazon VPC虛擬私有云，運(yùn)行在客戶自己隔離的安全云環(huán)境中，存儲的數(shù)據(jù)使用AWS KMS 密鑰管理服務(wù)加密。Amazon MWAA使得客戶可以很容易地使用任何Apache Airflow的集成來組合數(shù)據(jù)，可以使用AWS服務(wù)，也可使用Apache Hadoop、Presto、Hive和Spark等流行的第三方工具，從而實(shí)現(xiàn)數(shù)據(jù)處理、機(jī)器學(xué)習(xí)管道以及軟件開發(fā)與運(yùn)營的自動化?？蛻艨梢酝ㄟ^AWS IAM身份與訪問管理服務(wù)，輕松安全地實(shí)現(xiàn)基于角色訪問Apache Airflow用戶界面，為調(diào)度和查看工作流執(zhí)行提供用戶單點(diǎn)登錄(SSO)的訪問。Amazon MWAA自動向AWS監(jiān)控服務(wù)Amazon CloudWatch發(fā)送Apache Airflow系統(tǒng)指標(biāo)和日志，客戶無需第三方工具，即可輕松查看跨一個或多個環(huán)境的任務(wù)執(zhí)行延遲和工作流出錯情況。通過使用Amazon MWAA，數(shù)據(jù)工程師可以獲得Apache Airflow可擴(kuò)展性、可用性和AWS的安全性。
“客戶告訴我們，他們非常喜歡Apache Airflow，因?yàn)樗梢约铀贁?shù)據(jù)處理和機(jī)器學(xué)習(xí)工作流的開發(fā)，但希望它沒有擴(kuò)展、操作和保護(hù)服務(wù)器的負(fù)擔(dān)?！盇WS應(yīng)用集成副總裁Jesse Dougherty表示，“有了Amazon MWAA，客戶就可以和現(xiàn)在一樣地使用Apache Airflow平臺，同時獲得AWS的可伸縮性、可用性和安全性?！?/p>
客戶可以從AWS管理控制臺、CLI、AWS CloudFormation或AWS SDK啟動新的Amazon MWAA環(huán)境，并在幾分鐘內(nèi)開始運(yùn)行。Amazon MWAA現(xiàn)已在美國東部（弗吉尼亞北部）、美國西部（俄勒岡）、美國東部（俄亥俄）、亞太地區(qū)（新加坡）、亞太地區(qū)（東京）、亞太地區(qū)（悉尼）、歐洲（愛爾蘭）、歐洲（法蘭克福）和歐洲（斯德哥爾摩）區(qū)域正式推出，其它區(qū)域也將很快推出。
