北京2020年11月19日 /美通社/ -- 日前，亞馬遜云服務(AWS)宣布AWS Glue DataBrew正式可用。AWS Glue DataBrew是一款全新的可視化數據準備工具，客戶無需編寫代碼就可以清洗和處理數據。自2016年以來，數據工程師一直使用AWS Glue來創(chuàng)建、運行和監(jiān)控數據提取、轉換和加載(ETL)作業(yè)。AWS Glue同時提供基于代碼接口和可視化界面，大大簡化了客戶在云中提取、轉換和加載數據的過程。數據分析師和數據科學家們一直想要一種更簡單的方法來清洗和處理這些數據，而這正是DataBrew所能提供的。通過AWS Glue DataBrew，客戶可以直接從AWS數據湖、數據倉庫和數據庫中開展數據探索和實驗，而無需編寫代碼。AWS Glue DataBrew為客戶提供了超過250個預先構建的轉換，以自動化數據準備任務（如過濾異常、標準化格式和糾正無效值）。而沒有這些預先構建的轉換，往往需要幾天或幾周的時間編寫手工編碼。一旦數據準備完畢，客戶可以立即開始使用AWS和第三方的分析和機器學習服務來查詢數據和訓練機器學習模型。使用AWS Glue DataBrew不需要預付協議或費用，客戶只需要為數據集的創(chuàng)建和運行轉換付費。如欲開始使用AWS Glue DataBrew，請訪問：https://aws.amazon.com/glue/features/DataBrew
為分析和機器學習準備數據涉及多個必要且耗時的任務，包括數據提取、清洗、標準化、加載和大規(guī)模ETL工作流的編排。為了大規(guī)模地提取、轉換和加載數據，精通SQL或Python、Scala等編程語言的數據工程師和ETL開發(fā)者可以使用AWS Glue。ETL開發(fā)者通常更喜歡現代ETL工具中常見的可視化接口，而不是編寫SQL、Python或Scala，所以AWS最近推出了AWS Glue Studio，這是一個新的可視化界面，可以幫助編寫、運行和監(jiān)控ETL作業(yè)，無需編寫任何代碼。一旦數據被可靠地搬移到AWS上，就需要業(yè)務線中理解數據上下文的數據分析人員和數據科學家對這些數據進行清洗和處理。要清洗和處理數據，數據分析師和數據科學家們要不就得在Excel或Jupyter Notebooks中處理小批量的數據，從而無法處理大型數據集。又或者需要依靠稀缺的數據工程師和ETL開發(fā)人員編寫定制代碼，執(zhí)行清洗和處理。為了發(fā)現數據中的異常，技術精湛的數據工程師和ETL開發(fā)者需要花費數天或數周時間編寫定制工作流，將數據從不同的源中提取出來，然后透視、轉置，多次切分數據，才能由數據分析師和數據科學家迭代，識別并解決數據的質量問題。在開發(fā)了這些轉換之后，數據工程師和ETL開發(fā)者仍然需要編排自定義工作流并持續(xù)運行來自動地清洗和規(guī)范化新傳入的數據。每次數據分析師或數據科學家想要更改或添加轉換時，數據工程師和ETL開發(fā)者就需要再次提取、加載、清洗、規(guī)范化和協調數據準備任務，這個迭代過程可能需要數周到數個月的時間才能完成。結果是，客戶多達80%的時間都花費在清洗和標準化數據上，而非真正地分析數據并從中提取價值。
AWS Glue DataBrew是一個AWS Glue的可視化數據準備工具，允許數據分析師和數據科學家無需編寫任何代碼，即可通過一個交互式、單擊的可視化界面來清洗和轉換數據。使用AWS Glue DataBrew，終端用戶可以直接從他們的Amazon Simple Storage Service (Amazon S3)數據湖、Amazon Redshift數據倉庫、Amazon Aurora和Amazon Relational Database Service (Amazon RDS)數據庫中輕松地訪問、可視化地探索組織內任意數量的數據?？蛻魺o需編寫代碼，即可選擇超過250個內置函數來組合、透視和轉置數據。AWS Glue DataBrew推薦諸如過濾異常、將數據標準化為標準日期和時間值、生成用于分析的聚合，以及糾正無效、錯誤分類或重復的數據等數據清洗和標準化步驟。對于復雜的任務，如將單詞轉換為通用的基本單詞或根單詞（如將“yearly”和“yearlong”轉換為“year”），AWS Glue DataBrew還提供了使用高級機器學習技術，如自然語言處理(NLP)的轉換。然后，用戶可以將這些清洗和處理步驟保存到工作流（稱為配方）中，并將它們自動應用到未來傳入的數據中。如果需要對工作流進行更改，數據分析師和數據科學家只需更新配方中的清洗和處理步驟，并在新數據到達時自動應用它們。AWS Glue DataBrew將準備好的數據發(fā)布到Amazon S3，讓客戶可以很便捷地立即用于分析和機器學習。AWS Glue DataBrew是無服務器和全托管的服務，客戶不需要配置、供應或管理任何計算資源。
“AWS客戶正以前所未有的速度使用數據，進行分析和機器學習。然而，這些客戶經常告訴我們，他們的團隊在無差異的、重復的、單調的數據準備工作上花費了太多時間?！盇WS數據庫和分析副總裁Raju Gulabani表示，“客戶喜歡像AWS Glue這樣基于代碼的數據準備服務的可擴展性和靈活性，而允許業(yè)務用戶、數據分析師和數據科學家無需編寫代碼，就可以獨立地可視化地探索和試驗數據，也會讓客戶從中受益。AWS Glue DataBrew具有一個易于使用的可視化界面，可幫助所有技術水平的數據分析師和數據科學家理解、合并、清洗和轉換數據?！?/p>
AWS Glue DataBrew現已在美國東部（弗吉尼亞北部）、美國東部（俄亥俄）、美國西部（俄勒岡）、歐洲（愛爾蘭）、歐洲（法蘭克福）、亞太地區(qū)（悉尼）區(qū)域和亞太地區(qū)（東京）區(qū)域正式推出，其它區(qū)域也將很快推出。
