北京2023年2月23日 /美通社/ -- 亞馬遜云科技宣布與Hugging Face進(jìn)一步合作,以加速對(duì)大語(yǔ)言模型和視覺模型的訓(xùn)練、精調(diào)和部署,促進(jìn)生成式AI應(yīng)用的創(chuàng)建。生成式AI應(yīng)用可以執(zhí)行各種任務(wù),包括文本摘要、問題回答、代碼生成、圖像創(chuàng)建以及撰寫論文和文章。
亞馬遜云科技在生成式AI創(chuàng)新方面擁有深厚歷史。例如,亞馬遜使用AI技術(shù)為Amazon Alexa用戶提供對(duì)話體驗(yàn),每周用戶互動(dòng)次數(shù)達(dá)到數(shù)十億次,同時(shí)也越來(lái)越多地使用生成式AI來(lái)支持新體驗(yàn),如"Create with Alexa"功能。此外,作為亞馬遜搜索(Amazon Search)的一個(gè)小組,M5可以幫助亞馬遜各地團(tuán)隊(duì)將大模型應(yīng)用到他們的應(yīng)用程序中,并訓(xùn)練大模型以提升Amazon.com網(wǎng)站的搜索結(jié)果。亞馬遜云科技持續(xù)在機(jī)器學(xué)習(xí)(ML)的所有領(lǐng)域中創(chuàng)新,包括基礎(chǔ)設(shè)施、Amazon SageMaker相關(guān)工具和開箱即用的AI服務(wù),比如Amazon CodeWhisperer,它嵌入到程序員使用的IDE中,通過注釋來(lái)生成建議代碼,以提高開發(fā)人員的生產(chǎn)力。為加速機(jī)器視覺與大語(yǔ)言模型的訓(xùn)練和推理,亞馬遜云科技還推出了自研訓(xùn)練芯片 Amazon Trainium與推理芯片Amazon Inferentia。
Hugging Face之所以選擇亞馬遜云科技作為首選云供應(yīng)商,是因?yàn)樗峁┝遂`活、可選的全球領(lǐng)先性能工具,例如Amazon SageMaker、Amazon Trainium和Amazon Inferentia,滿足了Hugging Face模型訓(xùn)練、精調(diào)和部署需求。依賴于此,開發(fā)人員使用Hugging Face可以輕松優(yōu)化性能并降低成本,從而更快地將生成式AI應(yīng)用投入到生產(chǎn)環(huán)境。
"AI的未來(lái)已經(jīng)到來(lái),但并非每個(gè)人都能平等享用AI。"Hugging Face首席執(zhí)行官Clement Delangue表示,"可訪問性和透明性是以明智和負(fù)責(zé)任的方式使用這些新功能,從而共享成果和創(chuàng)造新工具的關(guān)鍵。Amazon SageMaker和亞馬遜云科技定制芯片會(huì)幫助我們的團(tuán)隊(duì)和更大的機(jī)器學(xué)習(xí)社區(qū),將最新研究成果轉(zhuǎn)化為人人都可構(gòu)建的、公開的可復(fù)制模型。"
高性能且兼具成本效益的生成式AI
大語(yǔ)言模型和視覺模型的構(gòu)建、訓(xùn)練和部署是一個(gè)昂貴且耗時(shí)的過程,需要深厚的機(jī)器學(xué)習(xí)專業(yè)知識(shí)的支持。這兩類模型非常復(fù)雜,可能包含數(shù)千億個(gè)參數(shù),因此在很大程度上,許多開發(fā)人員無(wú)法使用生成式AI。
為了彌補(bǔ)這一差距,Hugging Face與亞馬遜云科技建立合作,讓開發(fā)人員更易通過訪問亞馬遜云科技的服務(wù),來(lái)應(yīng)用部署Hugging Face模型,尤其是那些生成式AI模型。這樣做的好處是:可以更快地訓(xùn)練與擴(kuò)展低延遲和高通量的推理任務(wù)。例如,由Amazon Trainium支持的Amazon Elastic Compute Cloud (Amazon EC2) Trn1實(shí)例提供了更快的訓(xùn)練時(shí)間,與基于GPU的實(shí)例相比,可節(jié)省高達(dá)50%的訓(xùn)練成本。而由最新一代Amazon Inferentia芯片支持的Amazon EC2 Inf2實(shí)例,旨在部署最新一代大語(yǔ)言模型和視覺模型。相比Inf1實(shí)例,Inf2 實(shí)例吞吐量提升了4倍,延遲降低了10倍。Amazon SageMaker為ML提供工具和工作流,開發(fā)人員可以通過Amazon SageMaker等托管服務(wù)使用Amazon Trainium和Amazon Inferentia,亦或在Amazon EC2上自行管理。
"生成式AI蘊(yùn)藏著改變整個(gè)行業(yè)的巨大潛力,但其成本和所需的專業(yè)知識(shí)使該技術(shù)無(wú)法為除少數(shù)公司之外的所有公司所用。"亞馬遜云科技首席執(zhí)行官Adam Selipsky表示,"Hugging Face和亞馬遜云科技讓用戶更易訪問流行的機(jī)器學(xué)習(xí)模型,以最高的性能和最低的成本創(chuàng)建自己的生成式AI應(yīng)用。此次合作充分說(shuō)明,生成式AI公司和亞馬遜云科技的合作可以讓更多客戶對(duì)創(chuàng)新技術(shù)觸手可及。"
即刻開始使用
客戶可以通過三種方式在亞馬遜云科技平臺(tái)上調(diào)用Hugging Face模型,如使用SageMaker JumpStart、Hugging Face亞馬遜云科技深度學(xué)習(xí)容器( DLC),或者根據(jù)教程將已有模型部署到Amazon Trainium或Amazon Inferentia。Hugging Face DLC包含了優(yōu)化的transformer、數(shù)據(jù)集和標(biāo)記器庫(kù),使用戶將大規(guī)模地精調(diào)和部署生成式AI應(yīng)用程序的時(shí)間從幾周縮短到幾小時(shí),并且只需極少的代碼更改。SageMaker JumpStart和Hugging Face DLC在提供Amazon SageMaker服務(wù)的所有區(qū)域上均可使用,無(wú)需額外費(fèi)用。閱讀文檔或者參與論壇討論(discussion forum)以了解更多信息,或立即使用示例上手學(xué)習(xí)( sample notebooks)。