omniture

中國IDC圈:智算成本居高不下,如何有效破局?

2024-06-04 15:27

自ChatGPT橫空出世以來,人工智能大模型的熱度持續(xù)攀升。有觀點認為,人工智能將引領(lǐng)第四次工業(yè)革命。然而,這一預言背后隱藏著一個問題:算力成本的高企。舉例來說,GPT-3.5訓練一次大模型的成本高達1200萬美元,約合8700萬人民幣,而ChatGPT 4.0的算力需求則激增了68倍。面對這一“燒錢”游戲,我們該如何應(yīng)對?

數(shù)據(jù)中心和智算中心形象圖

數(shù)據(jù)中心和智算中心形象圖

國內(nèi)智算成本高企的背后

首先,讓我們來探究一下智算的“胃口”。智算的過程主要分為兩步:推理與訓練。推理過程就像是讓AI模型進行“深思熟慮”,而訓練過程則是讓它們“勤學苦練”。這兩個階段都對計算資源和電力有著巨大的需求。

硬件設(shè)備價格昂貴:智算離不開高性能計算機(HPC)和GPU等硬件設(shè)備。這些高端設(shè)備價格高昂,而且許多關(guān)鍵設(shè)備還依賴進口,這無疑進一步推高了成本。以H100為例,據(jù)美國金融機構(gòu)Raymond James稱,H100的成本約為3320美元,但英偉達對客戶的批發(fā)銷售價格介于25000美元至30000美元之間,而同時受到美國政策限制,成為稀有資源。

電力成本高企:智算對計算資源的需求巨大,而這些資源的運行和冷卻都需要消耗大量的電力。在國內(nèi),電力價格不菲,尤其是在一些大都市,電費無疑成了智算成本中的“大戶”。北上廣深等核心城市工業(yè)用電價一直保持高位,用電緊張。

人才和數(shù)據(jù)成本不可小覷:智算領(lǐng)域需要大批高素質(zhì)人才,包括數(shù)據(jù)科學家、算法工程師和系統(tǒng)架構(gòu)師等,隨著智算需求的增長,這些人才的薪資也水漲船高。而數(shù)據(jù)作為智算的“燃油”,獲取和處理高質(zhì)量的數(shù)據(jù)同樣需要投入大量資源。數(shù)據(jù)的采集、清洗、存儲和傳輸?shù)拳h(huán)節(jié),都會產(chǎn)生可觀的成本。

據(jù)了解,目前,國內(nèi)企業(yè)在智算方面投入巨大,以1P算力的成本來看,硬件設(shè)備的采購成本大約為5000萬元,電力和維護成本每年約1000萬元,再加上人才和數(shù)據(jù)成本,整體支出堪稱“天文數(shù)字”。

盡管如此,智算的需求仍在不斷增長,特別是在金融、醫(yī)療、制造和交通等領(lǐng)域。為了保持競爭力,企業(yè)不得不持續(xù)增加智算的投入,形成了一個“成本高-需求高-投入高”的惡性循環(huán)。那么,企業(yè)該如何打破這個循環(huán),有效降低智算成本呢?

破解之道

制冷、供配電節(jié)能技術(shù)的應(yīng)用:液冷技術(shù)通過使用液體冷卻系統(tǒng),可以有效降低數(shù)據(jù)中心的溫度,提高能效,減少能耗。這有助于降低電力成本;模塊化的電力系統(tǒng)可以更靈活地滿足不同負載需求,減少能源浪費,從而降低成本。例如,阿里浸沒式液冷的應(yīng)用,使PUE值降到1.09,液冷技術(shù)可以顯著降低數(shù)據(jù)中心的能源消耗,實現(xiàn)綠色智算中心的目標。

東數(shù)西算,優(yōu)化資源配置:電力成本低廉的西部地區(qū)利用“東數(shù)西算”戰(zhàn)略,將數(shù)據(jù)計算任務(wù)從東部轉(zhuǎn)移到資源豐富、電力成本低廉的西部地區(qū)。這有助于降低整體智算成本。同時,8大國家算力樞紐節(jié)點的20毫秒(ms)時延圈已覆蓋國內(nèi)主要城市,5ms時延圈已實現(xiàn)樞紐周邊省市覆蓋,這使得數(shù)據(jù)傳輸速度更快、可靠性更高。例如,貴州的智算中心已成為許多企業(yè)的首選地,通過將計算任務(wù)轉(zhuǎn)移到此地,企業(yè)可以顯著降低電力成本。

網(wǎng)絡(luò)技術(shù)的進步:智算中心內(nèi)部網(wǎng)絡(luò)連接技術(shù)的不斷改進可以提高數(shù)據(jù)傳輸速度、可靠性和安全性。例如,騰訊云通過自研星脈網(wǎng)絡(luò)3.2T通信帶寬和統(tǒng)一的接入層能力,打造了一個可以支持超過10萬張卡并行計算,并且能夠兼容多種GPU生態(tài)的算力集群,這有助于優(yōu)化智算中心內(nèi)部的通信,提高整體智算效率。

云計算,降低基礎(chǔ)設(shè)施成本:云計算是降低智算成本的有效途徑。企業(yè)可以通過使用云計算平臺,減少自建數(shù)據(jù)中心的成本。云計算平臺提供按需付費模式,企業(yè)可以根據(jù)實際需求靈活調(diào)整算力資源,避免資源浪費。例如,騰訊云和阿里云等國內(nèi)領(lǐng)先的云計算服務(wù)商,已經(jīng)為眾多企業(yè)提供了高效、低成本的智算解決方案。

智算成本的高企無疑是國內(nèi)智算行業(yè)面臨的一大挑戰(zhàn)。但是,通過采用節(jié)能技術(shù)、實施“東數(shù)西算”戰(zhàn)略、提升網(wǎng)絡(luò)技術(shù)和使用云計算等措施,我們有望有效破解這一難題,降低智算成本。隨著技術(shù)的不斷進步和政策的支持,國內(nèi)智算行業(yè)必將迎來更加廣闊的發(fā)展前景。

為進一步推動智算產(chǎn)業(yè)的生態(tài)構(gòu)建與合作,中國IDC圈將于2024年6月18日在深圳舉辦“中國智算生態(tài)發(fā)展大會”,大會將邀請院士專家、政府主管部門、大模型企業(yè)、智能算力供應(yīng)商、云廠商、電信運營商以及芯片企業(yè)、服務(wù)器企業(yè)的專業(yè)人士參與,共促產(chǎn)業(yè)鏈上下游交流與共贏。大會官網(wǎng)地址:http://www.idcquan.com/Special/2024CICEDC/

中國智算生態(tài)發(fā)展大會

中國智算生態(tài)發(fā)展大會

智算生態(tài)大會報名二維碼

掃碼報名

消息來源:中國IDC圈