北京2024年2月29日 /美通社/ -- 近日，潞晨科技Colossal-AI大模型開發(fā)工具與浪潮信息AIStation智能業(yè)務(wù)創(chuàng)新生產(chǎn)平臺完成兼容性互認(rèn)證。基于AIStation平臺部署與調(diào)度的潞晨科技Colossal-AI系統(tǒng)，用戶可實(shí)現(xiàn)在本地算力平臺一鍵訓(xùn)練、微調(diào)、推理、部署大模型，將大模型開發(fā)效率提升10倍以上，并將算力效率提升2-3倍，在最大化提升大模型開發(fā)效率的同時，降低大模型開發(fā)及應(yīng)用的門檻和成本。
Colossal-AI系統(tǒng)由元腦生態(tài)伙伴潞晨科技開發(fā)，是全球最大、最活躍的大模型開發(fā)工具與社區(qū)之一。Colossal-AI包含高效多維并行、內(nèi)存管理、低延遲推理系統(tǒng)等模塊，可顯著提高AI大模型訓(xùn)練、微調(diào)和部署效率。以當(dāng)前被廣泛使用的LLaMA大模型為例，Colossal-AI提供開箱即用的650億參數(shù)預(yù)訓(xùn)練方案，可將訓(xùn)練速度提升38%，僅需32張GPU卡。Colossal-AI發(fā)布后多次登頂GitHub熱度榜世界第一，目前已與PyTorch、Hugging Face等全球頂級AI生態(tài)深度融合，位列全球TOP400，細(xì)分賽道世界第一，并且已與國內(nèi)外多家500強(qiáng)企業(yè)合作，促進(jìn)AI大模型在自動駕駛、云計(jì)算、零售、醫(yī)藥、金融等領(lǐng)域落地。
本次兼容性測試完成了Colossal-AI異構(gòu)內(nèi)存管理系統(tǒng)、高效自動N維并行系統(tǒng)、低延時推理系統(tǒng)等核心模塊在AIStation平臺上的驗(yàn)證測試。測試結(jié)果表明，Colossal-AI框架在浪潮信息AIStation平臺上運(yùn)行穩(wěn)定、性能表現(xiàn)優(yōu)異，滿足雙方兼容性認(rèn)證的各項(xiàng)標(biāo)準(zhǔn)，在ChatGPT等大模型訓(xùn)練場景下，可將算力效率提升2-3倍，訓(xùn)練/推理速度提升10倍以上。浪潮信息AIStation平臺為上層AI大模型開發(fā)提供了資源管理、任務(wù)調(diào)度、運(yùn)維管理等能力，能夠幫助用戶更快速靈活地獲取本地AI算力，讓計(jì)算平臺更好地支持Colossal-AI高效運(yùn)行。
Colossal-AI攜手浪潮信息AIStation，將為AI大模型應(yīng)用開發(fā)提供開箱即用、更快速、高性能、低損耗的本地化解決方案，大幅提升AI大模型訓(xùn)練、微調(diào)、推理、部署的效率，并降低AI大模型的開發(fā)成本和計(jì)算資源需求。
浪潮信息AIStation是面向企業(yè)級訓(xùn)練與推理場景開發(fā)的智能業(yè)務(wù)生產(chǎn)創(chuàng)新平臺，實(shí)現(xiàn)從模型開發(fā)、訓(xùn)練、部署、測試、發(fā)布、服務(wù)的全流程一站式高效交付。通過對計(jì)算資源、數(shù)據(jù)資源、深度學(xué)習(xí)軟件棧資源進(jìn)行統(tǒng)一管理，AIStation為環(huán)境構(gòu)建、模型開發(fā)、模型訓(xùn)練、模型評估、模型推理、上線部署全鏈條全面提速，加快AI開發(fā)應(yīng)用創(chuàng)新落地。AIStation基于資源管理調(diào)度、平臺流程支持能力，在異構(gòu)芯片、創(chuàng)新生產(chǎn)工具、行業(yè)伙伴應(yīng)用、客戶方案等不同層面，與元腦合作伙伴展開了大量適配對接認(rèn)證工作，并積累了大量的適配對接經(jīng)驗(yàn)、模式與方案，成為了元腦生態(tài)的重要承載平臺。
