omniture

首個面向產業(yè)應用的AI開源評測基準AI-Rank正式發(fā)布 | 美通社

2020-12-17 10:44

 

近日,在2020中關村大數(shù)據(jù)日暨數(shù)字經濟融合創(chuàng)新發(fā)展論壇上,中關村智用人工智能研究院、百度、浪潮聯(lián)合發(fā)布了面向產業(yè)應用的AI開源評測基準AI-Rank。此基準是在中關村管委會、中國科協(xié)科學技術傳播中心的指導下,智用研究院、百度、浪潮聯(lián)合發(fā)起,基準所采用的評價體系可通過多個指標測試綜合評分,能夠客觀、全面、系統(tǒng)地反映人工智能產業(yè)的現(xiàn)狀及其發(fā)展方向。

區(qū)別于已有評測基準只注重單一速度指標,AI-Rank主指標側重對方案面向產業(yè)應用水平的考量,通過多維度擬合給出綜合表現(xiàn),并提供系列子指標以對系統(tǒng)的技術優(yōu)勢進行全面展示。具體來講,AI-Rank具備三大特色:面向產業(yè)應用進行指標設置,設定更廣泛、系統(tǒng)、實用的量化評價體系;增加軟件賽道,不能單純比拼硬件速度,同時測評面向產業(yè)真實應用的軟件能力;支持國產化,考察國產化生態(tài),實現(xiàn)硬件、算法、平臺的一體化協(xié)同發(fā)展。針對軟件賽道,在同樣的硬件設置上,綜合考慮多種典型硬件配置,考察軟件的綜合表現(xiàn),例如模型覆蓋率、性能表現(xiàn)等。在硬件賽道,則會在給定的軟件環(huán)境和AI任務上,針對不同硬件進行多方位指標的測試,以評價不同硬件的性能表現(xiàn)。(美通社,2020年12月16日北京)