深圳2022年6月29日 /美通社/ -- 近日，千博信息、中國科學院自動化研究所、華為基于“紫東太初”三模態(tài)大模型、昇騰AI基礎軟硬件平臺打造出手語多模態(tài)模型及手語教考一體機，輔助聽障人士更好地理解和學習手語。我國有2700多萬聽障人士，手語是聽障人群溝通交流的主要方式，但手語學習面臨詞匯更新慢、師資短缺、手語標準難統(tǒng)一等多重挑戰(zhàn)。
手語多模態(tài)模型及手語教考一體機
研發(fā)人員讓“紫東太初”三模態(tài)大模型學習了1.2萬個手語詞匯、50多萬語法、70多萬語料，基于昇思MindSpore AI框架，開發(fā)手語多模態(tài)模型，開創(chuàng)性地實現(xiàn)手語動作與視頻、圖片示意和文字說明的聯(lián)動，讓初學者對手語語義理解更加深刻。而后，基于手語多模態(tài)模型，利用昇騰AI基礎軟硬件平臺開發(fā)出手語教考一體機。目前，該一體機已在湖南多個特殊教育學校陸續(xù)上線，一定程度上緩解了手語師資短缺問題。
手語教考一體機可以實現(xiàn)文本到圖像的自動生成，具備實時手語手勢識別、表情及唇語識別等能力，并且還可實現(xiàn)新事物詞匯的及時學習與更新，適用于特殊教育學校、開設手語教學師資培養(yǎng)的大專院校、通用手語推廣教學點和全國殘聯(lián)基層培訓點等。此外，基于手語多模態(tài)模型打造的AI手語助手功能可用于同傳翻譯、新聞主持、服務引導等場景。
2021年底，基于“紫東太初”三模態(tài)大模型，華為攜手伙伴成立了多模態(tài)人工智能產業(yè)聯(lián)盟，經過半年多緊密合作，陸續(xù)孵化出多個行業(yè)解決方案，如手語多模態(tài)模型和手語教考一體機。在AI大模型產業(yè)化落地過程中，豐富的數(shù)據(jù)和參數(shù)、更泛化的應用場景，反哺大模型基礎能力，讓大模型更智能、場景適用性更好，從而對行業(yè)應用提供更大的支持，實現(xiàn)大模型創(chuàng)新到應用，再到迭代升級的產業(yè)正循環(huán)。未來基于中國算力網—智算網絡的充沛算力，AI大模型的創(chuàng)新、應用到迭代升級的速度將進一步加快，大模型在不同領域的應用也將更加多元化。
