omniture

當程序員節(jié)遇上RTC,相芯談帶寬紅利時代的AI+CG

2019-10-25 15:29

北京2019年10月25日 /美通社/ -- 10月24日,恰逢格子襯衫控的節(jié)日 -- 程序員節(jié)。有超3000多名RTC技術社區(qū)開發(fā)者齊聚北京,參加全球最大實時音視頻技術盛會之一 -- RTC2019。相芯科技作為RTC開發(fā)者大會的老朋友,不僅在展區(qū)帶來了視頻AR特效、虛擬形象自動生成、AI虛擬主播、AI虛擬助手等產品解決方案。同時相芯科技的CTO秦昊博士,在【下一代RTC】論壇帶來了關于《智能圖形學的進展及應用》的技術分享,共同探討在帶寬紅利時代,AI+CG技術如何給讓視頻更加智能、更加豐富這一新議題。

當程序員節(jié)遇上RTC,相芯和你聊聊帶寬紅利時代的AI+CG
當程序員節(jié)遇上RTC,相芯和你聊聊帶寬紅利時代的AI+CG

RTC開發(fā)者大會的影響力正在不斷壯大,基于技術的發(fā)展和對音視頻的需求不斷增加,RTC 大會在議題方向和覆蓋行業(yè)等方面一直在不斷更新迭代。2015 年和 2016 年 RTC 大會主要聚焦在實時音視頻、實時通信相關的技術應用。在 2017 年增加了 VR(VR 聲音的泛娛樂探索、VR 多人實時互動中 3D 音場及動作同步工程實踐)、AR(移動直播 AR 技術)相關的技術。到了 2018 年,機器學習(無人駕駛、人工智能與視頻處理)、AR(AR 眼鏡的商業(yè)化之路、AR 中的模型同步)等議題也出現在 RTC 大會的日程上。今年的技術分享,囊括編解碼、傳輸架構、QoE、AI(實時超分辨率、語音鑒黃、AI 音頻美化)到 5G、Flutter(Flutter 浪潮下的音視頻研發(fā)探索)這些開發(fā)者關心的熱點技術。

相芯科技CTO秦昊在RTC 大會上發(fā)表演講
相芯科技CTO秦昊在RTC 大會上發(fā)表演講

5G的速度提升,帶來移動體驗新標準

每一代移動設備的更新都帶來了移動體驗的新跨越。例如,從2G到3G,從IM短信時代進化到手機彩信郵件等時代。4G的引入,則催生了全民直播和流媒體的時代。而5G的到來,可以帶來更多的想象空間。5G將逐步取代現有的4G網絡,將蜂窩實際數據傳輸速度從10-15 Mbps提高到100+ Mbps。更快的速度和更快的連接將為現有的移動體驗創(chuàng)造新的標準,用戶可以體驗低延時、更高清的視頻播放,AR和其他虛擬現實相結合的更豐富的互動形式,以及獲得更多富有創(chuàng)造性的新體驗。5G的到來,讓視頻內容成為互聯網應用的主流,如何能夠低成本、快速地生成更多新奇、有趣的視頻內容成為核心。相芯科技專注的智能圖形學領域,讓AI與CG結合,恰恰是在于解決在消費級領域,普通用戶低門檻地創(chuàng)作和生產新的內容這個問題。

千人千面的卡通形象,AIAR更懂人心

只要一張正面自拍,就能立刻生成一個和自己高度相似的卡通形象,還能實現卡通形象的實時驅動。全自動生成、只需普通攝像頭、支持個性化自定義、可接入各大應用場景……相芯科技將復雜的技術難題解決,將豐富有趣的效果和低門檻的使用條件留給用戶,使得這項虛擬形象自動生成技術可以被接入到各種平臺設備中,可應用于虛擬社交、短視頻、直播等各種應用場景中。

相芯科技個性化虛擬形象智能生成
相芯科技個性化虛擬形象智能生成

讓人像美化更智能

傳統(tǒng)的人像美顏方案主要基于圖像處理技術方案,比如美白、磨皮。相芯的人像智能美化方案更多地利用AI技術對人像進行更深入的理解,實現美妝、美發(fā)、美體等立體化全身的美化方案。比如針對美妝,相芯根據需求生成了209個人臉關鍵點點位,使得妝容更加細致多元化,同時還利用圖像渲染技術,優(yōu)化口紅、眉毛等視覺表現。針對美發(fā),則通過神經網絡進行語義,將發(fā)型區(qū)域分割出來,進而實現實時變色,并支持任意顏色的自定義設置。針對美體方案,相芯科技基于人體檢測和關鍵點追蹤模型,可以實現實時進行人體微調,實現對肩、胯、腿、身形等部位的細致美化,達到長腿、瘦身等各種美體塑形效果。

讓視頻生產自動化智能化

只需要輸入一段文字,算法就會自動生成一個虛擬形象有表情有動作的播報視頻。這是相芯科技目前應用于AI虛擬主播、AI智能助手的語音動畫合成技術(STA)。在相芯科技打造的解決方案中,具體虛擬形象類型豐富、人物表現力強、多平臺適配、視頻合成便捷等特性。

目前相芯的AI虛擬主播方案已經在很多主流媒體里投入使用,如世園會的吉祥物、錢江臺的小范兒、濟南廣電的小沫兒等等。同時相芯的AI虛擬助手解決方案也在汽車智能助手、智能金融、智慧醫(yī)療領域投入使用。

RTC展區(qū)現場互動人氣高

在整個RTC開發(fā)者大會期間,相芯科技在展區(qū)帶來了最新的產品demo,讓更多對相芯科技技術感興趣的開發(fā)者第一時間實時體驗和交流。在現場生成自己的卡通形象、和智能助手聊天,干貨滿滿的技術分享和切實的產品體驗讓更多開發(fā)者對產品的技術合作表現出濃厚的興趣。

能在消費級領域打造更多有趣的具有創(chuàng)造性的技術,是5G時代互聯網的應用的一個新趨勢,相芯科技專注于人工智能和計算機圖形學的融合與創(chuàng)新,將會為消費級應用打造更多內容創(chuàng)作工具、平臺和解決方案。

消息來源:杭州相芯科技有限公司