首頁|必讀|視頻|專訪|運(yùn)營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|智能汽車|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片|報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁 >> 運(yùn)營 >> 正文

中國移動(dòng)聯(lián)合研發(fā)2D數(shù)字人說話驅(qū)動(dòng)系統(tǒng):可生成7種情緒,用于5G新通話、AI客服等

2024年12月9日 14:23  IT之家  作 者:汪淼

中國移動(dòng) 12 月 8 日宣布聯(lián)合南京大學(xué)團(tuán)隊(duì)研發(fā)高保真 2D 數(shù)字人說話驅(qū)動(dòng)系統(tǒng)。

作為擁有世界規(guī)模第一用戶數(shù)的通信運(yùn)營商,中國移動(dòng)每年的客戶服務(wù)運(yùn)營成本巨大,F(xiàn)已廣泛普及的智能語音客服雖能完成一定的業(yè)務(wù)自動(dòng)應(yīng)答任務(wù),但依然不及人工客服面對(duì)面,一對(duì)一的星級(jí)服務(wù)體驗(yàn)。

針對(duì)實(shí)際業(yè)務(wù)存在的痛點(diǎn),中國移動(dòng)九天視覺團(tuán)隊(duì)聯(lián)合南京大學(xué)邰穎團(tuán)隊(duì),研發(fā)高保真 2D 數(shù)字人說話驅(qū)動(dòng)系統(tǒng),旨在為用戶提供表情自然、唇音同步和頭部姿態(tài)和諧的數(shù)字人播報(bào)對(duì)話服務(wù),可應(yīng)用于智能客服、教育培訓(xùn)、廣告營銷等場(chǎng)景。

▲ 情感控制的高保真 2D 數(shù)字人說話驅(qū)動(dòng)方法

據(jù)中國移動(dòng)官方介紹,2D 數(shù)字人說話驅(qū)動(dòng)系統(tǒng)實(shí)現(xiàn)根據(jù)給定目標(biāo)人物的照片或視頻和任意一段音頻,生成與音頻同步的目標(biāo)人物說話視頻流。要求生成視頻里的人物逼真度高,表情姿態(tài)自然,同時(shí)需要具有較高的實(shí)時(shí)性,能做到與語言大模型、音頻合成能力有機(jī)整合,構(gòu)建起人物數(shù)字替身。

中國移動(dòng)九天視覺團(tuán)隊(duì)聯(lián)合南京大學(xué)研發(fā)的高保真 2D 數(shù)字人說話驅(qū)動(dòng)系統(tǒng),在以下三方面開展了技術(shù)攻堅(jiān)和方案創(chuàng)新:

第一,性能實(shí)時(shí):相比以往數(shù)字人方法,在實(shí)時(shí)播報(bào)的口型生成技術(shù)上達(dá)到了學(xué)術(shù)界領(lǐng)先水平,支持中英文數(shù)字人口型驅(qū)動(dòng),在保持效果的情況下達(dá)到實(shí)時(shí)性能 30ms / 幀

第二,效果領(lǐng)先:研發(fā)二階段學(xué)習(xí)框架,將數(shù)字人說話驅(qū)動(dòng)拆解成:從音頻到口型系數(shù)和從口型系數(shù)到生成人像兩部分,降低學(xué)習(xí)難度,實(shí)現(xiàn)更好的生成效果。

第三,情緒控制:引入情緒引導(dǎo)學(xué)習(xí)模塊,支持正常、微笑、驚訝、憤怒、恐懼、悲傷等 7 種主流情緒控制生成能力,賦予生成的播報(bào)人人文情感表達(dá)能力。

▲ 高興、悲傷情緒下的數(shù)字人說話生成效果

從中國移動(dòng)官方獲悉,數(shù)字人生成技術(shù)上實(shí)現(xiàn)了端到端的二階段 30 FPS 實(shí)時(shí)生成性能,并支持 512*512 人臉區(qū)域生成,同時(shí)具備高興、悲傷等 7 種主流情緒控制生成能力。

在評(píng)測(cè)集 VoxCeleb 指標(biāo)方面,該技術(shù)的口型準(zhǔn)確性 LMD(LandMark Distance)達(dá)到 4.3,生成自然度 FID 達(dá)到 11.1。

中國移動(dòng)官方表示,該研發(fā)成果應(yīng)用前景廣闊,有效降低了創(chuàng)作門檻,提升了生成人物的視覺質(zhì)量,已為 5G 新通話、和留言小秘書品牌業(yè)務(wù)的拓展賦能升級(jí)。

編 輯:章芳
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對(duì)于經(jīng)過授權(quán)可以轉(zhuǎn)載,請(qǐng)必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問題,請(qǐng)?jiān)谙嚓P(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時(shí)間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
中國移動(dòng)王曉云:6G已經(jīng)進(jìn)入面向產(chǎn)業(yè)技術(shù)創(chuàng)新的全新階段
精彩專題
2024中國算力大會(huì)
2024年國際信息通信展
中國信科亮相2024年國際信息通信展
第25屆中國國際光電博覽會(huì)
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱: 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像