“魔鏡魔鏡告訴我，我現(xiàn)在的心情怎么樣？”這樣的提問不再是童話故事里的專屬，在現(xiàn)實生活中，南京工業(yè)大學(xué)的同學(xué)們也設(shè)計出了一款“魔鏡”。只需要坐在電腦前說話，電腦中的數(shù)字人就能識別你的所有情緒。這款特別的“魔鏡”得到了專業(yè)認(rèn)可，在2022RoboCom機器人開發(fā)者大賽信息技術(shù)與工程創(chuàng)客賽道全國總決賽中獲得一等獎。

設(shè)計“魔鏡”的，是南京工業(yè)大學(xué)學(xué)生孫文浩、彭華東、沙書杰、邢卓雅、李彥達(dá)，他們在武曉光、郭天文老師的指導(dǎo)下，設(shè)計出了“魔鏡”的基本構(gòu)造。據(jù)介紹，人類的情緒極為復(fù)雜，共有27種不同的情緒，包括憤怒、厭惡、恐懼、快樂、悲傷、驚奇和中性七種基礎(chǔ)情緒。面對當(dāng)今快節(jié)奏的生活，人們或多或少都會有憤怒、焦慮等不良情緒，當(dāng)這些不良情緒無法及時消解時，便容易滋生各種生理和心理疾病。基于此，孫文浩等五位同學(xué)設(shè)計制作了一款能夠感知人類情緒的數(shù)字人形象助手——“魔鏡”，用戶只需要坐在電腦面前，打開攝像頭與麥克風(fēng)，對著“魔鏡”程序說話，“魔鏡”就能夠通過其聲音與視頻數(shù)據(jù)進行情感識別，電腦中的數(shù)字人隨即會做出相對應(yīng)的表情，幫助用戶感知自己的情緒。

團隊將項目分為四個執(zhí)行步驟施行，即制作“魔鏡”的表情驅(qū)動、基于視覺的元宇宙情緒感知、基于聽覺的情緒感知以及最終產(chǎn)生的多模態(tài)情緒判斷。團隊選擇了比動漫人物、動物在表情復(fù)現(xiàn)上更為精細(xì)的數(shù)字人寫實形象作為建模方案，而實現(xiàn)表情驅(qū)動則需要對真人的眉毛、眼睛、鼻子、嘴巴等70個特征點進行標(biāo)定。

“在采集數(shù)據(jù)的過程中，我和孫文浩同學(xué)作為模特需要模仿各種各樣的表情，然而做出來的表情還是有些別扭，這對靦腆的我們來說可太難了，這個過程也為團隊增添了不少樂趣。”團隊成員沙書杰笑著說。

想實現(xiàn)基于視覺的元宇宙情緒感知，還需要對采集到的人臉表情進行標(biāo)注分類，在網(wǎng)絡(luò)結(jié)構(gòu)模型方案的選擇上，團隊通過實際場景測試，得出LeNet-5的準(zhǔn)確率為70％，而AlexNet的準(zhǔn)確率高達(dá)95％的測試結(jié)果，并最終選擇AlexNet網(wǎng)絡(luò)結(jié)構(gòu)模型。

“模型最終測試的準(zhǔn)確率和網(wǎng)絡(luò)模型有著直接關(guān)系，比如模型的層數(shù)不同，那么它的識別能力以及精度都是不同的。除此之外，超參數(shù)的選擇也會影響到模型的識別效果。”孫文浩補充道。

“想要辨別一個真實的人的情緒，光靠視覺辨別是遠(yuǎn)遠(yuǎn)不夠的，我們可以增加聲音這一模態(tài)來判斷人的情緒。”武曉光老師和郭天文老師在此基礎(chǔ)上又向團隊提出了新的優(yōu)化方案。團隊通過處理時域信號得出語音頻譜圖，從而實現(xiàn)基于聽覺的情緒識別。

“語音頻譜圖的語音數(shù)據(jù)集選自CASIA漢語情感語料庫，它是由中國科學(xué)院自動化所錄制，包括四個專業(yè)發(fā)音人，生氣、高興、害怕、悲傷、驚訝和中性等六種情緒，共4800句不同發(fā)音。”團隊成員彭華東介紹。如此，“魔鏡”便可以基于視覺和聽覺這兩個模態(tài)對人的情緒進行更深層次的感知。在兩位老師的指導(dǎo)下，該團隊還完善了數(shù)字人細(xì)膩化表情呈現(xiàn)、精細(xì)化報告設(shè)計等問題。

團隊帶著作品《基于多模態(tài)的元宇宙數(shù)字助手——魔鏡》參加了2022RoboCom機器人開發(fā)者大賽信息技術(shù)與工程創(chuàng)客賽道全國總決賽，成功摘得一等獎。

據(jù)悉，目前，“魔鏡”在功能上已經(jīng)實現(xiàn)了對情緒的準(zhǔn)確判斷，可以在人機交互的現(xiàn)實或虛擬場景中幫助計算機或虛擬機器人感知、理解人的情緒，并針對不同的情緒進行音樂推送，在心理健康診斷、情緒舒緩等場景中實現(xiàn)應(yīng)用價值。未來，“魔鏡”有望在體量上轉(zhuǎn)至嵌入式平臺，實現(xiàn)設(shè)備的輕量化。同時，該團隊還將加入更多模態(tài)，對人的情緒進行更深入地探索，從而使“魔鏡”能夠更綜合地感知人的情緒并預(yù)測可能存在的心理疾病，達(dá)到提前預(yù)防與控制疾病的目的。

揚子晚報/紫牛新聞記者   楊甜子

校對 王菲