“大家好,我是李宇春,我的最新單曲《今天雨,可是我們在一起》MV正式發布了。在這支MV中,我心中想表達的很多情緒與畫面,都將通過英特爾3D人臉面部表情捕捉技術實時出現在我的臉上。”
李宇春接受ifanr采訪視頻
近日,歌手李宇春推出了她的第一部人工智能版MV——《今天雨,可是我們在一起》,該MV用到了英特爾中國研究院最新的3D人臉面部表情捕捉技術,將音樂與科技完美結合,也使音樂人的內心情緒更豐富呈現。
據說,這首MV制作歷時6個月才完成,具體來說,制作共分4個步驟完成:
導演首先進行 MV 原始素材得拍攝;然后使用英特爾最新的3D 面部表情捕捉技術對素材中李宇春的面部進行跟蹤捕捉,建立 3D 模型;其次特效公司根據 MV 需求制作面部特效圖案; 最后,特效公司在離線狀態下將圖案實時且無縫繪制于其臉部。
完整MV
英特爾3D人臉面部表情捕捉技術用到了人工智能最重要的分支:機器學習和深度學習。英特爾的技術工程師從數十萬的人臉圖片數據中,訓練出的人臉識別模型,用于對視頻圖像進行智能分析:自動捕捉人臉區域,定位人臉關鍵特征點(如眼睛,鼻尖,臉頰輪廓點等),生成人臉部件的邊緣輪廓線;
再從數百個三維人臉掃描數據中訓練出一個參數化的三維人臉形變模型,用于模擬任何人的相貌臉型以及表情變化;最后通過數萬張人臉照片,學習從2D圖像到3D人臉的映射關系,確保從2D照片到3D人臉的精準轉換,從而達到實時3D人臉建模的效果。未來,英特爾甚至可以將該技術應用在全身3D建模上,從而實現實時虛擬換衣等功能。
英特爾為了能讓普通觀眾可以近距離的接觸人工智能技術,還特意在成都搭建了一處線下體驗區。
成都體驗區
觀眾可以直接站在攝像頭前面體驗人工智能技術
觀眾現場體驗
采集觀眾面部的攝影頭
情緒房間體驗區
情緒房間體驗區
情緒房間體驗區
英特爾通過攝像頭來定位 78 個關鍵點,實時跟蹤頭部運動和面部表情變化,對圖像進行智能分析和特征提取,再通過運算將不同的特效疊加上去,得到我們最終看到的效果。
英特爾的大屏幕上顯示著各種技術效果的術語
衍生品
幕后視頻