院區開放--基於深度學習的多媒體影音內容理解與生成
- 講者蘇黎 博士 (資訊科學研究所)
邀請人：廖弘源 - 時間2022-10-29 (Sat.) 10:00 ~ 10:40
- 地點線上活動
線上串流
【youtube】
摘要
多媒體影音內容的自動生成是打造「元宇宙」不可或缺的技術之一。本研究團隊感興趣於從虛擬人物的自動生成技術，希望能在未來僅需一張照片和一首曲子就可以自動生成精彩的音樂會表演動畫，而無需複雜的 3D 掃描設備、多視角立體算法或穿戴式的動作捕捉設備。這樣的技術將為 3D 動畫產業、電影產業乃至醫療行業帶來重要的進步。我們特別專注於以下兩個研究方向：3D 肢體骨架與動作生成與 3D 人體姿勢和形狀估測。在第 一項研究中，我們給定音樂訊號或樂譜等資訊，希望讓虛擬人物理解如何演奏此曲，而自動生成相應的肢體動作與表情。在第二項研究中，我們通過拍攝簡單的 2D 照片/視訊，即可重建出照片/視訊中的 3D 人體。在本次演講中，我們將討論這些技術並展示我們的最新研究成果。