Page 13 - My FlipBook

Brochure 2020
最後，在即時同步的技術上，我們提出的系統包含音樂
追蹤器（music tracker）、音樂偵測器（music detector） 合奏、以及自動肢體動作生成等三種表演類型。我們的
和位置估算（position estimation）三個部分。音樂追蹤
器包含多執行緒之線上動態時間校正（online dynamic
time warping, ODTW）演算法，每個執行緒使用 ODTW
估測現場演奏音樂當下的演奏速度，各自的結果加以平
均得到精確的演奏速度值，與參照的演奏檔案比較，可
以得出速度的相對值。音樂偵測器的功能在於偵測音樂
什麼時候開始，這個機制可以讓我們不需要手動操作即
時同步系統。最後，由於音樂中會有許多重複的片段，
所以位置估算的機制可以讓我們同時追蹤目前可能演奏
到的位置。結合以上三者，我們可以即時推出現場演奏
音樂在原譜或參考音檔中的位置，而表演的設計者可以
根據這個資訊作事件的對應。
圖二：小提琴演奏者的動作骨架生成系統。
我們目前已經將上述技術應用在音樂視覺化、自動伴奏 /
系統已經在數個表演現場演奏，包含〈日新樂譯〉音樂
會（與沛思文教基金會合作，於國家音樂廳演出）、清
大 AI 樂團開幕（與清大 AI 樂團合作）、〈夜之絮語〉音
樂會（與長笛家林怡君等合作，於衛武營演奏廳演出），
以及在 2019 年底演出的〈聲形〉音樂會（與口口實驗室
合作，於濕地 Venue 演出）等等，除了是對於我們方法
上的驗證以外，也成為技術開發者與製作人、表演者的
發想與溝通的重要平台，期望這樣的技術落地成為下一
代多媒體產業的核心。
11