利用音乐与虚拟人物互动.pptVIP

Using Music to Interact with a Virtual Character 利用音樂與虛擬人物互動 指導教授：陳炳章 教授 學生：M99F0205王藝郿 Robyn Taylor Department of Computing Science University of Alberta T6G 2E8, Edmonton, Alberta, Canada robyn@cs.ualberta.ca Daniel Torres Department of Computing Science University of Alberta T6G 2E8, Edmonton, Alberta, Canada dtorres@cs.ualberta.ca Pierre Boulanger Department of Computing Science University of Alberta T6G 2E8, Edmonton, Alberta,Canada pierreb@cs.ualberta.ca Proceedings of the 2005 International Conference on New Interfaces for Musical Expression (NIME05), Vancouver, BC, Canada ABSTRACT 摘要 本文主要在探討以一個實體系統使音樂表演者可藉由與虛擬人物的互動提高演出的表演素質 此系統會擷取實體演出的音效，並利用Max / MSP輸入演出實境的鍵盤音階、人聲、聲音振福、樂器和弦等，再將這些音樂特徵映射到虛擬人物中，使音樂表演者和虛擬人物可產生互動 Max(負責邏輯運算，資料儲存與對外聯繫) / MSP(處理聲音訊號的物件組)：互動影音系統，可以處理聲音,更可以結合聲音,圖形與視頻創作，是圖像語言介面而不是文字程式碼 1.INTRODUCTION 簡介 此系統可讓音樂表演者與虛擬實境中的人物互動，而虛擬人物會紀錄表演者的音色和音調等特性，並可效仿表演者的表演路徑或產生回應 此系統用途 娛樂性：用戶可以用簡單地介面控制虛擬人物的音樂能力 教育：可用於鼓勵用戶開發特定技能 藝術：虛擬人物的特性反應可讓使用者創造特殊的技能機制 2.MOTIVATION 動機 利用此種聲音可視覺化的工具加強、提高表演者在現場的表演經驗，讓音樂的聲音特性轉為可轉為實體回饋，讓聲音被「看」見，並藉由在虛擬實境中與虛擬人物的互動模擬音樂接收者的反應和審視自身的表演情況 相關案例： Golan Levin 和 Zach Lieberman-Messa di Voce系列作品 將聲音、表演與科技藝術結合的淋漓盡致，〈Messa di Voce〉為舞台表演設計出一套聲音與影像即時互動的裝置，不論或長或短的雜訊、或高或低的聲波、人的咳嗽或尖叫、貓咪喵喵或狗吠聲都會轉換為相應的虛擬影像，讓所有的聲音都被「看」見與聽到 應減少表演者和虛擬環境之間的障礙，讓表演者可以以最自然的方式進行鋼琴演奏和唱出他的音調，並在虛擬空間中讓音樂刺激虛擬人物回應 而本實驗當中虛擬人物的大小是與音樂表演者相同的，研究顯示這可以增加實境表演與虛擬人物的互動 Figure 1: The User in the Virtual Environment 3.THE ANIMUS FRAMEWORK ANIMUS架構 本文目標 創建可信的人工特性角色 此虛擬人物的行為是由四個不同的層次所建構： 感知層：虛擬人物必須可接收他們的周圍環境 認知層：虛擬人物必須評估他們得到的數據，並確定他們應該如 何應付的內部認知過程 表達層：虛擬人物必須表現出明顯的行為來表明自己的認知狀態 音樂感知過濾層：Max/MSP必須從實體環境中的特性提取的音樂 特徵，並將它們發送到感知層處理 透過展示或動畫將演出者的綜合表現(認知、感知等)展現出來的系統 3.1感知層 該項目採用黑板系統(blackboard system)，讓黑板系統內的數據輸入在ANIMUS系統內是可感知的，且黑板系統可監測和修改虛擬人物的特徵 第四章將進一步說明音樂提取過程細節 3.2認知層 建構虛擬人物的“人格特性”，且是可被觀看者理解的，此部分需讓修改者可傳入音樂數據並影響虛擬人物的獨特的內部狀態進而控制其表達層 第五章將進一步說明 3.3表達層 虛擬人物的表達需通過執行適當的人性化動畫來表現，這些動畫需插入預定的關鍵架構(抬頭、轉身等動作)，並產生變數的轉調 3.4音樂感知過濾層 從現場提取音樂特徵和性能，並使用MAX/M