互动视觉化数位音乐创作平台之设计初探

1、互動視覺化數位音樂創作平台之設計初探林佩儒南台科技大學 資訊傳播系所.tw蔡効儒南台科技大學多媒體與電腦娛樂科學研究所.tw摘要音樂隨著時代的演變，從一般的磁帶式音樂演變到現在的數位音樂。在數位音樂技術也隨著軟體的開發，讓許多的介面及應用有新的發展方向，再加上現在的硬體設備平價化，能利用平價設備製作出高品質的音樂，因此本研究將針對數位音樂的創作內容加以探討，以互動視覺化理念為設計方向，提供製作相關軟體人員參考。關鍵字：互動、視覺化、數位音樂壹、 引言現今由於軟硬體設備的品質逐年進步，價格也隨之下降，在數位音樂設

2、備當中更是如此，不再像從前一樣是只有專業人員或有錢的人才能玩得起的高價位音樂，透過現今的平價設備也能製造出高品質的音樂。讓數位音樂創作不再是專業人員才能玩得起，更讓數位音樂創作帶到每一個家庭中喜愛音樂的人身上；也隨著數位音樂製作軟體的平價化後，讓接觸的人變的更加廣泛，但由於一般使用者要接觸這些軟體模擬硬體介面的操作還是有一定的困難，因此本研究將針對數位音樂創作的內容加以探討，以互動視覺化理念為設計方向，提供製作相關軟體人員參考。貳、 文獻探討本研究主要探討數位音樂技術及互動視覺化設計，透過文獻的分析探討，討論現今的數位音樂創作平台與互動視覺化設計之間有何關聯性，並且加以探討結果與應用。一、 數

3、位音樂數位音樂技術方面主要探討MIDI技術發展歷史、MIDI訊息的種類、Wave聲音格式簡介、數位音樂創作原理、現有的數位音樂創作軟體等，經由文獻的回顧，來找出新的數位音樂創作發展空間及應用。(一) MIDI技術發展歷史MIDI(Musical Instrument Digital Interface)是誕生於1984年， “為一種樂器的數位界面規格”(石鄭滎、呂明芳，1998)， “主要是用來將電子樂器相互連結，或與電腦串連的一種通訊協定”(林志杰，1994)，由MMA(MIDI Manufactures Association)所訂定，主要目標是為了制定MIDI的各項標準。“MIDI規格1

4、.0版本定訂後，成為工業標準，其定義了：電子訊號的輸出入迴路、特定的導線來連接MIDI儀器、MIDI訊息的基本模式、每一種型式MIDI Message的格式及基本內容”(林志杰，1994)。1991年製訂了MIDI 1.1版本，主要是制定了MIDI表演控制(MIDI Show Control)，透過MIDI表演控制可以讓每一個MIDI音符表一個燈，一條MIDI電纜可以控制16組，由於一組GM只有128個音色，因此可以操控16128=2048個燈，利用控制音量的大小來控制其亮度，因此燈光能容易的與音樂同步變化(安可流行音樂網)。1998年底，MMA發佈了DLS-1(Downloadable So

5、unds Level 1)， “主要是針對PC的音效卡播放額外音源的標準” (石鄭滎、呂明芳，1998)，這樣可以讓作曲家或聲音設計者創造出屬於自己的聲音。在這二種規格的競爭之下DLS-2發展出現， “主要是採用專業級的合成器與採樣器的動態濾波器(DYNAMIC Filter)和矩陣(Matrix)操作模式” (安可流行音樂網)。DLS-2在1999年時被MMA正式採用。GM2於1999年所製訂，主要是讓同時發音數(Polyphony)由16個擴展到32個，並定義了更多的控制器及選擇音色庫的命令，擴大了可應用的樂器及打擊樂樂器的音色。2000年時MMA制定了RAID(SMF w/DSL)文件格

6、式，並在2001年時模仿HTML文件格式制定了XMF(Extensible Music Format)文件格式規定。最新推出的格式則為SP-MIDI(Scalable Polyphony MIDI Specification)，主要是當合成器或音樂的同時發音數量小於作器的需求時，可根據作曲家事先決定省略某些音符或聲部。(二) MIDI訊息的種類“MIDI碼是使用串列形式非同步傳送，傳送速率是31.25KBaud，其中包含了1個開始位元，8個資料位元和1個結束位元，而1秒鐘則可以傳送3125Bytes的MIDI碼”(謝朝宗，1991)，MIDI碼經由用途區分其排列組合，可分為下列九項(石鄭滎、呂

7、明芳，1998)：1、 音(Note)：傳送琴鍵被按下的訊號。2、 力度(Velocity)：伴隨著音的訊息一起送出。代表使用了多少的力氣來彈奏這個音。3、 After Touch：彈下一個音之後，又施加壓力的程度。4、 控制碼(Controller)：凡踏板、調變輪(Modulation)、每個頻道的音量(Volume)、音色的左右平衡(Pan)以及音色調變鍵，都可以透過控制碼的方式傳送給外部的編曲機記錄。5、 音高變化輪(Pitch Bender)：將此值改變可讓彈出來的音色產生高低變化。6、 音色切換訊號(Program Change)：可以直接切換該頻道所使用的音色。7、 系統專用訊息

8、(System Exclusive)：琴種本身的系統設定、音色資料、編曲機內部的資料等等。8、 即時開始、繼續、結束(Realtime Start、Continue、Stop)：主要是為了讓其他MIDI設備做到同步化的處理。9、 MIDI時間碼(MIDI Time Code)：用來告訴編曲器，目前的樂曲跑到何時，通常用在不同樂器的同步化。(三) Wave聲音格式簡介聲音(wave)的資料由一般的類比方式轉換至電腦的數位化資料時，需要透過轉換編碼的動作來記錄這些聲音，而這些聲音記錄的方式主要可以分成下列兩種類型(戴文琴，2000)：1、 取樣方式(sampling)取樣方式所記錄下來的聲音資料包

9、含了wave、PCM、MP3等格式，其方法是利用每間隔一小段時間就量取聲音訊號，並將其值紀錄下來，再針對這些資料作量化、壓縮的處理，而不同的檔案格式則有不同的量化、壓縮方式，此種方式所記錄下來的聲音是很真實的，但由於其記錄下來的聲音十分真實，因此檔案會變的十分龐大。2、 紀錄控制音效卡的訊號紀錄控制音效卡訊號方式，是紀錄了一堆控制音效卡的訊息，例如發聲的音色、音高、音長等資訊，並透過這些訊息來控制音效卡，讓音效卡隨著這些訊息來發聲。目前市面上的數位音樂創作軟體，大多都是先經由MIDI訊號來編製樂曲，再透過轉檔的方式，將所編製出的音樂轉換成自己所需要格式，例如：CD音源、Wave、MP3等格式，

10、再透過網路或其他方式散播自己的音樂。(四) 數位音樂創作原理製作一個最基本的數位音樂，必需要有以下的步驟：包含了錄音、混音、編曲等步驟。1、 錄音要作一個數位音樂首先需要有聲音的資料，在完全沒有聲音資料時則需要自行錄製，因此需要藉助硬碟錄音來達成。目前市面上的編曲軟體大多都附有這項功能，例如：Cakewalk，將所有的聲音經由數位化後，可以讓資料的存取更容易，聲音的剪輯及音效的處理上也更簡單(石鄭滎、呂明芳，1998)。2、 混音混音最主要是將許多的樂器聲音混合在一起，使得 “樂曲在聽覺上有層次感、樂器分明，具有現場感”(楊正宏，2004)，經由曲子分析其結構後， “決定每個樂器的音量大小，並

11、調整聲波各個頻段的比例” (石鄭滎、呂明芳，1998)，讓每種樂器的聲音能修飾到很融洽。3、 編曲編曲是 “決定一首歌的精神風格，它的味道及樂器搭配的種類”(高筠仙)，而一首歌曲是要編成快歌、慢歌、嘻哈風等類型，都是由編曲所決定，因此編曲者的功力如何，將是決定這首歌的好壞與否。(五) 數位音樂創作軟體現今能製作MIDI資料的軟體十分的多，而其運用的範圍也十分廣泛，因此MIDI的專業軟體也就有許多不同的設計，現今市面上針對MIDI所設計的軟體可分成下例五種(石鄭滎、呂明芳，1998)：1、 編曲器軟體編曲器(Sequencer)軟體為MIDI使用者最基本的工具軟體，包含了錄音、編輯、放音三個部份

12、(林志杰，1994)，讓使用者將自己所錄製好的音樂，隨意的加以編輯或修改，並將其製作完成的音樂播放出來。2、 音樂教學與自動伴奏軟體音樂教學與自動伴奏軟體可以讓初學者從這些內附的伴奏態來學習編曲的概念，也能讓專業編曲者利用自動伴奏軟體來應付時間急迫的案子，讓顧主能快速的獲得想要的音樂。3、 製譜軟體製譜軟體(Notation Software)為了輔助一般編曲器的不足，由於編曲器所製作出的五線譜內容很難編輯出如一般市面上所售整齊自然的樂譜，因此設計製譜的軟體。4、 硬碟錄音軟體運用硬碟錄音軟體讓使用者所製作的曲子直接透過硬碟來轉換成聲波，再經由進一步的處理或混音加以修飾。目前有許多的編曲器軟體

13、都將硬碟錄音的功能加入，讓MIDI訊號及聲波訊號能同步的進行，來減少混音及製作的過程步驟。5、 樂譜辨識軟體樂譜辨識軟體主要是提供使用者能將掃描成圖檔的樂譜，經由辨識處理後轉換成MIDI檔案。二、 互動視覺化隨著電腦的進步，聲音、文字、影像、圖片及動畫等多媒體元件，被應用在電腦上也愈來愈普遍，由於文字的雖然能記錄事物，但若包含了大量的文字來敘述，則會對人們帶來一定的困難，因此藉由視覺化的效果(影像、圖片、動畫等)來輔助能讓人有更友善的介面，本研究將探討視覺化構成要素及視覺化設計原則。(一) 視覺化構成要素由於目前電腦科技迅速的發展，資訊傳播的方式也由傳統的平面、報紙、影像、電視、動畫、廣播等單

14、方面的訊息傳遞方式，轉變成透過多媒體互動光碟、網際網路、軟體介面設計、虛擬實境、擴增實境等雙方面之訊息傳遞方式，因此在 “設計一個視覺化的互動模式，需要包括操作、認知、感受、行為模式、聲音回饋”(陳雍正)。(二) 視覺化設計原則人在無時無刻中，利用著自己所具有的視覺觀點，來捕捉這個世界，並欣賞這個世界，這一個偉大的藝術品，因此當人利用自己的視覺來看所有事物時，常出現的感應類型大概可以分為三種(李美蓉，2003)：1、 情緒感應依據人類情緒標準而言，視覺上所獲得的資訊可能激起人的驚駭、困擾、害怕，或讓人產生寧靜、愉悅、興奮的情緒，則為情緒感應。2、 知覺感應感知是眼睛及神經系統的本能反應，因此人

15、類的眼睛與大腦受到刺激時就會產生反應，對各種不同的反應做出合適的動作或表現，則為知覺感應。3、 美感感應美感並非是個人獨約的感覺，美的要點與界定，來自於共同文化背景，因此若想了解時代中的審美觀念需要先了解人們的感覺、思想及經驗。透過視覺化的設計，能讓使用者在最合適的情緒上創作，並且經由知覺的感應，讓使用者對產生的變化發生互動性，最後再透過美感的感應讓使用者覺得介面是友善的，讓使用者能更容易的學習。三、 互動視覺化數位音樂創作平台由於前述的數位音樂創作軟體，都是運用電腦科技，將真實環境中的硬體設備轉換成電腦模擬，但要讓一般使用者能熟悉並操作這些介面，則會有一定的困難度，因此本研究提出互動視覺化數

16、位音樂創作平台，讓一般使用者經由視覺化的互動操作來達到創作音樂的效果，利用視覺化方式展示音樂有以下的優點(戴文琴，2000)：一、容易理解（Easy understanding）：人對具體事物的熟悉度還是遠高於抽象的看不到概念，所以直接用圖形來呈現音樂，將聲音之間的關係都呈現在你眼前，而不必只憑聽覺去了解最終的結果，可以讓使用者可以很輕鬆地了解聲音裡面的資訊。二、使用者介面友善（User friendly）：可和圖形使用介面(graphical user interface)結合，讓使用者在操作上更加方便、學習上的速度也加快，讓初學者和非專業人員也可以輕鬆的編輯聲音因此互動性正視覺化的操作能為

17、一般使用者帶來友善的學習環境，讓使用者能更容易的理解設計者所想表達的操作模式。參、 後續研究發展本研究未來將針對三個方向來做發展及應用：一、MIDI音樂轉換成RGB值及ALPHA值，利用所產生的值來產生視覺化的效果。二、圖形及色彩的配合如何與音樂之間的配合更融洽。三、提升使用者使用效率。肆、 參考文獻石鄭滎、呂明芳，大眾MIDI系列叢書-MIDI入門答客問，1998，初版，台北市，第三波文化事業股份有限公司。林志杰，MIDI玩家手冊，1994，二版，台北市，第三波文化事業股份有限公司。楊正宏，數位音樂全指南：CakeWalk+Bain-In-A-Box+Audition，2004，初版，台北市，金禾資訊。李美蓉，視覺藝術概論，2003，二版，台北市，雄獅圖書股份有限公司。謝朝宗，MIDI與電腦音樂，1991，四版，台北市，第三波文化事業股份有限