（计算机应用技术专业论文）基于音乐联觉的听觉紧张度识别模型与算法研究.pdf

摘要 传统人工智能处理的基本上都是逻辑信息，但是音乐和舞蹈等艺 术形式所包含的反映人们内心情感的信息却很难用传统方法来处理， 因此一个直接研究人类情感过程的科学领域情感计算被开辟出 来，它具有十分重要的理论意义。 本论文旨在建立情感建模的基础，挖掘出音乐数据与听觉紧张度 之间的对应关系，并试图找出一种适合计算机计算的情感计算规则。 论文以与听觉紧张度有关的联觉关系作为最基本的出发点，结合知识 模型与数据模型的情感识别建模方法，主要分析了音乐紧张度表示、 传递与识别过程中的心理模式及心理学关于音乐音响与听觉紧张度 之间的对应关系，通过数据采集、数据预处理、分类规则挖掘、评价 输出四个步骤进行听觉紧张度识别模型研究。通过三种不同的音程协 和性划分规则的对比实验，基于费希尔判别法运用s p s s 软件对实验 结果进行数据分析，通过回代数据的判对率筛选出较为科学的规则， 以此估算未知音乐的听觉紧张程度。 本文的主要创新性工作在于：提出基于音程统计法的听觉紧张度 分类算法，构建出基于音乐联觉的听觉紧张度识别模型：解析出纯一 度的听觉紧张度对应关系，改进了文森特音程协和性算法，使音乐紧 张度识别模型的判对率得到提高。 关键词：情感计算，音程协和性，听觉紧张度识别模型 a b s t r a c t t h et r a d i t i o n a la r t i f i c i a li n t e l l i g e n c em a i n l yt r a n s a c t e da b o u tl o g i c i n f o r m a t i o n ，b u tt h ei n f o r m a t i o ni na r t i s t i cf o r ms u c ha sm u s i ca n dd a n c e ， w h i c he x p r e s s e se m o t i o n ，c a nh a r d l yb eh a n d l e dw i t ht h et r a d i t i o n a l m e t h o d t h e r e f o r e ，ak i n do fr e s e a r c hw h i c hd i r e c t l yp r o c e s st h ee m o t i o n o fh u m a nb e i n g s - e m o t i o nc a l c u l a t i o nh a sb e e nc o n s t r u c t e d t h i sh a s v i t a lt h e o r e t i c a lm e a n i n g t h i st h e s i sa i m sa tb u i l d i n gu pt h ef o u n d a t i o no ft h ee m o t i o n a lm o l d d i s c o v e r i n gt h ec o r r e s p o n d i n gr e l a t i o nb e t w e e nm u s i cd a t aa n da u d i t o r y t e n s i t y , a n dt r y i n gt of i n do u tak i n do fe m o t i o nc a l c u l a t i o nr u l e sw h i c h s u i t sc o m p u t e rt oc a l c u l a t ee m o t i o n o nt h ef o u n d a t i o no fs y n e s t h e s i a r e l a t i o nr e l e v a n tt oa u d i t o r yt e n s i t y , t h i st h e s i sc o m b i n i n gt h ee m o t i o n i d e n t i f y i n gm o d e lm e t h o do fk n o w l e d g em o d e la n dd a t am o d e l ，m a i n l y a n a l y s i z e sp s y c h o l o g i c a lm o d e la n dt h ep s y c h o l o g i c a lc o r r e s p o n d i n g r e l a t i o no fm u s i cs o u n da n da u d i t o r yt e n s i t yi nt h ee x p r e s s i o n ，t h e t r a n s m i s s i o n ，a n dt h ei d e n t i f y i n gp r o c e s so fm u s i ct e n s i t y t h o u g hf o u r s t e p so fd a t ac o l l e c t i o n ，d a t ap r e t r e a t m e n t ，c a t e g o r yr u l e sd i s c o v e r y , a n d e v a l u a t i o no u t p u t ，i ts t u d i e st h ea u d i t o r yt e n s i t ym o d e l b ym e a n so f c o m p a r i n ge x p e r i m e n t so nt h r e ed i f f e r e n tc l a s s i f i c a t i o nr u l e so fi n t e r v a l c o n s o n a n c y ，w ea p p l yt h es o f t w a r eo fs p s st od a t aa n a l y s i so ft h er e s u l t b a s e do nf i s h e r sl i n e a rd i s c r i m i n a n t w ea l s oe s t i m a t e st h ea u d i t o r y t e n s i t y o fu n k n o w nm u s i cb yr e l a t i v e l ys c i e n t i f i cr u l e ss e l e c t e db y r e t e s t e dd a t a t h em a i nc r e a t i v ew o r kd o n ei nt h et h e s i si s ：i tb r i n g sf o r w a r d a u d i t o r yt e n s i t yc l a s s i f y i n gc a l c u l a t i o nm e t h o db a s e do ni n t e r v a ls t a t i s t i c m e t h o d ，a n dc o n s t r u c t sa u d i t o r yt e n s i t yi d e n t i f y i n gm o d e la c c o r d i n gt o m u s i c a le m o t i o ni d e n t i f y i n ga c t i o nm o d e l ，s oa st op r o m o t ev i n c e n t i n t e r v a lc o n s o n a n c yc a l c u l a t i o nm e t h o dt oi r e p r o v et h ea c c u r a t er a t eo f m u s i c a li n t e n s i t yi d e n t i l y i n gm o d e l k e yw o r d s ：e m o t i o nc a l c u l a t i o n ，i n t e r v a lc o n s o n a n c y ，a u d i t o r yt e n s i t y i d e n t i f y i n gm o d e l - - 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：- 二眸 日期： 4 年上月_ 日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 埤嗍华上 硕十学位论文第一章绪论 第一章绪论 近年来，计算机的应用研究正深入到我们生活的方方面面，音乐作为极贴近 人类思维的领域，更是得到计算机研究者的极大关注。本章主要介绍了计算机音 乐研究及音乐情感计算，概述了音乐情感计算的现状和目前面临的问题，最后说 明了本论文的研究内容、全文结构和内容安排。 1 1 计算机音乐研究 当前计算机、通信和数字媒体等信息技术正加速融合和集成，促使各种新型 计算模式蓬勃发展，也为多媒体技术的发展带来了新的机遇和挑战。音乐，作为 极贴近人类思维的领域，已越来越受到计算机研究者们的关注。人们认识到将计 算机应用于音乐领域，能够极大地丰富音乐的表现力，具有极其广阔的应用前景。 目前，在美国、西欧和日本的不少科研院所和大学相继成立了专门研究计算机音 乐的机构。 通过国内外计算机音乐的相关研究报告和论文，大致可将目前的研究简单地 归类为以下三种： 1 1 1 计算机音乐描述 一方面，将音乐数字化处理。数字音频处理是基于音响学理论框架，使用数 字信号处理的方法和技术，应用计算机对数字音频进行变换和处理来提高或改变 听觉感受的方法。实际上就是将音乐文件当作数字信号进行处理，这方面的技 术已经相当成熟，并出现了许多实用的软件，比女i c o o l e d i t o r 、g o a d w a v e 、 c a k e w a l k p r o a u d i o 、s o u n d f o r g e s d 、s a m p li t u d e 6 o 等。 另一方面，将音乐形式化处理。这方面的技术程度还很低，计算机音乐描述 直接关系到机器对于音乐的“理解分析 ，然而音乐情感计算技术的滞后严重制 约了音乐形式化的发展。 1 1 2 计算机音乐分析 计算机音乐分析是基于某种计算机音乐的描述。从音乐要素的角度分，可以 分成节拍跟踪、音调检索、音色识别、风格划分、情绪提取等多种研究方向晗捌。 节拍跟踪技术能够用于音乐驱动运动的实践；音调检索和音色识别对基于内容的 多媒体数据库的建立和检索具有重要意义；风格划分和情绪提取则对于使用音乐 硕士学位论文第一章绪论 教育、音乐欣赏和计算机自动作曲具有重要的意义。 1 1 3 计算机音乐创作 借助计算机辅助作曲，作曲家可以利用计算机在极短时间内生成大量乐谱。 不仅修改方便，而且可以通过播放软件及时得到模拟效果，作曲家可以从繁重重 复的工作中被解放出来。 1 2 音乐情感计算 情感计算可以定义为：关于、产生于、或故意影响情感方面的计算呻1 。这种 计算形式主要集中在情感发生、情感识别和情感表达上，直接研究人类的情感过 程。其目的在于构建能够具有“自发情感”的情感平台，使计算机拥有情感，从 而具有情感决策能力和情感行为。传统人工智能处理的基本上都是逻辑信息，但 是音乐和舞蹈等艺术形式所包含的反映人们内心情感的信息却很难用传统方法 来处理例，因此处理这种信息的计算智能研究也称为人工情感研究，它具有十分 重要的理论意义n 训。 计算机音乐情感分析的任务就是自动识别音乐作品中的情感内涵，建立符合 音乐情感特点的心理模型并通过心理学实验，最终建立音乐情感识别模型。以 下将从音乐情感计算的研究对象、心理模型的选取、音乐情感的识别及音乐情感 的识别表达四个层次评述国内外研究进展。 1 2 1 音乐情感计算的研究对象 最初，研究人员从p c m 编码入手，研究音频数据的基本物理特征，如频率、 响度等，简单的计算出音乐的各个特征。例如，张彦铎等人构建了一个基于一般 性音频信号的多机器人舞蹈表演系统n 刳。其音乐计算模型是把波形音频划分成若 干小乐段，对每个乐段的音响、速度、旋律等特征进行综合分析。由模糊分类器 判断出其音乐特征，最终为各乐段匹配相应的机器人舞蹈程序。 m i d i 技术的发展使数字音乐有了另一种记录形式。m i d i 本身并不是音乐， 而是发音命令，而且m i d i 对于单音和多音的乐曲检测精度都更高，这就为音乐 物理特征的提取和表现提供了新的途径。音乐情感识别是多媒体内容理解、智能 人机交互的重要组成部分，广泛应用于人机交互、娱乐机器人、游戏产业和音乐 教育等领域。由于m i d i 音乐在游戏娱乐、移动计算中的大量应用需求以及在特 征提取研究中的便利性，目前的研究大都基于m i d i 格式来开展。但是由于音乐 硕士学位论文第一章绪论 具有非常复杂的社会属性，因此单纯地从物理特征上寻找情感计算模型是不够 的。 自上世纪末以来，研究人员开始从音乐的高层特征入手建立计算模型。 j o n a t h a nf o o t e 认为音乐是自相似的n ，他所构建的音乐计算模型是根据音乐 特征计算出同一音频文件两个时间段的声学相似度并将乐曲结构以二维图形表 达出来( 见图卜1 ) 。 爨j 篓鎏誉鬟妻鏊爹寨鬻囊黑! i 窜簿誊雾l 簦劳璃警托x 鬓t 谚鳞爹+ j j j 黪鳓- ” 搿# 辱u 辫”。昝_ 秘。糍籀棼。m # 彰 # ! 鞲攀鬻“ 一攀j 褫爹蔫囊j 裕觏，黪i “蒸攀。 ；”、i 警鹾臻z 。礞蓐。簿；掌i ：l 蹇i 童i 。攀7 攀 。麓鬻鬈。雾耄i 等爹l ，鬻“鬈：；i 鬟缀；麓i 。 纛誉寨l 溪 鍪蒸j 蒸鎏簟； t 戮篓荔藿。笺鍪：簧爱雾r 糍。；荔缓一。， 缫：，鍪整萋薹i 缓r - 罄i 曩i 黪差i 。菱i 缓_ _ 图1 - 1 自相似矩阵形式的乐曲结构 近年来，有研究者模拟人的音乐情绪来构建计算模型的方法u 引。即模拟人的 音乐感知模式，使计算机所表达的情绪与人的情绪基本统一。罗切斯特大学研究 者t a ol i 等人n 们提出了基于s v m 算法的情感计算方法，运用s 算法对音乐情绪 特征因子进行分类计算，从而完成对音乐单个特征的提取和多重标签分类。表卜1 总结了几种典型音乐计算模型的特点。 表i - i 音乐情感计算研究对象分析表 音乐模型特点适用性实例 波形基于情感计算的多机器人舞 基于底音频 简单，易于实现普通音乐播放 蹈系统设计f 1 2 】 层物理 专业乐曲分析、 ( ( p e r f o r m a n c ev i s u a l i z a t i o n a 特征 描述 直接提取m i d i 信号 初期音乐情感 n e w c h a l l e n g et om u s i ct h r o u g h 音频输入，精度较高 研究 v i s u a l i z a t i o n i 2 s 基于高 简单音从音乐的表现结构动画片音乐、 ( ( v i s u a l i z i n gm u s i ca n da u d i o 层识别 乐特征建模儿歌 u s i n gs e l f - s i m i l a r i t y ) ) n l 特征复杂情 表现性强，建模困难音乐会、音乐剧 u s i n gm u s i ct oi n t e r a c tw i t h 绪特征 av i r t u a lc h a r a c t e r 【1 8 】 1 2 2 音乐情感计算的心理模型 识别音乐情感的过程，通常涉及从信号到符号，从低层次的物理现象到高层 次的抽象概念的转换。转换的首要工作是建立符合音乐情感识别特点的心理模 型，完成这其中的对应关系。比如离散形式的h e v n e r 模型n 劫和维度形式的t h a y e r 硕士学位论文第一章绪论 模型等。h e v n e r 模型采用一个环形作为象征心境、情绪或者情感反应的符号， 其中的任何一个环节都与它前后相邻的环节在情感逻辑上存在递进的关系，即被 认为在理性的情绪变化中可以平滑的过渡到它之前或之后的相邻情感。t h a y e r 模型n 6 1 采用活力( e n e r g y ) 与紧张( t e n s i o n ) 两个维度描述情感。活力维度，是指 从“充满活力( e n e r g i z e d ) 到“疲劳( f a t i g u e ) 不同水平的反应，这一维度与 个体生理活性及认知活动的许多方面相联系。紧张维度则指从主观的内部紧张到 平静连续体上不同水平的情感反应。 情感模型的选取依赖于具体的应用和情感识别方法，其中t h a y e r 模型是从 心理学角度提出的，采用维度思想描述，很容易与音乐特征中的能量幅值等进 行关联，因此适用于w a v 音乐的情感识别中，但在具体的情感识别过程中仍然要 映射到离散的情感表示上；h e v n e r 模型从音乐学角度提出，主要考虑作曲家演 奏家听众的心理感受，符合音乐情感的心理交互实际情况，其应用面更广。不 管采用何种音乐情感表示模型，现今的音乐情感识别的研究中最终都将音乐聚类 到少数几类情感中。 1 2 3 音乐情感的识别 情感识别的一个最大问题：情感状态和表达模式之间的对应关系是什么? 希 望计算机完美地识别所有的感觉是不恰当的。何况大多数人在识别自己的情感和 说清楚自己的情感方面都有困难。因此，音乐情感识别的目标是：建立音乐情感 建模的基础，使计算机能具备基本的音乐情感识别和表达的能力。 情感内涵属于音乐特征中高层的整体特征范畴，是很抽象的东西，而且往往 没有特定的标准。因此，可以有两大类情感识别建模方法：基于知识模型的方法 和基于数据模型的方法n 7 。2 羽。 基于知识模型的方法中，知识的来源有两方面，一是在音乐心理学研究中建 立起来的关键变量与其他可测变量之间的数学方程；二是人们对于音乐心理学认 知过程的实际经验和定性、定量分析结果归结成诸如专家系统形式的知识模型。 基于知识模型的方法具有模型形式简单、易于理解、针对性强和易于在线实现方 便的特点，但模型精度低、知识规则提取困难，且对于较为复杂的情感识别过程 很难用简单的知识模型加以描述。受限于音乐心理学和音乐理论的发展，目前关 于此种建模方法的研究仅仅应用于特定的音乐风格或者情感颗粒较粗的低维情 感系统的场合。 基于数据模型的方法运用统计分析或者机器学习理论建立关键变量与其他 可测变量的统计或学习模型，具有模型结构统一、建模方法简单、运行维护方便 和模型精度高的优点，尤其适用于高维的复杂识别过程。l i u 等人叫应用基于g 删 硕十学位论文第一章绪论 的层次化分类体系识别音乐情感，文献乜3 4 1 应用s v m 方法识别音乐情感，吴飞、 庄越挺等人瞳目利用b p 神经网络对中国流行音乐进行情感分类，台湾的陈若涵等 人睛3 比较了k n n r 、g m m 、s v m 三类分类方法，并解析歌词中的情感词汇辅助进行 情感分析，将古典音乐和流行音乐分为四种情感内涵。然而，这些研究欠缺关于 音乐识别心理模式的深入探讨，所以在知识表示能力和泛化能力上表现出不足。 ( 1 ) 知识表示能力不足 这主要体现在该模型并没有建立符合音乐情感识别行为模式的音乐特征空 间与情感空间之间充分的映射关系。 ( 2 ) 泛化能力不足 上述模型并不能处理新的未知的同类音乐，仅能够对已知的表中的对象进行 处理。 表1 - 2 音乐情感识别模型分析表 情感识别建模 特点优点缺点 方法 模型形式简单、易于形式简单、易于理解、精度低、知识规则提取 理解、针对性强针对性强和易于在线 i i j 难，且对于较为复杂 基于知识的模型实现方便的情感识别过程很难 用简单的知识模型加 以描述 模型结构统一、建模结构统一、建模方法简欠缺关于音乐识别心 方法简单、运行维护 单、运行维护方便和模理模式的深入探讨，在 基于数据的模型 方便和模型精度高型精度高的优点，尤其知识表示能力和泛化 适用于高维的复杂识能力上表现出不足 别过程 1 2 4 音乐情感的表达 音乐是用来交流情感的。音乐情感的识别仍然属于抽象范畴，情感表达则是 面向表象层面的概念。音乐情感表达的最大优点是直观形象，通俗易懂。建立表 现音乐内涵的外显模式是表达模型的基本任务。但究竟哪种音乐情感表达模式是 最正确、最准确的，也许很难能够下定论。实际上，没有任何一种模式能完全忠 实地标识出音乐情感。相反，需要多形式的多种表达模式啪哪，。 从内容上分，情感表达模型有具象形式表达和抽象形式表达两种。前者通过 图像表示音乐口卜3 引，后者通过几何图形表现音乐n h1 8 瑚3 。但是机械的对应关系容 易使情感计算的表达落入俗套，并带来理解上的狭义性；用画面生硬地图解音乐 内容及故事，必然会是看图说话，会使显示系统空洞、概念化，无助于听众的丰 富联想，这与音乐情感表达的目标相差较远。即使是抽象的图形表达，也不应只 硕士学位论文 第一章绪论 是音乐特征的追随和直接的诠释，而是通过调节色彩的纯度、明度和图形形状等 来表现音乐节奏、音量、情绪的变化，以达到与音乐的统一。这样可以扩大音乐 情感表达的信息量，为听众提供更大的联想空间。 从视觉的空间维数分，有二维和三维两种视觉模型。在二维模型系统中，情 感计算数据具有空间特征的音乐属性信息，常见的播放器软件即采取了这种方 式，( 见图1 2 左) 。 图1 - 2 二维( 左) 三维( 右) 可视化显示界面 三维图形通过引入纵深的概念超越了二维信息，更适合构造复杂曲面造型对 象，如图1 2 右所示。三维显示系统带来的立体感和空间感较强。盯。均3 。但由于数据 量大、处理速度慢，难以实现人机交互。与二维系统相比，它的普及率还有待提 高。表1 3 是上述音乐情感表达模型的归纳分析。 表1 3 音乐情感计算表达模型分析表 视觉模型特点适用性实例 按内具象通俗易懂 叙事性强迪斯尼电影幻想曲 容分 的音乐 2 0 0 0 ) ) 抽象联想空间大一般场合 m a mp l a y e r 可视化效果 按视 二 维 实现简单一般场合 m e d i ap l a y e r 可视化效果 觉维 沉浸感要求 ( s n d t o o l s ：r e a - ti m e 数分 三维表现力强 a u d i od s pa n d3 d 高的场合 v i s u a l i z a t i o n 1 3 音乐情感计算研究面i 临的问题 过去我国在情感信息处理及人工情感等方面的研究几乎是空白。但是，国内 的一些专家学者已经意识到该研究领域的战略意义，各大学及研究机构纷纷开始 加入情感计算的研究行列。国内已经召开过两次情感计算学术会议。可见，情感 计算已经成为国内计算机学科、数字化艺术与设计学科、心理学和语言文化学科 等关注的一个热点领域。然而，在收录的近两百篇论文中，关于音乐和舞蹈等艺 术情感研究的文章仅有2 篇。音乐情感的相关研究在国外已经形成一个热潮，在 硕七学位论文第一章绪论 国内的研究还有待进一步的加强。目前，音乐情感计算领域存在着以下亟待解决 的问题： ( 1 ) 大部分研究是通过音乐作品的人工情感标注过程得到关于情感基本语言 值集的模糊分布，以获得关于音乐样本的情感向量描述。然而，这种方法使用现 有的音乐作品或乐音组织结构作为实验材料，难以考察到底是哪些因素在决定音 乐表现性的过程中起了决定性作用。同时，在实验过程中，每个被试对形容词的 语义理解不同也直接影响到实验结果的偏差惦1 。 ( 2 ) 由于情绪心理学、认知科学及脑科学发展的限制，很难找到一种较好的 适用于计算机科学的情感建模方法，目前所提出的建模方法大都是基于维度论， 通过测量音乐特征来推测情感状态的。 ( 3 ) 未找到一种符合人类情感规律并适于机器实现的情感计算自动生成模 型。 ( 4 ) 缺乏帮助情感计算研究者的计算机仿真平台及情感计算库。 ( 5 ) 由于情感计算及人3 1 心理理论是新型交叉学科，很多理论方法还很不成 熟。 这一系列问题如果能得到较好解决，将大大促进音乐情感计算研究的发展与 进步。 1 4 本文研究内容 本论文旨在挖掘音乐表情元素与听觉紧张度之间的映射关系，完成听觉紧张 度计算机自动分类算法的设计与实现，构建符合人类情感规律并适于机器实现的 听觉紧张度自动识别模型，解析出音乐与人类听觉紧张度的同质关系。 首先，分析听觉紧张度表示、传递与识别过程中的心理模式及心理学关于音 乐音响与听觉紧张度之间的对应关系。结合音乐心理学、音乐美学，针对音乐表 现的特征数据进行系统和深入的研究，并对与听觉紧张度有关的联觉关系进行重 点剖析，挖掘各音乐表情元素与听觉紧张度之间的简单对应关系，得到音响的紧 张度与音程的协和度密切相关：即音程越不协和，其听觉紧张度就越高的结论。 同时，分析建立音乐情感识别模型的一般过程、音乐表情元素在情感计算中的研 究情况、识别模型构建的音乐理论基础和模型构建的可行性，为构建基于音程协 和度计算的听觉紧张度识别模型提供理论基础。 其次，将听觉紧张度识别模型分为四个模块来进行研究：数据采集、数据预 处理、分类规则挖掘、评价输出。 ( 1 ) 数据采集：针对基本特征易于解析的m i d i 文件，提取m i d i 音高序列。 ( 2 ) 数据预处理：通过音高序列计算出音程序列，并根据音程协和性规则将 硕士学位论文 第一章绪论 音程分类，计算出不同协和性的音程占总音程数的百分比，作为费希尔函数的自 变量。 ( 3 ) 分类规则挖掘：选择费希尔判别分析法对紧张度进行分类建模，以确定 一组以各类别音程协和性百分比为自变量的费希尔线性函数组。 ( 4 ) 输出评价：输出费希尔线性函数组，将样本的原始数据回代到费希尔线 性函数组，计算分类规则的判对率，并对比其判对率，选择最佳音程协和性规则。 再次，对数据预处理算法、分类规则挖掘算法进行详细阐述，并在音乐心理 学和音乐理论指导下设计并进行音乐听觉紧张度识别实验。 最后，基于费希尔判别法运用s p s s 软件分析听觉紧张度识别模型。对比三 种不同的音程协和性划分规则，通过回代数据的判对率比较判断较为科学的划分 规则，估计未知音乐的听觉紧张程度，最后对实验结果进行数据分析。通过对比 实验，解析纯一度与听觉紧张度的对应关系，完善音程协和性规则。 1 5 本文组织结构与章节安排 根据上述研究思路，本论文全文共分五章。 第一章：绪论。该章主要介绍计算机音乐研究及音乐情感计算，概述音乐情 感计算的现状和目前面临的问题，介绍本论文的研究内容，最后说明全文的结构 和内容安排。 第二章：音乐联觉分析。该章介绍音乐音响与表现对象之间关系的心理学和 美学研究，重点阐述与听觉紧张度有关的联觉关系。首先简要介绍音乐心理学对 音乐表情元素的研究，然后就音乐联觉理论，特别是与听觉紧张度的联觉关系重 点研究。 第三章：听觉紧张度识别模型。该章首先阐述建立音乐情感模型的一般过程 和构造情感计算模型的音乐表情元素，重点阐述识别模型的基本思想、模块设计、 功能实现和构造出的模型，最后分析音程协和性分类规则和费希尔线性判别法。 第四章：基于统计特征的识别算法及其实验研究。该章主要介绍基于统计特 征的紧张度识别算法和紧张度识别实验。对于实验得出的费希尔判定函数，采用 回代法的判对率比较，判断三种音程协和性规则的准确性，最终确定最佳音程协 和性分类规则。 第五章：结束语。总结全文。 硕士学位论文第二章基于联觉的音乐情感表示模型 第二章基于联觉的音乐情感表示模型 音乐情感计算是一个典型的多学科交叉问题。它是结合了信息可视化、音乐 美学、情绪心理学、人机交互等诸多学科的理论方法逐步发展起来的综合性学科。 情感识别的一个最大问题情感状态和表达模式之间的对应关系是什么? 因 此，音乐基础理论、音乐心理学与美学理论中对音乐表现、音乐情绪的研究成为 我们的研究中一个必不可少的重要环节。本章的目标是，建立情感建模的基础， 挖掘出音乐数据与听觉紧张度之间的对应关系，并试图找到一种适合计算机计算 的情感计算规则。 2 1 引言 联觉就是从一种感觉引起另一种感觉的心理活动m 1 。早在古希腊，人们就认 识到这种现象。s y n e s t h e s i a 这个单词由古希腊文“s y n ( 共同，一起) 与 “a i s t h e i s ”( 感受、知觉) 构成，意即“共感觉”。观察日常语汇，也会发现在 同常语言中存在着大量跨感觉系统的描述词：高、低、强、弱等等。比如：音乐 家将不同频率的声音称为“高音”、“低音”，画家把视觉上不同亮度的颜色称为 “高调子”、“低调子 ，把最亮的地方称为“高光”，人们常用“情绪高”、“情绪 低”来描述情绪状态。这种语言现象不仅仅出现在中文中，在其他语言中也存在， 这必定是因为在可以用相同的词语形容的对象中存在着某种相同的感觉属性。实 际上，人们在日常经验中认识到这种现象已经有很长的历史，但这种现象并没有 引起足够多的科学研究h 7 1 。 然而近年研究表明，建立在独立感觉要素基础上的联觉分析是解决音乐音响 与其表现对象之间对应关系的关键。因此，要挖掘出听觉紧张度与音乐元素的对 应关系也需要从音乐联觉入手，将影响听觉紧张度的因素独立出来，单独进行实 验和联觉分析。 2 2 音乐情感的量化研究 2 2 1 形容词表法 1 9 3 5 年，k 海佛纳( h e v n e r ，k ) ，将五首表现性不同的乐曲呈示给被试， 让被试根据对音乐的感受在一个人们常用来表达音乐感觉的形容词表中进行选 择。统计聚类分析的结果把形容词聚成8 类，考察了音乐中哪些元素影响音乐情 硕士学位论文第二章基于联觉的音乐情感表示模碰 绪表现，包括和声的丰富性、节奏特征( 坚定地、流动的) 、调式( 大调、小调) ， 旋律进行的方向，g jt 音乐心理学关于对应关系的研究的先河n 卯。 7h l p h t 士有力的o e x i l i n g 兴奋自啦 z r i j e t t j c 戚严酿卜 删j e 1 好曲的 p d e r d u 笨瑚 r 曲1 噎闹的 6 h i 毋n 明，硝呐， c h e e 删愉懊的 g a y 寻欢作乐的- h p 砂快乐的 _ i o y o m 乐趣的t _ - 口y 欢乐的 5 也k t t et 稍詹 掣t c e f 址优雅的 驷正1 悬悟丰膏目g p l , y f m 玩乐的， f e n c f f 1 l 幻想的一 激动人心酌， 姆i i f ! 耐茸贯口争一 ”d 神圣的 p m t u s l 秉高纯洁的j - 由m 严盎的 妇r 冷讳的 l o f t y 素高的+ - o b m u 啊重的 l o n g i n g 孤独的 2 d 矗熏暗的p a t m z 可怜的o d i p m 1 唱压抑的o p h m t m 悫伤的 d o e f u l 悲伤的 ”e r m r 晦渴望的v f i 氆t m t e d 挫败的“砒m e “ 1 f 惑葛用事的o g l o o m y 阴暗的- t h d h温柔的 琳k n c 1 0 h c 比部的一 州h 醴 可怜的 h 毫鼬g 一 图2 - ih e v n e r 情感环 f a r n s w o r t h 对于h e v n e r 词表提出了修改版本，将h e v n e r 词表所用的8 个 词集扩充为1 0 个，并依据各形容词所表达的意象，重新简化并归类词集集中的 形容词，使词表更恰当的应用于音乐评价中。 表2 - 1f a r n s w o r t h 形容词表 abcde c h e e r f u l 愉快的 f a n ci f u ld e li c a t e d r e a m yl o n g i n g 孤独的 g a y 寻欢作乐的 幻想的敏锐的梦幻般的p a t h e ti c 可怜的 h a p p y 快乐的1 i g h tg r a c e f u ll e i s u r e l yp l a i n t i v e 悲伤 b r i g h t 明亮的 明快的优雅的悠闲p l e a d i n g 恳求的 j o y o u s 乐趣的q u a i n tl y r i c a l s e n ti m e n t a l y e a r n i n g 渴望的 m e r r y 欢乐的奇特有趣的感情丰富的感情用事的 s p r i g h t l y w h i m s i c a l s e r e n e 生气勃勃异想天开的 安详的 fgh i j d a r k 黑暗的 s a c r e dd r a m a t i c a g it a r e d f r u s t r a t e d d e p r e s s i n g 压抑的 神圣的戏剧性激动的挫败的 s a d 伤心的s p i r i t u a le m p h a t i ce x a l t i n g s e r i o u s 严肃的崇高纯洁的有力的兴奋的 s o b e r 冷静的m a j e s ti ce x c i t i n g s o l e m n 隆重的威严的刺激的 西肖尔音乐知觉模型h 刚描述了在感知音乐声音的过程中，物理与直觉变量间 的关系。 - 1 0 - 硕七学位论文第二章基于联觉的音乐情感表示模型 表2 - 2 西肖尔音乐知觉模型 物理知觉音感的干线 频率音高音调 振幅响度力度 信号形音色 性质 时间音长时间 戴里克柯克( d e r y c kc o o k e ) 从具体音响形态的分析中获得音乐表现的基本 要素h9 1 。它采用欣德米特的张力理论，将音乐表情的基本元素概括为“音高张力”、 “时间张力”、“音量张力 。但他的理论仅仅局限于对西方古典有调音乐的研究， 并且过分强调音高的作用，对其他因素在音乐表现中的影响分析不足。 从以上列举的实验研究中可以发现，音乐引起情绪反应是一种普遍的心理现 象，但总的来说，这些研究没有提供关于音乐音响与人类情绪反应之间具体、明 确的对应关系与机制的认识咖5 1 1 。从方法上说，虽然形容词表法是目前音乐心理 学界较为常用的一种方法，但用形容词检表与实际音乐作品匹配的方法，存在两 个问题：第一，使用现有的音乐作品或乐音组织结构作为实验材料，难以考察到 底是哪些因素在决定音乐表现性的过程中起了决定性作用，因此所获得的结果难 以在更细致的层次上应用于音乐的分析。不从实验材料的设计上控制考察音乐表 情元素，而仅仅通过统计的方法是难以奏效的。第二，在实验过程中，每个被试 对形容词的语义理解不同而直接影响到实验结果的偏差。 2 2 2 早期联觉研究 在早前的联觉研究中，研究者搜集了大量的关于听觉、视觉、嗅觉、味觉、 触觉之间联觉现象的个体描述，但实验结果却表明这些个人的主观描述高度的个 体化而没有共同的规律。因此，上个世纪三十年代，曾有学者批评联觉研究将个 人的主观描述当成客观现实，并认为“迄今为止，关于联觉的研究都是具有高度 主观性的一般现象上的依据晦2 1 。 然而，近期联觉研究表明，不同主体之间及同一主体不同情境下的联觉现象 是高度随意的。造成这种状况的原因在于，以往的联觉研究没有把单纯的感觉要 素从一个整体感觉中抽取出来，以考察引起联觉的关键要素，而是把一种综合的 感觉去与另一种综合的感觉相联系。比如“紫红”是一种视觉感受，但其实它是 由较低的明度、较高的饱和度、红色彩及蓝色彩四种感觉要素结合而成的感觉， 而中央c 音则也包含着音色、强度、发音、频率四种感觉要素。没有将引起联觉 的感觉要素从整体的感觉特征中分离出来，是早期联觉研究难以深入的主要原 因，也是日常经验中广泛存在的具有普遍规律性的联觉现象不能整理成为系统的 硕士学位论文第二章基于联觉的音乐情感表示模型 心理学研究对象的主要原因。 本论文基于音乐联觉的研究就是要建立一个人类感知的情绪模型，对音乐基 本表情元素的特征及其变化关系进行提取和分析，按照人的认知和思维方式加以 归类和理解。利用人类所感受情绪信息作为先验知识输入，并建立起一个识别模 型，使计算机能够进行情感的计算及推理，进而从音乐特征信息中分析理解音乐 所传达的紧张度，将其进行分类识别。 2 3 音乐情感的联觉分析 2 3 1 音乐音响与其表现对象之间的关系 联觉是音乐音响与其表现对象之间的关键。1 9 9 9 年，中央音乐学院周海宏 教授提出决定音乐作品表情性的核心原因是音乐表现的基本要素音程紧张 度、音区、音高进行方向、力度、起音速度嘲1 。他以联觉关系为突破口，用心理 学的实证方法证明了与音乐听觉相关的六种联觉对应关系规律：与音高相关的联 觉、与音强相关的联觉、与时间相关的联觉、与时间变化率相关的联觉、与紧张 度相关的联觉、与新异性体验相关的联觉。 ( 1 ) 与音高相关的联觉分析 声音振动频率的听知觉属性称之为音高。在单位时间内，振动次数多的声音 被称之为“高音，振动次数少的声音被称之为“低 音。音高是声音的基本听 觉属性之一，也是音乐表现性最基本的构成要素之一，与这一听觉属性具有联觉 对应关系的对象，在音乐中具有普遍性的表现。 实验结果表明，与音高相关的一系列联觉总是引起情态兴奋性或抑制性的活 动。相同的兴奋或抑制的反应，就使得不同感觉间发生了联觉上的对应关系。共 同的神经系统兴奋性反应机制是与音高相关的联觉发生的心理机制。 ( 2 ) 与音强相关的联觉分析 发音体物理振动幅度的大、小，造成听觉音强体验中的强。音强的“强”、 “弱一也被称为声音的“大、“小 。音强是声音的基本听觉属性之一，也是音 乐最基本的表现要素之一。实验表明，与音强相关的一系列联觉都与感觉的强度 有关。感觉的强度是对神经反射强度的体验。 不同强度的刺激，引起相应强度的神经反射是所有感觉系统的共同规律。一 个强的声音刺激与一种强光的刺激或一个生活中强烈事件的刺激，都能产生神经 系统相应强度的反映，因此以这种共同的神经系统反应强度为中介，就使得不同 感觉器官中的刺激具有了联觉上的对应关系。共同的神经系统反应强度是与音强 相关的联觉发生的心理机制。 硕士学位论文第二章基于联觉的音乐情感表示模型 ( 3 ) 与时间相关的联觉分析 同一音在时间中的延续被称作音长，在一个单位时间内先后出现的音的数量 是速度的本质，而声音先后出现的时间间隔的特征是节奏的本质。音长、速度、 节奏是声音时间特征的三种表现，其中最基本的是音长，速度与节奏其实是不同 音长的音结合之后的现象。音长是声音的基本听觉属性之一，也是音乐最基本的 表现要素之一。与这一听觉属性具有联觉对应关系的对象，在音乐中具有普遍性 的表现。 神经受到刺激而发生反射活动，刺激的时间间隔也自然造成相同的神经反射 的时间间隔。这也是在所有感觉系统中都存在的神经活动的属性。 ( 4 ) 与时间变化率相关的联觉分析 音乐界将一个声音从开始发出到达到最大强度时所用时间与强度之间的比 率称为“音强时间变化率 。它是每个声音都包含的听觉属性，也是音乐最基本 的表现要素之一。与这一听觉属性具有联觉对应关系的对象，同样在音乐中具有 普遍的表现。 从严格意义上说，时间变化率不是一个独立的心理活动，而是两种心理活动 结合的现象：即神经反射强度与神经反射时间的结合，即时间变化率体验= 强度 体验时间，这个体验当然也是在所有感觉系统中存在的活动体验。以这种神经 活动时间变化率状态的相同或相似为中介，就使得不同感觉系统的神经活动引起 的感觉之间发生联觉上的对应关系。 ( 5 ) 与紧张度相关的联觉分析 紧张度是由对象各要素之间的感性特征的差异所引起的体验。这种要素之间 感性特征差异的感受存在于所有感觉系统中，以此为中介，就使得不同感觉系统 中的感觉之间发生了联觉上的对应关系。 ( 6 ) 与新异性体验相关的联觉 人的感觉系统对刺激的性质具有适应与记忆的能力。适应性决定了一个新异 的刺激出现时，会使感觉系统产生较强的反应。随着刺激的重复，反应越来越弱， 越来越不敏感。这是生命体把握环境、适应环境的一种特别重要的本能。新异性 体验不是对刺激性质本身的体验，而是对两个刺激之间的相似性进行比较时产生 的体验。对先后作用于同一感觉器官的两个刺激进行感觉相似性分析，产生“新 异性体验”。两个刺激的性质相差越大，新异性体验越强，反之越弱。新异性知 觉不是对刺激性质的直觉，而是对当下刺激与先前刺激之间的变化程度的知觉， 是两种感觉编码比较的结果引起的体验，差异越大，新鲜感越强，反之越弱。 硕士学位论文第二章基于联觉的音乐情感表示模型 2 3 2 与紧张度相关的联党 ( 1 ) 听觉紧张度原因分析 统一性是紧张感产生的原因 当人同时接受两种或更多刺激时，不同刺激之间性质的差异性是使人产生紧 张度体验的关键原因。两种刺激的性质越一致，给人感觉越和谐、放松；反之差 异越大，给人感觉越有对比性、越紧张。音乐界把这种不同刺激之间性质的差异 性概括为“统一性 。表现在协和与音色紧张度两个方面： 协和是统一性在音高结合中的表现。它来自两个音声波振动频率比例关系的 简单程度频率差值越小，听觉体验越协和。在音乐审美实践中具有普遍性的 经验：太低的统一性，产生听觉上的不协和、紧张、复杂的感觉；太高的统一性， 产生听觉上的协和、放松、单一、不丰富的感觉。不协和产生紧张感、动力感， 协和产生轻松感、和谐感、稳定感。 音色的紧张度是统一性在单音中的表现。音色的听觉体验，也包含着纯净一 一粗糙、松弛紧张的感觉。音色取决于泛音的状态，即泛音的数量与各个频 率段上泛音的强度