（生物医学工程专业论文）基于脑电的音色感知研究.pdf

a b s t r a c t a b s t r a c t a sau n i v e r s a la n ds p e c i f i ct r a i to fh u m a n s m u s i cp l a y e dak e ya n dp a r t i c u l a rr o l e i nh u m a ns o c i e t y h o w e v e r l i t t l eh a sb e e nu n d e r s t o o db yu sr e g a r d i n gt h i so l d e s ta n d m o s tb a s i cs o c i o c o g n i t i v ep h e n o m e n o ni ti sr a t i o n a lt ou s em u s i ca sat o o lc o m b i n e d w i t ht h ed o m a i n so fp h y s i o l o g y p s y c h o l o g y n e u r o s c i e n c ea n d s i g n a lp r o c e s s i n g m e t h o d st oi n v e s t i g a t et h eu n d e r l y i n gb r a i nm e c h a n i s m so fm u s i cp e r c e p t i o n a si ti s h e l p f u ln o to n l yt or e v e a lt h em u s i c a la b i l i t yo fh u m a n b u ta l s ot ou n d e r s t a n dt h e w o r k i n g so f t h eh u m a nb r a i n t i m b r e ak e ya n dt h em o s tc o m p l e xa t t r i b u t eo fm u s i c a l l o w so n et od i s t i n g u i s h a m o n gt o n e sw h i c hh a v et h es a n l ep i t c hl o u d n e s sa n dd u r a t i o n h e r e w ep r e s e n t m i s m a t c hn e g a t i v i t y m m n o ft h ee v e n t r e l a t e db r a i np o t e n t i a l e r p o b t a i n e df r o m s i x t e e nh e a l t h yi n d i v i d u a l sw h i l et h e yl i s t e n e dt oc o m p l e xi n s t r u m e n t a lt o n e sa n d s i m p l es i n ew a v et o n e st or e s e a r c ht h et i m b r ep e r c e p t i o ni nh u m a n sa n dr e a c ht h e f o l l o w i n gc o n c l u s i o n f i r s t l y w ef i n dt h a tt h ea m p l i t u d eo fp 2h a ss h o w e dap o s i t i v ec o r r e l a t i o nt o c o m p l e x i t y o fs p e c t r a a sw eo b s e r v e dp 2 w e r ee n h a n c e dw h i l e r e s p o n d i n g t o i n s t r u m e n t a lt o n e sr e l a t i v es i n c ew a v et o n e s s e c o n d l y i nt h ee x p e r i m e n tt h em i s m a t c hn e g a t i v i t y m m n g e n e r a t e db yt h e b r a i n sp r e a t t e n t i v ed e t e c t i o no fas o u n d c h a n g e w a se l i c i t e db ya ni r r e g u l a rt i m b r et o n e s u c c e e d i n gar e g u l a rt i m b r e d e m o n s t r a t i n gt h a tt i m b r ei sp r e a t t e n t i v e l yp r o c e s s i n gi n a u d i t o r ys e n s o rm e m o r y f u r t h e r m o r e u s i n g ac o n d i t i o n c o n t r o l l i n g f o rr e f r a c t o r i n e s s e f f e c t s w e d i s e n t a n g l et h en1 w h i c hh a sa l le a r l yc o n t r i b u t i o nt om m n a n dt h eg e n u i n em m n t h eg e n u i n em m nr e f l e c t st h eo u t c o m eo fam e m o 巧c o m p a r i s o nb e t w e e nn e u r a l m o d e l so ft h e f r e q u e n t l yp r e s e n t e ds t a n d a r d s o u n dw i t ht h e s e n s o r ym e m o r y r e p r e s e n t a t i o no ft h ec h a n g e ds o u n d i nt h e m e a n t i m e w ea p p l i e da ne l e c t r i c a lb r a i ni m a g i n g a p p r o a c hu s i n g l o w r e s o l u t i o ne l e c t r o m a g n e t i ct o m o g r a p h y l o r e t a t oe s t i m a t et h en e u r a ls o u r c e s o fm m nr e s p o n s e si nb o t ht r a d i t i o n a le x p e r i m e n t a lp a r a d i g ma n do p t i m i z e do n e a b s t r a c t i n v e r s em o d e l i n gr e v e a l e ds o u r c e sf o rn1a n dm m ni nt h ep r e f r o n t a lc o r t e x b u ti n d i f f e r e n tp o s i t i o n t h e s ee e gr e s u l t ss u g g e s tn1a n dm m na r es p a t i a l l yd i s t i n c t a c t i v i t i e s l a s t l y t h el o r e t ae x p o s e dac o n s i d e r a b l ys t r o n g e rd i f f e r e n c e o ft h er i g h t r e l a t i v et ot h el e f tp r e f r o n t a lr e g i o ni nt i m b r er e l a t i v et op r e a a e n t i v ep e r c e p t i o nd u r i n g t h eo p t i m i z e de x p e r i m e n t a lp a r a d i g m w h i c hp r o v i d e se v i d e n c et h a tt h er i g h tl o b ei s p a r t i c u l a r l ye s s e n t i a lf o ra n a l y s i so ft e m p o r a la n ds p e c t r a li n f o r m a t i o ni n v o l v e di n m u s i c a lt i m b r e k e y w o r d s e e g t i m b r e m m n n 1 p 2 l o r e t a i i i 独创性 声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果 据我所知 除了文中特别加以标注和致谢的地 方外 论文中不包含其他人已经发表或撰写过的研究成果 也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明 确的说明并表示谢意 签名 日期 年月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留 使用学位论文 的规定 有权保留并向国家有关部门或机构送交论文的复印件和磁 盘 允许论文被查阅和借阅 本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索 可以采用影印 缩印或 扫描等复制手段保存 汇编学位论文 保密的学位论文在解密后应遵守此规定 签名 熟金亟 导师签名 日期 第一章绪论 第一章绪论 音乐是人类的普遍特质 它是由人类创造并反作用于人脑影响人类的认知过 程 并与人类的其他属性如听觉灵敏度 智力 性别等存在具备价值和有意义的 关系 然而 现阶段对于音乐的认知过程并没有很清楚地定论 脑成像技术的发 展为研究音乐的脑机制提供了一个重要的研究手段 并产生了神经音乐学 n e u r o m u s i c o l o g y t i j 这样一个新的学科 它从音乐心理学等学科延伸而来 用脑神 经科学的研究手段 方法和课题作为切入点 以深化人类对自身思维 行为和情 感的认识为基本目的 在儿童发展 教育和医疗以至人类与信息技术关系等领域 具有重大潜在价值的新兴学科 2 通过对音乐认知的研究 有助于人们对听觉 学 习和记忆等的大脑机制的进一步了解 其中 利用听觉事件相关电位研究音乐认 知是一条重要的主线 用于揭示音乐刺激与大脑活动之间的关系 音色作为音乐的一个基本属性和主要特征 不同于其他的音乐属性如音高 音强 音速 是一种复杂的特性 很难用语言来解释 正是因为这样的复杂性和 未知性 音色感知的研究吸引了越来越多的学者的注意 成为了音乐认知领域一 个重要和热门的研究方向 而本文正是采用脑电图为研究手段 对音色的注意前 的认知加工过程进行了研究与分析 1 1 脑的信息自动加工 3 脑的信息自动加工亦称 脑的自动加工 脑对信息的自动加工 它是一种 普遍存在的现象 作为脑的信息自动加工的一种 脑对感觉信息加工的自动化是 指脑具有自动加工从各个感觉通路进入的信息的能力 先天的脑对感觉信息的自 动加工主要是朝向反应 例如 酒会己名效应 在鸡尾酒会的嘈杂环境中 当一 个人专心与某人交谈时 他不会听清其他人说话的内容 但当有人提到他的名字 时 他却会意识到 并可能不自觉的张望声音的来源 关于信息的自动加工有如下几个理论模型 4 1 过滤器模型 b r o a d b e n t 于 1 9 5 8 年提出的 认为外界信息在进入人的中枢系统时 存在过滤器选择部分信息 进入高级分析阶段 未被注意的信息在短时记忆系统中进而衰退 而新异刺激和 意义显著的刺激较易通过过滤器进而被加工处理 2 衰减模型 t r e i s m a n 1 9 6 0 在 电子科技大学硕士学位论文 以上过滤器模型上加以改进 将其改进为衰减的多通道模型 当前认知心理学多 倾向于这两个模型 并称之为b r o a d b e n t t r e i s m a n 过滤器 衰减模型 3 反应选择 模型与知觉选择模型 是由d e u t s c h 提出的 也称为后期选择理论 即所有进来的 刺激都被加工 当信息进入工作记忆时才开始选择需要进一步加工的信息 此外 还有能量分配模型 自动加工理论等 脑对信息的自动加工能力是脑的一种奇特的高级功能 对人类具有重要价值 例如上述的 酒会己名效应 说明人脑对进入耳朵的声音在自动进行筛选 只让 有价值的信息进入意识 而将大量无价值的信息滤掉 这不但是一种极大的节约 大大提高了脑的加工效率 而且对机体具有重要的保护意义 因为对机体具有伤 害意义的信息会自动进入意识 以便使机体能够及时采取应对措施 脑对信息的 自动加工引起了科学家的浓厚兴趣 是当代心理学的研究热点之一 也是当前其 他生命科学 人工智能等众多学科共同感兴趣的问题 1 2 事件相关电位 e v e n t r e l a t e db r a i np o t e n t i a l e r p 脑电 e l e c t r o e n c e p h a l o g r a m e e g 是从人类或动物的头皮上记录到的电位变 化 主要反映大脑的电活动特性 2 0 世纪5 0 年代末 随着神经电生理学和计算机 的发展 将计算机技术用于脑电图的分析而产生的事件相关电位 e v e n t r e l a t e d p o t e n t i a l s e r f 方法 在脑波与心理因素的研究中起着不可替代的作用 所谓事件 相关电位 即是外加一种特定的刺激 作用于感觉系统或脑的某一部位 给予刺 激或撤销刺激时 在脑区所引起的电位变化 它揭示和利用了脑电波与心理事件 之间的锁时 t i m e 1 0 c k 关系 正常的自发脑电一般处于几微伏到7 5 微伏之间 而由心理活动所引起的脑电 比自发脑电更弱 一般只有2 到1 0 微伏 通常淹埋在自发电位中 所以e r p 需要 通过计算机叠加平均的方法从e e g 中提取 事件相关电位具有以下三个特征 波 形变化方向有正负之分 波形变化存在一个强度水平 或振幅 变化的开始会有 一个潜伏期 在此期间 大脑对信息进行加工 正是因为事件相关电位具有波形 恒定和潜伏期恒定的特点 可以认为是刺激事件 包括物理刺激和心理因素 引 起的脑电真实的实时波形 并且其时间分辨率可精确到微秒级 目前已经被广泛 应用于脑功能研究 第一章绪论 1 3 失匹配负波 m i s m a t c hn e g a t i v i t y m m n 失匹配负波 m m n 是由n g g t 孙e n 等人于1 9 7 8 年首先提出并证实的一种由随 机出现在不断重复的 标准 刺激序列中的 偏差 刺激所诱发的听觉诱发电位 成分 5 由刺激变化所诱发的听觉1 0 0 2 5 0 m s 出现的两种刺激响应之间的差异波 就是m m n m m n 与大脑皮层对感官信息主要是听觉信息早期预处理活动有关 反映了初级听觉皮层和邻近颞上回皮质的激活过程 因为不需要受试者的主动参 与 m m n 能够较为客观的反映大脑对感觉信息尤其是听觉信息的自动加工过程 是一个大脑感觉信息加工的电生理测量指标 在认知神经科学及临床诊断上具有 极大的应用潜力 它能提供大脑对于输入声音细节特征如 刺激声音的强度 持 续时间和频率的处理证据 6 m m n 的发现为脑的信息自动加工提供了难得的客观 指标 由此不但客观地 物质地证实了人脑信息自动加工的存在 而且可以利用 m m n 研究一些困难而重大的问题 如人脑自动加工的广度 深度和脑机制等 并 成为近年来研究的热点 1 3 1m m n 的实验模式 1 o d d b a l l 实验模式 m m n 的最早是用o d d b a l l 模式 分为主动和被动两种 主动o d d b a l l 模式是在一组重复出现的标准刺激 大概率 中随机插入刺激参数不同 的偏差刺激 小概率 让被试者辨认偏差刺激 而被动o d d b a l l 模式则是使被试者 不注意所有刺激信号 7 j 2 双耳分听试验模式 在n i f t i n e n 8 设计的经典双耳分听实验模式中也运用 o d d b a l l 模式 给予左右耳分别不同的标准刺激和偏差刺激 让被试者只注意某一 耳的偏差刺激 指定耳可互换 也可让被试者阅读而忽视听觉刺激 1 感觉通道 目前大多数的m m n 研究都集中在听觉通道 尽管w o o d s 等 9 1 在1 9 9 2 年发表了视听跨通路m m n 的研究 然而在视觉与体感通道是否存在类似 于听觉的m m n 仍然是一个未有定论的问题 2 波形与测量指标 在非注意状态下m m n 通常与n 1 p 2 波重叠在一起 在注意状态下m m n 常与n 2 b 部分重叠而形成双峰波 m m n 的测量指标为潜伏 期和波幅 潜伏期通常测1 0 0 2 5 0 m s 范围内的最大峰 波幅测基线 波峰值 电子科技大学硕士学位论文 3 头皮分布与起源 m m n 的头皮分布为右半球大于左半球 在听觉皮质及其 邻近部位和额叶 在中线位置 其大小依次为f z c z 和p z 研究显示至少m m n 的大部分产生于听皮层 包括初级听皮层以及相关区域 不同声学差异诱发的m m n 产生于听皮层的不同部位 1 0 1 双侧额叶也有发生器 特别是额叶与记忆有关的区域 和与海马回相连接的部分以及额皮层 而且表现右半球占优势 1 l 1 3 3m m n 的产生原理 1 感觉疲劳说 亦称不应理论 认为m m n 的产生是那些对偏离刺激参数敏感的神经元群兴 奋的结果 在整个实验过程中 因连续的两个偏离刺激之间的间隔很长 所以这些 神经元始终保持着对偏离刺激的反应性 那些对标准刺激参数敏感的神经元群则 因刺激不断重复而出现适应或疲劳 处于相对不应期 2 记忆痕迹理论 记忆痕迹理论认为 连续的两个刺激 标准刺激和偏离刺激 作用于机体 机体 对它们进行加工 这种加工并不能辨别它们之间所发生的偏离 偏离本身必须经 过另一种机制进行编码 编码的过程是这样的 一个刺激作用于机体后在脑内形 成记忆痕迹或表征 r e p r e s e n t a t i o n 不同的刺激其记忆痕迹不同 具有刺激特异性 标准刺激是不断重复的 其记忆痕迹可以得到不断的加强 如果标准刺激的物理 参数发生改变 即偏离刺激出现时 它与记忆痕迹之间不能完全吻合 便引出了 m m n 这种当前刺激与脑内记忆痕迹之间的比较过程便是m m n 的产生机制 1 引 记忆痕迹的神经生理学基础可能是短时程的感觉记忆或前注意存储 即所谓听觉 余音记 i l e c h o i cm e m o r y 这种记忆属于与注意无关的 大容量的感觉存储系统 保持的时间很短 但感觉信息得到了完全的加工 大量e r p 和脑磁图记录发现这 种感觉记忆存储于听觉皮层 3 特征地图和改变辨别器理论1 1 3 j s a m s 认为刺激的各个特征分别独立地被编码并构成相应的特征地图 这些特 征地图的激活可能与n 1 的形成有关 被编码后的信息集中传入某一神经元群 该 神经元群因能辨别刺激所发生的改变 故称改变辨别器 c h a n g ed e t e c t o r 一标准 刺激的出现 通过某一中间神经元抑制改变辨别器 阻止它的激活 但当一偏离 刺激出现时 由于刺激特征发生改变 从而通过某种新的突触联系 v i r g i n a l s y n a p s e 激活改变辨别器 形成m m n 4 第一章绪论 1 刺激偏差的大小 偏差刺激较标准刺激的频率偏差程度增大 m m n 波幅 增大 潜伏期缩短 持续时程加长 1 4 1 2 刺激强度 m m n 只与偏差刺激与标准刺激的差异量有关 而与刺激物本身 的绝对量无关 3 刺激概率 2 的偏差刺激比1 0 的产生的m m n 要大得多 但s a m s 等发 现同等概率的m m n 因此低概率的偏差刺激并不是m m n 所必需的 1 5 4 刺激间隔 i s i 当i s i 固定为1 2 秒时 可产生一个清楚的m m n i s i 为4 8 秒时却没有m m n 产生 16 但采用1 6 1 0 秒随机排列的i s i 结果表明即使6 1 0 秒的i s i 也可产生m m n 在i s i 对m m n 的影响中 标准刺激和偏差刺激的呈 现速度可能是重要的 5 可预见性 以往试验中没有发现可预见性对m m n 有显著影响1 1 6 刺激含义 试验结果表明刺激含义对m m n 没有影响 喀 1 3 5m m n 实验模式的革新 传统的m m n 的实验方式与提取方法有一个问题 缺乏合适的控制组 使得 重复的标准刺激与出现次数较少的偏差刺激之间出现不同的外源反应 对m m n 造成影响 j a c o b s e n 1 9 在2 0 0 1 年提出一种将适当的控制组引入到m m n 的实验中 并在提取m m n 时采用相同的刺激相减 这样将这种外源成分的混杂去除 使得 m m n 只反映在听觉记忆中的注意前处理过程 另外 也有将m m n 引入到跨通路的研究中 并且研究视觉m m n 的存在与 否 目前有一些关于视觉m m n 的研究试图寻找与听觉m m n 类似的视觉m m n 成分 另外部分学者也关注由视觉偏差刺激所引起的e r p 成分的特征 在某些视 觉特征上 多数的研究都报告观察到了由偏差刺激引起的n 2 类似成分 这些视觉 特征有 运动方向 形状 方位 位置 对比度 大小 空间频率及颜色等 罗跃 嘉和魏景汉 1 9 9 8 2 0 成功设计了 跨通路延迟反应 实验模式 同时记录注意与非 注意条件下的视听觉e r p 研究了m m n 是否受注意的影响以及视觉m m n 的问 题 电子科技大学硕士学位论文 1 4 音乐认知与音色感知 1 4 1 听觉机制 2 2 2 3 听觉是音乐存在的前提 因此在理解音乐认知的诸多方面之前 首先要从生 理学的角度了解听觉机制 听觉过程始于声压波 声波作用于外耳的脊和皱 经 由耳道传至鼓膜 引起耳小骨的振动 并进入内耳 听觉神经连接着内耳与大脑 并可以进行双向通讯 听觉传导通路 a u d i t o r yp a t h w a y 在中枢神经系统 脑 之外的部分称为听觉外周 在中枢神经系统内的部分称为听觉中枢或中枢听觉系 统 听觉中枢纵跨脑干 中脑 丘脑的大脑皮层 主要环节包括 耳蜗核 斜方 体 橄榄旁核 上橄榄复合核 外侧丘系核 下丘和上丘 丘脑的内侧膝状体 大脑皮层颞叶的听觉皮层 听觉的传导路径包括上行听觉通路和下行听觉通路 上行听觉通路包括以下 四级神经元 一级神经元为螺旋神经节中的双极细胞 第二级神经元为耳蜗核 包括耳蜗背核 耳蜗前腹核和耳蜗后腹核 上橄榄复合核与下丘为第三级神经元 接受由耳蜗核 上橄榄核和外侧丘系核的上行传入纤维 是皮层下的主要听觉中 枢 第四级神经元为内侧膝状体 位于丘脑 是皮层下的最高级听觉中枢 由内 侧膝状体发出的神经纤维经听放射到达大脑皮层颞叶听区 包括颞叶的初级听皮 层 4 1 区 和次级听皮层 2 1 2 2 4 2 区 初级听皮层位于颞叶上部 4 1 区 皮层听觉区位于颞横回和颞上回 4 1 4 2 区 是听觉的最高中枢听觉神经从听觉感受器上行进入听觉低级中枢 即内侧膝 状体 最后投射到皮层颞叶 由于听觉神经进入脑内后也呈不完全交叉 故而听 觉信息向脑内传递也带有双侧性 在人类 低音调组分分布于听皮层的前外侧 而高音调组分分布于后内侧 在上述特异性听觉通路之外 还存在弥散的非特异 性通路 经网状结构上升到丘脑 再投射至皮层各区 人能听到频谱大约为2 0 1 6 0 0 0 赫兹的各种声波 对4 0 旺1 0 0 0 赫兹的声波 最敏感 物理声学分析声音的频率 振幅或声压以及复合声的频谱 心理声学考 虑到这些参数与人类主观听觉间的关系 则提出相应的参数是音高 音强和音色 1 4 2 音乐认知 作为人类和人类社会不可分割的一部分 音乐已成为脑科学探索人类智慧奥 秘的重要研究对象 来自于前沿课题领域的研究把音乐作为 高级脑功能之窗 6 第一章绪论 m u s i ca saw i n d o wi n t oh i g h e rb r a i nf u n c t i o n 近年来随着脑科学与认知科学对音 乐感知内在神经机制的深入研究 人们逐渐认识到音乐不仅能够增强认知和学习 而且改善各种疾病的症状 例如癫痫病 早期老年痴呆症 帕金森病等 2 训 此外 音乐对短期的空间推理任务也产生有益的影响 例如 莫扎特效应 即实验证明 欣赏几分钟莫扎特音乐后 会增加被试空间推理的得分等等 2 5 因此 对音乐感 知内在神经机制的探索将逐渐在儿童发展教育 临床医学 认识人类自身等领域 发挥着重大的潜在价值 2 6 目前 神经科学与心理学的研究者逐渐运用事件相关电位 e r p 脑电图 e e g 脑磁图 m e g 功能磁共振成像 f m r i 等脑成像技术进行了大量的音乐知 觉神经机制方面的研究 其研究主要涉及到音乐知觉的神经认知模型 音乐与语 言加工的异同 成人与儿童音乐知觉的对比 音乐专家与普通人在音乐加工过程 中的差异 音乐与情绪的研究 音乐的句法和语义加工等问题 并且取得了突破 性的进展和丰硕的成果 2 7 2 8 2 9 1 其中 音乐认知涉及到复杂的大脑功能 包括声音分析 听觉记忆 听觉记 忆以及对音程的细化处理以及对乐理以及所传达的意思的理解和处理过程 近年 来 对于音乐处理过程以及相关神经机制有了很大的发展 并形成了对于音乐处 理在认知方面的框架 这个框架展示了在音乐认知相关模块和这些模块之间在时 间过程上的合作 以及这些模块在大脑中的定位 3 u j 图1 1 音乐认知的神经认知模型 7 电子科技大学硕士学位论文 音乐认知的过程包括以下阶段 首先是早期处理阶段 声音信息转化为神经 活动传导耳蜗继而传到听觉脑干 此时 音高 音色 粗糙度 音强以及双耳分 听等引起的神经反应 主要集中在上橄榄核与下丘 在听觉皮层 可能主要是在 初级与次级听觉区域 提取关于声音特征的信息 如音高 音色 音强等 这些 信息可以通过e r p 的潜伏期在l o o m s 内的成分进行反应 当听觉特征被提取后 声音信息进入听觉记忆和形成格式塔阶段 对于格式塔阶段音乐的听赏者需要有 能将独立的音乐组织到 致的结构中的能力 而另一个方面就是将声音特征的信 息进行神经编码并储存于听觉记忆中 这种记忆系统的过程可以部分通过m m n 来反映 m m n 的潜伏期在1 0 0 2 0 0 m s 主要的源在听觉皮层 在初级听觉皮层内 及其附近 但在前额叶的神经细胞也表现出参与m m n 机制 之后就是对音程的 细化处理以及对乐理以及所传达的意思的理解和处理过程 1 4 3 音色与音色感知 音色作为音乐的基本元素之一 是音乐最重要的表现手段之一 然而由于其 复杂特性 至今未有对音色的具体定义 美国标准协会将音色定义为 一种听觉 属性 基于这一属性 听赏者可以辨别出两个具有相同音高和响度的音之间的不 同 3 所以 音色可以用于区分不同的声源 生理声学的研究表明音色是在时域 和频域上一种多维感知属性 无论是在行为学层次还是在神经生理学层次 相对 于音乐的其他属性 人们对音色的感知过程还不甚了解 部分是由于很难详细说 明音色感知的声学参数 乐音包括纯音和复合音 纯音是只具有基音的乐音 而复合音是指除了最响 亮的基音外 还有许多泛音 复合音中自然泛音的成分和强度比例对音色起决定 作用 从物理的角度来研究音色 影响音色的主要物理因素是包括时域信息和频 域信息 时域信息主要是指起声时间 而频谱信息主要包括三个部分 波的相位 波形 波的泛音的数量成分 波的泛音的强度比例1 3 2 1 其中 波的相位及波的 泛音成分决定于发音体的构造 同时也决定了该发音体具有区别于别种发声体的 音色 这也是不同乐器及人声音色产生的原因 而波的泛音强度 对同一发音体 的音色层次和音色美有很大关系 音色作为音乐研究的一个领域引起了很多学者的兴趣和重视 这是因为通过 研究音色感知可以揭示听觉过程在时域与频域的整合过程 并且 从神经科学角 度 研究音色的神经基础即参与音色信息处理的神经网络有助于人们了解听觉系 8 第一章绪论 统在大脑中的精细结构 特别是感知的偏侧性以及音乐与高级听觉功能的相互关 系 由于未经训练的非音乐家对于音色变化的更为敏感 因此利用音色研究以上 课题较音高和音长等因素更具优越性 1 5 文献综述与研究现状 1 5 1m m n 与音乐属性感知的研究 近年来 已有许多研究工作通过m m n 研究人类对于音乐认知 特别是音乐 属性 包括音强 音高 音色等 的神经编码机制 m m n 甚至被应用于研究在音 高过程中音乐训练的效果 旋律解码 连续的声音进行分组以及空间注意等高级 音乐加工的过程中 首先 音强作为音乐的一个属性 最早用于诱发m m n 其神经源位于听觉皮 层附近区域 e r i c hs c h r 6 9 e r 等 3 3 在1 9 9 5 年通过两个连续的音强不同的音对作为标 准刺激 相反顺序的音对作为偏差刺激 诱发出m m n 说明听觉系统能够将音强 的时间信息自动编码并储存于听觉记忆中 而这种编码过程不仅限于频谱编码 还可以进行幅度编码 而在1 9 9 6 年 他们又发现这种m m n 只在音强较大的音作 为刺激时出现 说明听觉单位的非注意模型是由音乐的时间信息决定的 只有当 时间信息匮乏时 才会利用音强的信息1 3 引 其次 有许多文献也研究了音高的神经编码机制 e r i c hs c h r k g e r 等人在1 9 9 6 年发现感觉记忆编码与整合复杂的音高信息 音高的感知能力与它对于音高差别 的区分准确度相关联1 3 5 1 感觉器官的感知过程能对复杂的时域和频域的听觉信息 进行编码 在有音乐天赋的被试组得到了加强 m m n 的出现说明音阶信息在大脑 内是被自动加工的 人类发展过程中形成的大脑皮层神经元群对音阶关系的神经 痕迹 当进入的声音与皮层上的痕迹相比较时产生了m m n 而不是与实验中短期 的感觉记忆所形成的痕迹相比较 s c h r 6 9 e r 1 9 9 4 b r a t t i c o 等 2 0 0 0 2 0 0 2 t e r v a n i e m ia n db r a t t i c o 2 0 0 4 等通过对m m n 成分的脑电研究 证明听皮层神经 元群对重复声音序列中出现的微小音高变化有反应 并且这种音高编码过程发生 在初级听皮层和次级听皮层的神经环路 特别是在颞上刨3 6 3 7 3 8 3 9 而t e r v a m e m i 等 2 0 0 0 研究短音模型音高轮廓 例如音高的变化方向 时发现 当音程不发生变化 但音高的变化方向发生变化时也能诱发m m n 说明音高轮廓在神经通路中被自动 编码的 4 0 1 另外 p a a v i l a i n e n 等 1 9 9 9 t r a i n o r 等 2 0 0 4 音高关系 即音程 在 9 电子科技大学硕士学位论文 大脑内也被自动保存为记忆痕迹 从而被自动编码 4 l 4 2 1 t k u j a l a a 等人在2 0 0 1 年发现m m n 能够反映对于音程区分的准确性 当偏差刺激与标准刺激的在时域 上的物理差异增大时 m m n 的可靠性也增大 4 3 1 在m t e r v a n i e m ie ta 1 1 9 9 7 的实验中 利用e r p 进行了认知指向的音乐测验 被试是高中和大学学生 分为实验组 受过音乐训练 和控制组 未受过音乐训 练 测验共有4 0 项 首先是1 2 5 m s 的短曲 重复呈现3 4 次 然后是第二段短 曲 这段乐曲和第一段在顺序或音高上有差异 被试的任务是判断这两段乐曲是 否一样 结果表明 在顺序不同的条件下 实验组m m n 波幅显著大于控制组 在音高不同的条件下 二者没有显著差异 这说明 懂音乐者对刺激信息有更准 确的神经表征 懂音乐者的听皮层对听觉信息的编码比不懂音乐者准确 另一方 面 早期研究认为认知加工建立在注意水平以上 对音乐知觉的研究表明这种加 工是可以发生在前注意水平的 由于音色的复杂性 利用m m n 研究音色感知从1 9 9 7 年才开始 t e r v a n i e m i 等发现音色的变化可以诱发m m n 即通过纯音的频谱构成发生变化可以诱发 m m n 并说明这种音色的频谱成分是在注意前由 个相对较短 1 5 0 m s 的声音样本 决定的 4 4 1 t e r v a n i e m ia n db r a t t i c o 等在2 0 0 4 年又发现根据多维声音属性 如音色 听觉皮层区分声音的能力非常复杂 但是在日常的听觉场景中都会形成一个共同 的暗示 使得在同样的空间起源和时间过程下也能够区分声音 4 5 1 g o y d k e 等 4 6 j 2 0 0 1 将乐器音色 音高以及情绪表达作为分类条件分别诱发m m n 表明了大脑 不仅对简单的物理属性如音高有一个注意前分类的过程 在一些复杂属性如乐器 音色和与情绪表达相结合的细微音色变化的处理中也有类似的分类过程 a n n e c a c l i n 等在2 0 0 6 年研究了音色的几个维度在听觉记忆层次上是相同作用的还是独 立作用的 证明了音色在起声时间 频谱中心 频谱构成三个维度上是分别在听 觉记忆中处理的 4 7 另外 部分文献表明在音乐的高级处理过程中诸如音乐的语义加工 和弦序 列中的和谐等也可以诱发所谓的音乐语义m m n 4 8 1 也有文献研究了在耳蜗植入者 的音乐感知过程 并证明能够诱发音色m m n 尽管其幅度小于正常被试组1 4 引 1 5 2 音色感知的研究 早期的音色感知的研究从行为实验开始 在1 9 6 4 年b e r g e r 通过使用被录下的 声音以及将这些声音进行处理如部分去除或倒叙播放的方法来评估乐器的识别 l o 第一章绪论 在这样的条件下 被试对乐器的识别会发生改变 说明了声音的时域和频域上的 特征都与任务相关 此后 有许多文献研究了音色维度及其相互关系 如 c a c l i n 2 0 0 7 t 5 0 对音色的起声时间 频谱中心以及频谱精细结构三者进行了g a r n e r 冲突的研究 结果表明在其中一个维度上的分类速度受到与任务无关的另一音色 维度的影响 而结果也支持了关于音乐属性 如音高 音强和音色维度 具有独 立的处理通道 其相互之间并可以相互干扰 关于音色的神经科学研究方面 除了上述通过m m n 研究音色在听觉记忆中 的自动加工过程 还有部分研究集中在音色处理在大脑的偏侧性的问题 长期以 来音色加工的右半球优势的观点一直占主导 然而也有部分研究表明了在健康的 被试 被动地听不同音色的声音能够引起在颞叶听觉区域的双侧激活 5 近年来 也有两个功能磁共振 f m r i 的研究表明音色感知在左右两侧的颞叶均有活动 不仅 排除了右侧半球优势 并且指出了对于乐器音的加工在左右半侧参与活动的区域 1 5 2 此外也有一些脑电图和脑磁图 m e g 的研究集中在音乐训练对于音色感知的 影响 如p a n t e v i 弱j 在1 9 9 8 年证明了对于音乐家n 1 m 的源对钢琴音比对纯音具有 更强的激活 而在非音乐家则没有发现这种效应 研究显示 和音乐呈现相比 音色引起的n 1 变化主要分布在顶叶 说明这两 种反应的神经活动不同 t c o m p l e x 出现在双侧颞叶 对右利手来说 右半球波 幅较大 对左利手来说 2 5 的被试左半球波幅较大 背景音乐的音色不同 也会 产生不同的结果 说明这可能是一种整体加工 另外 即使没有受过音乐训练 也存在与音乐相关的特异结构 脑成像为很 多认知功能的神经基础提供了证据 包括音乐加工 研究者发现 当被试区分音 色时 听皮层和其它大部分脑区被激活 包括双侧颞上回 颞叶 顶叶 额叶 丘脑和小脑 有证据表明 音乐加工首先是在听皮层 这里的神经联结形成了最 初的加工 其核心是初级听皮层 然后是颞上回和颞中回 额叶和顶叶 这说明 音乐加工是非常复杂的 即使是简单的任务也涉及多种认知功能 包括知觉 注 意 记忆和情感 音高的区别反映了低水平的听觉信息加工 熟悉旋律的再认反 映了听觉记忆功能 在研究对音调敏感的f m r 实验中 通过研究8 名受过音乐训练的被试完成2 个知觉任务的过程 这两个任务的旋律相同但知觉信息不同 结果发现前内侧前 额叶的激活和音调有关 选择的调号不同 激活的区域不同 两个任务都激活颞 叶 顶叶 额叶 边缘系统 丘脑和小脑 特别是双侧颞上回 涉及的脑区还有 内侧前额叶和上额回的前侧与腹侧 前额叶皮层操作和评估音强信息 电子科技大学硕士学位论文 1 6 全文结构安排 本论文的主要工作是通过对音色认知的m m n 实验研究 探讨了音色在大脑 中的自动加工处理的神经机制 从而有助于揭示m m n 产生机制以及音乐认知过 程 全文结构安排如下 第一章是绪论 主要介绍课题的研究背景 包括m m n 与音色感知方面的基 本知识 另外回顾了相关领域的研究文献以及音乐感知的研究现状 第二章主要是对m m n 的产生机制以及音色感知提出了假设 并且对所要研 究的问题提出了研究假设 第三章是实验研究部分 包括实验材料以及实验过程 并对实验的结果进行 了分析与讨论 第四章主要是利用l o k e t a 方法对m m n 的成分进行了溯源分析 并讨论了 音色m m n 在大脑中的产生机制 第五章是结论以及对所研究的方向进行了展望 最后是致谢和参考文献 1 2 第二章提出问题与研究计划 2 1 问题的提出 第二章提出问题与研究计划 近年来音乐知觉的研究集中在失匹配负波 m 上 m m n 是具有不同物 理特征的听觉刺激随机发生在连续的标准刺激序列中所诱发的 不同物理特征包 扩音的不同特征 如音调 音量 持续时间 声源等 它的产生是自动加工的结 果 m m n 的潜伏期和幅值对区别刺激变化敏感 m m n 产生于薛尔维氏沟附近的 颞上回 反映了神经系统对不同听觉刺激的辨别 这种辨别是自动加工的 对中 风患者的研究显示 音乐知觉障碍是因为基本的听觉信息加工不足 那些音乐知 觉困难的患者伴有异常的m m n 不仅简单的物理特征 音调 音程 音量 会诱 发出异常m m n 复杂的音符顺序也会诱发异常m m n 这说明m m n 和听觉记忆 以及整和加工都有关系 m m n 提供了建立在感觉记忆基础上的听觉加工研究工 具 如第一章所述 在重复的等音高的刺激序列中 音高发生变化的声音刺激能 够在注意前被检测到 从而诱发m m n 有观点认为这种自动的变化检测的指标是 由于在听觉记忆中大概率出现的标准刺激和偏差刺激的之间存在记忆失匹配 这 就是所谓的认知上的注意前存在对照模板的记忆匹配机制 而对于这种现象的另一假设是基于大脑中存在频率特异性的传导皮层神经 群 大脑中的加工处理频率的解剖学结构在听觉系统上分布很广 从耳蜗到皮层 均有分布 当刺激的重复导致了在相同神经元群上出现相同的活动模式 进而导 致外源性的e r p 如n 1 的衰减 这种衰减可以解释为神经折射的过程 而非适 应性产生的过程 5 4 1 因此在o d d b a l l 实验范式中 由于以不同概率出现的刺激会导 致标准刺激或者偏差刺激激活的神经元亚群产生不同的折射状态 而这种折射效 应会对由标准刺激诱发的神经反应产生抑制 而且这种抑制效应比对小概率的偏 差刺激产生的神经反应更为强烈 因此 在同一组实验中比较本身物理属性就不 同的标准刺激与偏差刺激的会导致对反映自动感觉记忆加工过程的m m n 的估计 错误 因此 基于频率特异性皮层神经元的假设下 大脑检测声音频率的变化则 是由于不同的神经元的折射状态 而非听觉记忆的失匹配 这种假设较上一种假 设更加偏重于感觉层面 而第一种则更偏重于认知层面 电子科技大学硕士学位论文 在2 0 0 1 年j a c o b s e n 与s c h r 6 9 e r t l 9 提出了一种实验范式 即引入适当的控制组 偏差刺激与其他刺激以等概率出现 从而将以上两种产生m m n 的因素分开 这是因为在控制组中 由于偏差刺激与控制组的其他刺激出现概率相等 因此它 的神经元的折射状态不会像在o d d b a l l 实验范式中出现偏高的现象 从而阻止了由 于偏差刺激所诱发的n 1 的增加对m m n 产生影响 由于以上研究仅将这种新的实验范式引入到音高m m n 的实验中 只研究了 音高这一物理属性仅为频率的音乐属性 而音色作为音乐的一个复杂属性 不仅 具有时域的变化 而且在频域上的变化更为复杂 另外 之前的研究表明在乐器 音与正弦音之间 前者由于具有更为复杂的时域与频域信息 从而在初级与次级 听觉区域中的活动有很大差异 因此 将乐器音与正弦音作为研究对象 将以上 新型m m n 的实验范式引入到音色感知中 有助于了解音色的神经加工过程以及 m m n 的神经机制 并且可以深入探讨加入控制条件的优化范式较之传统范式提取 m m n 是否避免了n 1 的混杂 这一新范式的应用能否使得m m n 更加纯粹 结果 更可靠 2 2 研究假设 基于以上的理论分析与探讨 本文提出了的主要假设如下 假设1 对于在相同试验条件下 相等概率呈现给被试时 由于三类音色 正 弦音 钢琴音与小号音 在起声时间与频谱复杂程度的差异 所诱发的e r p 中n 1 p 2 成分会有所差异 特别地 若将这三类音色划分为两大类 纯音 正弦音 与乐 器音 钢琴音与小号音 这两类音之间在频谱上具有质的差异 因此所诱发的 n 1 p 2 成分将会显示明显的区别 假设2 在传统的o d d b 2 l l l 模式下通过将偏差刺激与标准刺激相减的方法能够 得到基于音色的注意前加工的m m n 且由于正弦音与乐器音在物理属性上的差 异 进而导致