（信号与信息处理专业论文）音视频联合说话人定位与跟踪方法研究.pdf

大连理工大学博士学位论文 摘要 说话人定位与跟踪是人机交互研究中的重要课题，在视频会议系统、多媒体系统以 及机器人等领域有着广泛的应用。通常，基于计算机视觉的人脸或人体跟踪方法与基于 计算机听觉的声源定位方法都可作为解决说话人定位与跟踪问题的基本手段。然而，这 些单模态的定位与跟踪方法难以适应复杂的动态环境，人脸跟踪方法容易受到视频遮挡 以及光照、姿态变化等因素的影响，而背景噪声与房间混响则制约着声源定位方法的性 能。因此，采用信息融合技术对说话人的音视频双模态信息进行处理，则成为提高说话 人定位与跟踪系统精度与鲁棒性的重要手段。 音视频联合说话人定位与跟踪是计算机听觉与计算机视觉相互融合的一个重要方 向，其目的是综合利用说话人的音频与视频信息来估计说话人的空间位置。本文对音视 频联合说话人定位与跟踪问题进行了深入研究，取得的研究成果如下： ( 1 ) 将多传感器信息融合技术用于说话人定位与跟踪问题，提出了一种基于动态贝 叶斯网络的音视频联合说话人定位与跟踪方法。在动态贝叶斯网络框架中，该方法分别 采用麦克风阵列声源定位、基于肤色的人脸跟踪以及音视频互信息最大化三种感知方式 获取与说话人位置相关的测量信息；然后采用粒子滤波对这些信息进行融合，通过贝叶 斯推理实现说话人的有效跟踪；并运用信息熵理论对三种感知方式进行动态管理，以提 高跟踪系统的实时性。 ( 2 ) 将加权子空间拟合算法应用于麦克风阵列声源定位问题，提出一种宽带加权子 空间拟合声源定位方法。该方法在贝叶斯估计理论框架下，结合语音信号的宽带特性， 构造了一个适用于语音信号的目标函数，采用粒子滤波对该目标函数进行全局优化，从 而有效地确定声源的空间位置。 ( 3 ) 综合考虑语音建立信号与说话人运动模型在抑制房间混响中的作用，提出一种 基于分层采样粒子滤波的麦克风阵列声源跟踪方法。在实际的中小型房间环境中，由于 墙壁、地面、桌面的反射作用，麦克风阵列接收到的语音信号中通常含有混响成分，从 而影响声源定位与跟踪系统的性能。基于分层采样粒子滤波的声源跟踪方法从语音信号 中提取出无混响的建立信号，将其作为观测信息来计算麦克风阵列波束形成器的输出能 量，同时考虑语音信号不同频率成分在声源定位中的作用，采用分层采样方法提高粒子 的采样效率，从而增强跟踪系统的实时性。 ( 4 ) 考虑到说话人唇动信息对语音感知的增强作用，将可视语音引入语音提取问题， 提出了一种基于粒子滤波的双模态语音提取方法。双模态语音提取方法在粒子滤波框架 下，根据音视频互信息与语音峭度来确定分离矩阵，从而实现语音信号的有序提取。 大连理工大学博士学位论文 s t u d yo na u d i o v i s u a ls p e a k e rl o c a l i z a t i o na n dt r a c k i n g a b s t r a c t s p e a k e rl o c a l i z a t i o n a n dt r a c k i n gi sa na c t i v er e s e a r c h t o p i c 、析t l lt h ei n c r e a s i n g a p p l i c a t i o n si nm u l t i m e d i af i e l d ，i n c l u d i n gh u m a nc o m 叫e ri n t e r a c t i o n , v i d e oc o n f e r e n c i n g a n dr o b o tn a v i g a t i o n t h ep r o p o s e dt r a d i t i o n a la p p r o a c h e st os p e a k e rl o c a l i z a t i o na n d t r a c k i n gp r o b l e mi n c l u d e f a c et r a c k i n gb a s e do nc o m p u t e rv i s i o na n ds o u n ds o u r c e l o c a l i z a t i o nb a s e do nm i c r o p h o n ea r r a y h o w e v e r , f a c et r a c k i n gs u f f e r sf r o mt h ec h a n g eo f i l l u m i n a t i o na n dp o s e ，a n ds o u n ds o u r c el o c a l i z a t i o ni sa f f e c t e db yb a c k g r o u n dn o i s ea n d r o o mr e v e r b e r a t i o n t h e s es i n g l e - m o d a la p p r o a c h e sa r en o tr o b u s tt oc o m p l e xd y n a m i c e n v i r o n m e n t s h o wt oi m p r o v et h ep r e c i s i o na n dr o b u s t n e s so fl o c a l i z a t i o na n dt r a c k i n g s y s t e mi s 肌o p e np r o b l e m a u d i o - v i s u a ls p e a k e rl o c a l i z a t i o na n dt r a c k i n gp r o b l e mi sai m p o r t a n tr e s e a r c ho nt h e f u s i o no fc o m p u t e rv i s i o na n dc o m p u t e ra u d i t i o n i t sa i mi st oe s t i m a t i o nt h ep o s i t i o no f s p e a k e ru s i n gb o t ha u d i oa n dv i s u a li n f o r m a t i o n m u l t i s e n s o rd a t af u s i o nt e c h n o l o g yi s e m p l o y e d t os o l v ea u d i o v i s u a l s p e a k e rl o c a l i z a t i o na n dt r a c k i n gp r o b l e m t h em a i n e o n t r i b u t i o n so f l i st h e s i sc a l lb es u m m a r i z e da sf o l l o w s ： ( 1 ) m u l t i - s e n s o rd a t af u s i o nt e c h n i q u ei sa p p l i e dt os p e a k e rt r a c k i n gp r o b l e m ，a n da n o v e la u d i o - v i s u a ls p e a k e rt r a c k i n ga p p r o a c hb a s e do nd y n a m i cb a y e s i a nn e t w o r ki s p r o p o s e d b a s e do nt h ec o m p l e m e n t a r i t ya n dr e d u n d a n c yb e t w e e ns p e e c ha n di m a g eo f s p e a k e r ，t h r e ek i n d so fp e r c e p t i o nm e t h o d s ，i n c l u d i n gs o u n ds o u g c gl o c a l i z a t i o nb a s e do n m i c r o p h o n ea r r a y , f a c ed e t e c t i o nb a s e do ns k i nc o l o ri n f o r m a t i o n , a n dm a x i m i z a t i o nm u t u a l i n f o r m a t i o nb a s e do na u d i o - v i s u a ls y n c h r o n i z a t i o na r ep r o p o s e dt oa c q u i r et h et r a c k i n g i n f o r m a t i o n i nt h ef r a m e w o r ko fd y n a m i cb a y e s i a nn e t w o r k , p a r t i c l ef i l t e r i n gi su s e dt of u s e t h et r a c k i n gi n f o r m a t i o n ，a n dp e r c e p t i o nm a n a g e m e n ti sa c h i e v e dt oi m p r o v et h et r a c k i n g e f f i c i e n c yb yi n f o r m a t i o ne n t r o p yt h e o r y ( 2 ) an e wm e t h o db a s e do nw e i g h t e ds u b s p a c ef i t t i n gi sp r e s e n t e df o rs o u n ds o u r o e l o c a l i z a t i o na n dt r a c k i n g i nt h ef r a m e w o r ko fb a y e s i a ne s t i m a t i o n , t h ed y n a m i c a lm o d e lo f s p e a k e rm o t i o na n dt h el i k e l i h o o df u n c t i o ns u i t e df o rw i d e - b a n ds p e e c hs i g n a li sc o n s t r u c t e d , a n ds o u n ds o u r c el o c a t i o ni se s t i m a t e db yp a r t i c l ef i l t e r i n g ( 3 ) an e ws p e a k e rl o c a l i z a t i o na n dt r a c k i n gm e t h o db a s e do nm i c r o p h o n ea r r a yi s p r e s e n t e di nn o i s ya n dr e v e r b e r a n te n v i r o n m e n t s i nt h ef r a m e w o r ko fp a r t i c l ef i l t e r i n g , t h e e c h o - f r e eo n s e ts i g n a li se x t r a c t e da c c o r d i n gt ot h ee c h o a v o i d a n c em o d e lo ft h ep r e c e d e n c e e f f e c t , a n dl i k e l i h o o df u n c t i o ni sc o n s t r u c t e db yt h eo u t p u tp o w e ro f b e a m f o r m e r c o n s i d e r i n g 独创性说明 作者郑重声明：本博士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 ， 作者签名：坌垦壶日期：丝呈：笪：笸 大连理上大学博士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名：金墨益 导师签名： 芋 型l 年月互日 大连理工大学博士学位论文 v e r m a a k 等使用两个麦克风与一个摄像机获取说话人的音频与视频信息，并利用粒子滤 波进行信息融合【9 5 】来确定说话人的空间位置。c h e n 与r u i 对j v e r m a a k 的方法加以改进， 使用u n s c e n t e d 粒子滤波进行信息融合，且在生成采样粒子与计算粒子权值两个过程中 均使用说话人的音频与视频信息，从而增强了系统的跟踪能力【9 6 1 。瑞士d a l l em o l l e 人 工智能感知研究所( i d t a p ) 开展的a v l 6 3 项目根据说话人的音频信息生成采样粒子，融 合音频与视频信息来计算粒子权值【9 7 1 。清华大学徐光祜教授提出的融合方法在生成采样 粒子与计算粒子权值两个过程中都利用说话人的音频与视频信息，使得音频信息在系统 中的地位与视频信息对称，更好地发挥了二者的互补性【9 引。n i c k e l 等使用多个摄像机与 多对麦克风，利用粒子滤波跟踪说话人的三维空间位置凹】。g - r a g 采用贝叶斯网络融合 肤色、唇动等信息进行说话人检测【l 吲，如图1 4 所示。微软研究院的b e a l 等采用贝叶 斯网络融合说话人的音视频信息，如图1 5 所示。图中五、妫麦克风阵列获取的两路 语音信号，y 表示摄像机采集的图像信息，f 为时间延迟，z = ( t ，) 为图像平移，a ，分 别为原始语音与图像。学习模型参数的学习采用e m 算法，确定图像平移与时间延迟之 间关系的标定过程包含在参数学习过程中，该方法通过贝叶斯推理计算后验概率 p ( ，lx l ，x 2 ，y ) ，从而确定说话人的位置【1 0 1 】。在多个声源情况下，a s a n o 采用贝叶斯网络 检测音频事件产生的时间与位置【1 0 2 ，如图1 6 所示。l 0 采用动态贝叶斯网络融合说话 人的音视频信息，并引入可靠性信息来提高系统的定位性能【1 0 3 1 。另外，w u 在注意焦点 跟踪过程中采用d s 证据推理进行说话人检测【1 0 4 】，w r i g l e y 与b r o w n 采用神经网络融合 说话人的音视频信息进行说话人定位【1 0 5 】。 图1 4 基于贝叶斯网络音视频联合说话人检测 f i g 1 4 a u d i o - v i s u a ls p e a k e rd e t e c t i o nb a s e do nb a y e s i a nn e t w o r k 音视频联合说话人定位与跟踪方法研究 图1 5 音视频联合信息的图模型 f i g 1 5g r a p h i c a lm o d e lf o r t h ej o i n ta u d i o - v i d e od a t a ( a ) 贝叶斯网络( b ) 声源定位( 空间谱) ( c ) 人体跟踪 图i 6 贝叶斯网络与音视频信息 ( a ) b a y e s i a nn e t w o r k ( b ) s o u r c el o c a l i z a t i o n ( s p a t i a ls p e t r a l ) ( c ) h u m a nb o d yt r a c k i n g f i g 1 6b a y e s i a nn e t w o r ka n da u d i oa n dv i s u a li n f o r m a t i o n 德国b i e l e f e l d 大学设计的移动机器人b i r o n 集成人脸检测、声源定位与激光测距 三种方式对说话人进行定位 1 0 6 】。k i t a n o 等在机器人s i g 中配置了内外两对麦克风与双 目摄像机。m i t 人工智能实验室b r o o k s 教授开发的仿人机器人c o g 1 0 7 】配有两个全向麦 克风与摄像机。机器人s i g 的感知系统通过集成音频和视频信息的跟踪结果来消除歧 义，从而增强了说话人跟踪的鲁棒性【1 0 8 1 ，如图1 7 所示。机器人c o g 的感知系统采用 h i e 提出的音视频联合定位模型，利用视频信息的定位结果训练声源定位模块【1 0 9 】。 o h n i s h i 领导的研究团队根据主动感知机理，通过重复执行感知运动过程来学习感知结 果与头颈旋转运动之间的关系，进而确定声源位置。这种定位方法在声源位于视角外的 情况下仍能正常工作，该方法采用反向传播算法训练多层感知神经网络【1 1 0 】，学习时间 较长。随后，该研究小组改进了学习算法，采用k o h o n e n 提出的自组织特征映射学习规 则，首先利用听觉感知初步的定位结果引导头颈旋转，使说话人位于摄像机的视角范围 内；然后训练视觉感知模块，并利用视觉感知的精确定位结果训练听觉感知模块，如图 大连理工大学博士学位论文 1 8 所示【1 1 1 1 。该方法的不足之处在于系统仍需要满足一定的约束条件，如说话人与声源 的距离固定等。 图1 7s i g 仿人机器人结构框图 f i g ：1 7 t h ea r c h i t e c t u r eo fs i gh u m a n o i d 运动控制 图1 8 运动感知 说话人的语音与图像分别是利用麦克风与摄像机对说话人进行观测的结果，因此二 者之间存在内在的相关性。音视频信息之间的相关性为解决说话人检测问题提供了一种 有效的途径【1 12 1 ，即通过最大化说话人音视频之间的互信息来确定说话人的位置。h e r s h e y 与m o v e l l a n 在联合统计量服从高斯分布的前提下，计算图像中每个像素点与语音能量 之间的p e a r s o n 相关系数，进而确定说话人的位置【11 3 】。n o o k 等分别采用m f c c 系数与 像素值变化量作为音视与视频特征进行互信息计算【1 1 4 1 。s l a n e y 与c o v e u 将线性预测系 数、线谱对系数以及m f c c 系数等作为音频特征，首先采用c a n o n i c a l 相关分析从训练 数据中分别得到音频特征与视频特征的线性投影变换矩阵，然后计算投影变换后变量间 的p e a r s o n 相关系数，进而实现说话人定位【1 15 1 。c u t l e r 将事先训练好的时延神经网络作 音视频联合说话人定位与跟踪方法研究 为分类器，判断语音与图像是否来自同一个说话人1 16 1 。f i s h e r 等根据互信息最大准则， 将音频特征与视频特征投影到特定的子空间，如图1 9 所示，然后采用非参数化的p a r z e n 核概率密度函数估计方法计算音视频互信息1 17 1 。b u t z 根据信息熵最大化原理估计作用 于音频特征的线性投影矩阵，然后计算经投影变换后的音频特征与像素值变化量之间的 互信息，来实现说话人检测【1 18 1 。 图1 9 信息子空间投影 f i g 1 9p r o j e c t i o nt oi n f o r m a t i o ns u b s p a c e 1 3 论文的研究内容 本文研究复杂环境下的音视频联合说话人定位与跟踪问题。本文共分六章，后续章 节的具体内容如下： 第二章首先概述贝叶斯滤波的基本原理，然后介绍粒子滤波的思想与具体框架，最 后针对粒子滤波算法存在的问题，给出了一种量子进化粒子滤波算法。 第三章首先简要回顾了几种典型的麦克风阵列声源定位方法，随后介绍了一种宽带 加权子空间拟合声源定位方法与一种基于分层采样粒子滤波的声源跟踪方法。 第四章将多传感器信息融合技术用于说话人定位与跟踪问题，提出了一种基于动态 贝叶斯网络的音视频联合说话人定位与跟踪方法。 在第五章中，考虑到说话人唇动信息对语音感知的增强作用，将可视语音引入语音 提取问题，提出了一种基于粒子滤波的双模态语音提取方法；结合多抽样率系统理论中 的滤波器组技术与贝叶斯估计理论中的粒子滤波技术，提出了一种基于子带粒子滤波的 语音增强方法。 第六章概要总结本文研究的主要内容及取得的成果，并对需要进一步研究的问题进 行展望。 大连理工大学博士学位论文 2 粒子滤波理论 粒子滤波通过非参数化的蒙特卡洛( m o n t ec a r l o ) 模拟方法来实现递推贝叶斯滤波， 适用于任何能用状态空间模型描述的非线性系统，精度可以逼近最优估计。粒子滤波器 具有简单、易于实现等特点，它为分析非线性动态系统提供了一种有效的解决方法，从 而引起目标跟踪、信号处理以及自动控制等领域的广泛关注。本章首先概述用于求解目 标状态后验概率的贝叶斯滤波理论，随后介绍具有普遍适用性的粒子滤波器，最后针对 当前粒子滤波器存在的粒子多样性丧失问题，提出了一种量子进化粒子滤波算法。 2 1 贝叶斯滤波 动态系统的目标跟踪问题可以通过图2 1 所示的状态空间模型来描述。本节在贝叶斯 滤波框架下讨论目标跟踪问题。 烈i x k - i ) 图2 1 状态空间模型 f i g 2 1 s t a t es p a c em o d e l 在目标跟踪问题中，动态系统的状态空间模型可描述为 2f ( x k 1 ) + u k 一1 ( 2 1 ) 儿= 办( 黾) + 屹 、7 其中厂( ) ，办( ) 分别为状态转移方程与观测方程，为系统状态，y 。为观测值，甜。为过程 噪声，咋为观测噪声。为了描述方便，用x k = x o ：k = x o ，而，) 与= y l 圣= 轨，耽) 分别表示0 到k 时刻所有的状态与观测值。在处理目标跟踪问题时，通常假设目标的状 态转移过程服从一阶马尔可夫模型，即当前时刻的状态以只与上一时刻的状态，有关。 另外一个假设为观测值相互独立，即观测值y 。只与k 时刻的状态亍关。 贝叶斯滤波为非线性系统的状态估计问题提供了一种基于概率分布形式的解决方 案。贝叶斯滤波将状态估计视为一个概率推理过程，即将目标状态的估计问题转换为利 音视频联合说话人定位与跟踪方法研究 用贝叶斯公式求解后验概率密度p ( 五i k ) 或滤波概率密度p ( 毛i k ) ，进而获得目标状态 的最优估计。贝叶斯滤波包含预测和更新两个阶段，预测过程利用系统模型预测状态的 先验概率密度，更新过程则利用最新的测量值对先验概率密度进行修正，得到后验概率 密度。 假设已知k - i 时刻的概率密度函数为p ( x k 一。ik 一。) ，贝叶斯滤波的具体过程如下： ( 1 ) 预测过程，由p ( x k 。lk 一。) 得到p ( x kk q ) ： p ( x k ，x k ik 一，) = p ( 晚i 耳- 1 砭一。) p ( 吒一。i 砭一1 ) ( 2 2 ) 当给定x 时，状态坫一。相互独立，因此 p ( x k ，坼- 1i 耳一1 ) = p ( x ki 魂一1 ) p ( x k li 圪一1 ) ( 2 3 ) 上式两端对以一l 积分，可得c h a p m a n - k o m o l g o r o v 方程 p ( x kik - 1 ) = ip ( x ki 黾一1 ) p ( x k 一1lk - 1 ) 咄- 1 ( 2 4 ) ( 2 ) 更新过程，由p ( x ki k 一。) 得到p ( x 。ik ) ： 获取k 时刻的测量儿后，利用贝叶斯公式对先验概率密度进行更新，得到后验概率 盹i r k ) = 剑芸篙删 ( 2 5 ) 假设儿只由坼决定，即 p(yki 毛，砭一。) = p ( y ki ) ( 2 6 ) 因此 p ( 啪) = 掣黜 ( 2 7 ) 其中，p ( y kl k _ ) 为归一化常数 p ( y ki 砭q ) = ip ( 儿ix k ) p ( x kk 1 ) 咄 ( 2 8 ) 贝叶斯滤波以递推的形式给出后验( 或滤波) 概率密度函数的最优解。目标状态的最 优估计值可由后验( 或滤波) 概率密度函数进行计算。通常根据极大后验( m a p ) 准则或最 小均方误差( m m s e ) 准则，将具有极大后验概率密度的状态或条件均值作为系统状态的 估计值，即 大连理工大学博士学位论文 矿= a r g m i n p ( x kk ) ( 2 9 ) 黾 掣舰= e f ( x k ) i r k 】- i 厂瓴) p ( x kiy i ) d x k ( 2 1 0 ) 贝叶斯滤波需要进行积分运算，除了_ 二些特殊的系统模型( 如线性高斯系统，有限 状态的离散系统) 之外，对于一般的非线性、非高斯系统，贝叶斯滤波很难得到后验概 率的封闭解析式。因此，现有的非线性滤波器多采用近似的计算方法解决积分问题，以 此来获取估计的次优解。在系统的非线性模型可由在当前状态展开的线性模型有限近似 的前提下，基于一阶或二阶t a y l o r 级数展开的扩展k a l m a n 滤波得到广泛应用【1 1 9 】。在一 般情况下，逼近概率密度函数比逼近非线性函数容易实现。据此，j u l i e r 与u h l m a n n 提 出一种u m c e n t e dk a l m a n 滤波器，通过选定的s i g m a 点来精确估计随机变量经非线性变 换后的均值和方差，从而更好的近似状态的概率密度函数，其理论估计精度优于扩展 k a l m s j l 滤波【1 2 0 】。获取次优解的另外一中方案便是基于蒙特卡洛模拟的粒子滤波器。 2 2 粒子滤波 早在2 0 世纪5 0 年代，h a m m e r s l e y 便采用基于序贯重要性采样( s e q u e n t i a li m p o r t a n c e s a m p l i n g ，s i s ) 的蒙特卡洛方法解决统计学问题【1 2 1 1 。2 0 世纪6 0 年代后期，h a n d s c h i n 与 m a y n e 使用序贯蒙特卡洛方法解决自动控制领域的相关问题【1 2 2 1 。2 0 世纪7 0 年代， h a n d s c h i n 、a k a s h i 以及z a r i t s k i i 等学者的一系列研究工作使得序贯蒙特卡洛方法得到进 一步发展【1 2 3 】【1 2 4 ，1 2 5 1 1 2 6 。限于当时的计算能力以及算法本身存在的权值退化问题，序贯 重要性采样算法没有受到足够重视，在随后较长一段时间内进展较为缓慢。直到2 0 世 纪8 0 年代末，计算机处理能力的巨大进展使得序贯蒙特卡洛方法重新受到关注。 t a n i z a k i 、g e w e k e 等采用基于重要性采样的蒙特卡洛方法成功解决了一系列高维积分问 题【1 2 7 。1 3 0 】。s m i t h 与g c l f a n d 提出的采样重采样思想为b a y e s i a n 推理提供了一种易于实 现的计算策吲1 3 1 1 。随后，s m i t h 与g o r d o n 等人合作，于2 0 世纪9 0 年代初将重采样 ( r e s a m p l i n g ) 步骤引入到粒子滤波中，在一定程度上解决了序贯重要性采样的权值退化 问题，并由此产生了第一个可实现的s i r ( s a m p l i n gi m p o r t a n c er e s a m p l i n g ) 粒子滤波算法 ( b o o t s t r a p 滤波) 【”2 1 ，从而掀起粒子滤波的研究热潮。美国海军集成水下监控系统中的 n o d e s t a r 便是粒子滤波应用的一个实例。进入2 1 世纪，粒子滤波器成为一个非常活跃的 研究领域，d o u c e t 、l i u 、a r u l a m p a l a m 等对粒子滤波的研究作了精彩的总结【1 3 3 1 3 5 1 ，i e e e 出版的论文集“s e q u e n t i a lm o n t ec a r l om e t h o d si np r a c t i c e ”对粒子滤波器进行了详细介绍 1 3 6 。 音视频联合说话人定位与跟踪方法研究 2 2 1 贝叶斯重要性采样 蒙特卡洛模拟是一种利用随机数求解物理和数学问题的计算方法，又称为计算机随 机模拟方法。该方法源于第一次世界大战期间美国研制原子弹的曼哈顿计划，著名数学 家冯诺伊曼作为该计划的主持人之一，用驰名世界的赌城，摩纳哥的蒙特卡洛来命名 这种方法。蒙特卡洛模拟方法利用所求状态空间中大量的样本点来近似逼近待估计变量 的后验概率分布，如图2 2 所示，从而将积分问题转换为有限样本点的求和问题。粒子 滤波算法的核心思想便是利用一系列随机样本的加权和表示后验概率密度，通过求和来 近似积分操作。假设可以从后验概率密度p ( x kk ) 中抽取个独立同分布的随机样本 ，扣1 ，n ，则有 一 1 p ( l k ) 寺万( 一) ( 2 1 1 ) = ，1 这里劝连续变量，8 ( x - x )单位冲激函数( 狄拉克函数) ，即8 ( x - x k ) = 0 x ， 且f 万o ) 血= 1 。当劝离散变量时，后验概率分布p ( x kk ) 可近似逼近为 1 p ( 吆lk ) 寺万( 坼一)( 2 1 2 ) v = ，l 其中，万( 砟一x k i ) = 1 ，& = i k i ；艿( 矗一) = o ，黾x k l 。 荆 l _ i - r _ r。厂一 - 图2 2 经验概率分布函数 f i g 2 2e m p i r i c a lp r o b a b i l i t yd i s t r i b u t i o nf u n c t i o n 设为从后验概率密度函数p ( 以ik ) 中获取的采样粒子，则任意函数厂瓴) 的期望 估计可以用求和方式逼近，即 e 【厂瓴) i k 】_ 少瓴驴( 吒ik 慨= 万1 善n 厂“) ( 2 1 3 ) 大连理工大学博士学位论文 蒙特卡洛方法一般可以归纳为以下三个步骤： ( 1 ) 构造概率模型。对于本身具有随机性质的问题，主要工作是正确地描述和模拟这个 概率过程。对于确定性问题，比如计算定积分、求解线性方程组、偏微分方程等问 题，采用蒙特卡洛方法求解需要事先构造一个人为的概率过程，将它的某些参量视 为问题的解。 ( 2 ) 从指定概率分布中采样。产生服从己知概率分布的随机变量是实现蒙特卡洛方法模 拟试验的关键步骤。 ( 3 ) 建立各种估计量的估计。一般说来，构造出概率模型并能从中抽样后，便可进行现 模拟试验。随后，就要确定一个随机变量，将其作为待求解问题的解进行估计。 在实际计算中，通常无法直接从后验概率分布中采样，如何得到服从后验概率分布 的随机样本是蒙特卡洛方法中基本的问题之一。重要性采样法引入一个已知的、容易采 样的重要性概率密度函数g ( 而ik ) ，从中生成采样粒子，利用这些随机样本的加权和来 逼近后验滤波概率密度p ( 矗i 耳) ，如图2 3 所示。令雠，碟，汪1 ，) 表示一支撑点集， 其中为是k 时刻第f 个粒子的状态，其相应的权值为硝，则后验滤波概率密度可以 表示为 ， p ( x ki ) = w ：万( 黾一d ) ( 2 1 4 ) 其中， 咖勰 图2 3 重要性采样 f i g 2 3i m p o r t a n c es a m p l i n g ( 2 1 5 ) 音视频联合说话人定位与跟踪方法研究 当采样粒子的数目很大时，式( 2 1 4 ) 便可近似逼近真实的后验概率密度函数。任意 函数厂瓴) 的期望估计为 e 【厂瓴) i k 】2 万1 善n 厂雠) 景誊愣= 专兰i = l 厂雠m 。 ( 2 1 6 ) 2 2 2 序贯重要性采样算法 在基于重要性采样的蒙特卡洛模拟方法中，估计后验滤波概率需要利用所有的观测 数据，每次新的观测数据来到都需要重新计算整个状态序列的重要性权值。序贯重要性 采样作为粒子滤波的基础，它将统计学中的序贯分析方法应用到的蒙特卡洛方法中，从 而实现后验滤波概率密度的递推估计。假设重要性概率密度函数g ( i m 士) 可以分解为 g ( i 咒- j ) = g ( - 1i 乃尘1 ) g ( 矗i 。书乃) ( 2 1 7 ) 设系统状态是一个马尔可夫过程，且给定系统状态下各次观测独立，则有 p ( ) = p ( ) 】哩p ( 而1 而一1 ) ( 2 1 8 ) p ( m 尘i 五士) = i - p ( y ji 薯) ( 2 1 9 ) 后验概率密度函数的递归形式可以表示为 p ( x 呲i r k ) = 剑岩掣p l 虬ij i - 1 j ：旦! 丝! 立：墨= ! ! 翌! 兰! 墨生= ! ：墨= 12 旦! 垫= ! ! 墨= 1 2 p ( y k ) o ) ：翌! 丝! 盖2 翌! 墨! 盘= ! ! 旦! 墨：纽! 互= ! ! 、 p ( y ki k 1 ) 粒子权值w ( k i 的递归形式可以表示为 帕黜 ：旦! 丝! 丝! ! 旦! 笠，笠兰! 旦! 型= ! ! 互= s ! q ( x l di 础巾k ) g ( 础一。ik 一。) 吨劁辫一 大连理工大学博士学位论文 通常，需要对粒子权值进行归一化处理，即 硝) - 善 ( 2 2 2 ) 以 序贯重要性采样算法从重要性概率密度函数中生成采样粒子，并随着测量值的依次 到来递推求得相应的权值，最终以粒子加权和的形式来描述后验滤波概率密度，进而得 到状态估计。序贯重要性采样算法的流程可以用如下伪代码描述： “n ，以d ) ，n 甜】= 姗( “三，o - h i i - - - d ，k ) f o r i = l ：n ( 1 ) 时间更新，根据重要性参考函数g ( i 础- ”k ) 生成采样粒子； ( 2 ) 量测更新，根据最新观测值计算粒子权值硝； e n d f o r 粒子权值归一化，并计算目标状态。 为了得到正确的状态估计，通常希望粒子权值的方差尽可能趋近于零。然而，序贯 蒙特卡洛模拟方法一般都存在权值退化问题。在实际计算中，经过数次迭代，只有少数 粒子的权值较大，其余粒子的权值可忽略不计。粒子权值的方差随着时间增大，状态空 间中的有效粒子数较少。随着无效采样粒子数目的增加，使得大量的计算浪费在对估计 后验滤波概率分布几乎不起作用的粒子更新上，使得估计性能下降。通常采用有效粒子 数来衡量粒子权值的退化程度，即 = n ( 1 + v a r ( w p ) ) ( 2 2 3 ) 矽= 勰 ( 2 2 4 ) 有效粒子数越小，表明权值退化越严重。在实际计算中，有效粒子数可以近似为 1 百二 ( 2 2 5 ) ( 彬) 2 i = l 在进行序贯重要性采样时，若如小于事先设定的某一阈值，则应当采取一些措施 加以控制。克服序贯重要性采样算法权值退化现象最直接的方法是增加粒子数，而这会 音视频联合说话人定位与跟踪方法研究 造成计算量的相应增加，影响计算的实时性。因此，一般采用以下两种途径：( 1 ) 选择合 适的重要性概率密度函数；( 2 ) 在序贯重要性采样之后，采用重采样方法。 2 2 3 重要密度函数的选择 重要性概率密度函数的选择对粒子滤波的性能有很大影响，在设计与实现粒子滤波 器的过程中十分重要。在工程应用中，通常选取状态变量的转移概率密度函数p ( x kl 坼一。) 作为重要性概率密度函数。此时，粒子的权值为 彬= w 如p ( y kl ) ( 2 2 6 ) 转移概率的形式简单且易于实现，在观测精度不高的场合，将其作为重要性概率密 度函数可以取得较好的滤波效果。然而，采用转移概率密度函数作为重要性概率密度函 数没有考虑最新观测数据所提供的信息，从中抽取的样本与真实后验分布产生的样本存 在一定的偏差，特别是当观测模型具有较高的精度或预测先验与似然函数之间重叠部分 较少时，这种偏差尤为明显。 选择重要性概率密度函数的一个标准是使得粒子权值 w ：o ) 兰。的方差最小。d o u c 斌 等给出的最优重要性概率密度函数为 g ( i 础，儿) = p ( i 杞，以) ：旦! 丝! 篓：蔓兰2 翌( 竺! ! 互当2 p ( y ki x 2 0 此时，粒子的权值为 ：翌! 丝! 蔓竺旦! 笙：! 蔓当! p ( y kl x 2 0 ( 2 2 7 ) 以d = 以三p 魄i 三) ( 2 2 8 ) 以p ( lx 2 , ，y k ) 作为重要性概率密度函数需要对其直接采样。此外，只有在黾为有限 离散状态或p ( 筇i 瑙，儿) 为高斯函数时，p ( 以i 杞) 才存在解析解。在实际情况中，构 造最优重要性概率密度函数的困难程度与直接从后验概率分布中抽取样本的困难程度 等同。从最优重要性概率密度函数的表达形式来看，产生下一个预测粒子依赖于已有的 粒子和最新的观测数据，这对于设计重要性概率密度函数具有重要的指导作用，即应该 有效利用最新的观测信息，在易于采样实现的基础上，将更多的粒子移动到似然函数值 较高的区域，如图2 4 所示。 大连理工大学博士学位论文 - - - ， 图2 4 移动粒子至高似然区域 f i g 2 4m o v et h es a m p l e si nt h ep r i o rt or e g i o n so f h i g hl i k e l i h o o d 辅助粒子滤波算法利用k 时刻的信息，将七一1 时刻最有前途( 预测似然度大) 的粒子 扩展到k 时刻【1 3 7 1 ，从而生成采样粒子。与s i r 滤波器相比，当粒子的似然函数位于先 验分布的尾部或似然函数形状比较狭窄时，辅助粒子滤波能够得到更精确的估计结果。 辅助粒子滤波引入辅助变量m 来表示七一1 时刻的粒子列表，应用贝叶斯定理，联合概率 密度函数p ( 矗，ml 咒尘) 可以描述为 p ( 坼，ml 儿) o cp ( 以ix k ) p ( x k ，mly u - 1 ) = p ( y ki ) p ( 薯l m ，m 坐- 1 ) p ( 聊i m 虫- 1 ) = p ( 儿i ) p ( 耳i 碓。) w k m _ l ( 2 2 9 ) 生成 ，m o ) ) 兰l 的重要性概率密度函数g ( ，坍i 小m 虫) 为 g ( 耳，ml - l ，m 生) o cp 饥i 群) p ( x kl 硭1 ) 吆。 ( 2 3 0 ) 其中群为由 堪) 笔预测出的与碉关的特征，可以是采样值群p ( 五l 碓，) 或预测均 值群= e x ki 碓) 。 定义g ( 矗i m ，儿) = p ( x ki 碓。) ，由于 q ( x k ，miy w , ) = g ( 黾im ，m 士) g ( mi 儿) ( 2 3 1 ) 则有 q ( m i 乃生) = p 魄i ) 喝 ( 2 3 2 ) 此时，粒子权值以为 彬吲瓣= 高拳 亿3 3 ， 采用局部线性化的方法来逼近p ( 砟l 巾儿) 是另一种提高粒子采样效率的有效方 法。扩展k a l m a n 粒子滤波与u n c e n t e d 粒子滤波算法在滤波的每一步迭代过程中，首先利 用最新观测值，采用u k f 或者e k f 对各个粒子进行更新，得到随机变量经非线性变换后 音视频联合说话人定位与跟踪方法研究 的均值和方差，并将它作为重要性概率密度函数【1 3 引。另外，利用似然函数的梯度信息， 采用牛顿迭代【1 3 9 域均值漂移【1 删等方法移动粒子至高似然区域，也是一种可行的方案， 如图2 5 所示。以上这些方法的共同特点是将最新的观测数据融入到系统状态的转移过程 中，引导粒子到高似然区域，由此产生的预测粒子可较好地服从状态的后验概率分布， 从而有效地减少描述后验概率密度函数所需的粒子数。 ，：一，q ，：。、磁，旷) ： 上魅a 口口口e摧，f i r l ) 僻，彬) 磁，础) 磷，矿 图2 5 结合均值漂移的粒子滤波算法 f i g 2 5 p a r t i c l ef i l t e rc o m b i n e dw i t hm e a l ls h i f t 2 2 4 重采样方法 针对序贯重要性采样算法存在的权值退化现象，g o r d o n 等提出了一种名为b o o t s t r a p 的粒子滤波算法。该算法在每步迭代过程中，根据粒子权值对离散粒子进行重采样，在 一定程度上克服了这个问题。重采样方法舍弃权值较小的粒子，代之以权值较