（模式识别与智能系统专业论文）基于运动轨迹的语义视频对象检测与跟踪.pdf

华北电力大学硬士学位论文摘要 摘要 针对足球视频特点，提出了种基于运动轨迹的足球对象检测跟踪方法。由于 直接识别难度较大，文中采用间接检测的思想，由粗至细对非目标区域进行逐次排 除。绿色球场区域首先被滤除，从而形成初始的候选对象划分。根据足球的些简 单颜色形状特征范围，一部分明显不符合足球特性的候选对象在粗选中也被排除。 对于进入细选的候选对象，用置信度来衡量它与足球的精确相似程度。然后再结合 轨迹的重要约束，选择相似度最高的候选对象作为最后的检测跟踪结果。六段视频 序列的实验结果，充分说明了该检测跟踪框架的有效性和鲁棒性。 关键词：视频内容分析，语义对象，检测跟踪，运动轨迹，置信度 a b s t r a c t at r a j e c t o r y b a s e db a l ld e t e c t i o na n dt r a c k i n g a p p r o a c hf o rs o c c e rv i d e oi s p r o p o s e di nt h i sp a p e r i nv i e wo fd i f f i c u l t i e so fd i r e c td e t e c t i o n ，a ni n d i r e c ts t r a t e g y b a s e do nn o n b a l le l i m i n a t i o ni sa p p l i e d w ed i s t i n g u i s ht h eb a l lw i t hac o a r s e t o f i n e p r o c e s s g a m ef i e l di sf i r s t l ye x t r a c t e da n dt h er e s tr e g i o n sa r ec o n s i d e r e da sc a n d i d a t e o b j e c t s t h e n ，a tt h ec o a r s es t e p ，s o m ed i s t i n c tn o n - b a l lo b j e c t sa r er e m o v e dv i a e v a l u a t i o no fs e v e r a ls i m p l ec o l o ra n ds h a p ef e a t u r e s a n da tt h ef i n es t e p ，ac o n f i d e n c e v a l u er e p r e s e n t i n gt h eb a l lr e g i o n sr e l i a b i l i t yi sa s s i g n e dt oe v e r yc a n d i d a t eo b j e c t s f i n a l l y ，b a s e do nt h eb a i lt r a j e c t o r yr e s t r i c t i o n ，w ed e t e c ta n dt r a c kt h eo p t i m a lo n et h a t i s m o s t l yl i k et h eb a l lr e g i o n t h ee x p e r i m e n t a lr e s u l t so ns i xs o c c e rv i d e oc l i p s c o n f i r m e dt h ee f f e c t i v e n e s sa n dr o b u s t n e s so fo b rf r a m e w o r k w e ig u ( p a t t e r nr e c o g n i t i o na n di n t e l l i g e n ts y s t e m ) d i r e c t e db yp r o ky a n gy a oq u a n k e yw o r d s ：v i d e oc o n t e n ta n a l y s i s ，s e m a n t i co b j e c t ，d e t e c t i o na n dt r a c k i n g ， t r a j e c t o r y ，p r o b a b i l i t y 声明 本人郑重声明：此处所提交的硕士学位论文基于运动轨迹的语义视频对象 检测与跟踪，乒太人在华北电力大学攻读硕士学位期间，在导师指导下进行的研 究工作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大 学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：幺赵趣 日期：丝堡堡垒 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有 权保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩 印或其它复制手段复制并保存学位论文：学校可允许学位论文被套阅或借阅； 学校可以学术交流为目的，复制赠送和交换学位论文：同意学校可以用不同方 式在不同媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：昼堑 导师签名：益塑壹 曰 期：塑! ：! ：堡 日期：! ! ：! ： 华北电力大学硕士学位论文 1 1 课题的目的和意义 第一章引言 随着多媒体与因特网技术的飞速发展，视频已经逐渐成为信息传播的主流载体 之一。由于视觉在人类感知中的特殊地位，我们每天都会获得以g 字节计的数字化 的视频信号，如何对这些多媒体数据进行组织、表达、存储、管理、查询、检索是 对传统数据库技术提出的重大挑战。因此，智能化地进行视频资料检索，更快更准 地找到用户与日益庞大的多媒体数据库的交互点，成为现阶段许多学者的研究热 点。 基于内容的视频检索通常包括4 个主要的过程：视频内容分析，视频结构分解， 视频摘要，视频索引。其中，视频内容分析是对视频的图像，字幕，声音，语音等各种 信息进行特征分析，提取的过程，它是视频检索任务的研究基础，直接影响着后续 各处理过程的效果好坏。通常情况下，视频序列中的语义对象是人眼最为关注的部 分1 1 】，也是视频内容的基本组成单元。由于我们很难把可提取的视觉特征( 结构，纹 理，形状，颜色，布局，和运动) 和语义概念( 室内，室外，人物，或赛车等。爨) 对应起 来。因此，语义对象的检测跟踪一直是整个视频检索过程中的研究难点和亟待解决 的问题。 所谓语义对象的检测跟踪，就是将视频序列在空间域上分割成若干具有语义意 义的实体，并在时间轴上对这些实体进行建模、识别和跟踪。它不仅是图像处理学 科中由低级像素特征向高级语义特征过渡联系的桥梁，同时也是智能化地理解视频 的根基，在很多领域中都有着非常重要的应用。在视频编码中，基于内容并利用人 眼视觉特性的第二代编码技术指出，提取视频对象可以极大地提高压缩率，从而为 存储和传输提供便利。m p e g 4 和正在制定的m p e g 7 视频编码标准提出了基于对象 的检索和浏览，视频对象的自动、半自动分割是其中的关键性技术之一| 2 。3j 。在网 络多媒体应用中，视频对象的提取和识别更是会大大方便对静止或动态场景的查询 和交互。此外，机器人应用、自动驾驶、内容理解等领域，语义对象的检测跟踪电 都有着广泛的应用前景。 由于现阶段对视频资料的分析研究，多限定于某具体领域或特定应用场合，尚 未形成一套完整通用的分析应用体系结构，因此本选题也仅以广大观众喜闻乐见的 体育足球视频为研究素材，在语义视频对象检测跟踪方面做初步尝试与探索。之所 以选择体育足球视频，不仅由于它较短的时效性所引起的准确快速分析的必要性， 华北电力大学硕士学位论文 更考虑到资料内容本身所传递的清晰的语义特征，如对象( 足球、运动员、球门) 和事件( 进球、射门、红黄牌) 等，可提供丰富的情景语义信息适于研究者做不同 复杂程度的分析工作。再者其疏松不规则的组织结构使分析研究无单一固定的模板 模式可寻可依，因此这一领域的研究工作更富有挑战性。 足球是整个比赛关注的焦点之一，许多重要的比赛事件都与足球有关，如进球、 射门、救球等。因此，对足球的准确分析定位，可毋庸致疑地大大加快对重要事件 的快速定位并提高检测正确率，另外还为诸如战略战术分析、持球队员动作分析等 专业性较强的应用提供了重要的线索依据。 1 2 对象检测跟踪研究现状 目前，国内外很多研究机构都在进行基于内容的图像检索和视频检索系统的研 究开发工作，并取得了很多令人瞩目的成就。如：i b m 的q b i c ”，u i u c 的m a r s f ”， c m u 的i n f o r m e d i a ，m i t 的p h o t o b o o k l 6 1 等。国内的主要研究单位有：中科院联合实 验室、中科院自动化国家模式识别实验室、清华大学、上海交通大学等。其中所涉 及的语义对象检测跟踪方法大致可归为三大类：基于运动信息、基于空间信息和基 于时空信息的检测跟踪方法。 1 2 1 基于运动信息的检测跟踪算法 基于运动信息的检测跟踪方法又可分为：光流估计算法、变化检测方法、基于 运动信息的参数模型方法以及运动恢复结构算法。 1 2 1 1 光流估计算法 当人们观察在空间运动的某个物体时，该物体与背景的影像在人眼的视网膜上 产生一系列变化的图像。这一系列连续变化的信息不断“流过”视网膜，好像种 光的“流”，人们称之为“光流”。基于对平面光流的分析，可以对物体的三维运 动参数进行估计。 z h u a n g 和h a r a l i c k 【7 j ，已经做了深入研究，确立三维运动参数与平面光流的关系 为一非线性运动方程式，证明了一个三维空间点的运动与一个光流图像可以唯地 确定刚体的运动。但是，该算法计算复杂，至少需要已知光流图像上的8 个点方可 求解，并且尚没有文献对光流图像扰动的影响做出分析。目前采用光流估计算法， 主要是在已知光流图像的情况下，估计物体在三维空间的运动参数，即确定三维速 度场。特别是在满足物体的表面结构小于物体与其投影平面之间的空间距离的条件 下，利用平面光流及其投影图像的平面坐标估计三维运动参数，可以得到一个线性 方程组，使复杂的非线性问题转为线性问题进行算法求解。 2 华北电力大学硕士学位论文 人们对光流估计算法的改进大致可以分成两类：一类是对光流场加以约柬，对 光流的平滑项提出改进：另一类是对灰度场加以约束。文献【8 】提出一种自适应的光流 估计算法，对光流的平滑项加以改进：将速度平滑项向垂直于灰度梯度的方向做投 影，并且在某些区域将光流的约束关闭，以克服显露遮挡现象。 虽然光流估计算法模型比较直观，却很难提供令人满意的检测跟踪结果。通过 大量的实验，我们不难发现：只有通过引入商维信息，光流估计算法的结果方可得 到改善。 1 2 1 2 变化检测算法 在光流估计算法中，需要对图像中的每一个像素点进行运算。考虑到实际情况 中，大部分的像素点是静止的，故而，变化检测算法一这一仅仅针对图像中变化区 域进行处理的算法是一种更有效的方法。 在绝大多数视频序列中，图像的背景是静止的，或只是一种简单的全局运动， 对于后者，在采用变化检测算法之前，需要进行全局运动补偿。一种简单的变化检 测的方法是，通过判断前后两帧像素的差值绝对值是否大于某一个闽值，而判决该 像素点是否属于运动区域，我们将该算法称为基于像素的变化检测方法：为了使检 测的结果不受随机因素的影响丽具有更强的鲁棒性，另外一种变化检测的方法对基 于像素的变化检测方法加以改进：预先设定一个检测窗，通过判断检测窗中像素差 值的绝对值之和是否大于某一个阈值，而判决该像索点是否属于运动区域，我们将 该算法称为基于区域的变化检测方法。 为了进一步减弱噪声对检测跟踪结果造成的影响，文献 9 j 提出一种改进的变化检 测算法：假设噪声为离斯分布，而运动目标的差分为非高斯分布，通过高阶统计量 可以预分割出运动对象的运动区域和背景区域，然后通过块匹配估计差分图像的运 动场进一步区分出运动目标和背景区域。文献d 0 提出相邻的两个差分图像的方差之 比服从臌计分布。文献【1 则在变化检测的基础上，结合颜色分割、局部运动估算 以及局部运动补偿等多个信息来获得运动对象。 总的来说。该算法计算量比较简单，但对于噪声的变化过于敏感，并且对运动 对象的运动速度提出限制，要求不可以过快。因此，适合处理可视电话及电视会议 等物体运动不是很剧烈的视频图像。 1 2 1 3 运动恢复结构算法 运动恢复结构算法( s f m ：s t r u c t u r ef r o mm o t i o n ) 是从图像平面的二维运动中， 恢复运动物体三维结构的方法。算法实现的原理是：在视频序列图像中的物体，若 发生旋转，可借助平面上获得的信息来获知物体的物理特征。首先，在多幅图像中， 3 华北电力大学硕士学位论文 手工定义些褶对应的特征点，并使用计算机视觉技术恢复特征点的坐标和摄像机 参数，如位置、方向以及焦距等等，由此计算出径向基值插值函数的系数，进而获 得描述运动模型的一般网格。最后，通过使用更多的特 正点，可将一般网格微调到 与真实物体非常接进的形状上。 文献l l2 】介绍了一种从包含建筑物的序列图像中恢复其三维结构的算法，首先采 用基于矩阵分解的方法在相似变换意义下恢复目标的三维结构，然后利用光束法平 差提高三维结构的精度。文献【j3 】使用该模型，通过人机交互的方法，实现了基于图 像的建模，构造了一个虚拟现实世界。 运动恢复结构模型无法实现视频图像的自动分割，并且只适用于运动对象为剐 体的运动分割。 l 。2 1 4 基千运动信息的参数模型方法 采用基于运动信息的参数模型方法，将运动恢复结构葬法只适用于运动物体必 须是刚体的假设，推广到运动物体可以是分段刚体的假设：在一个视频分段中，只 要运动的物体可以看作刚体，那么就可以采用该方法。 该方法的基本思想是：假设有k 个相互独立的投影物体，每一个光流矢量对应于 单个不透明的三维刚体的运动投影，那么，不同物体的运动可以通过一系列映射参 数来正确描述。参数模型的建立实现了对视频图像的分割，整个视频区域的运动可 用一个参数集合来描述，运动矢量可以由这些参数模型来合成。 一个由三维刚体运动产生的二维平面的运动场，在正交投影下，可用六个参数 的仿射模型描述【1 4 1 6 1 ：丽在透射投影下，则需八个参数的透射模型1 7 舶3 描述。文献 采用对象的3 d 模型和深度信息对目标对象进行检测跟踪。文献【19 j 采用二次空间变 换，不仅可以孙偿诸如平移、尺度变化以及旋转等变化，还能补偿形变和非均匀扩 展等非线形变化。文献f 2 0 1 采用基于运动的分级分割算法，首先采用自底向上的方法 估计局部的运动场并进行区域的初步合并，然后用全局运动分析实现各区域的进一 步合并。 相对于非参数模型，由于参数模型是由多个参数结合在一起估算得出，故而受 噪声的影响较小，具有较强的鲁棒性：同时，参数模型可以有效地处理运动造成的 显露遮挡问题缺点是其仅适用于刚体或分段刚体的运动对象检测跟踩。 1 2 2 基于空间信息的检测跟踪算法 基于空间信息的检测跟踪算法，充分利用图像的空间信息，将图像分割成具有 不同特征的区域。大致可以分为两类：基于轮廓和基于区域的检测跟踪算法。 4 华北电力大学硕士学位论文 1 2 2 1 基于轮廓的检测跟踪算法 基于轮廓的检测跟踪算法的基本思想是：先检测图像中的边缘点，再按一定的 策略连接成轮廓，从而形成分割区域。然丽，边缘检测将会导致检测精度和抗噪性 之间的矛盾。若要提高检测精度，则噪声产生的伪边缘会导致不合理的轮廓：若要 提高抗噪性，则会造成边缘漏检和位置偏差。算法实现的关键在于如何解决这一对 矛盾。为此，人们提出一种多尺度边缘信息的结合方案【2 矾，能较好地兼顾抗噪性和 检测精度。 文献【2 3 】采用一种基于高斯滤波与矢量微分算子相结合的近似小波多尺度边缘 检测算法：分别选定大小两个高斯滤波器的尺度，并分别与原始图像做卷积，从而 得到图像的多尺度信息。用矢量微分算子为卷积核对滤波后的图像进行运算以获得 梯度向量，设定沿相角方向取模为极大值的点为边界点，从而获得检测跟踪结果。 1 2 2 2 基于区域的检测跟踪算法 基于区域的检测跟踪算法的基本思想是根据图像数据的特征将图像空渊划分 为互不重叠的区域。图像数据的特征值包括：直接来自于图像像素点的信息一次度 值或颜色值；由原始图像数据变换而得到的特征。基于区域的检测跟踪舞法可分为 阈值法、聚类法、松弛算法和区域生长法。 阙值法 2 4 , 2 5 】通过设定不同的特征阈值，将像素点分为若干类。算法实现的难点 在于阌值的设定，对传统阈值法的改进包括局部阈值、模糊阈值和随机闽值等方法。 聚类方法 2 6 , 2 7 】通过在特征空间对像素点进行聚类，实现图像分割。常用的方法 包括硬聚类、概率聚类和模糊聚类等。由于缺乏对像素空间拓扑关系的考虑，往往 还需要进行算法后续处理才能完成分割。聚类准则的设定是聚类算法实现的关键。 松弛法【2 8 , 2 9 1 是种动态调优的标号方法，包括概率松弛和模糊松弛等等。把对 应于不同目标的标号分别赋给图像中每个像素，根据相邻像素之间的相容性，不断 调整标号直到满足收敛条件。算法实现的关键在于标号相窖性模型的建立和迭代方 法的收敛条件的设定。 区域生长方法( 3 0 , 3 1 】是将像素点或小的区域组合成大的图像区域的过程。其中的 像素凝聚法最为常见，这种方法从一系列的“种子”点开始，利用这些点，通过将 其邻近的像素中性质相似( 如：灰度、纹理或颜色) 的像素附加到这些种予点上而生 长成区域。利用区域生长算法进行图像分割时，有两个问题需要解决：其一是怎样 选择初始的“种子”，使其能够代表感兴趣的区域：其二是如何选择适当的评价标 准，使得在生长过程中，能将满足语义的像素点划分到各相应区域中。 华北电力大学硕士学位论文 1 2 3 结合时空信息的检测跟踪算法 没有空间信息的引入，单纯的基于运动信息的检测跟踪算法无法获得精确的分 割结果。因此，人们将基于空间信息的检测跟踪结果引a n 基于运动信息的检测跟 踪算法中去，提出了许多有效的基于时空信息的检测跟踪算法。在这些算法中，基 于运动信息的检测跟踪是算法的主体，而空间信息作为约束信息对基于运动信息的 检测跟踪结果进行修正。 文献【32 】中，在分割过程中两次使用到了空间信息。首先，采用变化检测算法获 得变化检测模板：其次，采用形态学的闭合操作除去模板中面积过小的分割区域：最 后，由于运动而造成的显露遮挡现象的存在，分割模板中存在显露遮挡区域，故丽， 在当前图像帧中通过使用s o b e l 算子以获得图像的边缘信息，以此来修正变化检测模 板，使得分割的结果更加接近于真实的运动目标轮廓。在该算法中，空间的边缘信 息做为一种后续的修正信息对算法的分割结果进行修正。 文献 3 3 1 则提出了一种基于主动轮廓模型提取语义对象的检测跟踪技术，将用于 静止图像分割的主动轮廓模型推广到视频序列图像中。分割算法原理如下：利用运 动检测的方法，从视频图像中粗略提取出运动目标，然后利用s n a k e 模型收敛到更 为精确的物体边缘。模拟实验的结果表明，该方法对视频对象的提取有较好的分割 效果。 纵观人们提出的结合时空信息的检测跟踪算法，无一例外，都是将基于运动信 息的检测跟踪方法作为主导方法，并运用基于空间信息得到的检测跟踪结果作为甜 加信息，对前者的分割效果进行改进，使得分割的结果更逼近于真实目标的轮廓。 1 3 有关足球检测跟踪工作 现阶段国内外的体育足球视频分析工作主要集中在镜头检测分类口4 j 。3 6 】、组织 结构分析【3 7 】、事件检测描述【3 8 , 3 9 , 4 0 】、内容检索总结 4 1 , 4 2 】、对象检测跟踪【4 3 - 5 1 五个大 的方面。这些工作多是从圈像低级像素特征和情景拍摄模板入手，探讨特定语义事 件与镜头拼接序列间的微妙关系，已在国内外多家研究机构取得了显著的成果。但 这种方法对拍摄手法依赖性较强，有一定的局限性。要想真正智能化地理解视频， 对象的检测跟踪问题不容忽视。 体育视频中的足球对象通常具有以下特点： ( 1 ) 球的外形特征在各帧问呈现出较大差异，它的大小、形状、颜色及速度 都在随时间推移发生不规则地变化。 ( 2 ) 许多运动的对象或某些区域在外形上与足球很相似，例如：运动员球衣 6 华北电力大学硕士学位论文 i 2 3 结合时空信息的检测跟踪算法 没有空间信息的引入，单纯的基于运动信息的检测跟踪算法无法获得精确的分 割结果。因此，人们将基子空阀信息的检测跟踪结果引入到基于运动信息的检测跟 踪算法中去，提出了许多有效的基于时空信息的检测跟踪算法。在这些算法中，基 于运动信息的检测跟踪是算法的主体，而空间信息作为约束信息对基于运动信息的 检测跟踪结果进行修i e 。 文献p ”中，在分割过程中两次使用到了空间信息。首先，采用变化检测算法获 得变化检测模板：其次，采用形态学的闭合操作除去模板中面积过小的分割区域最 后，由于运动而造成的显露遮挡现象的存在，分割模板中存在显露遮挡区域，故而， 在当前图像帧中通过使用s o b e l 算子以获得图像的边缘信息，以此来修正变化检测模 板，使得分割的结果更加接近于真实的运动目标轮廓。在该算法中，空间的边缘信 息做为一种后续的修正信息对算法的分割结聚进行修正。 文献 3 3 l 则提出了一种基于主动轮廓模型提取语义对象的检测跟踪技术，将用于 静止图像分割的主动轮廓模型推广到视频序列图像中。分割算法原理如下：利用运 动检测的方法，从视频图像中粗略提取出运动目标然后利用s n a k e 模型收敛到更 为精确的物体边缘。模拟实验的结果表明，该方法对视频对象的提取有较好的分害6 效果。 纵观人们提出的结合时空信息的检测跟踪算法，无一例外，都是将基于运动信 息的检测跟踪方法作为主导方法，并运用基于空间信息得到的检测跟踪结果作为附 加信息，对前者的分割效果进行改进，使得分割的结果更逼近于真实目标的轮廓。 1 3 有关足球检测跟踪工作 现阶段国内外的体育足球视频分析工作主要集中在镜头检测分类，”i 、组织 结构分析【3 7 】、事件检测描述1 3 8 , 3 9 a 0 、内容检索总结呲4 ”、对象检测跟踪【4 3 _ 5 1 1 五个大 的方面。这些工作多是从图像低级像素特征和情景拍摄模板入手，探讨特定语义事 件与镜头拼接序列间的微妙关系，已在国内外多家研究机构取得了显著的成果。但 这种方法对拍摄手法依赖性较强，有一定的局限性。要想真芷智能化地理解视频， 对象的检测跟踪问题不容忽视。 体育视频中的足球对象通常具有以下特点： ( 1 ) 球的外形特征在各帧间呈现出较大差异，它的大小、形状、颜色及速度 都在随时间推移发生不规则地变化。 ( 2 ) 许多运动的对象或某些区域在外形上与足球很相似，例如：运动员球衣 ( 2 ) 许多运动的对象或某些区域在外形上与足球很相似，例如：运动员球衣 6 华北电力大学硕士学位论文 上的图案花纹。 ( 3 ) 球的尺寸很小，尤其在长镜头中更显的体积渺小。 ( 4 ) 球经常被运动员等其他对象部分或全部遮挡。 ( 5 ) 球经常会被合并到其他对象区域中。 关于足球检测的相关文献工作， 4 3 中d o r a z i o 等人采用一种改进的h o u g h 变换来检测圆形对象以实现足球分割，但仅适用单色球实体且全部可见情况才能得 到较好效果。 4 4 1 中用k a l m a n 滤波和模板匹配的方法来检测跟踪运动员附近区域 的足球，但球的初始位置需要人工指定输入。 4 5 中采用由粗至糟，据颜色形状的 相似度量来间接排除非目标物，以获得较精确的足球定位，但对存在遮挡或球尺寸 过小情况时效果不佳。 4 6 ，4 7 中x i n g u oy u 等人提出了从分析多帧图像分割所得 到的对象运动轨迹入手，逐步获得符合轨迹特性的球对象，较好地解决了遮挡情况 下球位置的估计，并通过参照物尺寸获得球尺寸范围，但忽略了对象分割算法效果 方面的问题。 1 4 论文的方案和组织安排 本文的后续章节主要围绕体育视频中足球对象的检测跟踪方法的研究展开，整 个工作在非压缩域中进行。通过前文对历年来国内外对象检测跟踪技术的回顾，不 难发现，与单纯采用运动信息的检测跟踪算法相比，结合时空信息的检测跟踪算法 往往能获得更好的效果。故而，选取后者作为本文的实现算法。 图i - 1实验方案流程图 华北电力大学硕士学位论文 我们有两个问题亟需解决：问题之一是确定何种空间域分割算法获得图像的初 始分割：问题之二是如何找到一个契合点，将时空信息有机地结合在一起。事实上， 与静态图像相比，图像序列及视频的最大优点就在于可捕获对象丰富的运动信息。 根据体育比赛的规则约束，足球对象成为整个比赛的关注焦点，射门、带球等精彩 镜头通常都围绕足球展开，镜头的缩放切换也相应会追踪它的运动情况。因此足球 的运动轨迹在视频序列片段中多为连续性的，即使存在遮挡情况时，轨迹间断前后 的位置也不会偏差很远，这就在很大程度上约束了足球的时空定位，可为我们提供 一个很好的时空契合点。考虑到光线及视频图像质量的影响，有可能使得某些区域 比足球本身看起来更像足球。因此直接对足球进行分割检测难度很大。本选题充分 借鉴 4 5 中的间接检测思想和 4 6 ，4 7 中基于整体轨迹的分析方法，提出了一种改 进的基于运动轨迹的足球检测跟踪算法，运用排除法获得最后的检测跟踪结果，因 此空域分割算法也相应采取检测背景的方法，通过检测球场区域得n - 值化的初始 分割结果。整个算法主要由四个步骤组成：二值化初始分割、基于区域和轮廓的对 象表述、候选对象粗选、候选对象细选。其中，二值化初始分割是整个算法的关键 性环节，它的分割效果好坏直接影响着后续步骤的复杂程度和结果的准确性。系统 框架的流程如上图卜l 所示： 论文的组织安排如下：第二章介绍了一种基于主辅颜色模型的足球视频图像分 割方法，通过检测球场绿色区域，形成二值化的对象初始分割区域。第三章在二值 化初始分割的基础上，探讨了基于区域和基于轮廓的对象表述方法，并且根据表述 提取相应的粗选特征，对候选对象进行了粗选。第四章分析了如何确定粗选后的候 选对象基于颜色和形状的置信度，并结合置信度和轨迹约束进行细选，从而得到最 终的足球对缘检测跟踪结果。第五章详细阐述了基于v i s u a lc + + 6 0 平台的语义对 象检测跟踪系统的设计实现过程，并对实验结果进行分析比较。第六章对研究内容 和全文进行了总结，指出本文介绍算法需要改进之处，另外，还提出了下一步工作 的研究方向和重点内容。 8 华北电力大学硕士学位论文 第二章基于主辅颜色模型的视频图像分割 图像分割是模式识别和图像分析的预处理阶段。在基于内容的视频分析中，只 有进行图像分割后，图像中背景的颜色特征及主体的颜色、形状、纹理等特征的提 取才成为可能，它的有效性对后期的结果将产生直接的影响。 本章针对足球视频序列中主色多接近绿色的特点，提出了一种基于主辅颜色模 型的视频图像分割方法，利用h s i 和r g b 颜色空间的优势互补，通过检测球场绿 色区域及必要形态学处理，获得视频图像的二值化初始分割。实验结果表明，与基 于单个颜色模型的主色分割方法相比，我们的方法可以得到更理想的分割效果。 2 1 分割流程概述 图像分割是依据图像的灰度、颜色或几何性质将图像中具有特殊含义的不同区 域区分开来，这些区域是互不相交的，每一个区域都满足特定区域的一致性。总体 上说，分割的目的就是要将图像中的各个主体及背景分割成不同的区域，从而可以 进一步对各区域进行单独的分析和理解。 图2 1分割流程图 主色调能够代表一幅图像的基本概貌，其实质是用较少的颜色来表示原图像。 因此，基于主色的分割结果可与人的视觉特性保挣一致。考虑到国内外的足球赛场 9 华北电力大学硕士学位论文 多以绿色为基色的特点，我们提出了一种基于主辅颜色空间的视频对象分割方法， 利用h s i 和r g b 颜色模型的优势互补，通过检测绿色球场区域，形成二值化的对 象初始分割区域。分割流程如上图2 1 所示。 首先，视频b m p 图像序列经过颜色空间转换模块实现h s i 和r g b 主辅颜色空 间的相互转换，并在h s l 空间中完成彩色帧序列的中值滤波预处理过程。为增强 球场主色调对光照、环境等干扰因素的鲁棒性，我们引入自适应因子动态计算累计 颜色直方图得到主色较稳定的h ，s ，1 分量值，然后将其转换到r g b 空间中进行 主色距离阈值分割，距离阙值可通过样本学习的方法得到。最后经过必要的形态学 处理得到符合视觉特性的图像分割结果。 2 2 颜色模型介绍 对彩色图像的研究，必须在特定颜色空间中进行。颜色空间的选择直接关系到 整个分割算法的成败。目前已经提出了多种颜色空间，如：r g b ，h s i ，h s v ，y u v y i q ，l a b 等。下面重点介绍两个典型常用的颜色模型：r g b 和h s i 。 2 2 1r g b 颜色模型 基于r g b 三基色的颜色表示称为r g b 颜色模型。它是建立在t y o n g 于1 8 0 2 年提出的理论上的。该理论指出，任何彩色都可以用三种基本颜色( r g b ) 按不同 比例混合而得到。在如图2 - 2 所示的r g b 彩色立方体中，原点处任一基色均没有 亮度，为黑色；三基色都达到最高亮度的点为白色：等亮度的三基色落在该立方体 的对角线上，为灰色线。其余的几个角分别对应于三基色：红、绿、蓝和二次色： 黄、青、品红。 白 黄 图2 2r g b 彩色立方体 在多媒体计算机技术中，用的最多的是r g b 彩色空间袭示。不管多媒体系统中 采用什么形式的彩色空间表示，最后的输出一定要转换成r g b 彩色空间表示。但 r g b 空间中不同的色彩难以用准确的数值来表示，而色调和饱和度与红、绿、蓝的关 1 0 华北电力大学硕士学位论文 系是非线性的，因此，r g b 空间中对图像进行分析与处理，难以控制其结果。 2 2 2h s i 颜色模型 另一种有用的彩色模型是h s i 格式，是由m u n s e l l 提出的彩色系统格式。在 h s i 格式中，每个像素转换成三个与人眼视觉特性一致的特征量：亮度、色度和饱 和度。这样，我们就可以充分利用现已成熟的灰度图像处理技术，处理后再转换回 r o b 空间。 亮度i ( i n t e n s i t y ) 是非彩色属性，指入眼感受到光的明暗程度。它确定像素的 整体亮度，而不考虑具体的彩色是什么。包含彩色信息的两个参数是色度和饱和度， 可用图2 - 3 中的色环描述。 图2 - 3 色环 0 _ 瞍： 红 色调h ( h u e ) 用角度表示，指光的颜色，反映了该彩色最接近何种光谱波长( 即 彩虹中的某种颜色) 。发光物体的色调取决于它产生的辐射光谱的分布；不发光物 体的色调则由物体的吸收、反射或投射特性和照明光源的特性共同决定。 饱和度s ( s a t u r a t i o n ) 描述了色彩的深浅程度，饱和度高表示颜色深，反之则淡。 它与色光中自光含量的多少有关。一种纯彩色光中加入的白光成分越少，则其饱和 度越高，反之白光成分越多，饱和度就越低。 显然，从人的心理感知来说，h s i 空间要比r g b 空间更直观，更容易接受。 h s i 空间各轴在视觉上彼此无关，空间距离符合人眼视觉特征，并且从r g b 到h s i 的转换简单快速，因此可广泛应用于计算机图形学、科学计算可视化领域以及计算 机图像处理等领域。 2 。2 3 主辅模型选择转换 由于h s i 空间具有以下两个优点：1 将亮度分量从色彩信息中分离出来2 色 调和饱和度分量与人的视觉感知保持一致。因此h s i 空间受到彩色图像处理工作 华北电力大学硕士学位论文 者更多的青睐，我们也依然选择h s i 做主颜色空间。不同球场的绿色往往会存在些 许差异，且同一球场的绿色随着比赛时间的持续也可能发生上下浮动，再加上场地 上各区域阴影和光照的不均匀分布等环境因素，使得即使在同一帧画厩中球场绿色 的一致性也很难保证这些因素造成了单纯依赖h s i 空间所得到的主色分割结果很 难满足高层次对象识别表述的需要为了增强视频序列主色调的鲁棒性，我们引入 r g b 空间作为辅助空间，来克服主色波动对分割结果的负蕊效应与h s i 空间的非 线性特性不同，r g b 空间是由红色r ( r e d ) 、绿色g ( g r e e n ) 和蓝色b ( b l u e ) 三个 分量组成的线性彩色空间，利用它与h s i 空间在颜色描述上的互补特点，可以很好 的控制h s i 空间中主色分量波动的干扰，从而得到较理想的分割结果 现存的h s i 空间模型有四面体、圆柱体、圆锥体等多种定义公式，我们这里采 用圆柱体的h s i 坐标系进行颜色空间转换的实现，示意图如图2 - 4 所示： 圈2 4 柱形h s i 坐标系 在圆柱体h s i 坐标系中，h 代表色调，所有感观颜色均匀分布在色环的o 。到 3 6 0 。之间，0 。或3 6 0 。为红色，1 2 0 。为绿色，2 4 0 。为蓝色；s 代表饱和度，是色 环的原点( 圆心) 到彩色点的半径长度，范围为0 到l ；i 代表亮度，从0 到l 沿着 轴线从底部的黑到顶部的白。可见，在r g b 空间中灰度线是彩色立方体的对角线， 而在h s i 空间中是垂直中轴，它们之间的相互转化可用以下方法实现。 假设r g b 空间的归一化分量为r ，g ，b ，即o r ，g ，b l ，则有 f = ! 量1 3 s = 1 一l m i n ( r ，g ，6 ) ，+ g + b 慨o s - 1t 茫亲篇， 2 ( 2 1 ) i 华北电力大学硕士学位论文 如果b i g f ，则设置h = 2 z r 一而；此外我们设置h = 2 玎h 将色调测量规范 至t j o ，l 】范围。请注意当r = g = b 时，h 没有被定义；i = 0 时，s 没有被定义。将 h s i 转换成r g b ，要分三种情况来考虑。记h = 2 7 rh ： 当0 h 2 r 3 时 吲【1 + 端c o s 】 i 万，j 一盯j d = z 【l s j g 跏一等】 当2 n 3 h 2 2 冗3 时 h = h 一2 7 r 3 列【1 + 揣c o s 】【万j 一月j ，= f ( 1 一s ) 6 = 3 i 1 一警】 当2 2 n 3 h 2 冗时 h = h 一4 z r 3 6 = 卅忑s 丽c o s h 】c o s t 石，j 一，i ， g = i o s ) 闰f 【1 一等】 ( 2 2 ) ( 2 3 ) ( 2 4 ) 这些推导是根据一个著名的、特殊的色彩三角形得到的，完整的推导过程请参 见 5 2 】。 华北电力大学硕士学位论文 2 3 中值滤波预处理 2 3 1 中值滤波基础 中值滤波是一种非线性的信号处理方法，在1 9 7 1 年由j w j u k e y 首先提出并应用 在一维信号处理技术中( 时间序列分析) ，后来被二维图像信号处理技术所引用。 中值滤波就是用个含有奇数个点的滑动窗口，将窗口正中的那点值用窗口内各点 的中值来代替。 中值滤波具有以下几个特性： ( 1 ) 中值滤波的脉冲响应为零，这一特性使中值 滤波对于干扰脉冲和点状噪声有良好的抑制作用。( 2 ) 中值滤波器具有鲁棒性， 而且适合用于在噪声特性未知情况下的数据平滑。 ( 3 ) 渐变信号通过中值滤波器 不会发生变化，这个特性可应用于图像滤波等，因为这时数据可以被平滑而且对图 像的边缘可以被很好的保持。( 4 ) 输出信号总是输入信号在滑动窗口上样本中的 一个。鉴于以上特性，中值滤波方法在信号处理和图像处理领域得到广泛的应用。 2 3 2 矢量中值滤波 对于体育视频素材来说，由于拍摄设备、外界环境的影响，以及图像在采集和 传输过程中受到各种噪声源的干扰和影响，使得数字化后的视频图像或多或少的带 有各种噪声。反映在图像上，噪声使得原本均匀和连续变化的灰度突然变大或者减 小，原本颜色一致的均匀区域产生杂色偏差，形成一些虚假的边缘和轮廓，这样的 图像不适合于直接进行视频分割，因此，需要对图像进行预处理，消除噪声影响， 以使分割算法发挥最大作用。这里我们采用一种改进的中值滤波方法来消除视频图 像的失真及噪声。 在完成颜色空间转换后所得到的颜色分量为连续分布的，进行预处理前首先进 行标量量化处理。为满足主色统计的精度要求，可在( 0 ，1 范围内将h ，s ，1 分量 各均匀量化为l o o 个小格。根据彩色模型的颜色表述特点，每个像素的三个颜色分 量可整体看作一矢量信号。考虑到矢量信号的各个分量之间通常存在相关性，我们 没有采用对每一个分量分别进行处理的做法，而是以3 3 邻域的矢量中值作为滤波 器的输出，找出该矢量中值的方法如下： 设颜色空间的三个分量为x t 例，x 2 俐x 3 俐，这些分量组成一个矢量信号 ( 疗) = ( 五( n ) ，x 2 ( ) ，玛( 拧) ) 1 4 ( 2 5 ) 华北电力大学硕士学位论文 对于中心像素而，3 x 3 邻域中颜色矢量为凰倒，施似， ( 1 ) 对每一矢量，计算它与其它矢量之间的距离( l z 范数) ，然后把它们加 在一起，得到 d ( 薯，x ，) = i i x , 一x , i i ： 8 s = d ( 墨，x j ) ，i = o 8 ， j a 0 l ( 2 6 ) ( 2 ) 对s f 进行排序，找出最小值品。且有研彤研s 例 ( 3 ) 对应的疋也有相同的次序，如茸确序，则中值矢量是 x 。fx ( o 。 2 4 主辅颜色模型分割 2 4 1 确定主色调 球场主色可用各颜色分量的中值来表示，即r g b 中以r 村，g m ，b m 表示，h s i 中以蜥，s u ，助表示。主色的确定采用累计直方图统计学习的方法，首先选取比赛 开始前几分钟显示场地环境较多的7 8 帧全景镜头做训练集，将h ，s ，i 各分量直 方图分别进行累计统计，图2 - 5 是某实验片段的累计直方图统计结果。 圈2 - 5h s i 累计颜色直方图 通过观察可以发现，由于训练集中绿色场地像素占据了较高比例，使得各颜色分 量直方图都存在明显的波峰，尤其以色调特征最为突出。理论上讲，各分量直方圈 的峰值下标m 可用来近似估计主色的砌，s u ，如值，但是仅仅依赖某个下标确定 主色分量，很容易被图像噪声等偶然因素误导，不能保证主色统计的正确性。因此 1 5 华北电力大学硕士学位论文 我们选取峰值附近的小区间( i 。，f ) 进行主色计算，区间的左右限由引入的动 态因子k 来确定。如公式( 2 7 ) 所示，区间内各下标处对应像素数均在峰值像素 数的一定比例内，这里我们设定k = 0 2 ，并根据不同比赛对k 做相应微调，浮动范 围在0 0 5 。对于峰值陡峭的情况，区间范围较小：坡峰较平缓的，区间范围相应 增大。确定区间范围后，最后根据公式( 2 - 8 ) 就可得到主色的各颜色分量值，其中 h 代表颜色模型中各颜色分量。实验得到的主色调多在0 1 2 - 0 15 之间，具有较好的鲁 捧性。 矗【f 。】k 研f 删】 h t i 。一1 】 k x h i f o i 】 f 一】k x 研f 删】 【f 。+ 1 】 k x h i m 女】 i m i 。f m 女兰i m 。 k = 学 2 4 2 阈值分割 ( 2 7 ) ( 2 8 ) 根据累计直方图统计的方法确定主色的嘞，s m ，如值后，闽值分割工作转换到 r g b 辅空间中进行，以发挥主辅空间颜色表述上的互补优势。首先，利用颜色转换 模块得到砌，s m ，1 m 所对应的分割阈值r m ，g 村，b 材。然后测试图像中的每个像素与 主色的颜色距离，当计算所得的颜色距离小于一定阚值时，将该像素归为绿色场地区 域，置自色( 0 ) ；反之，则为候选对象区域的像素，鬣黑色( 1 ) 。另外，为说明主 辅空间分割结果的准确性，我们还在h s i 空间中利用h m ，s m ，1 m 直接进行颜色距离 闽值分割，并将两种方法得到结果进行分析比较。现有文献中存在多种颜色距离的 计算方法，对于r g b 空间，我们采用通常所说的欧氏距离即可：而对于h s i 空问， 颜色距离根据各分量的几侮意义进行计算，即求圆柱体模型上对应两点的距离。具 体定义如公式( 2 - 9 ，2 - 1 0 ) 所示，其中r g 。b 。和凰，s 。 ，分别为每幅视频帧的 第i 行1 个像素在主辅窆闯中的各颜色分量值。 华北电力大掌坝士学位论文 。一一一 d m n ( i , j ) = ( r o r m ) 2 + ( q g m ) 2 + ( b “一) ：弘 ( 2 9 ) d 删，咿( j ，- ，) = i j 口一，m l d 。( f ，i ，) = f s f ) 2 + ( s 。) 2 2 s 口s mc 。s 弘 d w ( ，) = k 吐。，口( f ，) ) 2 + ( d ( f ，) ) 2 弘 ( 2 1 0 ) 2 5 形态学处理 2 5 1 形态学基本运算 数学形态学是一门新兴的学科，1 9 6 4 年由法国的g n a t h e r o n $ 1 j s e r r a 在积分几 何学的基础上首次创立了这门学科。它主要以积分几何和几何代数为理论基础，设 计了一整套的变换( 运算) 、概念和算法，用以描述图像的基本特征。它最基本的 思想是将图像看成点的集合，用结构子( 又称结构元素，结构矩阵) 对其进行移位，