（信号与信息处理专业论文）台球比赛视频分析关键技术研究和系统实现.pdf

摘要 摘要 随着数字信息技术的高速发展，现代智能辅助系统被应用于国内外的一些体 育比赛中。近几年来，中国观众对台球比赛越来越感兴趣，一个好的台球比赛视 频分析系统能够帮助用户更好地分析比赛。本文围绕台球比赛视频分析系统， 对其中的一些关键技术进行了研究，并设计实现了一个实验系统，具体如下： 1提出了一种基于局部峰值边缘的s n o o k e r 比赛台面自动分割方法。首先，利 用可分离高斯函数二阶导数方向可变滤波器去提取边缘象素点，然后通过彩 色分割和膨胀算法，提取候选台球区域，进一步，用局部峰值边缘和候选台 球区域共同约束提取缘象素。最后，通过曲线拟合得到完整台面边缘，实现 台面分割。 2台球运动跟踪方法研究，在台球初始位置得到后，依据台球运动的时间相关 性，充分利用前一帧分割的台球的基本特征，采用基于帧间跟踪方式跟踪后 续帧中的台球。 3通过数据插值，解决了关键帧数据丢失的问题，得到逼真、流畅的台球运动 模拟轨迹。 4 设计并实现了预判模块，用户可以自由地在二维演示模块中使桌面上的球沿 着指定轨迹运动，并在三维演示模块中给出台球对象的模拟运动情况，从而 以达到为运动员击球提供参考的目的。 5设计实现了台球比赛视频分析系统，系统可以对视频数据进行自动分析，并 完成二维、三维模拟显示，自动分杆，分析结果显示和预判等功能。 关键词：视频分析系统；台球；数据插值；预判；运动模拟 a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o n t e c h n o l o g y , m o d e mi n t e l l i g e n t c o m p u t e r - a i d e ds y s t e m sh a v eb e e nu s e di ns o m ei n t e r n a t i o n a lm a t c h e s c h i n e s e a u d i e n c ea r em o r e a n dm o r ei n t e r e s t e di ns n o o k e rg a m e si nr e c e n ty e a r s ，ag o o dv i d e o a n a l y s i ss y s t e mo fb i l l i a r dg a m e sc o u l dh e l pu s e r st oa n a l y z et h eg a m ee f f e c t i v e l y i nt h i st h e s i s ，w ed e s i g na n di m p l e m e n tt h eb i l l i a r d sv i d e oa n a l y s i ss y s t e m ，a n d s t u d ys o m eo fk e yi s s u e s t h ed e t a i l sa r ea sf o l l o w s ： 1 w ep r o p o s e da na u t o m a t i cs e g m e n t a t i o nm e t h o do fs n o o k e rb o a r du s i n gl o c a lp e a k e d g e s f i r s t ，s e p a r a b l es e c o n dd e r i v a t i v eo fg a u s s i a ns t e e r a b l ef i l t e r sa l eu s e dt o e x t r a c tt h ee d g e s ，t h e nt h ec a n d i d a t er e g i o n sa r ee x t r a c t e db yc o l o rs e g m e n t a t i o na n d d i l a t i o n n e x t ，t h ec a n d i d a t ee d g ep i x e l sa r ee x t r a c t e db yb o t ht h ep e a kv a l u eo fe d g e p i x e l sa n dt h ec a n d i d a t er e g i o n s ，f i n a l l yt r u ee d g e sc a nb eo b t a i n e db yc u r v ef i t t i n g a n dt h eb o a r di ss e g m e n t e d 2 w es t u d yt h eb i l l i a r d s t r a c k i n gm e t h o d b yt h er e s u l t so f b i l l i a r d sd e t e c t i o n ， a c c o r d i n gt ot i m e d e p e n d e n c yo fb i l l i a r d sm o v e m e n t ，w em a k ef u l lu s eo ft h e c h a r a c t e r i s t i c so ft h eb i l l i a r d si nt h ef o r m e rf r a m et ot r a c kt h eb i l l i a r d si nf o l l o w i n g f r a m e b a s e do nt h ei n t e r f r a m e sc o r r e l a t i o n 3 t or e s o l v et h ep r o b l e mo fk e y f r a m ed a t al o s s ，w ei m p l e m e n tt h ed a t ai n t e r p o l a t i o n a n do b t a i nt h er e a ls i m u l a t i o no fb i l l i a r d sm o t i o n 4 w ed e s i g na n di m p l e m e n tt h ep r e d i c t i o no fb i l l i a r d sm o t i o n t h i sm o d u l em a k et h e u s e r sc o u l dd e s i g nt r a j e c t o r yf o r t h es p e c i f i cb a l l s ，a n ds i m u l a t et h em o v i n go fb a l l si n 2 dp l a n ea n d3 ds p a c e ，w h i c hp r o v i d et h er e f e r e n c ef o rh o wa n dw h i c hb a l l st h e p l a y e rh i t 5 w ed e s i g na n di m p l e m e n tt h eb i l l i a r dv i d e oa n a l y s i ss y s t e m ，t h e s y s t e mc o u l d a n a l y z ea n dd i s p l a yt h em o v i n go fb a l l s ，s i m u l a t em o v i n go fb a l l si n2 dp l a n ea n d3 d s p a c e ，a u t o m a t i c a l l ys p l i tt h ev i d e ob yp l a y e r sh i t t i n ga n dp r o v i d et h ep r e d i c t i o no f t r a j e c t o r yo fb a l l s k e y w o r d s ：v i d e oa n a l y s i ss y s t e m ；b i l l i a r d ；i n t e r p o l a t i o n ；p r e d i c t i o no fb a l lp a t h ； s i m u l a t i o no fb a l l st n o v e m e n t i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 1 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：圣盎日期：丝2 乏 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名：日期：丑 第1 章绪论 1 1 研究背景及意义 第1 章绪论 丁俊辉在2 0 0 5 中国台球公开赛中夺冠，使中国的台球热迅速升温，台球裁 判们也为中国台球的普及贡献了一份力量。台球比赛对裁判的注意力和体力要求 很高，一场比赛中裁判站立两三个小时算是很平常的事情，而且比赛过程中不能 分心，否则报错分数会影响球员的情绪。另外，传统的比赛中，比赛过程的回放 有很大的难度，往往为了一个球的精确复位需要耗费很多时间。 现代智能辅助系统越来越多地利用计算机视频监控代替人工完成监控任务。 在一些国内外的比赛中，为了比赛的公正性等方面的原因，比赛采用智能辅助系 统，以完成比赛监控记录的任务，如拳击比赛。因此，研究台球比赛视频分析系 统是非常必要的。 建立一个完整地比赛视频分析系统要涉及很多技术【l 诏j ，如数字图像处理技 术、计算机视觉技术与传统数据库技术的结合，本课题仅仅对其中的一些关键技 术进行研究，主要工作集中在台面自动分割、台球运动过程模拟、基于台球运动 的比赛得分情况分析等。 1 2 台球比赛视频分析研究现状 1 2 1 台球比赛分析研究现状 目前，和台球此赛相关的研究大多集中在台球机器人的研究方面【l 吲。当然， 为使它的运动能力达到较高水平还有许多工作需要做。由于从原理上讲， “机 器”选手的台球技术水平将来不会亚于人类选手，所以对此项研究充满信心。虽 然台球机器人的动作控制和“思维方式 与人类运动员不尽相同，但当它具备了 与人类优秀选手抗衡的实战能力后，在基本杆法、击球技巧、开球策略、主球的 走位控制、攻防战术的运用等方面总能为人类运动员提供高层次的有益帮助。利 用机器人的图像输入装置还可以对比赛运动员的击球情况进行采集和分析，并可 针对其存在的技术问题进行新一轮的演示和分析。由于可不断将众多优秀选手对 球的处理方法、计算理论、临场对策等知识和经验输入并保存到机器人的知识库 中，再加上智能机器人本身所具有的自学习功能，台球机器人的技术水平和教学 能力会不断得到完善和提高。由于机器人具有实际操作能力【5 j ，并可利用其传感 北京t 业大学t 学硕i ：学位论文 器进行多种信息的输入和输出，所以台球机器人可通过实际演示开展现场视频分 析和指导，及时发现和纠正台球选手的操作错误，从而非常有利于直接培养选手 的实践动手能力。因此，相信台球机器人在培养台球运动员方面会取得良好的收 效。甚至可以认为，在不久的将来借助由机器人辅助教学手段培养出来的人类运 动员去夺取台球世界冠军也是完全有可能的。 另一类相关的研究是台球比赛视频分析。文献 4 】提出了应用于基于s n o o k e r 视频内容分析的三种处理方法。其中，第一种处理方法是不需要获取三维信息， 而是基于几何特征去分析视频序列；第二种处理方法是针对特定位置目标的消失 事件进行检测；第三种处理方法是对镜头中发生的事件进行语义提取并归纳事 件。但是，此文献中的处理方法还不能达到对视频的实时处理。 从目前国内外的研究发现，对于台球比赛视频分析系统还没有看到有成形的 技术，而且，对于台球比赛视频分析的实时处理还没有达到理想的效果。 1 2 2 视频对象分割研究现状 视频内容分割通常利用视频图像在时间和空间轴上的信息进行，自动分割算 法大致可分为基于光流法、基于对象跟踪算法和基于变化检测区域的时空法三 种。 基于光流法分割就是研究光流场【2 6 ，从视频图像中得到近似的运动场，然后 根据运动场的运动特征进行视频分割。但是光流场固有的孔径问题和遮挡问题， 用光流法估计二维运动场的解是不稳定的，需要使用附加的假设模型来模拟二维 运动场的结构，附加的假设模型可分为参数模型和非参数模型两种。文献 1 5 ，1 6 】 提出光流场的估算和分割同时进行的贝叶斯法，考虑了全局的运动信息可以有效 地提取视频序列对象【l 。7 1 。使用假设模型的分割算法典型的有参考文献 1 4 ，实验 表明该算法受噪声的影响较小，但模型的缺点是只适用于刚体运动。 基于对象的跟踪算法是在初始分离出运动对象后，通过跟踪运动对象的轨迹 和轮廓，在下一帧分割出对象【2 2 | 。基于对象特征的算法是根据视频对象的二维动 态模型来进行跟踪，跟踪策略信息主要是由对象区域【l 睨l 】的特征来获得。对运动 对象的跟踪较复杂，需要考虑每帧图像背景和对象的变化。跟踪算法有基于两帧 的算法和基于多帧的算法，利用较多的帧数进行跟踪可以降低噪声对系统的影 响。为了跟踪不连续的对象，常常需要采用一个对象存储器。常用的跟踪算法有 基于h a u s d o r f f 距离的运动跟踪【27 j 等，基于h a u s d o r f f 距离的运动跟踪方法使用二 进制模板进行比较，即使当对象的形状有较大的变化或背景移动时，也能很精确 地检测对象新的位置。为了适应模板的形状改变，每帧都对模板进行更新。 h a u s d o r f f 跟踪器对刚体对象跟踪较好，而对非刚体对象跟踪较差。为此人 2 第1 章绪论 们根据对象的运动特征做出了相应改善，常用的是建立对象的活动模型，例如： 活动边界模型( s n a k e s ) 2 3 - 2 5 】，网格模型【2 9 , 3 0 1 等。s n a k e 是在图像域内定义的可变形 曲线【2 8 1 ，通过对其能量函数的最小化，从而调整s n a k e 的自然形状与对象轮廓相 一致。s n a k e 是一个能量最小化的样条，能量包含内力和外力，其作用是不同的： 内力约束对象形状，起到平滑轮廓作用；外力引导s n a k e 向图像特征移动。文献 【3 0 提出基于2 一d 网格的双向跟踪法，不仅可以分割出对象和背景，还可以分割 出每帧中的覆盖区域和未覆盖区域，提高了跟踪鲁棒性。 基于区域的运动跟踪，实际上是一种区域运动估计和补偿方法。文献 31 在 分割起始阶段即帧内分割阶段定义了一个感兴趣的区域，相应的目标边界可以精 确发现；文献 3 2 采用修改的形态学分水岭的区域跟踪算法，通过对上一帧区域 进行运动估计和投影，在下一帧重新提取标记，然后再使用分水岭算法进行分割。 通过检测视频序列图像各帧的变化和未变化区域，可以使用差分或运动补偿的 变化检测算法，将运动物体和背景相分离，即基于变化区域检测的分割算法。 最普遍的算法是利用相邻两帧图像之间的差分【3 引，通过设定阈值分离运动对 象和背景，但是阈值往往都是人工设定而不是自适应求得的，从而存在运动目标 和噪声误判的可能。因此，文献 3 6 】采用多帧信息构建三维张量的方法检测变化 区域，不仅能可靠地估计运动信息，还对噪声有一定的鲁棒性。文献 3 4 ，3 5 采用 形态运动关联算予来间接利用帧差检测运动区域同时，根据序列图像的运动程度 采用多帧处理来获取运动对象，该算法具有一定的抗噪能力。基于可变颜色模型 1 1 2 , 1 3 】的分割方法可以有效地减少噪声和因亮度变化带来的影响，实验表明该方法 能较好的提取颜色模型的边缘，但对相似颜色模型的非目标区域也会同样的检 测。总的来说这类方法不需要光流场的估算和任何特征点的匹配，计算简单，但 依赖于时空图像亮度梯度，分割精度易受观测噪声影响，因为图像亮度梯度对于 观测噪声非常敏感，并且对象运动不能太快。该类方法比较适用于室内场景运动 视频对象的分割。 1 3 论文的研究内容和结构安排 论文对台球视频分析中的关键技术进行了研究，同时结合实际应用，设计了 一款基于w i n d o w s 平台的视频分析系统，可以对比赛视频进行播放、视频分析、 截取视频帧、保存，对s n o o k e r 台球运动信息进行提取和分析，对台球比赛中打 的杆数进行统计分析，以及对指定某一杆的需要进行分析的台球提供路径信息 图，模拟台球在二维、三维空间中的运动情况，描述特定台球的运动轨迹。系统 包括系统初始化模块、视频分析模块、二维动画( 数据未插值) 模块、二维数据 插值模块、二维动画( 数据插值) 模块三维数据插值模块、三维动画( 数据插 垫量! 些垒兰：童堡! 兰堡耋兰 值) 模块、预判信息导入模块、三维预判演示模块、观测上次实验结果模块等 系统框架图如图1 1 所示： 台坶枞帅分析系统 削卜l 系统框架图 f i gi lf r a m e w o r k o f t h es y s t e m 论文结构安排如下： 第l 章，绪论。简要介绍本课题的研究背景与意义，台球比赛视频分析研究 现状，给出论文的主要研究内容及结构安排。 第2 章，视频数据分析技术研究。主要介绍了台球比赛视频分析系统中台面 分割算法和台球对象的跟踪算法。要将对象检坝4 模块和运动跟踪有机的结合起 来，实现不同颜色的台球对象的精确快速分割，由此去建立台球比赛视频分析系 统。 第3 章，二维数据插值模块的设计与实现。通过二维数据插值解决关键帧数 据丢失问题，得到正确的台球运动模拟轨迹。 第4 章，二维台球模拟演示模块的设计与实现。二维台球模拟演示模块就是 从视频分析模块中得到分析的台球位置数据信息，将其通过窗口模示以动画的形 式生动、完整的再现视频帧中的台球运动过程。 第5 章，三维动画模拟演示模块的设计与实现。围绕台球的三维重建展开论 述，基于台球分割结果，由其二维运动信息重建三维运动，再现三维运动场景， 并对结果进行分析。 第6 章，预判演示模块的设计与实现。在二维台球桌面上使台球在指定轨迹 下去进行运动，并在三维演示模块中给出台球对象的模拟运动情况，从而给运动 员击球提供参考。 第7 章，台球比赛视频分析系统的设计与实现。台球比赛视频分析系统是把 第1 章绪论 对象检测和语义描述应用实例化的体现，它提供给用户一个友好的交互界面，完 成一定符合用户个性化的需求。 第8 章总结和展望。包括论文小结、创新点及对今后工作的展望。 在论文的最后给出参考文献、攻读硕士学位期间发表和已投的论文以及致谢 等。 北京t 业人学t 学硕十学位论文 第2 章视频数据分析技术研究 视频数据分析模块是台球比赛视频分析系统的核心模块，它研究了台球对象 的分割和跟踪技术，为后续模块提供台球的相关数据信息。本文后续的台球定位 和跟踪结果都要求给出球的台面坐标位置，这就需要精确分割出视频图像中的台 面区域。本章首先围绕台面自动分割问题展开论述，然后讨论了台球运动跟踪和 自动分杆问题。 2 1 基于局部边缘峰值的台面自动分割方法 本文提出一种基于边缘的台面自动分割方法。首先得到台面边缘象素点，然 后将边缘象素点拟合成完成的台面边缘完成台面分割。图像中的台面边缘为水平 或者垂直边缘，方向可变滤波器可以提取图像中任意方向的边缘，因此本文分别 选用0 度、9 0 度、1 8 0 度、2 7 0 度四个方向的方向可变滤波器进行相应的四个台 面边缘滤波。进一步，为了减小后续边缘象素点提取的难度，我们通过彩色分割 得到候选台球区域，并通过图像膨胀算法填充被误分的区域。结合彩色分割和方 向边缘考虑波结果，通过提取局部区域的边缘峰值得到候选边缘象素。最后，考 虑到镜头变形带来的台面边缘变形，我们通过二次曲线拟合利用候选边缘象素点 得到完整台面边缘，完成台面区域分割。算法框图如图2 1 所示： 图2 1 台球台面分割算法框图 f i g 2 - 1f r a m e w o r ko fb i l l i a r db o a r ds e g m e n t a t i o na l g o r i t h m 2 1 1 方向可变滤波器 方向滤波器在许多图像图形处理算法中得到了广泛应用，例如纹理分析、 边缘检测、图像数据压缩、运动分析和图像增强等。通过将基本滤波器进行线性 组合可以实现任意方向的结构。这种滤波器组结构称为“方向可变滤波器 。 方向可变滤波器由几个基本滤波器线性组合而成，其结构图如图2 2 所示： 6 甲豳 甲彳 母回孕查 = 篁! 塞些璺堡堡竺竺薹娄! ：圣 冈2 - 2 方向可变滤波器结构目 f i g2 - 2s t m e l u r eo f s t c e r a b l e f i l t e r s 其中，输入图像f ( x ，y ) 要和每个基本滤波器进行卷积，把每个结果进行相应 的加权求和，输出图像为g ( x ，y ) 。方向可变滤波器的方向通过权值控制，权值是 以0 为变量的函数。下式描述了方向可变滤波器的处理过程： 如 = x 力+ 吒“瑚t 仰十( ，“计+ 吒“瑚毛( 0 + 叭力- q “瑚t 、 = m 力+ ( 屯 吒“力+ 毛卿咤“力+ t 咤“瑚 p ” = f t x ，协，哇虹，卉 其中，g 2 。( z ，y ) ，g 2 。( x ，y ) ，g z 。( x ，y ) 是一组二阶导数的高斯函数因子 k ( 口) ，k a o ) ，k j o ) 是三个对应的权值。可分离高斯函数二阶导数方向町变滤波器 的形状如图2 - 3 所示： ( a ) 日= oo r1 8 0 r a l0 = 0o r1 8 0 咚。 ( b ) 0 9 02 7 0 ( b 1e = 9 0o r2 7 0 剀2 - 3 可分离高斯函数二阶导数方向可变滤波器g ； f i g2 - 3t h es e p ”a b l es e c o n dd e r i v a t i v eo f g a u s s i ms t e e r a b l ef i l t e r s g ? 如图2 4 所示，为输入图像和经过滤波器处理后的输出图像e ( x ，y ) ，经过 方向可变滤波器处理后，台球桌面边缘略微可见。 ，l ， !一 r p 北京t n 学i 学碗l 。学镕文 塾一一一 _ l 1 啊_ ( 曲输入幽像 ( b ) 方向可变滤渡器输出围像 ( a ) i n p u t i m a g em ) i m a g ea 竹e rs t e e r a b l e f i l t e r i n g 酗2 - 4 方向可变滤波器处理图像示意图 f i 9 2 4 i l l u s t r a d o n o f s t e = e m b l e f i l t e r i n g 2 12 彩色分割 在斯诺克比赛中，台球桌面区域颜色为绿色，所以颜色信息是其重要特征， 通过彩色分割可以获取可能的台面区域。在彩色图像处理中，有许多颜色模型， 例如：r g b 、y c b c r 、y i q 、h i s 等模型。为了提高算法对环境光照变化的适应 性，这里选取h i s 模型中的h 分量用于彩色分割。 r g b 空间到h i s 空间的变换公式如式2 2 所示。 ，= ( r + g + b ) s = t i j 南 m ；n ( 一，。，。) 2 2 ：j 乱g2 占 【2 x 一0 ；g b o s 等等b 掣簪l ( r g ) 2 + ( r 一) ( g b ) i l 通过统计分析，台面象素的h 值( 即色调值) 集中在1 1 5 到1 2 5 之间，则认 为该象素点属于台面区域：否则，认为该象素点不属于台面区域。彩色分割的公 式如下： ，( y ) ： ：5 5 竺j j h 1 2 5 ( 2 - 3 ) 地y ) 。1 0 其他 塑：圣丝塑塑堡丝窒塞查! 垒 2 13 图像膨胀 图像膨胀是数学形态学中的一种方法，把图像周围的背景点合并到物体中 。删。在彩色分割处理后。在目标图像中会留下一些小洞，运用图像膨胀处理算 法可以很好的填充目标图像中的小洞。假设a 、b 是二维空间中欧式图像中的两 个集合。用结构元素胃集对图像a 集去膨胀，下式描述了膨胀处理： 4 0 b = 缸z 2i x = a + b , v a a 四( 2 - 4 ) 图像膨胀的计算如下： 如果f ( x ，y ) 的值为零，并且在它的邻域中有一个象素点的值为2 5 5 ，则输 出图像c ( x ，y ) 为2 5 5 ； 如果f ( x ，y ) 的值为零，并且在它的邻域中所有象素点的值为零，则输出图 像c ( x ，y ) 不变： 如果f ( x ，y ) 的值为2 5 5 ，则输出图像c ( z ，y ) 不变。 图像膨胀处理后的结果如图2 - 5 所示，用绿色标定的象素点描述了经图像膨 胀处理后的填充区域。可以看出，图像膨胀处理后，滤掉的边缘象素点被填充， 有利于后续处理。 酗25 彩色分割和膨胀后的图像 f 巷2 - 5 t h eo u t p mo f c o l o rs e g m e n t a t i o na n d i m a g ed i l a t i o n 214 局部峰值边缘点提取 局部峰值边缘点提取【7 0 7 剐是基于滤波处理图像e ( ，) 和彩色分割和膨胀 处理后的图像c ( ，y ) 完成。设图像宽度为w i d t h ( x = o ，1 ，w i d t h 一1 ) ，高度为 i ! 量i ：些垒兰兰! ：茎堡堡圣 e 瞎蔚( y = o 1 ， e 神卜1 ) ，其上、f 、左、右四个边缘提取公式如下 “一舻托嚣卜2 5 5 一。功一f 。”“1 船纳” 乜一撕= 搿趟州删一m 脚2 删2 删2 扎蚴。1 ( 2 6 ) 血蜊w ) = 托掣- 2 5 5 册加“卜叫c 力扣叫删陀 ( 2 - 7 ) 一砂“力= b掣2 搿蒯讯加“n 5 础仁删佗扎砒卜1 ( 2 8 ) 鲒景图如图2 6 所示： 2 l5 曲线拟合 图2 - 6 边缘提取结果 f i g2 4 t h eo u t p u to f e d g ed e t e c t i o n 由图2 - 6 所示，可以看出台球桌案的边缘可【= 上用二次曲线描述，其表现形式 为y = d r2 + b x ic 或x = a y 2 + 咖+ c ，但对于每条曲线，常系数b c 是 未知的，所以通过曲线拟合去确定它们。以上边缘曲线拟合为例： 假设有n 个候选边缘象素点( # ，y ，) ，f = 1 ，2 ，”。对于每个象素点，可以 获得公式，= 旺2 + 蜒+ c 。令e ，= 一一( q2 + 虹+ c ) ，e ，表示误差。对于所有 第2 章视频数据分析技术研究 象素点，可以获得公式： q ( p ) = ( 乞) 2 = ( 以一( 哆2 + 魄+ c ) ) 2 l = lt = l ( 2 - 9 ) 令q ( p ) 最小化可取得最优系数a 、b 、c 。基于最小二乘原理【8 1 1 ，可以解 决此问题。曲线通过所有的点会使曲线保留全部观测误差的影响，这是不希望看 到的，曲线拟和则不要求曲线通过所有的点，而是根据这些数据之间的相关关系， 给出合适的数学公式，画出一条近似曲线，以反映给定数据的一般趋势。公式 y = a x 2 + 如+ c 含有变量x 和x2 ，可以把- - c a 视为两个独立的变量。 令xl = x ， x 2=x， a o 2c ，a l 2a ，a 2 = b 。 y = 口x l + b x 2 + c = a o + a i - i - a 2 x 2 ( 2 1 0 ) 所以口o = y 一日l x l a 2 x 2 。 通过计算公式( 1 6 ) ，可以获得a l 和臼2 。 此处 ( 2 - 1 1 ) k = 删x l m x l m - - 寺( 塾。) 2 协 1 。：= x lr n kj ( 姜x ，。) ( 姜x ：。) ( 2 1 3 ) ：。= 喜t 。_ 册一 - - ( 喜t 。) ( 喜t 。) c 2 ，4 ， 1 ：= k k ，玎= l ， i = y 1 y ，一 t r t = 1 一专( 喜x ：。) 2 。2 。5 ， 一专( k ) ( 少肺) 】6 ， 1 ：，= y 。k j = l一专( ) ( y 。) ( 2 1 7 ) 2 2 口 口 2 2，1 乞 + 十 l l a 口 l l乞 、l 北京i 业太i 学碗十学位论文 通过解方程组( 2 - 1 2 ) 一( 2 1 7 ) ，可以得到d 、b 、c 。这样就呵以得出曲 线方程，曲线拟合结果图如图2 - 7 所示，基于曲线拟台结果可以轻松完成台面区 域分割，结果如图2 8 所示。 图2 7 曲线拟台结果图像 f i g2 1 t h e t e s u g o f c u r v e f i t t i n g 2 2 台球自动分割 图2 - 8 台面分割结果 f i g2 8 t h es e g m e n t e db o dr e g i o n 视频对象分割是视频分析领域中的重要手段，它主要涵盖了计算机科学、剖 像处理、视觉心理学和模式识别等诸多学科。由于对象分割涉及的内容较多且相 对复杂，许多因素都会对其产生影响： 1 ) 视频对象的多样性。不同的视频对象有各自的特征即使同一个对象在不 同环境下的特征也很可能发生变化，所以现阶段算法的设计一般都是根据不同的 场景或需要柬设计，使得算法通用性差。 2 、环境的复杂性。环境影响是对象检测时需要首先考虑并时时面对的问题， 也是对象分割成功与否的关键。 3 、对象自身的运动。视频对象一般在场景中都会发生快速运动在采集速率 相对较低的情况下，视频捕捉时会使台球图像清晰度下降，会影响对象图像的形 状、色调特征，从而提高了对象分割的难度。 这一部分算法由实验室其他同学实现，且测试效果良好，本章将不予论述。 视频对象分割结果用矩形框来表示结果如图2 - 9 所示： 量：耋些彗鍪堡竺堡苎尘至窑 图29 台球自动分* u 结果 f i 9 2 - 9 t h er e s u l t o f a u t o m a t l cb a i l ss e g m e n t a t i o n 2 3 台球跟踪策略 为提高台球对象分割效率，本文依据台球运动的时州相关性，充分利用前一 帧分割的台球的基本特征，采用基于帧间跟踪方式分割后续帧中的台球。 首先，利用前一帧分割的台球区域建立台球对象模板，进一步建立对象模型； 基于台球对象模板对跟踪结果进行有效性检测，若台球区域跟踪有效，将更新对 象模板；若无效，则重新启动台球检测算法。 2 3 1台球对象模型 前面提到，台球色调聚类性较好。考虑到相邻帧之间台球颜色相关性较大， 我们利用当前帧台球对象的色调特征建立对象模型f 4 ”，对象模型结构包括台球对 象的中心坐标、色调分量平均值、颜色信息标识符、台球对象标号、台球对象的 运动属性信息，如下式所示： b i l l i a r d sm o d e l 攀擞m 北京t 业人学t 学硕j j 学位论文 曼鼍詈曼鼍喜詈皇皇m-_ l i 鼍曼曼! 皇詈曼詈皇曼曼曼! 詈皇! 曼曼曼曼! 皇! ! ! ! 皇! 皇 2 3 2台球跟踪策略 在处理后续帧中台球对象数据时，以b i l l i a r d s m o d e l 的结构读取上帧中以 保存的2 2 个台球对象数据信息。利用台球区域检测算法，检测出当前帧中的所 有出现在桌面上的台球坐标信息，先对红球对象予以处理，再对其它彩球予以处 理。将前一帧在桌面上的红球与当前帧检测出的红球对应起来，首先判定前后两 帧中台球坐标数据的有效性，如果台球出界或落袋，则直接考虑下一个台球对象。 然后计算出前后两帧中红球对象模型的色调分量平均值，由于环境因素的影响， 测得的台球即使是同一颜色的台球，它的色调分量平均值也会出现偏差，这就需 要把前后两帧出现的台球对象逐个做色调分量平均值的差值处理，如果满足一定 的阈值，即可判定为前后两帧出项的台球是同一类球。最后再逐个计算前后两帧 中同一类球之间的距离，判定距离最小者为前后两帧中要跟踪的台球对象，并用 当前帧中对应的此台球坐标数据来更新此台球的对象模型。对其它彩球的处理方 式基本上也与此相同，这里不再累述。 如上所述，当前帧中出现的台球对象已与上一帧中出现的台球对象对应完毕 后，如果当前帧中有台球出界或落袋，则以无效数据对此台球进行位置信息存储， 并以标志符标明此球出界或落袋；如果前一帧中的台球坐标数据无效并且当前帧 中对应的此台球坐标数据有效，则用当前帧中对应的此台球坐标数据来更新此台 球的对象模型，以便对下一帧数据进行台球跟踪处理【1 3 , 4 9 】。程序流程如图2 - 1 1 所示： 图2 1 0 对象跟踪算法流程图 f i g 。2 10f l o wc h a r to fo b j e c tt r a c k i n ga l g o r i t h m 2 4 击球杆数的自动判定 击球杆数自动判定模块流程图，如图2 1 1 所示。 1 4 第2 章视频数据分析技术研究 图中用到的参数如下所示： b a l l c o o r d 2 2 ：当前帧台球坐标信息； p r e c o o r d 2 2 】： 前一帧台球坐标信息； d i f f c o o r d 2 2 】i 前后两帧作差； d i f f s u m ：前后两帧坐标作差( x ，y ) 之和； l m g n u m ：帧序号； l m g n u m l a b e l l ：记录当d i f f s u m 一0 ( 第一次) 时，记录当前帧的序号； l m g n u m l a b e l 2 ：记录当d i f f s u m 一0 ( 第二次) 时，记录当前帧的序号： f l a b e l l ：记录当d i f f s u m 一0 ( 第一次) 时，设置标志 f l a b e l l = t r u e ，f l a b e l 2 = f a l s e ； f l a b e l 2 ：记录当d i f f s u m 一0 ( 第一次) 时，设置标志 f l a b e l l = 砌跆2 ，f l a b e l 2 = t r u e ； f r a m e l o g n u m ：记录打一杆的帧数计数器。 读入视频时，通过视频帧分析、台球标定后，随后将进入击球杆数判定模块。 逐帧读入视频帧数据，如“击球杆数判定模块流程示意图”所示，首先判断读入 的视频帧数据是否为第一帧数据，如果它是第一帧数据，就不作任何处理；如果 它不是第一帧数据，就计算d i f f s u m ，d i f f s u m 是前后两帧坐标数据x 、y 作差的绝 对值之和，其计算式如公式2 1 9 所示： t = 2 1f - 2 l d i f f s u m = b a l l c o o r d i x - p r e c o o r d i x ) | + i b a l l c o o r d i y p r e c o o r d i y ) l ；0t=o 其中b a l l c o o r d 2 2 】：当前帧台球坐标信息： p r e c o o r d 2 2 】：前一帧台球坐标信息。 ( 2 - 1 9 ) 接着，f r a m e l o g n u m ( 此杆的帧数计数器) 加一。当d i f f s u m 等于零时，证明 一杆的击球已经完成，即所有目标球已经处于静止状态。l m g n u m 不等于零时， 北京工业大学t 学硕十学位论文 n ny y n l - 一- 一 图2 11 击球杆数判定模块流程图 h i l 动= i i t l 曲锄燃 f i g 2 1 1t h ef l o wc h a r to f d e t e r m i n a t i o no f h i t t i n gn u m b e r 虽 厂_ ，土曲一 算一茜 锣 一 一 一 蜀宅 囱囱 由 + 呈 表示此杆数据已经不是第一杆数据。当条件d i f f s u m 等于零以及i m g n u m 不等于零 的条件满足时，进入下一判断标记f l a b e l l 是否为真，如果为真，则把第一次发 生静止状态事件的帧号记录在i m g n u m l a b e l l 中，并把标记f l a b e l l 设为假、标记 f l a b e l 2 设为真；如图2 - 11 所示，如果判断f l a b e l l 为假而且标记f l a b e l 2 为真 时，则把第二次发生静止状态事件的帧号记录在i m g n u m l a b e l 2 中，并把标记 f l a b e l l 设为真、标记f l a b e l 2 设为假。这样，如果在两个静止状态事件间的帧 数大于3 ，则可判定为一杆击球的事件已经发生，便可生成信息文件i n f o t x t 以记录每杆的帧数，此时f r a m e l o g n u m 计数器清零，并且使杆数计数器加1 。 如果在两个静止状态事件间的帧数不大于3 ，则可把第二次发生静止状态事件的 帧号记录在第一次发生静止状态事件帧号的计数器中。此处判定一杆击球事件的 发生仅在两个静止状态事件间的帧数大于3 的情况下，因为在视频卡采集数据 时，有时会发生电压的扰动现象，导致采集的视频图像数据有噪音，使得视频分 析模块分析输出的台球位置坐标有偏差，误以为台球对象还在运动；一般情况下， 前后两杆发生的帧间隔会大于3 帧，所以判定一杆击球事件的发生是在两个静止 状态帧间的帧数大于3 的条件是合理的。 最后，把当前帧中的数据赋值给前一帧的数据，帧计数器加一，继续读入下 一帧数据，进行上述判断。如果视频帧中总体数据己处理完毕，就在最后一杆文 件中写入数据信息文件i n f o t x t ，以便二维数据插值模块、三维数据插值模块使 用。 2 5 本章小结 本章对视频数据分析的三个模块：台球台面自动提取、台球对象跟踪和击球 杆数自动判定进行了讨论。 提出了一种基于局部边缘峰值的台面自动分割算法，利用方向可变滤波器进 行边缘检测，然后用彩色分割结果作约束，提取局部边缘峰值得到边缘象素点， 最后通过基于最小二乘原理的曲线拟合方法最后提取斯诺克台面区域边缘，完成 台面自动分割。 在台球自动定位的基础上，然后讨论了台球运动跟踪问题，最后讨论了台球 自动分杆问题。 1 7 第3 章数据插值模块的设计与实现 3 i 关键帧数据丢失问题的产生 目前广泛应用于图像采集，电视监控及科研项目中的摄像机通常为电视制式 的p a l 或n t s c 制，它们是2 5 帧，秒或3 0 帧，秒，即每秒钟输出2 5 帧或3 0 帧图 像，适台采用电视接收机或者视频监视器显示输出图像，并且是隔行扫描方式， 分为奇数场和偶数场，两场为一帧口”。由于人眼的视觉暂留时间为1 1 0 秒，只 要每秒出现1 0 帧图像即可在大脑中产生动画感觉。 论文中为了解决台球快速运动导致的拖尾现象，我们选用了曝光时间较短 ( 约为1 0 m s ) 的视频采集系统，按照2 5 帧，秒采集得到的视频数据会丢失很多 关键帧数据，如球和球( 或边) 的碰撞点，这会给后续的功能模块( 例如双方得 分的判定、台球比赛是否犯规的判定、台球轨迹判定、台球运动模拟等) 的准确 实旋带来问题，因此，关键帧数据丢失也就成为本项目重点解决的问题之一。如 图所示： 在图3 - 1 ( a ) 、3 - l ( b ) 中用白色方框标出，描述了从第一帧到第二帧球的运动 情况，在第一个白色方框中，白球正在往台面的左上方运动，而红球则往下方运 动；在第二个白色方框中，绿球正在往台面的左方运动，而红球则往右方运动。 显然，相邻两帧给出的球在“跳动”而不是“运动”，因此我们需要补充中间帧 数据，以实现球的平滑运动。 ( a ) 第一帧 f a l t h e f i r s t f r a m e 第3 章数指插值模块的技术研究 ( b ) 第二帧 c o ) t h es e c o n d f r a m e 国3 - 1 丢帧现象示例 f i g3 - 1i l l u s t r a t i o no f f r a m e l o s s 3 2 关键帧数据丢失问题解决方案 本文通过数据插值解决关键帧数据丢失问题。首先，根据视频帧分析后得到 的二维数据( 即图像平面上的若干点的位置信息) 确定一个一元一次函数，即曲 线y = ，( z ) 。其次，根据确定的函数曲线，在己知数据点之间进行插值。算法 总体流程图如图3 - 2 所示。 进入数据插值模块后，通过读取d i r t x t 数据文件，来获取击球的总杆数信息 以及视频帧图像的宽和高信息，对所有杆的台球坐标数据信息进行插值。在对每 一杆的台球数据信息进行插值