（计算机应用技术专业论文）乒乓球拍外在性能的计算机检测技术研究.pdf

北方工业大学硕士学位论文 摘要 乒乓球运动是国人引以为荣的运动项目，我国的乒乓球运动员在各种赛事 上为祖国争得荣耀。球拍性能的好坏在很大程度上可以影响到一个选手的应战 水平，所以乒乓球运动员对球拍性能的要求很高。各大乒乓球拍生产厂家也迫 切需要了解其所生产球拍的外在性能。然而目前对球拍外在性能的评价仍处在 主观定性的水平。正是在这种背景下，我们进行了此项研究。这项研究得到了 天津7 2 9 ，大维等球拍生产厂家的合作和支持，并得到学校支持购得高速摄像机 进行实验研究。 本文提出了一种球拍外在性能测试的方法。用高速摄像机拍摄球与球拍的 撞击过程，以供之后在计算机上分析乒乓球在碰撞前后的状态变化以及球拍发 生的形变和碰撞时间。分析上述过程的图像得出分析结果，再在上述检测结果 基础上进行建模评价。 为了更清楚地拍摄这个过程，拍摄时用了较高的拍摄帧率( 3 0 0 0 1 0 0 0 0 帧 秒) ，拍摄的图像是海量的。逐帧检测耗时而且不必要。如何快速准确地定位对 检测有用的图像，区分检测的图像是碰撞前还是碰撞后的以进行之后的速度旋 转计算，以及计算球压入球拍的深度和时间，这些都是富有挑战性的问题。 基于图像检测技术，文中对这些问题都给出了圆满的答案。在这些检测结 果的基础上，建立了一个球拍评价模型，对球拍对速度，旋转方面的控制能力 都给出了相对客观而科学的定量评价，对球拍的控球能力也进行了有益的探索 性的定量评价。最后对这些评价用图形进行了仿真演示。在m i c r o s o r s u a lc + + 6 o 上开发并实现了上述研究内容的原型系统。此项研究以及系统实现为以后更 加精确客观地评价球拍的性能奠定了坚实的基础。 关键词：乒乓球拍外在性能，高速摄像，运动检测，运动仿真， 体育计算 北方工业大学硕士学位论文 ar e s e a r c ho nc o m p u t e rd e t e c t i o n7 i l e c h n o l o g y f 0 re x t e r n a lp e r f b r m a n c e0 f1 a b l e7 i e n n i sr a c k e t s a b s t l a c t t 抽l et e l l n i ss p o r ti sak i n do fs p o r t sg 锄et h a tw et a l ( ep r i d ei n ，i 1 1w 1 1 i c h0 1 1 r t a b l et e i l ：【l i sp l a y e r sw i nh o n o rf o ro u rm o t h 融a n d t l l ec o n l p e t e i l c eo fap l a y e ri s a 成c t e db yt l l ee x t e 玎脚p 蚓f b 肌a i l c eo ft h er a c k e t ，s ot 1 1 ep l a y e r sh a v ee s p e c i a l l y 1 l i 曲r e q u i r e m e n to fm em e k e tp e r f o 彻a n c e t h er a c k e tm a n u f a c t u r e r sa l s ow a n tt o l m o wt h ep e d o m l a n c eo ft h e i rr a c k e t s h o w e v e r ，t h ee v a l u a t i o nf o re ) 【t e r n 出 p e r f o 咖a n c eo fr a c k e t si s s t i l lo nt h el e v e lo fs u b j e c t i v ee v a l u a t i o n u n d e rt h e b a c k 罂o u n dd b o v e ，t h er e s e a r c hi sd o n e t h i sr e s e a r c hg e t sc o o p e r a t i o n 丘o ms o m e 觚o u sr a c k e tp r o d u c e r ss u c ha st i a n j i n7 2 9a i l dt i 删i nd a w e i o u rc o l l e g ea l s o s u p p o r t su sb yp u r c h a s i n gah i 曲一s p e e dc 锄e r a t h i sp a p e rc o m e su pw i t ham e m o do ft e s t i n gm ee x t e n l a lp e r f l o m l a n c eo f r a c k e t s t h em e t h o di s ：u s eal l i 曲- s p e e dc 锄e mt ot a l 【ep h o t o so fs t r i k e sb 酿v e e l lt h e b a l la n dt h er a c k e t ，f o rc o n s e q u e n ta n a l y s i so fm es p e e da n ds p i no ft h eb a l l ，d 印mo f d e f o r m a t i o na n dd u r a t i o no fs t r i k e s b a s e do n 也ed e t e c t i o nf e s u l t so ft h ep h o t os e r i e s w i t hi m a g em o t i o nd e t e c t i o nt e c l l i l o l o 踽a 1 1e x t 锄a lp 曲h 1 1 a 1 1 c ee v a l u a t i o nm o d e l i sd o n e f 0 rt a k i n gc l e a r - c u tp h o t o so ft h ec o u r s ew i mt l l el l i 曲一s p e e dc 锄e r a ，ah i 曲 f er a t e ( 3 0 0 0 1 0 0 0 0 厅锄e sp e rs e c o n d ) o ft h ec 锄e r ai ss e t ，s om a s s i v ei m a g e s a r et a l ( e n d e t e c t i n gm ei m a g e sf 锄eb yf 锄ei st i m e e x h a u s t i n ga i l du i l l l e c e s s a h o wt ol o c a t ea c c u r a t e l yt h er a n g eo fi m a g e sh e l p f h lf o rd e t e c t i o n ，d i 行色r e n t i a t et h e i m a g e sb e f o r ea n da n e rt h eh i t t i n gb e t w e e nt h er a c k e ta r l dt h eb a l ls o 嬲t oc a l c u l a t e t h es p e e da n ds p i no f m eb a l l ，a n dc a l c u l a t et h ec r u s hd e p mo f t h eb a l l i n t 0t h em b b e r o ft h er a c k e t ，a l lo ft h o s ea r ec h a l l c n 昏n gp r o b l 锄s t l l i sp a p e r 百v e ss a t i s f a c t 0 拶s o l u t i o n st om lt h o s ep r o b l 锄sp o s e da b o v e a r a c k e te x t e n l a lp e r f o m a n c em o d e li se s t a b l i s h e db a s e do nt h er e s u l t sw o r k e do u ti n t 1 1 ef o r e g o i n gp m c e s s ，w h i c hc a i l 舀v er e l a t i v e l yo b j e c t i v ea 1 1 ds c i e n t i 矗ce v a l u a t i o nt 0 t h ec o n 昀1a b i l i t yo fr a c k e to ns p e e da j l dr o t a t i o n ，a n dh e l p m la l l de x p l o r i n g e v a l u a t i o nt ot h ec o n t r 0 1a b i l i t yo v e rt h eb a l l s i m u l a t i o no ft h ee v a l u a t i o nr e s u l t si s d o n ei ng r a p l l i c sa tt h ee n d t h ep r o t o t y p es y s t 锄i sd e s i 印e da i l di m p l e m e i l t e dw i t h m i c r o s o r s u a lc 抖6 o t h er e s e a r c ha n dm es y s t e ml a y sg o o df b u i l d a t i o nf o r e v a l u a t i n gt h ee x t e n l a lp e r f - o 加：l a n c eo fr a c k e t sm o r ea c c u r a t e l yi nf h t u r e k e yw b r d s ：e x t e r n a lp e r f b r m a n c e ，h i g hs p e e di m a g e s ，m o t i o nd e t e c t i o n ， s i m u l a t i o n ，s p o r t sc o m p u t i n g 2 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得= j 量 方工业大学或其他教育机构的学位或证书而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 谢意。 学位论文作者签名：专唐n 而 签字日期： 一扩年，月二么日 学位论文版权使用授权书 本学位论文作者完全了解j 匕友王些太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅。本人授权j 量左王些太堂可以将学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：夕争夕卜虑9 签字日期：盱年十月2 i f 日 学位论文作者毕业后去向： 工作单位： 通讯地址： = 瓿 签字日期： 9 男年 r 10d 砌缃 ， 式中【x ， 为运动对象在图像空间的位置，丁为阈值。 由于时间差分反映对象运动状态的象素点偏少，而且连续二帧图像的时间 差分检测出的物体会比真实物体大很多，为了改进连续图像的时间差分效果， 提出了利用三帧图像计算两个差分图像，再令它们对应象素相乘，但是由于没 有考虑到摄像机的运动可能引起背景的运动造成差分图像中仍存在较多的伪运 动象素。 时间差分的运动检测对于场景中的光线渐变不敏感，但一般不能完全提取 所有相关的特征象素点，在运动实体内部容易产生空洞现象，对基于区域的运 动目标跟踪的鲁棒性不强，而且无法检测出静止的对象，对于运动目标的速度 有所限制。 ( 3 ) 光流( 0 i p t i c a lf 1 0 w ) 光流( o p t i c a lf l o w ) 法是目前运动图像分析的重要方法，它的概念是由g i b s o n 于1 9 5 0 年首先提出的，是指时变图像中模式运动速度。因为当物体在运动时， 它在图像上对应点的亮度模式也在运动。这种图像亮度模式的表观运动 ( a p p a r 饥tm o t i o n ) 就是光流。光流表达了图像的变化，由于它包含了目标运动 的信息，因此可被观察者用来确定目标的运动情况。由光流的定义可以引申出 光流场，它是指图像中所有像素点构成的一种二维( 2 d ) 瞬时速度场，其中的二 维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。所以光流不仅 包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息。对 光流的研究成为计算机视觉及有关研究领域中的一个重要部分。因为在计算机 视觉中，光流扮演着重要角色，在目标对象分割、识别、跟踪、机器人导航以 及形状信息恢复等都有着非常重要的应用。从光流中恢复物体三维结构和运动 则是计算机视觉研究所面临的最富有意义和挑战性的任务之一。正是由于光流 的这种重要地位和作用，使得众多的心理物理学家、生理学家和工程研究人员 都加入了它的研究行列。十多年来，他们提出了许多种计算光流的方法，而且 新的方法还在不断涌现。 基于光流方法【3 1 ，3 2 ，3 3 】的运动检测采用了运动目标随时间变化的光流特性， 如m e y e r 等【3l 】通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有 北方工业大学硕士学位论文 效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检 测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差， 如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。关于光流更 加详细的讨论可参见b 狮n 等的文掣2 0 j 。 当然，在运动变化检测中还有一些其它的方法，如f r i e d m a j l 与r u s s e l l 【3 4 】 利用扩展的e m 【3 5 1 ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法，为每个像素建立了混合高 斯分类模型，该模型可以自动更新，并能自适应地将每个像素分类为背景、影 子或者运动前景，在目标运动速度缓慢的情况下亦能较好地完成运动区域的分 割，并可以有效地消除影子的影响；另外，s t r i n g a 【3 6 】也提出了一种新颖的基于 数学形态学的场景变化检测算法，在变化的环境条件下获得了相对稳定的分割 效果。 在空间中，运动可以用运动场描述。而在一个图像平面上，物体的运动往 往是通过图像序列中不同图像灰度分布的不同体现的。从而，空间中的运动场 转移到图像上就表示为光流场，光流场反映了图像上每一点灰度的变化趋势。 光流可以看作带有灰度的像素点在图像平面运动产生的瞬时速度场。通过如下 图2 4 转动的球体( 其中左面是转动的球，右面是它产生的光流场) 和图2 5 移 动的方块( 其中左面是平移的方块，右面是它产生的光流场) 可以看出光流场 的产生。 图2 4 转动的球体 图2 5 平移的方块 北方工业大学硕士学位论文 ( 4 ) 小结 光流法的优点是能够检测独立运动的对象，不需要预先知道场景的任何信 息，并且可用于摄像机运动的情况，但多数光流法计算复杂耗时，除非有特殊 的硬件支持，很难实现实时检测；相邻帧差法非常适合于动态变化的环境，但 相邻帧差法不能够完整地分割运动对象，不利于进一步的对象分析与识别；运 动能量检测法适合于复杂变化的环境，能消除背景中振动的象素，使按某一方 向运动的对象更加突出地显现出来，但运动能量检测法也不能够精确地分割出 对象；背景减法实现最简单，并且能够完整地分割出运动对象，对背景已知的 应用，背景减法是一种有效的运动检测算法。 2 2 2 目标分类 目标分类的目的是从检测到的运动区域中将对应于运动对象的区域提取出 来。不同的运动区域可能对应于不同的运动目标，比如交通道路上监控摄像机 所捕捉的序列图像中可能包含行人、车辆及其它诸如飞鸟、流云、摇动的树枝 等运动物体，为了便于进一步对行人进行跟踪和行为分析，运动目标的正确分 类是完全必要的。下面给出两种常用的目标分类方法。 ( 1 ) 基于形状信息的分类( s h 印e - b a s e dc l a s s i f i c a t i o n ) 基于形状信息的分类是利用检测出的运动区域的形状特征进行目标分类的 方法。例如v s a m 【随】采用区域的分散度、面积、宽高比等作为特征，利用三层 神经网络方法将运动目标划分为人、人群、车和背景干扰；l i p t o n 等【1 6 j 利用分 散度和面积信息对二维运动区域进行分类，主要是区分人、车及混乱扰动，时 间一致性约束使其分类更加准确；k 明。与w a t a l l a b e 【2 5 】使用简单的人体轮廓模式 的形状参数从图像中检测运动的人。 ( 2 ) 基于运动特性的分类( m o t i o n - b a s e dc l a s s i 丘c a t i o n ) 基于运动特性的分类是利用人体运动的周期性进行目标分类的方法【2 6 2 7 2 8 1 。例如c u t l e r 与d a v i s 【2 6 1 通过跟踪感兴趣的运动目标，计算出目标随着时间变 化的自相关特性，而人的周期性运动使得其自相关也是周期性的，因此通过时 频化方法分析目标是否存在周期性的运动特性而将人识别出来；l i p t o n l z7 j 通过计 算运动区域的残余光流( r e s i d u a lf l o w ) 来分析运动实体的刚性和周期性，非刚 性的人的运动相比于刚性的车辆运动而言具有较高的平均残余光流，同时它也 呈现了周期性的运动特征，据此可以将人区分出来。 上述两种常用的目标分类方法有时可以结合起来使用【2 9 】，甚至可以考虑运 动物体色彩或速度等特征，以期得到更加准确的分类结果。另外，s t a u 仃“3 0 】提 出了利用时间共生矩阵进行分层分类的方法，该方法不仅可以用来区分物体， 北方工业大学硕士学位论文 还可以用来区分行为。 2 - 2 3 运动对象的跟踪 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等 有关特征的对应匹配问题，常用的数学工具有卡尔曼滤波【4 3 】( k a l m a l lf i l t e r i n g ) 、 c o n d e i l s a t i o n 算法【“1 及动态贝叶斯网络【4 5 】( d y n 锄i cb a y e s i a l ln 咖o r k ) 等。其 中k a l m 觚滤波是基于高斯分布的状态预测方法，不能有效地处理多峰模式 ( h 仉l t i m o d e ) 的分布情况；c o n d e i l s a t i o n 算法是以因子抽样为基础的条件密度 传播方法，结合可学习的动态模型，可完成鲁棒的运动跟踪。目前，就跟踪对 象而言，有跟踪如手、脸、头、腿等身体部分【4 6 - 5 2 1 与跟踪整个人体的【5 3 ，5 4 ，5 5 1 ； 就跟踪视角而言，有对应于单摄像机的单一视角【4 8 5 6 1 、对应于多摄像机的多视 角【5 7 5 9 1 和全方位视角删；当然还可以通过跟踪空间( 二维或三维) 、跟踪环境 ( 室内或户外) 、跟踪人数( 单人、多人、人群) 、摄像机状态( 运动或固定) 等方面进行分类。下面仅依据不同的跟踪方法来加以分类介绍。 ( 1 ) 基于模型的跟踪( m o d e l - b a s e dt r a c l 【i n g ) 传统的人体表达方法有如下三种【6 1 】：a ) 线图法( s t i c kf i g u r e ) ：人运动的 实质是骨骼的运动，因此该表达方法将身体的各个部分以直线来近似，例如 k a r a u l o v a 【6 2 】建立了人体运动学的分层模型，用于单目视频序列中人体的跟踪o b ) 二维轮廓( 2 dc o n t o w ) ：该人体表达方法的使用直接与人体在图像中的投影 有关，如j u 等【6 1 】提出的纸板人模型，它将人的肢体用一组连接的平面区域块所 表达，该区域块的参数化运动受关节运动( a n i c u l a t e dm o v 锄e 1 1 t ) 的约束，该 模型被用于关节运动图像的分析；n i y o 西与a d e l s o n 【6 3 j 利用时空切片方法进行人 的跟踪：首先观察由人的下肢轨迹所产生的时空交织模式，然后在时空域中定 位头的运动投影，接下来识别其它关节的轨迹，最后利用这些关节轨迹勾画出 一个行人的轮廓。c ) 立体模型( v 0 1 啪嘶cm o d e l ) ：它是利用广义锥台、椭圆 柱、球等三维模型来描述人体的结构细节，因此要求更多的计算参数和匹配过 程中更大的计算量。例如r o “删使用1 4 个椭圆柱体模型来表达人体结构，坐 标系统的原点被定位在躯干的中心，目的是想利用该模型来产生人的行走的三 维描述；w 犯h t e r 与n a g e l 【6 5 】利用椭圆锥台建立三维人体模型，通过在连续的图 像帧间匹配三维人体模型的投影来获得人运动的定量描述，其中，它利用了迭 代的扩展卡尔曼滤波方法，结合边缘、区域信息及身体解析约束确定的身体关 节运动的自由度，实现单目图像序列中人的跟踪。 ( 2 ) 基于区域的跟踪( r e 西o n - b a s e dt r a c k i n g ) 基于区域的跟踪方法目前已有较多的应用，例如w t e n 等【6 6 j 利用小区域特征 北方工业人学硕士学位论文 进行室内单人的跟踪，文中将人体看作由头、躯干、四肢等身体部分所对应的 小区域块所组成，利用高斯分布建立人体和场景的模型，属于人体的像素被规 划于不同的身体部分，通过跟踪各个小区域块来完成整个人的跟踪。基于区域 跟踪的难点是处理运动目标的影子和遮挡，这或许可利用彩色信息以及阴影区 域缺乏纹理的性质来加以解决，如m c k e i l i l a 等【2 6 】首先利用色彩和梯度信息建立 自适应的背景模型，并且利用背景减除方法提取运动区域，有效地消除了影子 的影响；然后，跟踪过程在区域、人、人群三个抽象级别上执行，区域可以合 并和分离，而人是由许多身体部分区域在满足几何约束的条件下组成的，同时 人群又是由单个的人组成的，因此利用区域跟踪器并结合人的表面颜色模型， 在遮挡情况下也能够较好地完成多人的跟踪。 ( 3 ) 基于活动轮廓的跟踪( a c t i v ec o n t o u rb 嬲e dt r a c k i n g ) 基于活动轮廓的跟踪【6 7 ，6 8 ，6 9 1 思想是利用封闭的曲线轮廓来表达运动目标， 并且该轮廓能够自动连续地更新。例如p a r a 西o s 与d 耐c h e 1 67 j 利用短程线的活动 轮廓、结合l e v ds e t 理论在图像序列中检测和跟踪多个运动目标；p e t e m e u n d 【6 州 采用基于卡尔曼滤波的活动轮廓来跟踪非刚性的运动物体；i s a r d 与b l a k e 【6 w 利 用随机微分方程去描述复杂的运动模型，并与可变形模板相结合应用于人的跟 踪。相对于基于区域的跟踪方法，轮廓表达有减少计算复杂度的优点，如果开 始能够合理地分开每个运动目标并实现轮廓初始化的话，既使在有部分遮挡存 在的情况下也能连续地进行跟踪，然而初始化通常是很困难的。 ( 4 ) 基于特征的跟踪( f e a n l r e - b a s e dt r a c k i n g ) 基于特征的跟踪包括特征的提取和特征的匹配两个过程。p o l a n a 与n e l s o n 的文章【7 0 】就是一个很好的点特征跟踪的例子，文中将每个行人用一个矩形框封 闭起来，封闭框的质心被选择作为跟踪的特征；在跟踪过程中若两人出现相互 遮挡时，只要质心的速度能被区分开来，跟踪仍能被成功地执行；该方法的优 点是实现简单，并能利用人体运动来解决遮挡问题，但是它仅仅考虑了平移运 动，如果结合纹理、彩色及形状等特征可能会进一步提高跟踪的鲁棒性。另外， s e g e n 与p i n g a l i 的跟踪系统【”】使用了运动轮廓的角点作为对应特征，这些特征 点采用基于位置和点的曲率值的距离度量在连续帧间进行匹配。以卡尔曼滤波 形式的点、线特征的跟踪技术在计算机视觉领域中已被很好地开发，如j a l l g 与 c h o i 【5 2 】利用区域的形状、纹理、色彩和边缘特征信息建立了活动模板，结合卡 尔曼滤波的预测方法，使特征匹配能量函数最小化来完成运动目标的跟踪过程， 该活动模型对于非刚性物体的跟踪具有很好的自适应性。 北方工业大学硕士学位论文 2 2 4 当前运动检测的难点分析 如以上分析，虽然对运动对象的检测有了一定的进展和成果，但是仍然有 几方面的难点，迫切需要解决。 ( 1 ) 遮挡处理 目前，大部分对象的运动分析系统都不能很好地解决目标之间互遮挡问题， 尤其是在多对象状态下，检测和跟踪问题更是难于处理。遮挡时，对象只有部 分是可见的，而且这个过程一般是不可训练的，简单依赖于背景减除进行运动 分割的技术此时将不再可靠，为了减少遮挡或深度所带来的歧义性问题，必须 开发更好的模型来处理遮挡时特征与对象各部分之间的准确对应问题。另外， 一般系统也不能完成何时停止和重新开始部分对象的跟踪，即遮挡前后的跟踪 初始化缺少自举方法。当然，可喜的进步是利用统计方法从可获得的图像信息 中进行对象形状、位置等的预测；不过，对于解决遮挡问题最有实际意义的潜 在方法应该是基于多摄像机的跟踪系统。 ( 2 ) 运动分割 快速准确的运动分割是个相当重要但又是比较困难的问题。这是由于动态 环境中捕捉的图像受到多方面的影响，比如天气的变化、光照条件的变化、背 景的混乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的遮挡、 甚至摄像机的运动等，这些都给准确有效的运动分割带来了困难。就以运动目 标的影子为例，它可能与被检测的目标相连，也可能与目标分离。在前者情况 下，影子扭曲了目标的形状，从而使得以后基于形状的识别方法不再可靠；在 后者情况下，影子有可能被误认为为场景中一个完全错误的目标。尽管目前图 像运动分割主要利用背景减除方法，但如何建立对于任何复杂环境的动态变化 均具有自适应性的背景模型仍是相当困难的问题。一个可喜的发展是，一些研 究者们正利用时空统计的方法构建自适应的背景模型，这也许对于不受限环境 中的运动分割而言是个更好的选择。 ( 3 ) 多摄像机的使用 使用单一摄像机的三维对象的跟踪研究还很缺乏，对象形状和运动在单一 视角下由于遮挡或深度影响而容易产生歧义现象，因此使用多摄像机进行三维 姿势跟踪和恢复的优点是很明显的。同时，多摄像机的使用不仅可以扩大监视 的有效范围，而且可以提供多个不同的方向视角以用于解决遮挡问题。很明显， 未来的对象运动分析系统将极大受益于多摄像机的使用。对于多摄像机跟踪系 统而言，我们需要确定在每个时刻使用哪一个摄像机或哪一幅图像。也就是说， 多摄像机之间的选择和信息融合是一个比较关键的问题。 北方工业大学硕士学位论文 3 高速摄像机下乒乓球运动检测 高速摄像的结果是一帧一帧的图像。由于帧率很高，加上需要保证将球与 拍撞击的场景拍摄下来，实际拍摄时开拍的时刻总是需要早于球发射的时间。 这样，有很多对检测无用的场景被拍摄下来。这样的图像是很多的一以每秒3 0 0 0 帧计，早拍摄o 5 秒便有1 5 0 0 帧。而图像检测是相当耗时的，故而逐帧检测不 可取。这便涉及到如何快速查找到要检测的图像的范围的问题。本章第三节将 详述一个快速定位的方法。 实验中，高速摄像拍摄时需要强光照射目标物，才能较清晰的拍到图像。 强光照射的结果使得球的迎光面( 正对光的一侧) 和背光面亮度相差很大。这 给检测带来了很大的麻烦。以下目标检测中就此问题提出了解决方法。 为了之后的评价模型的建立，实验中球拍放置有两种角度( 与水平线的夹 角) ：一种是非直角( 3 0 度，4 5 度，6 0 度) ，另一种是直角( 垂直方向，即9 0 度) 。前一种这里称之为非直角入射检测，进行速度和旋转的检测。后一种这里 称之为碰撞检测，进行球压入球拍的深度的检测，和球与球拍碰撞过程中的接 触时间的计算。 3 1 单幅图像中目标检测 图像目标检测有多种方法，一个基本的方法是先对图像进行分割，分割的 结果便是将背景与前景区分开。实验中以黑色的幕布为背景，当然，有色的球 拍以及一些实验装置也会同时摄入图像中。用一般的目标分割方法，会把球拍 和球都当作目标。而需要提取的只是球目标。如何把其中的球目标正确提取出 来，这里给出两种方法进行球目标提取。它们分别针对不同的应用情景。 3 1 1 第一种检测方法 这是一种融合阈值分割与背景差法进行目标提取的一种方法。主要针对白 色球的检测。因为白色球受光照影响较大，这种算法可以有效避免光照的影响， 正确地提取出球目标。 检测流程如下： 背景减除的目标检测方法是利用当前检测图像与背景图像之间的差异来检 测运动目标的，是一种序列图像运动分析的基本方法。如前面分析，这种方法 在运动检测方面比较广泛，其运算量较小，易于实现，而且实际检测效果较好。 在实际的乒乓球检测中，当摄像机静止时，乒乓球的运动可以看作是简单的二 维平移运动，背景减除的方法非常适合这种二维平移运动目标的检测。 北方工业大学硕士学位论文 我们在乒乓球比赛现场进行序列图像采集时，假设摄像机是静止的，检测 乒乓球最简单而且有效的方法就是象素级的阈值背景减除法。如果直接对2 4 位 r g b 位图进行比较应该说比较困难，我们的做法是先把背景图和检测图进行灰 度处理： g = ，- 0 3 + g 0 5 9 + 6 o 1 1 然后根据实际情况计算一个合适阈值t ( o 一2 5 5 ) ， 值图d f ，只有黑色和白色( 其中乒乓球看作白色) ： i2 5 5g 丁 口= lo g o 则为要检测对象，如果r o 则非检测对象。 最后对检测出的对象进行整合，设置对象整合距离阈值d t ，如果检测到对 象之间的距离悦s 别朋晒d 丁，对象进行整合，否则不进行整合。 这里关键的问题是如何获得背景图像。这里所指的背景图像指没有乒乓球 在其中的图像。当然，可以用摄像机拍摄的方法获得，也就是在正式拍摄乒乓 球运动之前，拍摄背景。但是，很多情况下，由于人工疏忽或其它原因，忘了 或者无法拍摄背景图像。所以，有必要用既有的图像帧序列生成背景图像。而 且，在很多情况下，用既有的图像序列生成背景图像是可行的。这种用既有的 图像序列生成背景图像自的方法被称为背景重构。这里介绍一种基于像素灰度 归类的背景重构算法。它的应用条件是，背景像素灰度以最大概率出现在图像 序列。我们的图像序列显然是满足这个条件的。 算法思想：利用灰度差对相应像素点灰度进行归类，选择频率最高的灰度值 作为该点的背景像素值在背景缓慢变化和突变时，分别利用该算法进行定时和 实时背景重构具有明显的优点。 算法步骤如下： 步骤1 划分像素点的灰度平稳区间。 已知图像序列( i l ，1 2 ，i m ) ，从中等间隔抽取n + l 帧图像，记为 ( f o ，亿，f n ) ，( f i ( x ，y ) 表示在这n + l 帧图像中的第1 帧( i = o ，1 ，2 ，n ) ( x ，y ) 像素点处 的灰度值，则存在下式： 北方工业大学硕士学位论文 回( x ，y ) = 1 ，l 觑工，y ) 一万一- ( 石，y ) | f 回( x ，y ) = o ，i 觑工，y ) 一万一( x ，y ) i = f 公式( 3 4 ) 如果a j ( x ，y ) = 1 ，则与与与1 不一致，不属于同一灰度平稳区间；否则，属于同一 灰度平稳区间。 步骤2 分别计算各灰度平稳区间的平均灰度值。 假设一共得到p 个灰度平稳区间，各灰度平稳区间所含像素数记为 ( m l ，m 2 ， i i l p ) ，有： p 罗坍。= + l 一 暑= l 第s 个灰度平稳区间的平均灰度值为： 臼+ m s 乃( x ，y ) 厶苫( ，) ( 工，y ) = j 三皇_ 一 掰5 公式( 3 5 ) 公式( 3 6 ) 若铲1 ，设定b = 0 ； 若s = 2 ，3 ，p ，设定b = m l + m 2 + + m s 1 由上式得到这个灰度平稳区间的平均灰度值。 步骤3 将平均灰度值相近的灰度平稳区间归为一类，称为灰度值一致 区间，统计该区间像素点出现的频率。 比较所得的个灰度平稳区间的平均灰度值，选出灰度值一致的全部区间并 合并，若 l 厶曙( ，) ( z ，y ) 一厶 苫( ) ( 工，少) i = b h = 2 万一口w h e ng b r + g + 口 3 s = 1 半m i n ( j r ，g ，b ) 检测算法过程如下： 公式( 3 1 2 ) 手动选择要选择的目标的某像素，作为候选颜色，将其转化到h s i 空间， 记下h 分量- h o 。 将检测图像全部像素转化到h s i 颜色空间。 之后的检测与第一种方法相类似，唯一的不同之处在于像素归类为目标 北方工业大学硕士学位论文 的条件不同，此处条件应为：检测像素对应的h 值与h o 差值在某一范围之内。 此检测方法的好处在于：受光照影响较小。但是它需要的计算量较大，正 如上面公式所示，将r g b 空间转化到h i s 空间要涉及正弦余弦这样的复杂运算。 而且在纯黑和纯白时，h 值没有定义，需要用s 值辅助检测。所以软件实现中， 采用了前一种方法。 3 1 3 目标表达 检测结果是用一个记录矩形的结构来存储的。这样的存储方式足以满足我 们的应用速度计算和旋转计算以及压入深度计算。更复杂的目标表达方式费 时，前期处理和后期处理都相对复杂。以下结构表示被检测出对象的边界坐标： t y p e d e fs t m c t _ o b j e c t r e c t i n tm l m i n x ，m m a x x ，删i n y ，m j m a x y ； ) o b j e c t r e c t ； 需要注意的是： 它以图像左下角为( o ，0 ) ，与显示器不同( 左上角为( o ，0 ) ) 。 s t r u c tm 破 c i b j e c t r e c tr c m a r k ； i n tn b m p f i l e ； i l l tn f m m e n u m ： ) ； m 破这个结构体用来记录检测出的球标信息。r c m a r k 是其所占矩形区域。 1 1 b m p f i l e 是所在图像组中的序号数，因为这张图像中不一定有图标，或者说不 一定检测出了图标，如果有这种情况，i l f r 锄e n 啪记录有图标的图像的序数( 如 果某帧图像无图标，i l f r 锄e n 啪无效) 。显然n f r a m e n 啪 = m a n d e 两g o t o8 ：l s e g o t o3 ) ： 3 ) j = s 七r e c o r d l i 】：g o t o4 ) ： 4 、玳 图像结束索弓| ) g o t o8 ) ：d s e 粤o t o5 ： 5 )g ( ! d e t c l o n e f r 晓激