（机械电子工程专业论文）基于图像识别的羽毛球实时分类统计系统的研究.pdf

摘要在羽毛球的比赛和训练现场，为了针对对手情况及时调整技战术和指导训练，教练员需要及时准确地掌握现场的技战术统计数据。本研究的目的是探索基于图像识别的方法来对羽毛球运动进行实时分析统计。在羽毛球的比赛：和i u i i 练现场通过摄像机实时地采集图像到计算机，由软件系统对图像进行实时分析处理，获得比赛和训练的统计数据，将获得的数据及时地显示给教练员和运动员参考，而且能够对分析处理的结果进行回放以供教练员对具体细节的分析研究。本研究选用高速数字摄像机采集图像，利用w i n d o w s 系统的多任务特点使用多线程结合缓冲队列的方法实现图像数据采集和分析的并行处理。利用差分法检测运动物体，对差分图像进行二值化，并进一步测量二值图像的目标重心存入链表供以后使用。利用物体运动特性对目标进行匹配跟踪，获得轨迹群。再依据羽毛球运动轨迹的特点提取出其轨迹，对羽毛球轨迹分析其球类。利用物体的运动特性进行目标跟踪，克服了单单使用物体静态特征进行跟踪的局限。通过使用目标重心数据而没有直接利用图像本身数据进行分析提高了系统的运行速度和系统的实时性。基于本研究所开发的系统在训练现场和利用拍摄的图像文件进行了适用验证，与目测方法相比较，球类的统计准确率在9 9 9 6 以上，处理速度达到4 0 帧，秒左右，能够满足实时测量的需要。关键词：图像识别，运动检测，轨迹跟踪，球的类型识别a b s t r a c ti nb a d m i n t o nm a t c h e sa n dt r a i n i n g ，i no r d e rt oa d j u s tt a c t i c st od e a lw i t hd i f f e r e n to p p o n e n t s ，t h ec o a c hm u s th a v eag o o dk n o w l e d g eo ft h et a c t i c sa n ds t a t i s t i c so ft h ep l a y e r t h eu l t i m a t eg o a lo ft h i ss t u d yw a st od e v e l o par e a l t i m es t a t i s t i c ss y s t e mt oi m p r o v eap l a y e r sb a d m i n t o nm a t c ha n dt r a i n i n gt a c t i c s ，w h i c hc a np e r f o r mr e a l - t i m es t a t i s t i c sf o rt h et a c t i c so ft h ep l a y e ra n dc a np r o v i d et h ec o a c hw i t hs t a t i s t i c a li n f o r m a t i o na b o u tt h ep l a y e rd u r i n gb a d m i n t o nt r a i n i n go rm a t c h e s t h es t u d ya c q u i r e ss a m p l ei m a g e su s i n gad i g i t a lc a m e r a t h ea p p l i c a t i o nf o rs y n c h r o n o u sc a p t u r e ，a n a l y s i sa n dd a t as t o r a g eu s e dw i n d o w sm u l t i t h r e a d i n gt e c h n o l o g ya n db u f f e rq u e u e f o rd e t e c t i n gm o t i o no b j e c tt h ed i f f e r e n c eb e t w e e nt w oc o n s e c u t i v ef r a m e si su s e d t h ei m a g eo ft e m p o r a ld i f f e r e n c ei sp r o c e s s e dt ob eb i n a r yi m a g e t h eb a r y c e n t e ro fe a c hw h i t ep i x e lb l o c ki sm e a s u r e do nt h eb i n a r yi m a g ea n di ss a v e di n t ol i s t u s i n gm o t i o ns p e c i a l i t yt r a c e st h eo b j e c t st r a j e c t o r i e s ，a n dd e t e r m i n e sw h e t h e rt h el o n g e s tt r a j e c t o r yi st h es h u t t l e c o c kt r a j e c t o r y t h es h u t t l e c o c kt r a j e c t o r yi sa n a l y z e dt od e t e r m i n et h es t r o k et y p e o b j e c tt r a c i n gu s i n gm o t i o ns p e c i a l i t yo v e r c o m e st h el i m i tu s i n gs t o i cc h a r a c t e r s w i t h o u td i r e c t n e s su s i n gi m a g ed a t a ，m a k i n gu s i n go fb a r y c e n t e r si m p r o v e st h ei n ns p e e da n da d v a n c e st h et e a 】t i m ec h a r a c t e f _t h ea c c u r a c yo ft h ed e t e c t i o no ft h es t r o k et y p ew a sa p p r o x i m a t e l y1 0 0 ，c o m p a r e dw i t hh u m a n - e y em e a s u r e m e n t t h ea v e r a g ed e t e r m i n a t i o ns p e e dw a sa p p r o x i m a t e l y4 0s c e n e s s ，i n d i c a t i n gt h a tt h ea l g o r i t h mc o u l db eu s e df o rr e a l - t i m ed e t e r m i n a t i o ni nab a d m i n t o nm a t c h k e yw o r d s ：i m a g ea n a l y s i s ，m o t i o nd e t e c t i o n ，t r a j e c t o r yt r a c k i n g ，s t r o k et y p ei d e n t i f y i n g独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特1 1 ；i i 以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中p l 农, l l , 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：三_ 颤瑟时间：矿6 年厂月“i i关于论文使用授权的说明本人完全了解中国农业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同意中国农业大学可以用不同方式在不同媒体上发表、传播学位论文的全部或部分内容。( 保密的学位论文在解密后应遵守此协议)研究生签名：导师签名王舌掘，潲时间：d 6 年r 月膨日时间：o6 年j 月f 6 日中国农业大学硕：七学位论文第一章绪论1 1 前言第一章绪论随着计算机技术、v l s i ( 超大规模集成电路) 技术和高分辨率传感器技术在最近二十几年的发展，图像技术有了广泛的应用，如工业上的生产过程控制、机器人视觉、飞行器导航、机场的安全检测和视频监控等等。图像技术逐步发展成为- - f 3 独立的学科图像工程科学。图像工程可以分为三个层次：图像处理、图像分析和图像理解。图像处理是对图像本身进行“加工”，以改善其视觉效果或表现形式，并为图像分析打下基础，其输出形式仍然是图像。图像分析则主要是对图像中感兴趣的目标进行检测。以获得它们的客观信息，从而建立对图像的描述，图像分析的输出是一组描述目标图像特点和性质的数据。图像理解的重点是在图像分析的基础上，进一步研究图像中各目标的性质和它们之间的相互关系，并得出对图像内容含义的理解以及对原来客观场景的解释，继而借助知识与经验，运用数字、物理、虚拟、推理等方法和手段，建立严谨的或模糊的演绎模式，由计算机进行联想、思考及推理，从而指导对客观世界的描述、理解、规划和行动。基于运动图像的目标识别和跟踪技术是图像工程中的一个至关重要的内容。基于运动图像的处理具有以下突出的优点：( 1 ) 可以获取现实生活中大量有意义的运动信息；( 2 ) 可以获得的信息量大，有利于分析判断：( 3 ) 测量精度高，抗干扰能力强，可以消除许多自然及人为干扰；( 4 )运用预测技术可以实现记忆跟踪阻及对瞬问丢失目标的再捕获。由于国内外专家的大量研究及其在工业、医疗、军事上的成功应用，可以预料，随着生产和生活过程中对图像处理要求的日益增多以及各项相关技术的进一步发展，运动图像识别的应用将更加广泛，对它的研究也将更加深入。然而由于这一领域的发展时问较短，再加上其研究内容涵盖多个领域，融合了图像处理、模式识别、人工智能、自动控制以及计算机等许多领域中的先进技术，其理论还不是很完善，有一些重要的问题尚在研究阶段，新的方法和技巧还有待发现，因此进行有关图像目标识别与跟踪技术的研究无疑是一项既有理论意义又有实用价值的课题。1 2 运动图像中目标识别与跟踪方法运动图像的目标识别与跟踪，目的就是通过对传感器拍摄到的动态图像进行分析，计算出目标在每帧图像上的位置坐标，并根据不同的特征值，将动态图像中相邻帧间的同一目标关联起来，得到各个运动目标完整的运动轨迹和运动参数。运动图像中目标的识别和跟踪方法包含两方面的内容：一方面是运动图像中运动目标的检测和识别方法，即目标的分类和分割方法：另一方面是目标的跟踪，即目标的定位问题。这两方面相辅相成。运动图像中目标的检测分为两种方法：特征识别法和基于运动的识别法“1 。特征识别包括两个主要步骤：一是从相邻两幅或多幅不同时刻的图像中抽取特征( 如角特征、点特征、特征线等) ，建立对应关系；二是依据这些特征之间的对应关系来计算物体的结构( 如形状、位置等) 和运动参数。主要难点在于确定和提取特征。基于运动的识别法与前者有很大的不同，它把运动作为目标的首要特征，一般采用的方法有提取光流场、帧问差分和与背景图像差分等。中国农业大学硕士学位论文第一章绪论运动图像目标的识别有多种方法，但总体上可以划分为两大类：一是相关匹配法；二是特征匹配法。相关匹配法是通过计算当前图像与参考图像间的相关系数的大小，根据最大相关值所在的位置，来确定目标在当前输入图像中的位置。相关匹配法具有很强的噪声抑制能力，可以在很小的信噪比条件下工作。它对有关目标的知识要求很少，而且计算形式简单，易于实现。但它对几何和灰度畸变十分敏感，计算量偏大，而且往往不能充分利用目标的几何特性，易产生累积误差。它比较适合于当前输入图像和参考图像的产生条件较为一致、目标的尺寸变化不大并且场景各部分的相关性不强的场合。特征匹配法是通过比较参考图像中目标的特征与输入图像中目标的特征来实现目标的辨识，它是目前研究较多的一类图像匹配方法。它首先提取输入图像目标和参考目标( 通常称之为模板) 的特征( 如边缘、角、点等) ，然后依照某种距离测度来比较输入图像与参考图像的特征集如果输入图像中目标的特征集与参考图像中目标的特征集在满足给定约束条件下距离最小，则判定该目标为识别目标。特征匹配法充分利用了目标图像的特征信息，对目标的几何、灰度畸变不敏感，因而可以保证较高的跟踪精度。由于它以较少数量的特征来表征目标图像，因此大大降低了计算量和存储量，但它对噪声十分敏感，对预处理和特征抽取有较高的要求。运动目标跟踪是通过对运动目标的特征分析、处理，进行动态匹配来完成目标跟踪的。对于运动图像目标的跟踪主要有如下几种方法：对比度跟踪算法、特征序列匹配算法和图像相关跟踪算法等。对比度跟踪算法是利用目标与背景之间的对比度来识取和提取目标信号，实现自动跟踪目标运动的一种方法，依跟踪参考点的不同对比度跟踪常用的算法有：边缘跟踪、形心跟踪、矩心( 重心、质心) 跟踪、峰值( 点) 跟踪等。特征序列匹配算法是抽取图像中足以表示目标信息的一组特征序列，与标准特征序列相配准，来确定目标及其在图像中的位置。重要的是选择合适的特征序列，选择的特征序列应该对目标的大小、位置、方位和照度变化不敏感图像的特征可以是幅度分布、频谱、几何特征( 如点、线、面、边缘、纹理) 等。相关跟踪算法是把一个预先存储的目标图像样板作为识别和测定目标位置的依据，用目标样板与实时图像的各个子区域图像进彳亍比较( 算出相关函数值) ，找出和目标样板最相似的子图像位置，确定为当前目标的位置。这种算法也叫作“图像匹配”。相关跟踪算法具有很好的识别能力，可以跟踪复杂背景中的目标，能有效地排除杂散光的干扰，能在低信噪比条件下提供最好的跟踪性能，可靠性高，是目前使用较为广泛的跟踪算法。从以上的介绍中可以看到，现有的各类识别方法和定位方法都只是在目标的尺寸和对比度变化不大、噪声的干扰较小、图像灰度的空间变化不显著的环境中，才能取得较好的性能。然而实际的使用环境通常是不断变化的，只使用一种方法来实现目标的识别与跟踪难以取得令人满意的效果。近些年来，提出了混合定位识别的方法，以合理地综合使用上述各类基本的识别方法，使它1 r j s 够互为补充。这在某种程度上代表着目标识别方法的一个发展方向，颇具理论研究和应用价值。2中国农业大学硕士学位论文第一章绪论1 3 目标识别和跟踪在体育运动分析中的应用和发展世界体育事业的蓬勃发展，使得竞技水平迅速提高，各种运动项目在群众体育中得到了广泛开展。随着信息技术的发展，信息技术与竞技体育的结合得到了广泛的应用。信息技术可以实现竞技体育训练从传统的基于经验的方法到基于高精度计算机辅助分析的方法的转变，从传统的人眼观察的方法到基于高精度运动捕捉与分析的运动测量方法的转变。各种高质量的竞赛设备不但是高水平比赛的必需品，同时在休闲体育中的需求也越来越大。图像识别和目标跟踪技术应用于竞技体育比赛中对目标进行识别和跟踪处理，反馈比较精确详细的数据，可以用于竞赛计分或训练中的数据统计工作，测量的结果更加准确、客观。g o p a ls a r m ap i n g a l i 等人“提出针对体育广播的实时跟踪技术。以网球比赛为例，该网球跟踪系统可以输出运动员和网球运动的时空迹线，进一步通过迹线可以获得任一时刻运动员和球体的运动速度、加速度、运动距离等特征参数。为了跟踪运动员的运动轨迹，通过连续的i 侦差分并阈值化来获得运动区域，接着执行数学形态学运算来填充提取的运动区域缝隙并提取每帧上运动区域的特征，然后利用这些特征进行匹配获得运动员的运动轨迹。为了跟踪网球的运动轨迹，利用网球在h s v ( h u e 色度，s a t u r a t i o n 饱和度，v a l u e 纯度) 色彩空间中色度和饱和度的特征来识别出每帧上的球体，从而实现对球体的跟踪。x i n g u oy u 等人”“”针对足球比赛视频提出通过产生和分析运动轨迹来获得足球的位置的新框架。首先利用图像上运动员的大小来推断球的大小范围，接着利用颜色、非球体的大小等特征去除一些非球体的干扰，然后在候选特征图像中利用卡尔曼滤波的方法产生候选轨迹，最后利用球的运动特征从候选轨迹中挑选出球体的运动轨迹。a h m e te k i n 等人。1 为自动、实时足球比赛分析和统计提供了一个有效的框架。他们提出了一个自动检测进球事件、裁判员和足球场地中罚球线的新算法，并提出了一个射门边界和主要颜色区域检测的新算法。依据其方法所开发的系统能够输出比赛中的慢动作分割、所有的进球和根据对象特征对慢动作分段进行分类。o k i h i s au 等人“提出了一个新颖的对象检测和跟踪方法，为了描述足球比赛的内容去检测和跟踪对象。该方法利用颜色和边缘属性，并且通过一个模糊函数评价参数去实现好的检测效果。他们也提出了一个简单的跟踪方法，其使用基于颜色的模板匹配方法跟踪有遮挡的对象。j a n e zp e r t 等人”开发了一个基于多相机的结合两个跟踪算法的人跟踪器。系统适合于同时跟踪一个手球场地的多个人，使用的是从固定相机获得的3 8 4 x2 8 8 分辨率的图像序列。系统输出了运动员的时空迹线，可以用于进一步的分析处理。z a v e n m u k e s h a ，m e r c h a n tsn ，d e s a iu d a yb 【1 提出了一种检测和跟踪体育视频序列中小而快的运动物体，如乒乓球和板球的检测和跟踪，利用球的运动特征作为线索来检测球，然后利用多重滤波组的方法来对球体进行跟踪，能够不利用先验信息对机动和非机动的运动物体进行跟踪。国内王兆其、张勇东、夏时洪“”研制了面向体育训l 练的三维人体运动仿真与视频分析系统。他们提出了一种基于动态背景构造的运动对象提取方法。首先，基于前景分离的动态背景构造技术使用多帧差分将前景区域从图像中初步分离，并利用与当前帧相邻的前后多帧图像中的背景信息准确地构造当前背景；然后通过背景消除分割出运动对象，以有效地去除分割结果中的显露背景。同时根据时序信息检测静态前景区域并将其合并到对象区域上，获得完整的对象区域，从而克服对象的不规则运动对分割准确度的影响。针对人体运动跟踪采用了基于模型的跟踪框架：在每一时刻t ，由跟踪得到的状态向量和运动模型预测下一帧t + l 时刻的状态向量，由状态向量和人3中国农业大学硕士学位论文第一章绪论体模型得到模型在图像中的投影，将投影值与检测到的图像观测值进行匹配，根据匹配程度进行修正，得到t + l 帧的跟踪结果，然后再预测、匹配下一帧。马皿妮、牟轩沁“”针对女子跳高运动员的运动图像序列( 5 0 0 帧秒) ，提出了一种定位人体关节的快速算法，进而从图像序列中提取运动信息。算法主要利用前帧图像中关节位置的先验知识和差异图像判断运动关节，对运动关节在前后帧中进行块匹配，得到后帧图像中人体关节的精确位置，继而计算所需要的运动参数。其不足在于首帧图像的关节位置要由人工输入作为先验知识，而且在发生遮挡时，无法对关节进行定位，需要人工定位。庄涛、王人成“”提出了一种运动跟踪方法。该方法通过对人体目标日像进行差分消影和遗传恢复，能够从自由背景中识别出人体运动图像的标志点，从而可以提高基于普通摄像机的人体运动分析系统对环境的适应性。其不足之处是也需要人工输入第一帧的标志点，而且由于处理步骤多，运算速度比较慢。王宗平、蒋勇、束婷婷等“”把一般的人体运动序列图像分析技术和高速序列图像的特点结合在一起，将侧重点放在人体关节的自动定位上，对已有的方法进行试验、分析，为解决运动图像中人体关节自动快速定位问题，提出了一种体育运动序列图像中人体关节定位的快速实用的算法。进而从运动序列图像中提取运动信息。文中对采集到的女子跳板跳水选手起跳的运动序列图像实现了关节点的自动定位。王成儒、顾广华“针对视频图像连续两次差分后自适应处理，对差分图像取交集获得运动对象的边界，形态学处理后最终获取运动目标，利用基于改进的h a u s d o r f f 距离度量法对后续帧中视频对象进行跟踪能够从背景不变的图像序列中较好地提取出运动对象，但当对象目标部分运动停止时，会出现局部缺损现象，当运动目标在图像中占较大比例或运动目标处于图像边缘区域时，跟踪效果不太好。以上研究要不是对事先录制的图像文件进行处理，不能在运动现场进行实时处理；要不就是处理操作复杂，需要专业的设备安装，专业化程度较高。1 4 本论文的研究意义和主要工作长期以来，我国竞技体育训练的科技水平相对较低，一直利用虬主观和运动经验为主的教学训练方法，教练员凭借肉眼和经验对运动员的技术动作进行指导和指挥，运动员也只能通过多次的重复性练习来掌握技术要领，这些都严重影响了我国竞技体育运动水平的进一步快速提高。为了进一步提高运动员的训练效果和辅助教练员制定训练策略，先进的训练工具和手段是重要而有效的途径。特别是2 0 0 8 年将在我国北京举办第2 9 届奥运会，为了确保我国运动健儿在北京奥运会上取得优异的成绩，为他们提供引入先进的训练工具和手段以提高训练效率成为当务之急。羽毛球作为我国的优势项目，尤其需要先进的工具来提高运动员的训练水平，辅助教练员指导和制定训练策略。在羽毛球的比赛和训练现场，为了针对对手情况及时调整技战术和指导训练，教练员需要及时准确地掌握现场的技战术统计数据。现在，教练员主要是通过人工统计的方法获得这些数据，由于人：【统计方法的主观性较强，往往会影响统计数据的准确性。如果能够利用计算机视觉技术对羽毛球比赛和训练进行快速准确的分析统计，就可以为教练员的决策提供准确的数据依据，有效地指导运动员提高训练质量和改进战术策略。羽毛球实时分类统计系统可以对羽毛球比赛进行实时采集，对采集到的图像进行分析，确定每个回合羽毛球的技术类型，并对数据进行统计分析和保存。统计结果可以帮助教练员、运动员分析比赛情况 n u i 练情况等，从而提高竞技水平，实现羽毛球比赛临场战术统计自动化，也可以辅助电视视频转播。d中国农业大学硕二匕学位论文第一章绪论本研究的最终目标是开发一套基于图像识别的羽毛球运动实时采集分析系统，该系统能够在羽毛球的比赛和训练现场通过高速摄像机实时地采集图像到计算机，由计算机软件系统对图像进行实时分析处理，获得比赛和训练的统计数据，把获得的数据及时地显示出来供教练员和运动员参考，而且能够对分析处理的结果进行回放以供教练员对具体细节的分析研究。该系统还需要能够对文件形式的比赛录像进行分析处理，获得统计数据并回放分析结果。本研究的主要工作有：1 运动图像的实时采集和保存方法的研究。需要能够现场控制采集的帧率( 帧秒) ，并且能够把采集到的图像以连续图像文件或咀视频文件的形式实时地保存到硬盘上。2 各帧图像中运动部分提取方法的研究。为了对羽毛球和运动员进行分析，首先需要准确检测出每帧图像上的运动区域，从而为以后的连接匹配提供基础。3 序列图像中运动轨迹连接方法的研究。通过对多帧图像上运动区域的重心点进行连接，找出运动轨迹线的起始点，保存每个轨迹的数据。4 羽毛球运动轨迹识别及分析方法的研究。通过对每个轨迹进行分析判断，从众多的运动轨迹中识别出羽毛球的运动轨迹。5 各帧图像中运动员重心计算方法的研究。为了获取图像上球场双方运动员的重心位置，为球类的判断提供依据。6 球场区域的识别方法的研究。判别出采集到图像上球场的范围，给出球场的参数作为球类判别的根据。7 羽毛球轨迹的球类判断方法的研究。根据获得的羽毛球轨迹、运动员重心、球场参数等数据，对羽毛球轨迹进行分析，确定其所属的球类( 如高球、挑球等) 。8 统计技术数据的显示方法的研究。把统计分析的结果比较详细直观地实时显示出来，供教练员和运动员参考。9 运动轨迹回放方法的研究。能够回放分析处理过程，直观明确地显示出球的运动轨迹。中国农业大学硕士学位论文第二章总体方案设计2 1 研究方案第二章总体方案设计羽毛球实时技术数据统计系统要求能够实时准确地检测跟踪比赛过程中每个回合羽毛球的运动轨迹，在此基础上根据其轨迹特点及其与球网的相对位置，运动员的相对位置等信息判断其球类类型，最后输出统计结果。整个系统要求尽可能的体积小、重量轻、便于携带、使用简单等。系统的技术指标如下：羽毛球长度：6 2 7 0 m m羽毛球球拍托面直径：2 5 2 8 m m羽毛球顶端直径：5 8 6 8 r a m球场区域：1 3 4 m 6 1 m球网高度：1 _ 5 2 4 m系统构成如下图2 - 1 所示：围2 - 1 羽毛球实时技术数据统计系统总体构成图对于羽毛球球类实时统计系统，数字摄像机负责羽毛球现场图像序列的采集，i e e e l 3 9 4 接口负责传输摄像机采集的图像数据给汁算机，计算机利用图像处理技术完成对羽毛球的检测雨i 轨6中国农业大学硕士学位论文第二章总体方案设计迹跟踪并对轨迹进行分析获得球类，最后将处理结果显示输出。下面从硬件设备的选择和软件功能模块两个方面米描述系统的功能和流程。2 2 系统硬件设备选择图像数据采集是图像实时处理系统的重要组成部分，是以后进行图像处理和图像分析的基础，也是进行图像处理、图像分析的第一步，采集的图像是否清晰、是否符合图像处理的要求，直接影响图像分析的结果。可以说实时采集图像数据是图像实时处理系统的关键部分，也是提高整个系统精度的重要途径，实时获取一幅高质量的图像是十分必要的。一个成功的应用视觉控制系统主要依赖于高质量的图像获取、图像分析的算法技巧以及控制精度等。2 2 1 摄像机由于集成电路设计技术和工艺水平的提高，c m o s ( 互补金属氧化物半导体) 摄像机得到了蓬勃的发展，c m o s 摄像机的优点主要表现在集成度高、体积小、重量轻、功耗低、兼容性好、制造成本低、高速性等方面，在图像处理领域得到了广泛的应用。摄像机的主要特性有：l 灵敏度灵敏度是指当摄像机增益开关设置在0 分贝( d b ) 位置，在2 0 0 0 l x , , 阳, , 度、3 2 0 0 k 色温标准白光照射下，满屏拍摄一幅反射率为8 9 8 的白纸或灰度阶梯测试卡，摄像机输出信号峰值达到标准输出幅度0 7 v 时，镜头光圈的数值。灵敏度越高，在同样环境光线下拍摄的图像越清晰、透彻，层次感越强，而且高灵敏度可以使景深加深，即使在最快的快门速度下，也可以在一定的光线下进行拍摄，并能得到满意的聚焦。2 最小照度最小照度是指当摄像机增益开关设置在最大值，光圈发在最大，在3 2 0 0 k 色温标准白光照射下满屏拍摄一副反射率为8 9 8 的白纸或灰度阶梯测试卡，摄像机图像信号达到标准输出幅度0 7 v 时，摄像机所需要的灯光照度。最小照度越小，越能保证在较暗的环境下获得较清晰的图像。3 信噪比信噪比是摄像机的图像信号与它的噪声信号之比，用s n 表示，s 表示摄像机在假设无噪声时的图像信号值，n 表示摄像机本身产生的噪声值。信噪比的单位用分贝( d b ) 表示，信噪比越高越好。信噪比表示在图像信号中包含噪声成分的指标，该指标越高，噪波越不明显。噪波在图像中表现为不规则的闪烁细点。4 分辨率分辨率是指摄像机对物像中明暗细节的分辨能力。摄像机的分辨率除了与镜头有关外，还与镜头芯片的像素数以及传输效率有关。有时只给出有效像素数。水平清晰度越高，输出图像越清晰、细腻。5 动态范围图像传感器的动态范围由它的信号处理能力和噪声电平决定，反映了器件的工作范围。其数值通常用d b 表示。中国农业大学硕士学位论文第二章总体方案殴计6 光学格式有时也称为光学系统的尺寸。它直接决定了摄像机的体积和重量。它与传感器的大小是相适应的。尺寸越大，允许的传感器芯片尺寸也越大，相应摄像机的体积也越大。7 快门速度快门速度与曝光时间相对应。曝光时间越短，反映的运动越真实，但同时由于曝光量不足，造成图像质量下降，总体偏暗，表现为目标的灰度总体下降。曝光时间过长，易产生拖影现象，且目标的运动速度越快，拖影越严重，造成目标成像在灰度分布上发生改变，表现为目标面积增大，灰度下降。可见，在保证一定曝光量的前提下，应尽可能缩短曝光时间。本研究实验采用的c m o s 摄像机是德国b a s l e r a 6 0 l f 的数字摄像机，它的技术指标如下：摄像头传感器类型：c m o s摄像头传感器像素( 万个) ：1 3 0摄像头最高分辨率( d p i ) ：6 5 6 4 9 1晟大帧率：6 0 s输出图像格式：灰度图像对焦方式：手动像素尺寸：9 9 , 9 9 i 曝光控制：1 3 9 4 可编程控制外形尺寸( m m ) ：6 5 7 * 4 4 * 2 9输出接口类型：i e e e l 3 9 4其中，帧率的大小和分辨率对系统的测量影响较大。2 2 2l e e e l 3 9 4 接口i e e e l 3 9 4 接口是i e e e 标准化组织制定的一项具有视频数据传输速度的串行接口标准。其支持外设热插拔和即插即用、同时可为外设提供电源，省去了外设自带的电源、支持同步数据传输，具有自动检测的功能，主要用于图像数据的传输。外围设备的插入与拔取无需关闭电源，使用者无须重新启动机器就可以直接将新的设备通过i e e e l 3 9 4 接口添加到p c 中，也不需安装驱动。在接入新设备时，该设备会通过厂播的方式把自己的唯一标识代码通知给同一网络上连接的其它所有设备，从而成为该网络的一员。i e e e l 3 9 4 接口支持不经h u b ( 集线器) 的点对点的连接，最多允许6 3 个相同速度的设备连接到同一总线上，最多允许1 0 2 3 条总线相互连接。因为它可以进行点对点连接，所以各连接节点上设备都是在相同位点，相当于局域网络拓扑结构中的“对等网”，不属于客户服务器( c s ) 模式。2 2 3 计算机基于图像识别的羽毛球实时技术统计系统的实时性要求高，数字图像处理的数据量也较大，因而对计算机的要求比较高。在满足采集和处理的要求下，本系统一个重要指标是便于携带，因而本系统选用c p u 主频为2 4 g h z ，内存为2 5 6 m 的联想手提电脑作为研究平台。8中国农业大学硕士学位论文第二章总体方案设计2 3 系统的软件设计系统采用w i d o w s 2 0 0 0 操作系统平台，选用微软的v i s u a lc + + 6 0 作为软件开发工具。软件系统大致可以划分为三个模块：序列图像的实时采集控制模块、图像数据处理模块、球类统计结果的输出显示模块。序列图像的实时采集模块完成对摄像机的控制和将采集到的数据提供给图像处理模块的功能，并且能够将图像数据以视频或静态图像的格式保存。图像数据处理模块是整个系统的核心，是工作的重点。其实现对图像上运动区域的检测、特征测量、轨迹跟踪、羽毛球轨迹提取和羽毛球轨迹的分类等功能。球类统计结果的输出显示模块负责将统计结果以表单的形式显示给教练员和运动员。下图2 2 显示了系统流程图：2 4 小结图2 - 2 系统流程图本章介绍了系统的总体方案，并在基础上对系统所选硬件设备的性能参数和软件设计的功能做了阐述。中国农业大学硕士学位论文第三章图像采集方法的研究第三章图像采集方法的研究图像采集是将由数字摄像机拍摄的图像数据采集到计算机内存，然后根据需要对图像数据进行分析或者保存。由于本系统所使用的w i n d o w s 操作系统是多任务操作的非实时系统，要在w i n d o w s 操作系统上实现图像的实时分析和存储，特别是高速的实时分析和存储，需要采用特殊的方法。一种是从硬件着手，直接用硬件来实现实时操作，如基于d s p ( d i g i t a ls i g n a lp r o c e s s o r数字信号处理器) 的实时系统。这种方法编程工作复杂，国内外己经有不少基于d s p 的实时图像处理系统。另一种是在w i n d o w s 系统内核的基础上做实时的操作系统内核，将实时内核嵌在一个自定义的硬件抽象层中。这种方法的成本太高。基于现在计算机硬件飞速发展，成本越来越低的情况，本文设计了一种纯软件方法来实现图像数据处理的实时性。本章在介绍w i n d o w s 操作系统特点的基础上，设计了利用缓冲队列的方法来实现图像数据的实时分析和存储。3 1w i n d o w s 系统的特点w i n d o w s 不仅是一个多任务的操作系统程的多任务形式和基于线程的多任务形式。念。3 1 1 进程和线程而且是一个能够争先的实时操作系统，它有基于进在w i n d o w s 操作系统下开发实时系统需要了解以下概一个w i n d o w s 实时应用程序可以由多个进程组成，而一个进程可以由多个线程组成。进程和线程都作为任务，可以同时执行。进程任务是装入内存并准备执行的程序，每个进程具有自己的堆栈空间。进程由代码、数据、其它系统资源、文件管道和同步对象等组成。线程任务是操作系统为其分配c p u 时间的基本实体。每个线程有一组用于调度处理的上下文结构，包括寄存器、内核堆栈和在进程地址空间中的用户堆栈。所有线程共享其进程的虚拟地址空间、系统资源和全局变量。多任务系统在所属的线程中划分可得到的c p u 时间。在w i n 2 0 0 0 中，任务是可争先的，这意味着线程任务在竞争中分目r d c p u 时间。当前执行的线程在其时间片耗尽时挂起，l 止其他线程运行。当系统从一个任务切换到另一个任务时，保留悬挂线程的上下文，恢复任务队列中下一个线程的上下文。( 1 ) 使用多任务进程任务用函数c r e a t e p r o c e s s 创建，线程任务用c r e a t e t h r e a d 创建。应用程序在要求私有地蚍空间和私有资源函数时使用多进程，蚍保护它们不受其它线程的影响。使用进程任务使得不同应用程序模块可以在同- - w i n d o w s 系统。f 运行。例如在运行某个应用软件的同时，可以同时运行其它可执行程序，结果使不同应用软件统一在一个系统之下。对于一个进程中有几个任务要同时运行时，采取多线程的结构。例如打开多个窗口时，分别1 0中国农业大学硕士学位论文第三章图像采集方法的研究由一个线程执行一个窗口的程序。在w i n d o w s 中，多个线程往往执行多个窗口的输入，管理来自几个通信设备的输入和执行不同优先级的任务。显然系统建立线程比建立进程更快，因为线程的代码己映射到进程的地址空间中，而新进程的代码必须重新装入。由于进程的所有线程共享同一地址空间并访问全局变量，使线程之问的通信相当简单。由于进程的所有线程都使用诸如文件和管道之类资源的打开句柄，所以实时应用程序一般在一个进程中分配多个线程任务更为有效，往往不建立多个进程任务。多个线程访问同一资源，线程必须同步以免冲突，例如访问通信接口和磁盘驱动器，共享资源句柄，调用全局变量。不能正确同步在同一进程和不同进程中的线程，可能导致死机和程序坠落。在有些情况下，使用多线程的进程是没有必要的，例如单个线程就可以通过重叠i o 同时运行多个费时i o 请求，用这种异步i 0 来处理文件、管道、串行通信设备和磁盘设备。采用多事件也能使单个线程在等待几个事件中任何一个发生时阻塞其执行这比使用多线程效率更高。因为多个线程等待单个事件，都要通过检查事件而耗费c p u 时间。( 2 ) 任务调度系统调度程序确定竞争线程任务中的哪一个得到下片处理器时间。w i n 2 0 0 0 的每个时间片由固定数量的时钟周期组成，调度采用争先方法。每当时钟中断发生时递减保留在当前执行线程时间片中的时钟周期数，如果递减到零，进行线程任务交换。调度程序以优先级管理一组可执行线程，刚完成线程放到队列尾。由于挂起或阻塞的线程不管其优先级，要等它们变为非阻塞状态后才能得到时间片，调度程序切换线程时，当前执行线程的上下文被保留，机器状态根据下一执行线程的上下文设定。线程有五个优先级：最低、低、普通、高、最高，用一2 至+ 2 表示。所有线程创建时都以0 优先级开始，s e t t h r e a d p r i o r i t y 设置改变线程的优先级，g e t t h r e a d p r i o r i t y 确定线程的当前优先级。线程的优先级可以动态增高。每个线程的基础优先级是其进程优先级类中线程的优先级，调度程序在线程发生重大情况时提高或降低线程的动态优先级，并以此做出调度决定。线程的动态优先级绝不低于它的基础优先级。例如每次窗口接收输入消息时，调度程序提高拥有此窗口的进程中的所有线程优先级。又如在线程等待的条件满足时，动态优先级提高。在提高线程优先级后，线程每完成一时间片降低一级优先级，直到回到它的基础优先级。进程在前台窗口时，优先权类提高，因此它大于或等于后台进程的优先级类。当此进程不再在前台时，优先级类回到原始设定。3 1 2 多线程的同步w i n d o w s 的实时应用程序接口函数提供了许多协调多线程执行的方法，例如等待函数和同步对象、重叠的输入和输出操作、互锁变量访问等。等待函数直到由参数指定的一组条件满足后才返回，这些参数包括暂停时间和一个或多个同步对象的句柄。等待函数被调用时，它检查指定对象的状态或可能引起它返回的对象和其他条件。如果该状态不满足指定条件而且暂停时间没完，那么调用线程进入有效等待状态。暂停时间也可以设为i n f i n i t e 以产生无限等待。例如w a i t f o r s i n 9 1 e o b j e c t 和w a i t f o r s i n 9 1 e o b j e c t e x 函数要求一个同步对象的句柄，这些函数在对象有信号时，或在暂停时间结束时返回。w a i t f o r m u l t i p l e o b j e c t ，w a i t f o r m u l t i p l e o b j e c t e x 和m s g w a i t f o r n u l t i p l e o b j e c t 函数能指定包含一个或多个同步对象句柄的数组。如果等待所有对象中国农业大学硕士学位论文第三章图像采集方法的研究有信号时，这些多对象函数直到所有对象都是有信号时才修改指定对象的状态。等待函数返回前，修改几种同步对象的状态，修改只对对象或其信号状态引起函数返回的对象进行。同步对象是它的旬柄可以在等待函数中指定的协调多线程执行的对象。同步对象的状态要么是有信号的，使函数返回，要么是无信号的，禁f 函数返回。几个进程可以具有同一同步对象的句柄，这才使进程间同步成为可能。如果要避免两个线程同时向共享内存写入，那么每个线程在执行访问内存的代码之前等待协调互斥资源的对象m u t e x 的所有权。在写入共享内存之后，线程释放m u t e x 信号灯对象是从0 到指定最大值之间计数的同步对象。信号灯状态在其计数大于0 时是有信号的，而在其计数是0 时是无信号的。信号灯在控制可以支持有限用户的共享资源中有用。例如要限制窗口数，使用其晟大计数等于窗口数的信号灯，每次建立窗口时递减计数而每次关闭窗口时递增它。事件对象是其状态通过使用s e t e v e n t 或p u l s e e v e n t i 蟊数可以设置成有信号的同步对象。事件对象通知线程己发生了一个特定事件，例如在重叠输入操作完成后把指定事件对象设置成有信号状态。3 1 3 线程时间配额时间配额是一个线程从进入运行状态到系统检查是否有其他优先级相同的线程需要开始运行之闻的时间总和；一个线程用完了自己的时间配额时，如果没有其它优先级相同的线稷，系统会重新给该线程分配一个时间配额，并继续运行。每个线程都有一个代表本次运行最大时间长度的时间配额。时间配额不是一个时间长度值，而是一个称为配额单位( q u a n t u mu n i t ) 的整数。缺省时，w i n d o w s2 0 0 0 专业版中线程开始时的时间配额为6 ，而在服务器版中开始的时间配额为3 6 0每次时钟中断，时钟中断服务例程从线程的时间配额中减少一个固定值( 3 ) 。如果没有剩余的时间配额，系统将触发时间配额用完处理，选择另外一个线程进入运行状态。不同硬件平台的时钟中断间隔是不同的，时钟中断的频率是由硬件抽象层确定的，而不是由内核确定的。例如，大多数x 8 6 单处理器系统的时间中断间隔为l o 毫秒。用3 个时间配额单位，而一个时间配额单位表示一个时钟中断间隔的目的是，在等待完成时允许减少部分时间配额。当优先级小于1 4 的线程执行一个等待函数时，它的时间配额被减少1 个时间配额单位。当优先级大于等于1 4 的线程执行完等待函数后，它的时间配额被重置。本系统要实现在w i n d o w s 平台实现实时的采集、分析和存储图像，根据w i n d o w s 平台的特点，本研究采用多线程的方法来实现采集、分析和保存的并行进行，充分利用c p u 资源。采集线程负责将图像数据采集到内存井显示在显示器上，分析线程负责把采集线程采集到的图像进行图像处理，保存线程负责把采集线程采集到内存中的图像保存到硬盘上。三个线程工作在三种模式下：预览模式下只有采集线程工作：实时分析模式下采集线程雨1 分析线程同步进行；实时保存模式下采集线程和保存线程同步进行。3 2 图像采集的缓冲队列法根据上面的叙述，w i n d o w s 操作系统是多任务操作的非实时系统，要在w i n d o w s 操作系统上实中日农业大学硕士学位论文第三章图像采集方法的研究现图像的实时存储，特别是高速的实时存储，本系统采用缓冲队列的方法以保证不丢失数据，从而实现实时存储火量的图像数据。该方法也可以用于实时处理。在w i n d o w s 系统下，因为不能对同一内存同时进行读和写操作，所以如果用一帧图像大小的内存来进行缓冲，在采集图像的同时就不能同时将数据存储起来。这样在图像采集速率较大时，图像的数据量就会大得不能被完全保存下来，会出现丢帧的现象。例如：如果图像的采集帧率为2 5 f p s ( 即一帧图像的采集和存储必须在4 0 毫秒内完成) ，假设图像采集需要2 0 毫秒，存储一帧图像要3 0 毫秒，这样完成一帧图像的采集和存储要5 0 毫秒，每秒就只能采集2 0 帧图像，如图3 1 所匠竺竺： 1 ir 磊磊= 1 竺! 竺! 竺竺：!示。为了解决上述的问题有文献提出了双缓存1 的方法。即将图像连续采集到两块内存中去，在采集第n n 图像到一块内存的同时，将另一块内存中采集到的第n 一1 帧图像数据存储起来。这样完成一帧图像的采集和存储只要3 0 毫秒，保证了采集和存储的同步，如图3 2 所示。采集弟n 帧采集第n + l 帧( 2 0 m s )