（物理电子学专业论文）基于视频分析的足球越位自动判别相关技术研究.pdf

摘要 删j f 脚 5 3 9 在足球比赛中，仅仅依靠人员判罚不能够保证比赛的公平展开，而多媒体技 术的快速发展使得机器自动判别成为可能。本文以足球运动视频为切入点，针对 足球比赛中频繁出现的越位判罚失误现象，在深入理解足球比赛越位规则基础上， 提出了一种自动判别越位的解决方案。 通过计算机视觉和视频图像处理等技术可以准确地获得和重建球和球员的坐 标位置，在此基础上本文设计了越位推理的相关算法并通过程序实现。本文建立 了足球越位自动判别系统框架，接着对越位自动判别中所需要的关键技术进行了 分章节的重点描述。首先设计了足球视频中运动目标的检测算法。对于足球场地 的检测提出了利用h s v 空间模型变换的方法。对于球员的检测利用球场进行背景 建模，使用区域分析将非球场区域去除。通过设计球员参数模板解决了产生的干 扰和球员遮挡问题。在足球的检测中，针对足球大小情况和其形状特性设计了高 斯模板并引出了足球评价函数。 同时本文研究了场景分析与重建的一些关键性技术。利用摄像机标定原理实 现了球场平面坐标的重建。采用摄像机透视投影模型代入球场特征点求解出投影 矩阵，将足球和球员的图像坐标转化为世界坐标。在此基础上依据球场平面模型 编写了数字化评判足球越位的算法并进行了仿真实验。实验结果表明机器自动判 别足球越位是可行、有效的，从而可以作为电子裁判协助判罚比赛。 关键词：足球视频越位判断球场检测摄像机标定进攻意识 a b s t r a e t i i i a b s t r a c t i no u rs o c c e rg a m e s ，i tc a nn o te n s u r ef a i rc o m p e t i t i o no n l yb ym a n u a lp e n a l t y , b u t t h er a p i dd e v e l o p m e n to fm u l t i m e d i at e c h n o l o g ym a k e si tp o s s i b l et oj u d g et h eg a m e a u t o m a t i c a l l yb ym a c h i n e a c c o r d i n g t ot h e f r e q u e n tp h e n o m e n o no f o f f s i d e m i s j u d g r n e n ti nt h es o c c e rg a m e ，t h i sp a p e r t a k e st h es o c c e rv i d e oa sa ne n t r yp o i n ta n d p r o p o s e s as o l u t i o no fa u t o m a t i co f f s i d ej u d g m e n to n t h eb a s i so fp r o f o u n d a c k n o w l e d g e m e n t o nt h eo f f s i d er u l e s t h ec o o r d i n a t e so ft h eb a l la n dp l a y e r sc a nb ep r e c i s e l yo b t a i n e da n dr e c o n s t r u c t e d t h r o u g hc o m p u t e rv i s i o n a n dv i d e oi m a g ep r o c e s s i n gt e c h n o l o g y o nt h i sb a s i sw e d e s i g nc o r r e l a t i o na l g o r i t h mo fo f f s i d er e a s o n i n ga n dr e a l i z ei tb yp r o g r a m m i n g t h i s p a p e re s t a b l i s h e saf r a m e w o r k f o ro f f s i d ea u t o m a t i cj u d g m e n ts y s t e m ，a n dt h e nd i v i d e s t h ec h a p t e rt od e s c r i b et h ek e yt e c h n o l o g yt h a tt h ej u d g m e n tn e e d s f i r s t l y , w ed e s i g n t h ea l g o r i t h mo fd e t e c t i n gt h em o v i n go b j e c t si ns o c c g rv i d e o i np l a y f i e l dd e t e c t i o n ，t h e h s vc o l o rm o d e lt r a n s f e ri su t i l i z e d a n di nt h ep l a y e rd e t e c t i o n , t h eb a c k g r o u n d m o d e l i n gi sa d o p t e da c c o r d i n gt ot h ep l a y f i e l d ，a n dt h e n t h en o n 。c o u r ta r e a sa re r e m o v e db yr e g i o na n a l y s i s i nt h i sw a yt h ep r o b l e mo fi n t e r f e r e n c ea n dp l a y e r s i n t e r c e p t i o n sa r es o l v e db yd e s i g n i n gt h ep l a y e r s p a r a m e t e rt e m p l a t e s i n t h eb a l l d e t e c t i o n t h eg a u s st e m p l a t ei sd e s i g n e da n dt h eb a l le s t i m a t i o nf u n c t i o ni si n t r o d u c e d a c c o r d i n gt ot h es i z ea n dt h es h a p ef e a t u r e so f b a l l a tt h es a m et i m e ，t h i sp a p e ra l s od i s c u s s e st h ek e yt e c h n o l o g ya b o u tt h es c e n e a n a l y s i sa n dr e c o n s t r u c t i o n c a m e r ac a l i b r a t i o nt h e o r y i su t i l i z e dt or e c o n s t r u c tt h e p l a y f i e l dp l a n ec o o r d i n a t e s t h ec a m e r ap e r s p e c t i v ep r o j e c t i o ni sa d o p t e d t os o l v et h e p r o j e c t i o n m a t r i xa f t e rs u b s t i t u t i n gt h e p l a y f i e l d f e a t u r ep o i n t s t h e nt h ei m a g e c o o r d i n a t e so fb a l la n dp l a y e r sa r ec o n v e r t e d i n t ot h ew o r l dc o o r d i n a t e s o nt h i sb a s i s t h ea l g o r i t h mo fd i g i t a lo f f s i d ej u d g m e n ti sd e s i g n e da n di m p l e m e n t e db ys i m u l a t i o n t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mp r o p o s e di nt h i sp a p e r i sp r a c t i c a b l e a n de f f e c t i v e ，t h u si tc a nb ea d o p t e da se l e c t r o n i cr e f e r e et oa s s i s tt h ej u d g m e n t k e y w o r d s ：s o c c e rv i d e o o f f s i d ej u d g m e n t p l a y f i e l dd e t e c t i o n c a m e r ac a l i b r a t i o no f f e n s i v e - a w a r e n e s s 第一章绪论 第一章绪论 随着体育运动的深入开展，越来越多的人致力于体育分析的研究。实践表明 仅仅依靠人员判别不能够保证比赛的公平展开，而多媒体技术的快速发展使得机 器自动判别成为可能。科技在大型体育赛事中扮演的角色正变得越来越重要，大 到体育场的智能系统，小到门检处的防伪芯片，无不渗透着现代科技的成果。机 器自动判别系统就是将现代科技应用于足球赛场上，从而弥补人工裁判的不足， 实现实时、准确、客观的判断。自动判别技术可以对现场进行实时监控，严格地 按照相应体育竞赛规则判断球员是否进球或者越位，球是否压线等，这对体育比 赛的公平进行起到了重要的辅助作用。 本文以足球运动视频为切入点，针对足球比赛中频繁出现的越位判罚失误现 象，在深入理解足球比赛越位规则基础上，提出了足球越位自动判别的相关算法 并通过程序实现。研究方向涉及了图像处理、摄像机定标的相关知识，这也可以 广泛于其他领域。 1 1 足球比赛的越位规则 足球越位中有两个非常重要的概念：越位位置和越位。文献【l 】中对越位位置 和越位做出了明确解释。在防守方半场内，当进攻球员踢或触球的一刹那，同队 队员较球更接近对方球门线，并且在他与对方球门线之间，防守方队员不足两人 时，称为该队员处于越位位置。下列情况除外：1 该队员在本方半场内。2 至 少有对方队员两人比该队员更接近于对方的球门线( 是指头、躯干和脚的任何部 分比球和对方最后第二名队员更接近球门线，手臂不包含在内，因为仅手臂在前 是不能获利的) 【l j 。 当队员踢或触及球的一瞬间，同队队员处于越位位置时，裁判员认为该队员 有下列行为，则应判为越位：1 正在干扰比赛或干扰对方；2 企图从越位位置 获得利益从而得球进攻。 下列情况，队员不应被判为越位：1 队员仅仅处在越位位置而并未卷入比赛， 这里卷入比赛是指处在越位位置上的球员参与进攻触及到队友传递的足球，或者 做出裁判员认为有犯规行为的明显的移动或姿势干扰对方。2 队员直接接到球门 球、角球或界外掷球时裁判员也无需判断越位。 2 0 0 5 年足球越位国际理事会做出了越位判别的决议，规定是以同队队员将球 传给进攻球员的- - 杀0 j g 的时刻进行判断，而不是他接球时，例如队员处在非越位 2 基于视频分析的足球越位自动判别相关技术研究 位置，同队队员向他传出或踢出任意球时，该队员在球飞行时跑到前方也不构成 越位。 综上所述，判罚越位与否： 1 一定要在对方半场发生； 2 进攻者的位置，是否在传球的一刹那最接近对方球门，他和球门端线之间 的防守队员不足两名( 1 名或者没有人都是不足两名，而且无论该球员是否是门 将) ； 3 即使进攻方一名球员位置上处于越位位置，如果没有得到利益，包括没有 “卷入”己方的进攻或者射门，没有干扰对方门将，则不算越位。 国际足球比赛规则规定足球比赛主要由一名主裁判和两名助理裁判判罚比 赛，当球员发生越位行为时，助理裁判需举旗向主裁判示意。这说明在判罚过程 中人为控制比赛的因素很大，对裁判的道德品质和专业素质提出了很高的要求。 1 2 研究目的及意义 近些年来，多媒体信息的快速增长趋势促进了视频索引和检索技术的发展， 大量的工作人员致力于体育场景的研究。例如，探测和跟踪体育视频中球员和球。 特别是对于足球比赛视频的场景分析，这些广泛应用于3 d 视频的重建和电视广播 技术。 随着2 0 0 8 年北京奥运会的成功举办，体育越来越受到人们的关注和重视，因 此发展更高效的视频处理技术和体育分析技术势在必行【珊。在门类众多的体育比 赛中，足球比赛拥有的人数最多和受关注的程度最高。实践表明，比赛中与裁判 员因素有关而造成的混乱局面和斗殴事件，大多数是因为裁判员对犯规的判罚不 准而引起的，特别是对越位的判罚。 在前不久结束的2 0 1 0 年南非世界杯中，裁判员的多次判罚失误就再一次引起 了全世界范围内球员和球迷的不满。尤其对于越位现象大多发生在禁区内部，判 罚的结果可能直接影响到比分改写，涉及球队乃至国家的战绩和荣誉。此外，误 判不利于比赛的公平开展，因此这迫切要求我们应使用先进的科学技术协助裁判 进行判罚比赛。 此外由裁判判罚不公平所引发的黑哨现象一直没有得到有效的遏制，这引起 了上至国家领导关注、下至普通观众的强烈不满。目前的电视转播的技术手段尚 不能作到实时性取证，只能在比赛结束后对争议较大的比赛录像做人为判读。在 如今的商品经济时代，体育竞赛越来越多与金钱和权力相联系，裁判员能否公正 执行规则，而不受外界其它因素左右已是人们普遍关注的问题【2 1 。而与人为判罚相 结合的机器自动判别系统则可以有效地杜绝判罚不公现象，更好地为大众服务。 第一章绪论 3 在足球比赛中，是否越位主要是由助理裁判来判断，但是助理裁判除了判断 越位还要监视球员的犯规等各种行为，例如足球出界、球员拉拽及恶意犯规等。 在对越位的判别上，是以传球的瞬间为依据的，因为足球在空中飞行需要一定的 时间，并不是以足球落地那一刻来判断，裁判的奔跑距离以及体能的限制，这对 于判别较长时间传球的越位关系提出了更大的挑划3 1 。总之，人工裁判受到自身注 意力、反应能力、身体机能、个人素质各方面的限制，仅靠人工裁判不能对越位 的判断做到客观公正，所以利用计算机技术设计相应自动判别越位的算法是必要 的，势在必行的。 随着多媒体技术的发展和科技的不断进步，人们对多媒体检索和浏览的要求 日益增高，所以有必要发展多媒体内容的语义识别与分析技术，实现自动高效的 视频信息检索及浏览。此外球员训练和体育分析都需要此项技术来提高体育运动 的技术水平。从这层意义上讲，自动判别越位系统涉及了图像处理以及语义识别 方面的领域，随着研究水平的不断提高和软件技术的不断进步，这些算法与技术 会发挥越来越重要的作用。 本文正是针对以上方法存在的问题进行研究，在深刻理解越位规则基础上提 出了一种可行的解决方案。通过计算机视觉和视频图像处理等技术可以准确地获 得和重建足球和球员的坐标位置，在此基础上我们设计了越位推理的相关算法。 本文对于越位自动判罚所需要的关键技术进行了分类介绍和描述，设计和实现了 自己的算法，经过实验证明通过此算法可以得到越位的准确判断。 1 3 国内外研究现状 9 0 年代初，国际上对基于内容的体育视频分析方面开始了研究，由于文化背 景和需求的不同，大部分体育视频内容分析系统集中于网球、篮球和棒球领域， 另外在足球方面更多的人员热衷于分析智能机器人的颜色识别和策略实施。国内 的研究始于9 0 年代末。主要研究热点集中在视频语义对象的提取，包括球场的检 测、球和球员的检测以及场景的三维重建，这些技术都集中在视频分析而没有体 现在判罚比赛上。 近几年来，为了维护比赛的公平合理，机器判别技术越来越多的应用于比赛 的当中，以此来辅助人工裁判进行更准确无误的判罚。随着时代的不断进步，自 动判别技术发挥着越来越重要的作用。因此基于视频分析的足球越位自动判别系 统属于一个全新的，有生命力的课题方向。 目前被提出的越位自动检测的解决方案主要有： 日本k e i o 大学的s a d a t s u g uh a s h i m o t o 提出采取多摄像机定位计算球员的世界 坐标，然后根据人体模型做队服识别，另外通过多摄像机定标计算和跟踪足球的 4 基于视频分析的足球越位自动判别相关技术研究 3 d 坐标以此判断其是否参与进攻，最后计算得到越位线，通过综合分析这些结果 来做出越位的判罚。但是对于越位判断仅仅考虑了球员是否在越位位置上，没有 对其是否参与进攻影响比赛进行判断( 根据越位规则，如果处在越位位置上的球 员没有卷入比赛，则不能判罚越位) 。此外输入检测的图像是通过手动方式。正 如作者的提到的那样：“这些都需要在未来的工作中考虑到1 4 j 。” 意大利国家研究理事会自动化智能所的t i z i a n ad o r a z i o 等人提出了实时越位 探测的可行性分析，采用六架高分辨率摄像机实时检测和跟踪足球和球员，从而 减少视角以及球员重合的误差；使用非监督聚类的方法对球员组别分类；采用多 视角分析评估越位行为：在此基础上重建二维虚拟球场，模拟越位球员的射门行 为，从而根据球员坐标相对位置判断是否越位。此外他们开发了一套适用于监测 足球视频序列的半自动系统，一方面可以自动估计并生成球场目标的实时数据信 息，另一方面提供了友好用户接口用来人工校对检测和跟踪的结果。这不仅适用 于科学领域，还适用于其他监察场景1 5 一。 华中科技大学数字媒体实验室的王志芳等人对足球比赛视频中越位检测的关 键技术进行了研究。在他的论文中实现了一种基于改进的广义l l o l d ( g l a ) 的球场区 域检测算法，利用球场区域为凸多边形的性质，采用s k l a n s k y 算法确定球场区域的 边界；利用极坐标系下直线间的距离计算公式对直线进行聚类融合，基于采样点 对直线进行追踪提高检测率；此外设计了球员是否处在越位位置的初步推理规则 i7 1 ，但是对于对象分割的准确性以及对于越位判别的推理算法，需要进一步的完善 和提高。 南京农业大学王明俊等人利用h o u g h 变换检测直线的方法提取出球场禁区线， 利用球员球衣的r g b 分布采集球员样本后通过数学形态学原理提取队员区域。利 用h o u g h 变换检测图像中共线点数超过某个阈值的直线，并用获得的斜率和截距重 新定义直线来连通禁区线，最后由端线斜率将图像旋转至水平方向，根据队员相 对位置进行越位判断i s 。此方法在足球球面安装了压力传感器控制摄像机来完成图 像的采集，改变了足球特性并且仅限于在禁区内部判断，计算误差较大。 此外，国外也开发了一些体育分析的软件。英国著名的体育数据分析公司 p r o z o n e 开发了p r o z o n e 3 软件，对数据进行整合分析和处理。它通过在球场上架 设摄影机，把球场上的所有球员拍摄下来，然后在电脑上详细标记每名球员的位置 和发生的事件，向分析人员提供大量的数值和可视化信息，包括比赛模拟三维动画、 运动员奔跑距离、运动轨迹、铲球、犯规、过人次数、传球次数、射门次数等， 同时也包括对球员越位的统计，被称为绿茵球场“百科全书”。此软件不仅广泛应用 于职业球坛为球队提供专业的数据分析，而且已经投入游戏的运营和开发例。 瑞士b e r n e 大学的t h o m a sb e b i e 等人开发了足球比赛的重建系统s o e e e r m a n ， 该系统能够从足球视频序列中生成一个人工3 d 场景，使用者能从任何视角观看场 第一章绪论 5 景。利用模板匹配方法可以自动跟踪视频的关键帧，系统使用了一种特殊的线性 近似方法进行摄像机定标，提取出每帧的摄像机运动参数，从而检测出了场地的 纹理特征。随着时间的推移球场中的球员能够被自动检测和跟踪，综合上述结果， 最后再将这些元素进行三维重建 1 0 , i a 2 】。 1 4 本文主要研究工作和内容安排 本文主要研究足球越位自动判别系统的软件算法部分，目的希望通过图像处理 的相关技术和计算机给出越位判罚的结果。针对越位自动判罚所需要的关键技术， 在接下来的几章中进行了分类的介绍和描述，设计和实现了自己的算法，并进行 了实验分析和评估。 对1 1 节足球越位规则的分析可以得出，越位位置判决的关键问题有两个：一 是判决的时刻是进攻球员踢或触球的一刹那；二是进攻队员和防守方球门线之间 的防守队员至少有两个。从这个分析来看，检测到球和球员在欧氏世界坐标系下 的位置，并区分出球员的队别，就可以准确地判断是否处于越位位置，接下来再 设计相应的算法对队员是否越位进行判断，即越位行为检测。 如图1 1 所示，结合上述关键问题，本文设计的整体算法框架主要包括四部分： 足球比赛视频图像的采集，算法所需相关元素的获取，越位判断规则的推理，越 位判断结果。综合以上框架内容，我们就可以得到足球越位的准确判别结果。 图1 1 足球越位自动检测系统框架 6 基于视频分析的足球越位自动判别相关技术研究 论文的组织结构安排按上述系统框架展开，具体为： 第一章为绪论。对足球比赛的越位规则进行讲述，详细调研国内外文献及研 究成果，提出该论文的课题背景及研究意义，讲述基于足球视频分析的越位判别 研究现状，总结优缺点，介绍算法的设计框架，给出自己的论文的主要研究内容 及组织结构。 第二章为足球视频中运动员与足球的检测。重点论述了如何采取有效的算法 对足球视频中的足球和球员进行检测和目标分割，对于球场使用统计分类方法检 测球场主色，由于草场多为绿色，在h s v 颜色模型中，根据足球场地的颜色特征， 利用颜色分量的统计信息，从视频中分割出非草坪区域。对于足球的检测可以利 用其形状特性设计模板进行匹配，设计了足球评价函数，通过计算分析来找出多 帧图像中的足球目标点；对于球员的检测本文在运行球场检测算法基础上，利用 球场进行背景建模，使用区域分析将非球场区域去除。 第三章为基于摄像机标定方法的球场平面坐标重建。详细讲述了摄像机标定 原理和实现步骤，对摄像机成像模型和坐标变换进行了介绍，重点讨论和分析了 目前较典型的摄像机标定方法。选择利用摄像机透视投影模型对球场进行平面坐 标重建。在检测球场特征线上，利用球场检测技术反投影变换来滤除球场外地干 扰，使用形态学方法加强球场特征线，最后再利用h o u g h 变换检测直线，由直线 方程求解边界线的交点。最后将球场定标点作为己知条件求出投影矩阵，解出足 球和球员的世界坐标，完成了球场的平面坐标重建。 第四章为越位自动判别方法。讲述越位检测算法的设计思路。建立球场平面 俯视模型，将球员双方坐标以数组格式储存，排序标准为队员的x 坐标值，根据 越位规则设计相关算法判断越位，最后进行了仿真实验和算法分析。 第五章为总结与展望。总结了本文的主要研究成果并分析了算法存在的问题， 对今后的研究和发展方向进行了展望。 第二章足球视频中运动员与足球的检测 7 第二章足球视频中运动员与足球的检测 足球和球员三维位置坐标的获取是自动判别越位系统的关键。从足球视频中 快速的检测出球员和足球，并实现跟踪，是后续视频分析的基础。从体育视频分 析发展至今，主要的研究都集中在球和球员的检测以及场景的三维重建。特定目 标的检测和跟踪一方面可以用于分析高级语义事件，得到视频摘要和精彩事件， 另一方面也可以用于比赛体育策略分析，行为分析与判罚分析等。 近年来，国内外研究人员在运动目标检测和跟踪方面做了大量的研究工作， 大体有两种解决方案：一是利用计算机图形学、计算机视觉技术和视频图像处理 技术的方法。这类方法利用了目标或者背景的颜色或形状特征，算法多样，各有 优劣，在检测和跟踪过程中不可避免的会产生干扰和误差。另外一种方法是非图 像处理的方法。可以在足球和球员的队服或球鞋内植入技术成熟的芯片，以此来 精确定位和获取足球和球员的位置，这样省去了图像处理的大量运算和误差，但 是代价过高，并且改变了原有足球的性质。 智能足球在此前的一些国际比赛也曾经试用并有望在国际足联推广，例如阿 迪达斯和德国c a i r o s 公司共同研发智能足球内嵌i 强l d ( 射频识别) 芯片，安装在球 场内的多台跟踪设备可在3 0 0 米外接收讯号，精确定位足球的实时位置，信息会在 小于一秒的时间内传送到裁判带着的一个类似手表的设备上。当然还有些球迷和 官方机构担心科技手段的使用会拖延足球比赛的节奏，有损观赏性l l 川。目前官方 对此尚未达成统一的定论。 本文采用的是图像处理的方法。分为足球场地的检测，球员的检测以及足球 的检测。下面将分别进行介绍。 2 1 足球场地的提取 足球场地的提取是足球视频分析的基本问题，运动场地的检测效果对体育视 频中的目标检测和分析有着重要的意义。 国内外对足球场地检测进行了广泛而深入的研究，对球场的检测多基于高斯 混合模型嘲j 。文献【1 4 】在s t a u f f e r 等人在经典的自适应混合高斯背景模型基础上，提 出了基于高斯混合模型的时空耦合视频对象分割算法，首先从时间域上将每个像 素点动态构建高斯混合背景模型，并初步分割前景目标，然后再从空间域上对每 个像素点的邻域统计特征进行同步检测【l4 1 。文献【1 5 】先从图像中找到主颜色的近似 8 基于视频分析的足球越位自动判别相关技术研究 分布，后利用高斯混合模型拟合主要颜色分布，为提高模型适应能力，用当前球 场检测结果和增量期望最大算法不断更新参数模型，以得到更加准确地参数估计 1 1 5 , 1 6 , 1 7 , 1 s 。文献【1 9 】中在对图像进行预处理后分别求出了其在r g b ( r e d - g r e e n b l u e ) 颜色模型中三分量的直方图，并选取峰值( k a k 、a i 【、b p e a k ) 附近的邻域作为草坪区的颜色特征做颜色阈值分割【1 9 1 。用这种方法处理需要设定 的阈值较多，而且处理结果的噪点较多，特别是给后续的图像处理带来了困难。 另外有方法提出针对草场的绿色特性进行提取，但是只对正规球场有着良好的检 测效果，因为在现实比赛中球场的颜色可能不为绿色f 2 0 , 2 q 。 在足球比赛视频图像中，足球场地占据了其大部分的像素。正规的足球场地 应为绿色，但是由于天气、人为各个方面的因素和条件限制其球场颜色往往会发 生变化【2 2 】。正如前面介绍的场地检测算法所分析的那样，如何能灵活地根据场地 颜色的不同提取场地又能充分利用到其图像的颜色信息，这给我们提出了新的挑 战。 2 1 1 颜色空间模型 颜色是图像的一种重要视觉性质，在图像的自动分析中，颜色是一种能简化 目标分类和提取的重要描述子，所以选择合适的颜色空间对颜色的表达方式很重 要。这提示我们在检测足球场地时应充分利用其颜色特征。 其次，对颜色的特征表达依赖于所用的颜色模型，并不是所有的颜色空间都 与人的感觉相符。人可以辨别几千种颜色色调和亮度，但是只能辨别出几十种灰 度层次。 常用的颜色模型可分两类：一类面向诸如彩色显示器或打印机之类的硬件设 备，另一类面向视觉感知或者说以颜色处理分析为目的的应用，如动画中的彩色 图形，各种图像处理的算法等。现在所用的大多数彩色模型都是面向硬件或面向 应用的。 要从一幅彩色图像提起有效信息，颜色空间的选取是非常重要的，因为它对 分割结果起着决定性作用。目前表达颜色的彩色模型有许多种，它们是根据不同 的应用目的而提出的。在众多的颜色空间中选择哪种颜色空间能得到最好的分割 效果一直是研究的热点。 根据研究目的和面向对象的不同，彩色特征可以用不同的彩色模型去表征和 描述。在图像处理中，实际上最通用面向硬件的模型是r g b ( 红、绿、蓝) 模型。 该模型用于彩色监视器和大量的彩色视频摄像机。正如前面介绍的场地检测方法， 大部分都是基于此模型。除此之外还有c m y ( 青、深红、黄) 和c m y k ( 青、深 红、黄、黑) 模型，它们是针对于彩色打印机。另多 i h s i ( 色调、饱和度、亮度) 第二章足球视频中运动员与足球的检测 9 模型更符合人们描述和解释颜色的方式，其次它把图像分成了彩色和灰度信息， 更适合应用于灰度处理技术。在这些模型中，r g b 模型和h s v 模型较为常见。前 者主要用于硬件设备上彩色图像的获取、传输和显示，后者与人的视觉系统相对 应，广泛应用于图像处理以及计算机视觉的算法研列乃】。 颜色空间通常用三维模型表示。空间中的颜色能够直接或间接地使用颜色模 型产生。颜色空间中的颜色可以用三维坐标来描述，其颜色主要取决于其所对应 的坐标值。 1 r g b 模型 r g b 模型又称为加色法混色模型，其模型表明自然界任何一种颜色均可用红 r ( r e d ) 、绿g ( g r e e n ) 、蓝b ( b l u e ) z 种颜色混合匹配产生。其中r 、g 、b 被称为三 原色。基于这三原色构成的颜色称为r g b 颜色空间，如图2 1 所示，用以r 、g 、b 三个互相垂直的坐标轴所构成的笛卡尔坐标系统来表示该模型，为方便起见所有 的颜色值都归一化了。黑色在原点处，白色位于离原点最远的角上，灰度等级沿 着这两点的连线分布。立方体的其他六个顶点分别为红、黄、绿、青、蓝和品红。 不同颜色处在立方体上或其内部，可以用从原点分布的向量来定义。 b g o ) r 图2 1r g b 颜色空间示意图 在色度学中规定：通过r 、g 、b 这三种颜色能产生任何颜色，并且这三种颜 色结合后产主的颜色也是唯一的；如果两个颜色是相等的，这三个颜色分量再乘 以或者除以相等的数，得到的颜色仍然相等；混合色的亮度等于三种颜色亮度的 和。 2 h s v 模型 h s v 颜色空间模型由三个参数表示：色调h ( h u e ) 、饱和度s ( s a t u r a t i o n ) 和亮度 l o 基于视频分析的足球越位自动判别相关技术研究 v ( v a l u e ) ，该模型更符合人们描述和解释颜色的方式，人类的视觉系统能够更容易 地区分不同的色调，而且对不同的强度或饱和度的区别也能说明颜色的不同，并 且h s v 模型可以把亮度信息和颜色信息分离开，用h 和s 表示颜色信息，v 表示一 幅图像中像素的整体亮度，而不管颜色是什么。色调h 代表了基本的颜色。饱和度 s 是对颜色纯度的测量，表明白光和色调混合的数量。在几何学上，h s v 颜色空间 模型对应圆柱坐标系中的一个圆锥体，其中色调h 的取值范围是0 0 至u 3 6 0 0 ，由v 轴 的旋转角决定。依次颜色描述为：红色对应0 0 ，绿色对应1 2 0 0 ，蓝色对应2 4 0 0 ，互 补色分别相差1 8 0 度；饱和度s 取值从0 到1 ，代表色彩的浓度和纯度；亮度v 表示颜 色的明亮强度，其取值也从o 到1 ，但是它和光强度之间并没有直接的联系。如图 2 2 中，圆锥的顶点即原点处，代表黑色；圆锥的顶面中心处s = 0 ，v - - i ，代表白色 【2 4 ，2 5 1 。图中的虚线对应于r g b 颜色空间中的主对角线，代表亮度渐暗的灰色。 v 青 蓝 红 0 0 图2 2h s v 颜色空间示意图 3 r g b 与h s v 空间模型的转换 从上述两个模型的分析我们可以得知：每一种颜色空间都有各自的独特优势， 因此适用于不同的应用场合。不同的颜色空间有对应的映射关系，它们之间可以 相互转化。通常摄像机拍摄的足球视频都为r g b 图像，鉴于h s v 模型可以把亮度 信息和颜色信息分离开的优点，在足球场地检测和提取过程中可以使用该模型， 以便取得良好的分割结果【2 6 , 2 7 , 7 1 】。 r g b 到h s v 的变换计算公式为： m a x 2 m a x ( r g ，b ) ( 2 1 ) m i n = m i n ( r g ，b ) ( 2 2 ) 第二章足球视频中运动员与足球的检测 h = ( g - b ) 6 0 ( m a x m i n ) ，i fm a x = r ，g b 3 6 0 + ( g b ) 幸6 0 ( m a x m i n ) ，i fm a x = r ，g b 1 8 0 + ( b - r ) 6 0 ( m a x - m i n ) ，i fm a x = g 2 4 0 + ( r g ) 幸6 0 ( m a x - m i n ) ，i fm a x = b s ：j ( m a x - m 1 n ) m a x ，1 f v o 【0 ， o t h e r w i s e v = m a x 2 1 2 足球场地提取的方案设计 ( 2 - 3 ) ( 2 4 ) ( 2 5 ) 现有成熟的算法是对球场使用统计分类方法检测球场主色。本文中提出的算 法是将图像的颜色模型从r g b 空间转换到h s v 空间，这样有利于突出球场的主 色特征。在计算过程中我们采用的是色度值和饱和度的值，忽略了亮度分量。这 样做是因为光照会引起亮度分量的明显变化，但对色度和饱和度的影响却很小， 采用忽略亮度分量的方法可以解决球场因为光照不均产生的阴影的问题，并且提 高了计算速度1 2 副。 由足球比赛视频镜头的分类可知，帧图像中的主要颜色区域是球场草地区域， 长镜头中具有最大范围的球场草地像素点，并且从视频中能最多的反映出得球员 和足球的位置属性。在一般体育比赛节目中，视频图像的颜色主要分布在颜色模 型空间中的几个比较密集的区域。针对于此，可以在视频图像相应的颜色直方图 中寻找数值较大，出现峰值的密集区域，则该区域即为球场的主色区域1 2 9 。 在h s v 颜色模型中，对图像进行h u e 分量提取和统计，生成h u e 直方图，由 于长镜头图像中足球场地占绝大部分，所以在直方图中会出现峰值，这样同时解 决了球场颜色是其他不正规球场颜色的问题，可以选取以直方图峰值为中心对称 区域反投影得到场地。具体算法如下： ( 1 ) 读入视频图像，选取关键帧，将r o b 颜色空问转换成h s v 模型； ( 2 ) 提取图像的h 分量，得到h 分量的直方图； ( 3 ) 在直方图中寻找峰值点的位置，其峰值点的值为m l ； ( 4 ) 在峰值点周围查询数值大于k x m l 的像素点( k 为比例因子) ，计算该部 分，将这部分从直方图中去除，接着寻找下一个峰值点进行类似的操作； ( 5 ) 将去除的这些峰值部分进行比较，取最大部分的向量进行反投影变换，重 建以r g b 为颜色模型的图像。 至此我们可以获得足球的场地，为以后的越位检测工作进行准备和铺垫。 1 2 基于视频分析的足球越位自动判别相关技术研究 2 1 3 足球场地的提取结果与实验分析 本文选取了摄像机拍摄的一帧图像进行了r g b 到h s v 颜色模型的转换，对 图像进行h u e 分量提取和统计，生成了h u e 直方图。如图2 4 所示，色调h 主要 分布在两个明显的峰值范围内。 图2 3 原始r g b 图像 h 分艟的“方j 刳 n i l 图2 4 色调h 的直方图 如图2 5 所示，按照2 1 节的算法实现了反投影提取场地。由图中可以看出， 算法得到了完整的足球场地，去除了场外观众区域产生的干扰，为下一步的检测 提供了便利。 第二章足球视频中运动员与足球的检测 图2 5 反投影提取场地 2 2 球员的检测 足球场上球员的检测是获取球员坐标的关键，他们是比赛的主体。对于球员 的检测，国内外进行了广泛而深入的研究。 2 2 1 常用检测算法介绍 文献【5 】中提出采用多个静态的摄像机定标，设定了球员的人体模型，用模板 匹配的方法对球员进行追踪，提取球员队服的颜色信息进行分类。在此基础上提 取球员的颜色样本，设定阈值对图像进行阈值分割，接下来对二值图像进行形态 学膨胀运算，将球员的球衣连通起来，最后进行开运算去除噪声，然后进行区域 生长，从而实现球员的探测和跟踪p 0 1 。 对于运动目标的检测算法主要由三种：背景减除法、帧间差分法以及光流法。 国内外文献中对于足球和球员的检测也大多基于此三种方法。 背景减除法的主要原理是选取阈值对视频帧与背景帧之间做差运算，对像素 的变化求取运动区域。该方法运算速度快，目标位置精确，但需要对背景图像进 行更新，对于动态场景的变化，例如光照、摄像机移动以及其他物体的移动较为 敏感。文献 3 1 q b 提出使用高斯混合背景建模的方法来检测球员，首先对球场进行 提取，在此基础上对球场进行区域补偿生成较为固定的场景，最后运用高斯混合 模型实现自适应的背景更新从而实现球员检测 3 1 , 7 3 】。此方法在动态场景下也能取 得良好的效果。 帧间差分法是对图像序列中相邻两帧或者多帧图像进行基于像素的时间差 分，通过阈值化提取运动目标 3 2 , 7 2 】。公式可表示为： 1 4 基于视频分析的足球越位自动判别相关技术研究 b ( x ，y ) ： 1 1 0 i k 仅，y 卜i k - l 仅y 川h (2-6)oth “ i e r s z 。d ， 公式中i k ( x ，y ) 和i k - l ( x ，y ) 分别为k 和k 1 时刻图像在( x ，y ) 的灰度值，t 为阈值， b ( x ，y ) 即为二值化的检测图像。 帧间差分法对动态场景有着较强的自适应性，但是当运动较为缓慢或者时间 间隔选取不合适时运动区域会出现边缘中断现象f 3 3 】。 光流法是近几年兴起的方法，它把图像中的每个像素赋予了一个速度矢量， 形成图像运动场，图像中的点即对应着三维物体的点，根据像素的速度矢量特征 对图像进行动态分析【2 4 1 。当运动目标与图像的背景存在相对运动时，运动物体形 成的速度矢量和邻域背景的速度矢量会出现差异，从而运动目标的位置能够被检 测出。 2 2 2 本文球员检测算法设计 由于每场比赛的球员队服各不相同，所以实现对球员队服进行建模会限制其 算法的灵活性，此外摄像机镜头的变焦会使队员模型在图像空间上发生变化。在 此本文旨在寻求一种灵活可靠并且效果精确的检测算法。 这里仍然基于全景长镜头对其进行分析。本文给出的算法是基于图像的背景 建模。首先利用上一节提出的算法对足球场地进行提取，然后通过区域分析将球 场以外的区域去除，在此背景模型下进行球员的提取。具体算法如下： ( 1 ) 读入视频图像，运行球场检测与提取的算法，得到足球场地后对其二值化； ( 2 ) 对足球场地的二值化图像进行形态学处理，闭运算消除噪声，开运算提取 球场； ( 3 ) 利用区域分析的方法将非球场区域去除，将获得球场区域的二值图像与原 图像相乘，获得球场区域的r g b 图像； ( 4 ) 将球场区域的图像减去场地区域的图像； ( 5 ) 通过上述几步操作，运行得到的结果往往含有一些非球员区域，例如场地 的标志线等干扰，对图像进行区域形状分析就可解决此问题。设区域矩形的长和 宽分别是h 和w ，区域内的像素个数为s ，若满足h w 5 或者h w 0 5 并且 s ( h * w ) 0 3 时的区域将被删除。 对于球员的遮挡问题，也可以同样为每个球员设定参数 w ( 宽度) ，h ( 高度) ， s ( 球员区域像素个数) ) ，设定阈值t ，当s 小于一定值时则为噪声，应该去除， s 大于一定值时则发生了遮挡，可以对遮挡区域进行水平和垂直分割【3 4 1 。 至此我们可以检测出足球视频中的球员，具体实验结果及分析如下。 第二章足球视频中运动员与足球的检测 2 2 3 球员的检测结果与分析 根据以上的算法本文对足球视频中的几帧图像进行了实验分析，如图2 6 ( a ) 所示为原始图像，经过算法的第一步和第二步操作我们获得了球场区域的二值图 像2 6 ( b ) 。将获得的球场区域二值图像与原图像相乘得n t 如图2 6 ( c ) 所示的球场 区域的r g b 图像，图2 6 ( d ) r p 为本文检测出的球员。 ( a ) 原始图像 ( b ) 球场区域的二值图像 ( c ) 球场区域的r g b 图像 1 6 基于视频分析的足球越位自动判别相关技术研究 ( d ) 检测球员图像 图2 6 球员与裁判目标检测效果图 通过以上方法我们得到了球员和裁判员的运动目标区域。由图2 6 ( d ) 所示，球 员的检测速度快而且效果良好，满足实际要求。对于球员奔跑而产生的遮挡现象， 如果进行检测可能会产生连通区域，我们在算法中进行了目标分割，此外对于这 种现象可以连续提取多帧图像的目标，如果出现分离区域即可把两者分开。 c _ 一_ i i t 。 ”一f 。 。： 。 jj i 篝菱霪曩攀 | 二誓_ j j 鬟”7 o 誓 图2 7 球员与裁判目标检测效果示例 第二章足球视频中运动员与足球的检测 1 7 本文对多帧图像进行了重复试验，如图2 7 所示的为另外一帧图像的检测效 果，实验结果说明基于背景建模的球员提取算法具有很好的鲁棒性，满足要求， 为后续球员的跟踪和队属判别打下了良好的基础。 2 3 足球的检测 进行越位自动判别，不仅需要获取球员的坐标位置，还需要得到足球的坐标 位置。球员在进行盘带过人时，足球往往出现在其附近位置上。随着比赛的正常 进行，足球在双方球员之间移动【3 5 1 。目前对于足球视频的转播往往是根据足球的 位置移动来控制主摄像机的拍摄角度和方位，以便让观众获取更好地观测效果。 所以足球的检测和跟踪对于视频分析具有重要意义1 3 6 。 国内外对足球检测的算法主要是利用球的颜色特征和足球运动的连续性。文 献【3 7 】中提出了s b m ( 特征二值图) 算法，可以首先对图像进行预处理，根据颜色 和形状模板将一些杂物去掉，由于球的边界上的梯度变化最大，我们就可以根据 球的尺寸、颜色或纹理对剩下的区域进行筛选，由此分离出来的结果就是球的位 置【3 7 , 3 8 】，最后利用卡尔曼滤波或者粒子滤波对足球进