乒乓球比赛的精彩度分析.doc

精品论文乒乓球比赛的精彩度分析*陈伟 1 章毓晋 11 清华大学电子工程系 北京 （100084）email: z摘要：本文提出了一种对乒乓球比赛中精彩事件的精彩程度进行分析的方案，其中将提取比赛中运动员和乒乓球的运动信息作为评判精彩度的主要依据。本文通过检测比赛场景中的球台位置 以及运动员和乒乓球的备选对象，综合使用外观特征和运动特征来跟踪乒乓球，并借助一个贝叶斯 决策框架来判断最佳的乒乓球备选对象。这种跟踪策略加强了对遮挡、变形等因素的鲁棒性。与跳 水和体操比赛中的打分标准相类似，该方法在乒乓球比赛中也起到了类似评分员的作用，根据运动 员和乒乓球轨迹的一些统计特征获取对比赛精彩度的基本描述，并采用了模糊分类器通过隶属度函 数和规则表来评价比赛的质量。关键词：乒乓球检测 乒乓球跟踪 精彩度评分 模糊系统 中图分类号：tp7531引言数字电视技术、视频点播业务和无线终端视频服务为基于内容的视频检索和分析技术提出了新 的要求。体育比赛是一种重要的视频节目，对于大多数用户来说，比赛的精彩程度是他们关心并选 择观看的一个重要因素。对体育比赛视频的内容和精彩度的分析可以极大地方便观众查询并获取到 感兴趣的比赛内容。乒乓球比赛是一种为大众所喜爱的体育项目。乒乓球比赛的内容和精彩度分析不论对于专业人 员分析比赛还是对于观众收看比赛都具有很大的意义。为了对乒乓球比赛的精彩程度进行分析，首 先要将乒乓球视频分割为镜头并根据镜头的内容识别结果确定了每个镜头所对应的事件和场景类 型。这部分工作已经在之前的文章中进行了论述和介绍123。在一场乒乓球比赛中可能包含有上百回合的比赛，这些比赛镜头的精彩程度可以有很大的差 别。在乒乓球比赛所包含的比赛、运动员、观众等几个主要的事件类型之中，比赛事件是大部分观 众所关心的事件，精彩度分析也主要针对该事件所对应的镜头进行。现有的乒乓球比赛的精彩度评 价主要依据视频的底层特征。在文章4中，作者使用了视频音频联合特征对乒乓球比赛的精彩度进 行分析。将乒乓球比赛的持续时间、欢呼声的频率和解说员话音的音高作为三个评价比赛精彩度的 因素，加以不同的权重并求和作为每局比赛的精彩度。这类基于底层特征的描述方法对视频内容的 描述能力有限，并使得对于视频的描述和观众的理解存在一定的语义鸿沟。与此同时，对于观众来 说，其评判一场乒乓球比赛到底吸引不吸引人在很大程度上是根据比赛中运动员的动作和乒乓球的 运动情况来判断的。如果可以获取每一回合比赛中的这些语义信息并以此为基础判断其精彩程度， 将可以极大的方便用户的查询和观看。为此设计了一个新的自动评价乒乓球比赛精彩程度的系统，该系统对精彩程度的判断主要基于 比赛中运动员的动作和乒乓球的运动情况，这与观众判断比赛精彩的主观感受更加一致，也具有更 强的描述能力。为了获取乒乓球比赛中的运动员和乒乓球的运动信息就要分割出乒乓球运动员和乒 乓球并确定其运动轨迹。球的跟踪技术在最近一段时间得到了很大的关注，比如足球的跟踪5-7， 乒乓球的跟踪8。对于这类算法来说，一般都是首先根据外观特征检测出每一帧视频中球的备选对基金项目：教育部高等学校博士学科点专项科研基金（srfdp-20050003013）。14象，在568中，kalman 滤波器被用于预测和跟踪球的运动信息并使用模板匹配的方法来最终确定 球的轨迹。在文章9中，作者通过图论的方法来跟踪运动员，使用节点来表示每一帧图像分割出的运动员备选对象，使用边来表示对象之间的距离，最终的跟踪通过寻找图中的路径来完成。现有跟踪算法中最困难的问题主要有跟踪对象的初始化问题，由于遮挡等原因造成的跟踪间断问题，对象 在跟踪过程中变形问题等。乒乓球作为一种特殊的跟踪对象，这些问题都很严重。比如乒乓球对象 很小，容易与噪声相混淆；并且运动速度很快，经常会出现拖尾变形、模糊等现象；运动方向变化 很快，而且一般都是变速运动，对跟踪预测造成很大困难；由遮挡造成的跟踪间断现象很严重；同 时受摄像机角度影响遮挡也很严重。这里综合使用了外观特征和运动特征来跟踪乒乓球，并使用贝 叶斯决策来判断最佳的乒乓球备选对象。为了能够跟踪乒乓球对象快速变化的特征参数，还使用了 kalman 滤波器和贝叶斯估计算法来分别更新乒乓球运动特征和外观特征的模型参数。与跳水和体操比赛中的打分标准相类似，该系统在乒乓球比赛中也起到了类似评分员的作用， 对于每一回合比赛根据其中的高层语义特征给出一个合理的精彩度评分。下面就对以上各部分内容分别加以介绍。2高层语义特征的提取在乒乓球比赛中，运动员和乒乓球对象是在视频中主要发生变化的前景目标。通过分割前景和 背景可以在一定程度上帮助获取所需对象的位置信息。与此同时，在一个回合的比赛的过程中，背 景也并不是完全保持不变的。随着比赛的进行，摄像机在不停地根据运动员的情况进行着调整，主 要包括扫视、倾斜和变焦运动。全局运动的存在为背景建模工作造成了一定的困难。与背景变化相 比，前景对象的变化更加剧烈。通过分析视频中的差异和变化可以在一定程度上缩小分析的范围， 便于后续处理和分析。为了获得前景对象的模板和大致位置，首先计算相邻两帧之间的差异，并使 用图像处理和数学形态学算法对其进行预处理，最终得到二值化的视频帧差模板(change detection mask: cdm)10，如图 1(b)所示。该模板主要反应了相邻帧之间的灰度变化情况。在数学形态学的 预处理过程，通过开操作去除模板中的噪声，通过闭操作连接相邻的可能属于同一个对象的孤立区 域。视频帧差模板如下式所示：1cdm ( x, y, i) = 如果 | il ( x, y, i + 1) i l( x, y, i) | t(1)0 如果| i l ( x, y, i + 1) i l ( x, y, i) | t其中 il(x,y,i)和 il(x,y,i+1)是前后两帧在(x,y)位置的灰度值，t 是一个由所在帧的均值所决定的自适 应阈值。(a)(b)图 1 (a)乒乓球比赛中的一帧 (b)该帧的视频帧差模板 模板中之所以含有球台边缘和广告牌主要由于摄 像机的运动和变焦所引起的2.1球台位置检测乒乓球台是乒乓球比赛场景中的一个标志性对象，可以为后续对象的分析和处理提供重要的参 照。同时，对乒乓球台的轮廓进行标定可以帮助对比赛场景中的相对距离进行判断。可以首先通过边缘和颜色特征来确定球台区域的大致范围。如图 2(b)所示，首先使用 sobel 算 子来获取视频帧的边缘。由于在比赛场景的四周以广告和观众为主，所以后续分析主要关注于每个视频帧的中心区域。在比赛场景的边缘图像之中，球台边缘分布呈现为比较完整的直线。通过 radon变换可以确定球台水平和竖直边缘线的位置从而找到乒乓球台的大致区域。 乒乓球台具有单一的颜色，由于运动员的遮挡球台只能显示出不完整的一部分。为了确定每一帧图像中所显示的球台的准确位置就要根据球台大致区域中颜色信息对球台区域进行进一步细分。 首先分析出乒乓球台大致区域中的 rgb 主分量，并认为该主分量就是球台所对应的颜色：1t ( x, y) = 0如果 (r ( x, y) rt ) t ) ( g ( x, y) gt ) t ) (b( x, y) bt ) 2 ) ( g ( x, y) 2 ) (b( x, y) 2 )(3)b( x, y) 3 3 30 其它情况其中 r(x,y), g(x,y) 和 b(x,y)是位置(x,y)上的归一化 rgb 颜色分量，(x,y)被限制在视频帧差模板的范围之内。与视频帧差模板相比，模板 b(x,y)的范围被大大缩小，可使用其它限制条件对该模板进行进 一步的分析。(2)形状：标准乒乓球对象的形状是圆形的。由于速度以及遮挡等原因，形状会有一定的变形。 可使用下面的指标来描述备选区域与圆形的相似程度11：1 k 1 r = ( xi , yi ) ( x, y)k i =0(4)k 1 r = =k ( xi , yi ) ( x, y)2 r (5) i =0c = r r其中 k 是备选区域中对象轮廓线上的点， ( x, y) 是轮廓的中心。(3)大小：通过限定备选对象外接长方形的长和宽来对大小加以限定。(6)(4)位置：由于乒乓球很少出现在比赛场景的边缘区域，所以可主要关注于视频帧中心区域的 备选对象。根据所检测到的乒乓球对象的位置是在球台内还是球台外可以将备选对象分为两类。由于球台 区域背景较简单，受到运动员和球台边缘线的遮挡情况比较少，所以当乒乓球在球台内的时候，乒乓球备选对象的检测具有较高的准确度。可选择球台内的检测效果好的乒乓球对象作为跟踪的初始 位置。当球在球台外的时候，由于运动员遮挡和复杂背景等的影响，会有更多的备选对象被检测出。由于检测到的备选对象可能较多，需要对其进行进一步的判断。一种判断方法是基于球的运动轨迹的。在文献5612的跟踪算法中通过不断比较球的不同的可能轨迹来判断出最佳的轨迹。这里 希望可以综合利用上所有可能的信息，并做出最优的判断。在跟踪乒乓球的过程中主要依据于球的 运动信息和球的外观特征。由于乒乓球的运动和外观在比赛过程中的复杂变化情况，要求在跟踪过 程中能够有效的结合对象外观表示模型和运动状态更新模型，实现对乒乓球对象的有效表示和跟 踪，并及时地更新其状态信息。下面对其分别加以介绍。2.3.2乒乓球轨迹提取 (1)贝叶斯决策框架：假设 m 表示第 k 帧中的第 m 个备选乒乓球对象，希望计算该对象属于兵乓球类 cball 的后验概 率，并以该概率为依据进行判断。假设 ym 是备选对象 m 的特征，包括运动特征 dm 以及外观特征 om。假设这两部分特征相互独立。z1;k-1 是前面跟踪得到的乒乓球对象的特征。根据贝叶斯公式，乒乓球备选对象 m 属于乒乓球类的概率可以被写为：p(c | y ) = p(cball ) p( ym | cball )ballmp( ym )(7)其中 p(cball)是兵乓球类的先验概率。p(ym) 是备选对象 m 属于乒乓球类的先验概率，假设所有备选 对象的先验概率相等。备选对象 m 属于乒乓球类的概率主要由式(7)中分子的第二项决定。该项叫做边际似然函数，可以通过对所有可能参数进行积分而得到：p( ym | cball ) = d p( ym | , cball ) p( | z1;k 1 , cball )(8)= d p(d , o| , c) p( | z, c )mmball1;k 1ball在每一帧中，选择可以使后验概率最大的备选乒乓球对象也就是使边际似然函数最大的备选对 象作为当前帧的跟踪结果：m best = arg max p( ym | cball )m(9)如果假设参数的分布方程 p( | z1;k 1, cball) 是单峰的并且具有很大的突起的话，就可以使用最大似然估计来近似使得后验概率最大化。具体来说就是使用 dirac delta 方程来代替参数的分布方程，通过最大似然估计来选择使得训练样本的似然函数最大的参数 ： * = ml= arg max p(z1;k 1 | , cball )(10)跟踪概率模型包括了乒乓球对象的所有重要特征：运动和外形。通过使用以上的跟踪策略，乒 乓球的两种主要特征可以互为补充。当球的运动状态比较稳定的时候，即使它的外形出现较大的变 形也可以被较好的通过运动估计来跟踪。当球的运动状态出现较大的波动而外观比较清晰的时候， 也可以通过外观模型匹配来跟踪到对象。与足球相比，乒乓球对象的特征变化更加剧烈，运动情况更复杂，外形变化和遮挡情况也更严 重，目标更小也更难于跟踪。这就要求所使用的模型能够更好的结合乒乓球的外观和运动特征，使 参数具有更快的收敛速度，从而使得跟踪结果具有更高的鲁棒性。假设乒乓球的运动特征和外观特 征相互独立，并使用 kalman 滤波器和贝叶斯估计通过迭代过程来分别给这两部分信息进行建模和更 新参数。kalman 滤波器可以为叠加有高斯噪声的线性动态系统进行建模。乒乓球的运动特征基本满 足该条件（击球点附近除外）。贝叶斯估计则比较适合于更新乒乓球的外观参数。 (2)运动参数更新：使用两个相互独立的 kalman 滤波器来分别更新水平和竖直方向的乒乓球运动信息。假设乒乓球 在稳定阶段的运动状态是叠加有白噪声的匀速运动。在击球点附近的乒乓球速度相对较小，所以 kalman 滤波器模型在乒乓球运动状态转变时不会引起太大的误差。kalman 滤波器的状态方程可以表示为：相应的观测方程为：x k +1 = ax k + wkzk = h k x k + vk(11)(12)其中 xk 是状态变量，包括位置和速度变量。zk 是观测变量。wk 是系统叠加的白噪声，vk 是观测 过程中的白噪声。运动特征每一步迭代所对应的后验概率都是基于高斯分布的。其所对应的均值和方差为 d = vxe , vye , xe , ye 。其中 vxe, vye 是速度变量的预测值。 xe , ye 是速度预测值的方差。对于中心位于 xm, ym 的乒乓球对象来说，其所对应的运动特征的后验概率可以被表示为：pk (dm | d , cball ) = px (m)i py (m)1=1 exp( ( xm xt ) vxe )2 ( y y ) vy )2m t e )(13)e e(2 )2 ( x y ) 2(3)外观特征建模和参数更新：2 xe2 yeii假设乒乓球对象的大小、形状和颜色的分布都是高斯的，其各自对应的均值和方差为：oi = m , m , i=1,2,3。假设它们之间相互独立。在第 k 帧中的乒乓球备选对象 m 的外观特征的后验概率可以被计算为：3pk (om | o , cball ) = pk ,i (om,i | oi , cball )i =1(14)其中 pk,i 是高斯分布，om 是备选对象 m 所对应的外观特征，p1, p2, p3 分别表示大小、形状和颜色 特征。由于背景的变化以及运动状态的影响，乒乓球外观特征的均值和方差在比赛的过程中不断地发 生变化。为了学习并更新相应的参数，可使用贝叶斯学习算法来更新各个外观参数的变化。在跟踪的过程中，在每得到一个新的跟踪结果的时候都把当前对象的特征作为输入迭代更新当前模型所对应的参数。 与文章13中所用的方法相类似，高斯分布的均值和方差参数可以被更新为： ( k ) ( k l +1)k = k 1 +k = k 1 +l 1( k ) ( k l +1)l 1(15)(16)其中上角标(k) 表示该数据为第 k 帧所对应的数据。 ( k ) 是第 k 帧中的对象的外观特征的值，相应的方差为 ( k ) = ( ( k ) k 1)t ( ( k ) k 1) 。下角标的数值表示迭代的次数。对于所有的当前帧中的备选乒乓球对象来说，总按照式(9)选择使后验概率最大的作为当前跟 踪结果。如果该对象所对应的后验概率低于事先所确定的阈值，则认为当前跟踪结果出现错误，没 能够找到真实对象的位置。相应的使用 kalman 滤波器预测的位置代替跟踪结果。对于大多数乒乓球比赛来说，其球台的大小是固定的，当确定了乒乓球台的轮廓边缘之后，就 可以确定视频中实际空间长度的比例关系，从而计算出球和运动员的真实速度。每一个击球点的位置也可以通过分析乒乓球跟踪结果的轨迹来得到。3精彩度打分根据提取出来的高层语义特征可以较方便的获得更加直观的与人们感觉相符合的比赛精彩度 评价依据。为了更好的描述人们对乒乓球比赛的认识和感觉，将对比赛的精彩程度分为若干个不同 层次进行评价并以人们的先验知识为基础制定乒乓球比赛精彩程度的评价标准。在乒乓球比赛中，精彩镜头往往与特定的动作相联系。为了确定比赛事件的精彩度，需要对每 回合比赛所发生的动作和事件进行统计和分析，然后确定出与观众的感觉最相符合的精彩度。要对比赛的精彩度排序并尽可能的符合人的感觉和观看习惯，可以借助观看比赛的人在评价比 赛精彩程度时所用的准则和观点。可对每一个回合的比赛分别评价其精彩程度。与跳水和体操比赛 中的打分标准相类似，按照评分标准的主观程度和所用特征的复杂程度将评分准则分为三个层次： (1)基本层，基本层主要描述了比赛中的一切最基本的特征，是观众对比赛的最直接的印象。比如每 一回合比赛的持续时间，一个球来回打了几拍，球和运动员的运动速度等；这些信息可以直接从所 提取的高层特征中分析出来。(2)品质层，在品质层中评价球运动轨迹的质量，运动员运动的激烈程 度等等这些相对主观的特征。使用模糊系统来描述这些相对模糊的概念。(3)感觉层，如裁判基于对 大量比赛进行判断评价而得到的感觉。最后一层主观性比较强，这里的精彩度评价将主要依据前两 层进行。3.1基本层的排序基本层的排序主要依据于每一回合比赛的一些最基本的性质，比如比赛的持续时间以及运动员 和乒乓球跟踪结果的一些统计特征来描述观众对比赛最直接的认识。具体的评分规则如下式所示：basic _ rank = n (r1 h1 + r2 h2 + r3 h3 )(17)其中 n 为一个回合比赛镜头中所包含的总的帧数。影响基本层得分的因素主要由三部分组成，分别 是球运动的平均速度、运动员击球点变化的平均距离以及运动员运动的平均速度。r1, r2 和 r3 为不同影响因素的权重。下面是各个因素的计算公式：(1)比赛中球运动的平均速度：h1 =n vb(i ) f ( i =1 )n(18)其中 vb(i)为第 i 帧中乒乓球运动的速度。(2)运动员击球点变化的平均距离：m1 m2h2 = f ( bsp1 (n1 + 1) bsp1 (n1 ) / m1 + bsp2 (n2 + 1) bsp2 (n2 ) / m2 )(19)n1 =1n2 =1其中 m1 和 m2 分别为第 1 个运动员和第 2 个运动员各自的总击球次数。bsp1 和 bsp2 分别是球在被 第 1 个运动员和第 2 个运动员击球时的位置。(3)运动员运动的平均速度：nn vp1 (i) + vp2 (i)h = f ( i =1 i =1 )3 2n(20)其中 vp1(i)和 vp2(i)分别是第 1 个运动员和第 2 个运动员在第 i 帧中的运动速度。该速度可以通过计 算之前跟踪运动员时所得到的运动员的外接框中心的速度来得到。上面的三个描述比赛基本信息的变量通过下面的函数进行转换：1f =1 + e ( x mean )(21)这样每个变量的范围都被转换到 0 和 1 之间的范围之内，从而可以将不同的影响因素相加到一 起。3.2品质层的排序在品质层描述的概念和因素相对于基本层来说更加抽象，其评价标准由于与观众的主观感受更 加相关所以也更加模糊。为了描述这些模糊的概念，采用模糊系统来对相应的因素进行分析和建模。 虽然人对精彩度的感受在很大程度上是相对主观的，但事实证明在很多情况下这种感受是存在共性 的。比如在文献14中，作者使用隶属函数和规则表对施特劳斯圆舞曲的情感进行了识别。为了使用模糊系统来描述人们对于乒乓球比赛质量的评价，需要定义模糊变量的隶属度函数并 制定相应的模糊精彩度规则表。模糊隶属度函数所起到的作用是将直接从特征中得到的数据转化为 模糊的更加贴近语义理解的模糊变量，实现物理特征与语义特征之间的转换。然后将这些模糊变量 进行进一步的分析和综合，同时嵌入一些专家的经验，根据先验知识提出一些规则，最终得到相应 的对乒乓球比赛质量的评价。为了分析比赛的质量，以两次击球之间的球和运动员的行为作为基本 单位对一个回合的比赛进行分析。考虑的因素包括了运动员击球前的移动、击球动作、球的轨迹和 速度、两次相邻击球之间乒乓球的运动轨迹的相似性（用以描述乒乓球变化的丰富性）等。3.2.1输入变量的定义假设当前评价对象为第 n 次击球所对应的特征信息： (1)运动员运动的激烈程度：pb(n) = rhp f ( hp(n) hp(n 2) ) + rshp f ( shp(n) shp(n 2) )(22)其中 hp(n)和 shp(n)分别为击球运动员在第 n 次击球时的位置和形状（形状特征由运动员的外接长方形的面积进行表示）， hp(n) hp(n 2) 和 shp(n) shp(n 2) 则描述了同一个运动员在相邻两次击球之间的位置和形状的变化。rhp 和 rshp 分别为对应的权重。f 是(21)中定义的转换函数。(2)乒乓球轨迹的质量：该变量通过连续两次击球之间的乒乓球运动的速度和长度来描述乒乓球轨迹的质量。一般来说运动速度越快运动距离越长的乒乓球越精彩。bq(n) = rbl f (bl (n) + rbv f (bv(n)(23)其中 bl(n) 和 bv(n)分别为球在第 n 次和第 n-1 次两次击球间乒乓球的运动距离和速度。rbl 和 rbv 分 别为对应的权重。f 是转换函数。(3)乒乓球轨迹的变化： 一般来说，球的变化比较丰富的比赛比较精彩，通过以下的变量描述乒乓球轨迹的连续性与变化的丰富性：con(n) = rv f ( v(n) v(n 1) )+ rk f ( k (n) k (n 1) ) + rl f ( l (n) l (n 1) )(24)其中 v(n), k(n) 和 l(n)分别为球在第 n 次和第 n-1 次两次击球间的运动速度、轨迹长度和运动方向。rv，rk 和 rl 分别为对应的权重。f 是转换函数。3.2.2隶属度函数的设计：上面给出了各个输入量的定义和公式，人们对这些特征的感受往往是比较模糊的。事实上在多 数情况下总喜欢用形容词来形容对比赛的感觉，如在对距离的描述中常常用长，短等等。因此，需 要把这些确切的数字通过定义隶属函数转换成语义表达。以上所定义的输入变量通过模糊隶属度函数被转化为了三个模糊集合：低（low）、中（middle） 和高（high）。不同的模糊隶属度函数具有不同的形状，这主要是由特定领域的先验知识和设计者的 经验决定的。一般来说，对于重要的区域和范围使用窄的模糊集合来描述。对于不太重要的范围则 可以使用比较宽的模糊集合来描述。具体如图 5(a)所示。分类器的输出精彩度等级分为 5 等，分别是极好（outstanding）, 很好（superior）, 好（good）, 一般（average）和 差（marginal）。通过隶属度函数，可将上面的输出变量转化为对精彩度的评分， 如图 5(b)所示。(a)3.2.3规则表的设计：(b)图 5 (a)输入变量的隶属的函数 (b)输出变量的隶属度函数通过模糊分类器可将输入的关于运动员和乒乓球的信息转化为输出的精彩度等级。规则表的设 计将依据先验知识反映输入和输出之间的关系，使用 “如果则”的形式进行表达。比如当输 入的运动员运动的激烈程度、乒乓球轨迹的质量和乒乓球轨迹的变化所对应的隶属度函数的输出都 为“低（low）”时，输出“差（marginal）”。这里输入共有 27 种组合方式，对应着 27 条规则和 27 个相应的输出。最终一个回合比赛所对应的品质层得分是该回合中各次击球单元品质层评分的总合：kquality _ rank = quality _ ranknn =1其中 quality_rankn 是该回合中第 k 次击球所对应的品质层得分。3.3各个层次知识的合成(25)与体操和跳水等比赛中的评分规则相类似，将基本层的得分和品质层的得分都转化到相同的0,10区间之内，对不同因素所得到的得分进行综合并叠加在一起：final _ rank = rb basic _ rank + rq quality _ rank(26)其中 rb 和 rq 是相应的不同层得分的权重。在实际对比赛的判断中，基本层更加客观也更重要一些， 所以将它们分别设为 0.6 和 0.4。4实验结果和分析为了验证精彩度评分系统的有效性，选择了 10 回合的乒乓球比赛进行实验（帧率25 帧/秒， 帧大小为 288352 象素）。5 个来自比 2004 年奥运会女单决赛，2 个来自 2000 年奥运会男单决赛，3 个来自 2005 年世界杯男单决赛。一共包含有 797 帧。图 6 中展示了在一个回合比赛中的乒乓球检测和跟踪结果。通过对 kalman 滤波器预测结果的分 析可以发现，在运动稳定的区域，kalman 滤波器可以很好的跟踪并预测乒乓球的运动情况。在击球 点附近，可能有若干帧会跟丢，在外观特征的帮助下，滤波器可以很快地跟上乒乓球。通过对备选乒乓球位置和数目的分析，可发现在球台之外可以检测到更多的备选对象，也更难于跟踪。(a)(b)图 6 一个回合比赛中的乒乓球跟踪结果：乒乓球对象的真实位置使用长方形表示，备选乒乓球对象使用蓝色的星 表示，kalman 滤波器预测的结果实用红色的加号表示。图中横坐标方向单位为帧数，纵坐标为帧中对应方向的坐标 (a)x 轴方向 (b)y 轴方向图 7 一段球台区域内的乒乓球跟踪过程和结果。每一帧中的备选乒乓球对象使用白色长方形进行标定，最后一 幅图中表示了球的跟踪结果。图 7 所展示的是一段在球台内跟踪球的结果。由于背景单一，在球台内可以有较好的跟踪效果。 虽然在若干帧内会有漏检或错检发生，但跟踪策略可保证最终球轨迹的正确性。对于精彩度分析系 统来说，起决定作用的并不是某一帧的检测结果，而是整个轨迹的统计信息和特殊点的位置。在图 8 中主要展示的是一段球台外的跟踪结果。由图示可以看出，在球台外有更多的备选对象被检测出，备选对象相应的后验概率也比较低，有更多的帧需要通过预测结果来得到乒乓球的位置。图 8 球台区域外的一段乒乓球跟踪过程和结果。每一帧中的备选乒乓球对象使用白色长方形进行标定，最后一幅图中表示了球的跟踪结果图 9 所示是 4 回合比赛中的乒乓球跟踪轨迹结果。回合 4(图 9 (a)的比赛中球的速度相对较低， 长度也较短，所以精彩度分数并不高。回合 6(图 9 (b)的基本层得分和品质层得分都较高，这主要 是由于其有更多的击球数目，球轨迹的变化也更丰富。回合 8(图 9 (c)中比赛的球轨迹长度和速度 都很理想，但是运动的方式较单一，运动员也没有太大的运动，这些因素影响了最终得分。回合 9(图9 (d)的球轨迹大多在球台内，距离较短，但速度和变化较大。(a)(b)(c)(d)图 9 乒乓球跟踪轨迹示意图(a)回合 4 (b)回合 6 (c)回合 8 (d)回合 9为了描述跟踪结果，依然选用查全率（recall）和查准率（precision）作为评判标准。表 1 中给 出了 10 个回合比赛中的跟踪实验结果统计。可见乒乓球的最终轨迹对于漏检并不是十分敏感，其 位置大多可以被较好的预测，而误检则可能对乒乓球运动轨迹造成较大的影响。所以设定较高的贝 叶斯后验概率的阈值，从而保证尽可能小的误检率。大多数的误检都发生在球台线或运动员遮挡的 时候，这时候的轨迹信息主要依靠预测的结果。从表 1 中可以看出，球台内的跟踪结果要好于球台 外的跟踪结果。表 2 中展示了精彩度打分的实验结果。请一些观众使用极好（outstanding）, 很好（superior）, 好（good）, 一般（average）和 差（marginal） 5 个等级对 10 个测试乒乓球比赛进行打分，并将该 比赛的观众打分最多的等级作为其观众评价。从表 2 中可以看出，精彩度打分结果基本上可以反映出观众对比赛感觉。一般来说，击球数比较多，时间较长的回合得分相对较高。表 110 回合测试比赛的乒乓球跟踪结果比赛回合球台内(%)球台外(%)综合(%)查全率查准率查全率查准率查全率查准率181.597.671.492.17896.1280.410087.198.682.399.7378.310075.410077.1100472.298.262.4579.292.870.389.877.192.2688.38896.7773.493.657.28570.991.5874.791.95186.772.191.196597无无65971069.696无无69.696表 210 回合测试比赛的精彩度评价结果比赛回合比赛中的帧数基本层的分品质层得分总分观众评价15好28好313极好470一般56好612极好74一般810很好96一般105差上述评分准则还可以很方便的由观众根据自己的喜好进行调整，根据自己关心因素的重要程度加以不同的权重，以便收看不同的特点的比赛。5结论本文主要研究了乒乓球比赛的精彩程度评价并提取了比赛中的运动员和乒乓球对象的运动信 息作为评判精彩度的主要依据。为了检测出乒乓球比赛场景中的球台位置，主要使用了边缘和颜色 特征，通过首先检测大致范围然后不断细化的方法最终确定了球台的准确位置。通过视频帧差模板 的主要连通区域分析和轨迹分析来获得乒乓球运动员的轨迹。首先通过颜色、形状、大小和位置特 征检测乒乓球备选对象，然后综合使用了外观特征和运动特征来跟踪乒乓球，并通过一个贝叶斯决 策框架来判断最佳的乒乓球备选对象。通过 kalman 滤波器和贝叶斯学习的方法分别更新运动和外观 的特征参数。与跳水和体操比赛中的打分标准相类似，文中的方法在乒乓球比赛中也起到了类似评 分员的作用，根据获取的高层语义特征对每一回合比赛给出一个合理的精彩度评分。考虑到对体育比赛进行精彩度评价的主观性较强，尽管本文的精彩度评价系统选取了一些公认 的标准作为评价准则，但是并不能够保证该标准与特定的用户的习惯相符合。为此可以考虑加入用 户反馈的环节，通过用户反馈的样本自动改进评价标准。另外，一些复杂的机器学习的方法比如支 持向量基的方法和 adaboost 算法都被成功的应用到了很多主观性很强的识别领域之中，比如语音 和人脸的情感识别。如果用户可以标定更多的具有一定精彩度等级的训练样本，通过机器学习的方 法也可以使得精彩度评价系统的评价结果和用户的感受更加一致，既帮助用户找到真正对其判断精 彩比赛起决定作用的特征，也可以将更多的基于经验的难以量化的指标进行表达。参考文献1c.wei, and z.yu-jin. parametric model for video content analysis j. pattern recognition letters (revision being processed)2c.wei, and z.yu-jin. an adaptive hmm learning algorithm and its application for video structuring j. (submitted to neurocomputing)3c.wei, and z.yu-jin. tracking ball and players with applications to highlight ranking of broadcast table tennis video a. imacs multiconference on “computational engineering in systems applications” (cesa 2006), vol2, p1896-1903.4x.liyuan, y.qixiang, z.weigang, et al. a scheme for racquet sports video analysis with the combination ofaudio-visual information a. proc. of spie, 2006,vol. 5960, 59600s1-s95l.dawei, l.yang, h.qingming, et al. a scheme for ball detection and tracking in broadcast soccer video a.pcm 2005, part i, 864 8756y.xinguo, x.changsheng, h.waileong, et al trajectory-based ball detection and tracking with applications to semantic analysis of broadcast soccer video a. proceedings of the eleventh acm international conference on multimedia , 2003, 11-207y. xinguo, t.qi, k.wah wan, a novel ball detection framework for real soccer video a. icme, 2003, part ii,265-2688a.guziec, tracking pitches for broadcast television j. computer, 2002, vol 35, issue 3, 38 439p.figueroa, n.leite, m.l.b.ricardo, et al tracking soccer players using the graph representation a. icpr,2004. vol.4. 787 79010t.m.king and n. ngan. automatic segmentation of moving objects for video object plane generation j. ieee transactions on circuits and sys