（计算机软件与理论专业论文）竞技运动视频的识别与比较.pdf

摘要 众所周知，竞技体育发展越来越迅速，竞争也越来越激烈， 提高运动成绩的难度越来越大。为了在重大国际赛事和奥运会 上取胜，世界体育强国都在力争运用最新的科技手段来挖掘人 体运动的潜能。竞技体育在某种程度上也包含着科技的较量。 实现科学且实用的训练的有效途径之一是利用c as ( c o m p u t e r a s s i s t a n ts p o r t ) 系统，即计算机辅助运动系统。竞技运动视频 的识别与比较系统正是c a s 训练方法在竞技运动训练中的实 现。 竞技运动视频图像的识别与比较是一种基于视频运动目标 分割与提取、运动目标视频合成与比较的运动目标分析技术， 通过实际训练体态或动作与标准体态或动作的比较，达到科学 的运动分析与诊断的目的。 目前，视频图像处理还不能在体育科学化训练中得到广泛的 应用，主要是与其软、硬件价格和便携式录像采集和图像处理 系统的应用有很大关系。今后需要在运动现场做到视频图像的 敏捷反馈，不但需要计算机技术水平提高和发展，开发出更加 便携、功能强大、操作简单和实效的视频图像处理系统软件更 是当务之急。 本文主要根据运动视频特点，提出如何把两个有运动员动作 的视频进行合成的方法。主要包括三个方面的研究： ( 1 ) 静态图像序列的获取。在背景不改变的情况下，采用 定点对运动目标进行连续摄像的方式，得到运动员完成跳远全 过程的一段视频录像，并转换为静态的帧图像序列。 ( 2 ) 运动目标的提取。对静态帧图像进行去背景、目标检 测与分割、并进行相关形态学处理，实现运动目标的提取，生 成画面只有运动目标的帧图像序列。 。 ( 3 ) 运动目标的视频合成与比较。将两个属于不同运动目 标的帧图像序列，合成为一个视频段播放或两个视频段的同屏 同步播放，从而实现不同运动目标的视频合成与比较。 ( 4 ) 竞技运动视频图像分析与比较实验系统的设计与实 现。 本文在参考竞技运动视频分析最新研究成果的基础上，结合 现有条件，以跳远运动视频为研究对象，实现了竞技体育视频 中运动目标的检测、分割和提取，并对提取的运动目标进行合 成与比较。这些功能都是借助于v c + + 6 0 平台在w i n d o w sx p 系 统下研究和实现的。作为进一步的研究，今后还可以在基于视 频的运动目标分析方面做更多的工作，充分发挥视频图像处理 和分析技术在竞技运动科研中的作用。 成 关键词：竞技运动视频图像处理运动目标提取视频合 u t h ei d e n t i f i c a t i o na n dc o m p a r i s o ns y s t e mo f c o r e p e t i t i v es p o r t sv i d e o a b s t r a c t itisw e11 kno wr lth a tthe co m p etitiv e s p0 rtsdev elo p m o r ea n di n o r eq t li c k lya n dt 0i m p r o v et h escoreb e c o m esm u c h motedif ficl i1twith t hefie f teco m p etiti0 1 1 the sp o t tin g p o w e rsa re strivingt0exp10itthe s p0r tingp ote 1 3tial b y n e we st te ch niq u est0w inin thein te r l 3 a ti0n al s p o rts ev en ts o r0 1y m pics t 0so m ed eg re ethec on te st 0 f te ch n o1og yisp a r t0 fco m petitiv es p o r ts o ne eff ective w a yt0tr ains cie1 3tific 1 9 11ya ndp r a ctic a1lyist0utiliz e c 0 m p u terassista n ts p o rtsys te m ， a bbrevia tedasc a s th e identifica ti0 n1 9 n dco m p a ris0 1 3s ys te mofc0 m petitive s p 0 rts vide oisthe v e ryw a yir lc a str ainin gm e th 0dus ed in co m petitiv esp 0 rtstr ainin g t heider l tifica ti0 n：a n dc o m p a ris0 1 30 fe o m petitive s p ortsvideoisam oti0 no bjectana 1ysiste chniq ue ，w hic h isba s ed 0 1 3theex tra ctin g ： seg m er l ting ： mixing a n d co m p a rir lg0fi n oti0no bje cts0fth evideo a 1 3dt he9 0a10 f s cie ntificsp ortsar i alyzir lga n ddia gn osin gisa chie v edby c o m p a ri1 1gthea c tu a ltr air lir lg p ostl i teo f a cti0 na n dthe s t a r l d a r d0r l e no v a d a ysthevide oa n dim a ge p r0 c e s sin gca nr i o t be wide1ya p p1iedi1 3sp o t ts s cie 1 1tifictr ai1 3in g ，i l i ai1 31yd ue i i i t0th ec o sts0fs0ft w a rea 1 1dha rd w a rea n dthea p p1ic ati0 1 1 0fh a n d he1dvide oe x tra cti1 1gsys ten la ndim a gep r0 c e s sir i g s y s t e m 1 1 30 r d e rt 0i m p r o v et h er e s p 0 n s es p e e d0 fs p 0 r ts v i d e o0 1 3t h es p 0 t ， t h ec o m p t l t e rt e c h l l o l o g yn e e d st 0b e a d v a l 3 c e d a n d0 ft h eu t m o s ti 1 1 1 1 3 0 r t a n c eist 0d e v elo pa vide o1 9 ndim a gep r oc e s si1 1gs 0f t w a rewhichismoreha r ld y ， i l l o l e p o w e r f u l ，m o t ee 1 s y h a r t d l in ga n dn l o r ee f f e c ti v e t histh esisp r0 p ose sth ev ide oc o m p0sir lgm eth o d0 ft w 0 a th1etes m o ti0 1 1 a l ldthet h esisis co m p0 s ed 0fthe f o l l o r ir l gt h r e ea s p e c ts ： ( 1 ) c a p th ri1 1g0 f t a ggedim a g ese fies i r l th es a 1 i l e setti1 1gthem oti0 no b je ctsa res c re e l 3edc0 1 3 tin h o us1yf r o n l 1 9 p ositi0r eds p o t ，a ndth usth evideo ofa th1e tes lo r lg ju m pp r oc e s sis0 bta in eda 1 3 dth e e lcon ver tedint0ta g g ed im a ge s e ries ( 2 ) extr a ctin g0 fi 1 1 0tio no bjec ts t he ! i i otio i lo bje c ts a r ee x t r a c t e da n di m a g es e r i esc 0 1 3 t a i l l i l 3 9s 0 1 e ly0 f1 1 1 0 t i o n o bje ctsa rec r ea teda f te l - theb a ckg o hndre m ovin g ， 0bjectsdete ctin ga n dseg m e1 1 ti1 3g ，a 1 ldr i ois ere l n ovin g ( 3 ) co m p osin ga ndco m p a rin g0 fi noti0 1 1o bje cts t he ta g gedim a g es e rie so ft w o1 1 1 0 ti0 n0 bje ctsa re c o l l l p0 sed in t00r e o rt w ovide ofi1es ，a ndthe vid e0 sa rep1a yed0 1 1 t h es a m es c r e e ns yr l c h r or l iz i l 3 9t 0c 0 i l l p 0 s ea n dc 0 i l l p a r et h e vide oo fm oti0 no bje cts ( 4 ) d e si9 1 3in ga ndr ea1izin go fth eir n a gea r i a lysis1 9 1 3d co m p a ris 0 n s yste min co m p e titiv e sp o tts vid e0 o ntheba sis0 f1a te str e s ea rc l a0fc o r n petitiv e sp o tts i v vide oa n a lysis ，thisth esisr ea ch esthe9 0 al0fdete ctir lg ， s eg m e l 3 tir lg ，ex tractin g ，co m p 0singa ndco m p a rir lgm oti0 n obje ctsi1 3the co m petitiv es p 0 rts vide obyu ti1izir lgthe p rese r l tco i lditi0 1 1sa ndusir lgthe1or lg ju m pingvid e0 sas re s ea rch0 bject allth es ef u l 3 cti0 r lsa rere s ea rch eda r l d realizedo nthev c + + 6 0pla tf o r mi1 3wind o wsx p inthe f u th reweca nf u rth e rohrr e s ea rc hir lana1yzingthem otio n 0 bje ctsth ro ug h vide os a ndm a k ef u1lt ls eo fth e a p plica tio r lofvid e0a n dim a gep r0 c e s singa ndanalyzi1 3g te ch 1 1iq ueir lco m petitiv es p o rts r e s ea rc h k e ywords ： co m petitiv esp or tingvid eo ：im a gep ro c e ssin g ： e xtra ctil qgofm o tiono bje cts ：vide o co m p osing v 华南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确的方式标明。 本人完全意识到本声明的法律结果由本人承担。 论文作者签名：槲钇 日期：歹一多年12 月3 日 学位论文使用授权声明 本人完全了解华南师范大学有关收集、保留和使用学位论文的规 定，即：研究生在校攻读学位期间论文工作的知识产权单位属华南师 范大学。学校有权保留并向国家主管部门或其指定机构送交论文的电 子版和纸质版，允许学位论文被检索、查阅和借阅。学校可以公布学 位论文的全部或部分内容，可以允许采用影印、缩印、数字化或其他 复制手段保存、汇编学位论文。( 保密的论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密范围，在盈年后解密适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权 书。 论文作者签名：林让 日期：p 杉年j 月多日 导师签名：j 1 ，一- 一 l 日期：2 ，钐年j 2 月岁日 第一章概述 1 1 竞技运动视频图像识别与比较的意义 众所周知，竞技体育发展越来越迅速，竞争也越来越激烈，提 高运动成绩的难度越来越大。为了在重大国际赛事和奥运会上取 胜，世界体育强国都在力争运用最新的科技手段来挖掘人体运动的 潜能。竞技体育的发展急需与现代科技相结合，全面提高项目i j i l 练 的科技含量，借助生物技术和i t 技术，帮助运动员更快地达到训练 水平，向人类运动及身体的极限发起挑战。近年来，一种最直接的 做法是借助计算机技术，把训练中运动员的动作和过程用摄像机拍 摄下来，通过数字视频处理和图像解析技术对视频进行分析、比较、 回放等，让教练员和运动员清楚地观看和了解每一个动作的状态和 细节，通过与运动员以往的记录及世界顶级运动员动作的同屏播放 和比较，可以让运动员直观地了解自己的缺陷并有针对性地进行改 正，从而大大地提高运动训练的科学性和效率。 i 獭潲卜 和k a n a d e 假设在一个小的空间邻域上运动矢量保持恒定，然后使用加权最小 二乘法( w e i g h t e dl e a s t s q u a r e s ) 估计光流；还有其它多种添加约束 方程的方法【2 2 】【2 ”。这些方法最后都得到密集的运动矢量场，这对 于运动分析十分有益。 虽然光流反映了物体在空间中的运动，但是它并不能反映所有 的运动形式。例如考虑在光照条件恒定不变的情况下，均匀圆球的 自转运动。在这种情况下，物体虽然有运动，但是在图像中的亮度 却没有变化，也即光流无法与物体的运动相对应。另一个例子是考 虑在物体不动的情况下，照明的光源发生运动或明暗发生变化，这 样势必造成图像中的亮度变化，而物体却没有任何运动，这就也表 明光流并不能完全反映物体的运动。 光流法是在不需要任何先验知识的条件下实现对运动目标的检 测和跟踪，能够直接用于摄像机运动下进行检测的方法。但大多数 光流法计算复杂，对噪声比较敏感，且具有孔径问题，对硬件要求 也高，不适用于实时处理的场合。 2 背景图像差分法1 1 9 11 2 7 1 12 8j 这里所指的是当前图像与固定背景图像之间的差分，这种方法 常用于静态背景的运动图像序列。实现过程背景图像的建立是非常 重要的，背景图像的质量直接影响后续的工作。常用的背景图像的 获取有几种方法：直接拍摄、统计法、背景更新算法等。 ( 1 ) 直接拍摄法 就是在没有前景时直接用相机拍摄获取背景图像。这种方法局 限性大，在般条件下也很难得到和拍摄运动视频时具有相同场景 光效果的背景图。 1 4 ( 2 ) 统计方法【1 7 】 由于视频序列记录了视频目标在段时间内的运动和变化信 息，仅仅利用单帧信息处理容易产生错误，因此理想的视频分割方 法是在较长的时间范围内对数据进行分析并充分利用帧间的相关 信息。基于这一思想，可以对各个像素点沿时间轴的变化规律进行 分析，并根据统计规律在整个序列中挑选合适的点对背景恢复。然 后再利用恢复的背景以及当前帧的信息，分割出所有运动目标的近 似区域。 定义图像序列为i ( x ，y ，i ) ，其中x 、) r 代表空间坐标，i 代表帧数 ( i = l ，2 ，n ) ，n 为序列总帧数。序列的亮度分量为i 。( x ，y ，i ) 、则 视频帧差( c h a n g ed e tec tio nm a s k ，c d m ) 反应了相邻帧之间的灰 度变化： c d m ( x ，y ，d = 耄i 纩f d d _ t r ，d = 1 i , ( x , y , i + 1 ) 一t ( x ，y ，f ) l ( 2 2 6 ) 其中，阈值t 被用来去除噪声。对固定的坐标位置( x ，y ) ， c d m ( x ，y ，i ) 可以表示为帧数i 的函数，它记录了在位置( x ，y ) 处像 素点沿时间轴的变化曲线。可以根据c d m ( x ，y ，i ) 是否大于零将这条 曲线分段，并将其中被检测到的静止部分用集合 s ，( x ，y ) ，1 j m ) 表示，如图2 3 所示，其中s j 的起点和终点分别是s t ，和e n ，。在每 个位置( x ，y ) 对应的 s ，) 集合中，挑选最长的静止分段并记录该分 段中点的对应帧号为m ( x ，y ) 。最后，第m ( x ，y ) 帧处的点被用来直译 视频背景中的相应位置，这个逻辑可以用公式( 2 2 7 ) 描述： 熙芝8 t ( x j z 黑仅，y ) ) 陀 (227)b i ( x ，y ) = i ( x ，y ，m ( x ，y ) ) 一一 其中，s t ( x ，y ) 和e n ( x ，y ) 是对应于最长静止分段的起点和终点， b ( x ，y ) 为重建的视频背景。这一方法的基本假设是在视频中，运动 员不会始终站在某一位置不动，而必定会移开，使前景显露出来。 在恢复场景前景之后，可以在每一帧和背景之间用减法运算得 到亮度分量的背景帧差图id l ： i d l ( 圳) = 髓i 矿f d d t 扛l i l ( x , y , i + 1 ) 一驰川i ( 2 - 2 8 ) 其中，b 。是背景的亮度分量。 ( 3 ) 背景更新算法 然而，在视频序列图像中，背景并非一成不变的。背景中可能 有轻微扰动的对象，如树枝、树叶的摇动，扰动部分不应该被看成 前景运动对象；另外，背景中固定对象的移动和外界光照条件的变 化会使背景图像发生变化，需要及时对背景模型进行更新，以适应 这种变化。 此算法由s u re n d r a 提出，是通过当前帧的帧差图像找到物体的 运动区域，运动区域内背景保持不变，运动区域外的背景用当前帧 进行替换更新，这样经过一段时间就可以恢复出背景图像。 对于检测到的运动对象的区域，不更新，而只对没有检测到运 动对象的区域进行更新，对于这部分区域： 以+ l ( x ，y ) = a b ( x ，y ) + ( 1 - o ) 1 。( x ，y )( 2 2 9 ) 其中见( x ， ，既+ ( x ，岁) 分别代表当前和下一帧前景值，j 。( x ，力代 表该点的亮度值。q 0 ，l 】，为更新系数，控制背景更新的速度。 1 6 3 连续图像帧间差分法1 2 4 1 对于许多应用来说，检测图像序列中连续帧图像的差异是非常 重要的步骤。场景中任何可观察的运动都会体现在场景图像序列的 变化上，如果能检测这种变化，就可以分析其运动特性。进一步， 如果目标的运动限制在平行于图像平面的一个平面上，则可以得到 目标运动特性定量参数的很好估计。 图2 4相邻两帧图像差分法基本原理流程 连续帧间差分法可分为相邻两帧图像差分和连续三帧图像差 分，本节主要介绍相邻两帧图像差分法。相邻两帧图像差分法的基 本运算过程如图2 4 。首先，利用公式( 2 2 1o ) 计算第k 帧图像与第 k 一1 帧图像之间的差别，得到差分后的图像d 。，然后对差分后图像 d k 使用图像分割算法公式( 2 2 il ) 进行二值化处理，即认为当差 分图像中某一像素的差大于设定的阈值时，则认为该像素是前景像 素( 检测到的目标) ，反之则认为是背景像素。在对差分图像d k 二值 化后还可以使用数学形态学对其进行滤波处理，然后得到图像r k ， 最后对图像进行区域连通性分析，当某一连通的区域的面积大于某 一给定阈值，则成为检测目标，并认为该区域就是目标的区域范围， 就可以确定目标的最小外接矩形。 仇( x ，力= l ( 工，y ) 以一。( x ，j ，) i( 2 2 1 0 ) 其中f k ( x ，y ) ，f k 1 ( x ，y ) 为连续两帧图像；d k ( ) 【，y ) 为帧差图像。 蹦w ，= o 蕊嬲爰譬嚣 亿2 m ， 其中t 是二值化设定阈值。 1 7 差分方法是基于在背景不变的情况下，图像序列中由于目标运 动而产生的相邻帧之间的差异就表现在差分图上。由于物体运动， 目标图像在相邻两帧图像中的位置有了明显的差异，因而在差分图 上就显示出来由于目标运动而产生的两块位移差分区域，这两块区 域就是分析目标运动情况的主要依据。实际上由于噪声和图像质量 等问题，差分图上可能会有许多的差分区域，这就要求对这些区域 进行分类。一类是有效差分区，一类是噪声区，但是一般来说，大 多数的噪声区都是离散的，因此噪声区可以比较容易的去除。差分 图虽然不能得出有关速度、三维结构等方面的确定判断，但它不失 为一种检测运动目标的实用方法。 然而，这种方法在使用过程中还存在两个问题：一是两帧间目 标的重叠部分不容易检测出来，即只检测出目标的一部分：二是检 测出目标在两帧中变化的信息，这样会存在较多的为目标点，检测 出的目标比实际的目标大一些。分析原因，前者是由于我们直接用 相邻的两帧相减后，保留下来的部分是两帧中相对变化的部分，因 此两帧间目标的重叠部分不容易被检测出来；后者是由于相邻两帧 必然存在的灰度变化所产生的。 在进行具体操作时，要保证进行相减的两帧图像是在摄像机停 止运动时获得的。也就是要保证背景不变，而只有目标在运动，这 样才能保证利用两帧图像的相减滤除背景，从而正确的检测出目标 位置，否则获得的差分图像是没有意义的。从差分法的实现过程我 们可以看到，差分法的特点是适用性强( 既可应用于简单背景下， 也能应用于复杂背景下) 、简单易行、运算量小、速度快，缺点是 不能精确定位目标( 其解算出的目标位置其实是两帧图像中目标的 平均位置) ，跟踪过程中需要停顿，若目标停止运动容易造成目标 丢失。 1 8 2 2 2基于空间相关性的检测与分割算法1 1 1 l1 1 5 i 1 2 6 i1 2 7 i 在实际的运动图像序列中，运动像素不仅与同一帧周围像素相 关，而且也与前后几帧中的周围像素相关，也就是说运动图像序列 同时具有空间相关性和时间相关性。上面的三种方法都没有充分考 虑运动图像序列的这两种特性，所以导致复杂背景下运动目标的检 测不够理想。本文基于运动图像序列的空间相关性提出一种改进算 法。第一步，利用图像序列的空间相关性，将帧图像分块并用一个 块亮度值来代替像素亮度值进行差分运算，因而判断这个块是否存 在运动目标。第二步，对目标图像进行相关形态学处理，对二值图 像先腐蚀后膨胀消除孤立区域，获得较完整的目标轮廓。 提取目标的处理过程如图2 5 所示。 视 频 - - - - + 图2 5基于空间相关性的运动目标提取 1 空间相关性检测 上面介绍背景图像差分法和连续图像帧间差分法时分别提到： ( 1 ) 连续帧差分法对动态环境有很好的适应性，但不能完全提取 出目标的所有相关点。( 2 ) 背景图像差分法能较好地提取运动目标 1 9 的所有相关点，但对光照和外部条件造成的动态场景变化过于敏 感。因此把这两种方法结合起来进行运动目标检测，可以克服这两 种方法的缺点。 假设f k ( x ，y ) 为运动图像序列中的第k 帧图像，f k 1 ( x ，y ) 为第k 1 帧 图像，f b ( x ，y ) 为背景图像，则连续两帧图像的差图像为d 。( x ，y ) = l f k ( x ，y ) 一f k 1 ( x ，y ) i ，当前帧与背景图像的差图像为d b ( x ，y ) = i f k ( x ，y ) 一f b ( x ，y ) i 。把这两个差图像二值化之后得到二值化图像t t ( x ，y ) 和t b ( x ，y ) 【3 0 l ： 聊，= 器瓮器 亿2 胞， 驰川= 器d 纵b ( x 训, y ) ) t 瓦b ( 2 2 1 3 ) 其中t 。和t b 是二值化图像的阈值。 最后的二值化运动模板m k 就可以通过下述公式1 3 1 1 得到： m 。c x ，y ，= 三i 二：；：乏 二：；蓦三：) c 2 2 - 4 ， m k ( x ，y ) 在坐标( x ，y ) 处只有当两幅差分二值化图像t t ( x ，y ) 和t b ( x ，y ) 在( x ，y ) 位置都为非零时才表示运动信息。但是用这种联合差分方法 求运动目标轮廓时在目标比较模糊或比较小的情况下可能会出现 相关点漏检现象。 为了减少这种相关点漏检，利用图像的空间相关性，考虑把图 像分成m , n 块，以块代替像素点运用上述方法，则重新计算得到的 二值化图像t t ( x ，y ) 和t b ( x ，y ) 为 z c w ，= 三譬：三暑篙暑三盛暑j c 2 2 5 ， r , ( x , y ) - - 三盛：三关暑篙暑三盅：； c 2 2 6 ， 这里的t 。和t b 都是对块设定的统计阈值。大于这个阈值，我们认 定这一整块的所有像素点都代表运动信息。 通过以图像块代替像素点进行差分检测与二值化分割，可以有 效防止出现相关点漏检现象，而且抗噪能力也比较强，得到的目标 比较完整。 2 图像后处理m 。】 对于所得到的二值化的目标图像的后处理主要采用形态学中的 腐蚀和膨胀运算，对二值图像先腐蚀后膨胀消除孤立区域，获得较 完整的目标轮廓。 ( 1 ) 腐蚀 腐蚀在数学形态学中的作用是消除物体边界点，使边界向内部 收缩的过程，可以把小于结构元素的物体去睬。如两个物体间有细 小的连通。通过腐蚀可将两个物体分开。腐蚀可用( 22 17 ) 表示： s = x 。b ；r ，力| b 。c _ x 其中s 表示腐蚀后的图像集合 ( 22 1 7 ) b 表示用来进行腐蚀的结构元素 结构元素内的每一个元素取值为0 或1 ，它可以组成任何一种形状的 图形，在b 图形中有一个中心点：x 表示原图像经过二值化后的像素 集合。则s 是由b 完全包括在x 中时b 的当前位置的集合。 ( a ) 原图( b ) 结构元素图( c ) 腐蚀示意图 图26 腐蚀示意图 通常是拖动结构元素b 在x 图像域移动，在每一个位置上，当结 构元素b 的中心点平衡到x 图像上的某一点( x ，y ) ，如果结构元素内 的每一个像素点都与以( x ，y ) 为中心的相同邻域中对应像素完全相 同，则保留( x ，y ) 像素点，对于x 中不满足条件的像素点则全部删除， 从而达到使物体边界向内收缩的效果，如图2 6 所示。 ( 2 ) 膨胀 膨胀在数学形态学中的作用与腐蚀的作用刚好相反它是对二 值化目标边界点进行扩充，将与目标接触的所有前景点合并到该目 标中使边界向外部扩张的过程。膨胀对填补图像分割后目标中的 空洞很有用。膨胀可用( 221 8 ) 表示： li s = x o b = z ，y ) i b 。n x p j ( 22 1 8 ) 其中s 表示膨胀后的图像集合，b 表示用来进行腐蚀的结构元素， 结构元素内的每一个元素取值为o 或1 ，它可以组成任何一种形状的 图形在b 图形中有个中心点；x 表示原图像经过二值化后的像素 集台。则s 是由b 映像的位移与x 至少有一个像素相同对b 的中心点位 置的集合。 通常是拖动结构元素b e x 图像域移动，在每一个位置上当结 构元素b 的中心点平移到x 图像上的某一点( x y ) 如果结构元素的 像素与目标物体至少有一个像素相交，则保留( x ，y ) 像素点，从而 达到使物体边界向外扩张的效果，如图27 所示。 a ) 原图 ( b ) 结构元累图( c ) 膨胀示意圈 图27 膨胀示意图 宰一 程 3 算法步骤 s t e p l 联合利用多帧运动图像恢复出背景图像f b 。 s t e p 2 用f k - - f k 1 得到当前连续帧差分图像d l 。 s t e p 3 用f k 一 得到背景差分图像d b 。 s t e p 4 把差分图像d t 和d b 分成1 1 1 n 块，并利用空间相关性求出二 值化图像t 。( x ，y ) 和tb ( x y ) 。 s t e p 5 利用两个二值化图像t 。( x ，y ) 和t b ( x ，y ) 求出二值化运 动模板。 s t e p 6 利用最后得到的二值化模板与原图像进行与操作得到 运动目标。 s t e p 7 对所得二值化图像进行相关形态学处理。 4 实验结果分斩 豳2b 差分法和本算法检测结果的比较 光流法由于计算复杂，从而运动检测的实时性存在很大的问题 鞠融 警睁峰唑 图2 6 ( d ) 为帧间差分法的检测结果，虽然该算法的实时性有了很 大的提高，但反映运动区域的像素偏少，即出现漏检现象。本文提 出的基于时间空间相关性的帧间差分算法充分利用了视频序列的 时空相关性统计模型对帧间差分方法进行改进。从图2 6 ( e ) 结果可 以看出，该算法能较好地抑制噪声影响，检测出运动目标，因而有 较强的实用性。 第三章运动目标的视频合成 两段不同的运动视频序列经过目标提取之后，已经产生了相应 的图像帧序列。对这两段视频进行合成和比较，首先要对相应的帧 图像进行叠加，产生叠加后的图像序列。 3 1基于运动目标的帧图像叠加技术 设两段待合成视频为v 和v ，i 与i 是两视频中的对应帧。我们 要通过对两张图片i 和i 像素值进行逻辑运算生成一张新的含有两 个运动目标信息的图像f 。在此，我们采用了图像融合的技术。 1 图像融合概述1 3 3 i i 3 4 1 1 3 s l 图像融合( i m a g ef u s i o n ) 技术是指将由多源通道所采集的同一 目标的图像经过一定的处理，提取各通道的信息，综合形成统一图 像或综合利用各图像信息的技术。它具有系统探测性能高、自动化 程度高、可靠性高、成本低等特点，在医学、遥感、天气预报、军 事目标识别等诸多领域均有广阔的应用前景。 图像融合是以图像为研究对象的数据融合，它将同一对象的两 幅或多幅图像合成到一幅图像中，使得到的图像比原来任何一幅图 像都更容易被人们所理解，并能反映多重原始图像中的信息。这一 技术可应用于通过不同的成像机理采集得到的同一物体的图像处 理领域中。 图像融合的主要目的是通过对图像间的冗余数据的处理来提高 图像的性，通过对多幅图像间的互补信息的处理来提高图像的清晰 度。 对应于信息抽象的三个层次，图像融合的处理通常可在以下三 个不同层次上进行： ( 1 ) 像素级融合； ( 2 ) 特征级融合； ( 3 ) 决策级融合。 我们已经提取有效的运动目标，采用像素级融合，即直接对图 像的像素进行运算，这样就保留了运动目标尽可能多的信息。 像素级图像融合的方法可以被概括为两大类：空间域融合方法 和频率域融合方法。前者又有简单图像融合方法和基于区域特征的 融合方法；后者则以小波变换算法最具有代表性。本文采用的是简 单图像融合方法。 2 简单图像融合方法1 3 6 1 简单图像融合方法是早期的，但也是目前应用最多的融合方法。 基本原理是不对参加融合的源图像进行任何图像变换，也不考虑像 素之间的相关性，而是直接对各源图像中的各对应像素分别进行选 择、平均或加权平均等简单处理后，融合得到一幅新的图像。 对于a ( x ，y ) 和b ( x ，y ) 两个源图像的像素像素灰度值加权平均融 合过程可以表示为： f ( x ，y ) = 仍l 彳( x ，y ) 4 - 0 9 2 b ( x ，y )( 3 1 1 ) 其中c 0 221 0 ) 1 ，若吐2 c 0 12o ，则为平均融合。 对于加权系数国t 一2 ，可以根据经验确定。对二值图像来说有： 。： o 嬲隹缵y ) ub (x(-0 ，皇 (312)b o i j 1 z i 1 1 1 ( x ，y ) ( 4 ( z ，j ，) u ( x ，y ) 、 7 3 2运动目标视频合成 本文根据竞技运动视频特点，提出如何把两个有运动员动作 的视频进行合成的方法。一个直接的想法是：从视频中提取出运动 员目标，再将两个目标叠加在一起比较。相对于一般意义上的视频 合成算法，竞技运动视频合成算法对背景部分的合成质量要求不 高，这里的主要问题是如何较好地将运动目标进行合成，把从前面 视频中提取的运动目标( 运动员) 与标准的运动目标视频进行合成 比较，屉后对合成视频进行后处理，减少视频合成中的人为影响 还可以在目标合成后加上背景信息。 视频合成问题可以分解为对应序列图像的合成问题。文献 3 2 中提出了一种建立在动作配准和视频分割的基础上的视频合成方 法。首先在分割结果的基础上分别计算运动员形心位置找出形心 位置的最低点( 针对跳水运动) 然后记录对应晟低点的视频帧号， 以这两帧为基准配准两段视频，并进行合成。 两段视频合成的方法可以表示为： ，( x ，y ，i ) = a ( x ，y , o i ( x ，y ，i ) 4 - ( 1a ( x ，y ，i ) “x ，y ，i )( 321 ) 其中下标f us e 表示合成结果。l 。，y , i j 是需要估计的加权参数。 假设两须视频提取的运动员目标分别为m o ，m 0 。，加权参数取值为： 咖，肛任老揽麓 旺：z ， 其中p ( x ，y ，i ) 代表任意一个像素点。这样合成的结果是将m 0 ： 加入第一段视频中，m o - 保持了第一段视频的背景( 图3 1 ) 。 图31 跳水视频合成示意圄 第四章实验系统 4 1 实验系统概述 近年来，体育科学研究者发现，“科学性”和“实用性”是当前训 练学理论发展的两个趋势。一个具体的表现是越来越多的教练员和 运动员发现，除了刻苦训练之外科学的训练方法和手段是提高运 动员成绩的有效途径；坚强的意志和刻苦的训练已不再是制胜的唯 一法宝，竞技体育在某种程度上也包含着科技的较量。实现科学且 实用的训练的有效途径之一是利用c a s ( c o m p u t e ra s s i s t a n ts p o r t ) 系统，即计算机辅助运动系统。c a s 是多种信息技术融合的产物， 包括光机电一体化智能化测试技术、计算机图形技术、视频处理技 术以及大型数据库管理和互联网络技术。视频分析与反馈系统出于 其实时和直观的独特优势，在c a s 系统中占据着重要的地位。【3 2 】 竞技运动视频的识别与比较系统正是c a s 训练方法在竞技运动 训练中的部分实现。它既可以自成系统，独立承担视频数据的输入、 存储、处理和输出，也可以集成到c a s 系统当中，作为视频分析与 反馈模块：它既可以用到运动训练的现场以提供辅助支持，也可以 在训练场外作为视频数据库或者历史数据分析工具。竞技运动视频 的识别与比较系统的研发，旨在实现两个进步和转变：1 ) 基于人眼 观察的方法向基于精度视频捕捉与分析的人体运动测量方法的转 变；2 ) 基于经验的训练方法向“科学化、实用化”的训练方法的转变。 本实验系统主要由硬件和软件两部分组成的。 1 硬件部分 ( 1 ) 数码摄像机。负责动作视频的拍摄，并传送给存储单元。 如果能采用高速摄像机，则所采集到的视频可以进行进一步的分析 处理。但并不是所有的运动队都有条件使用高速摄像机，则可使用 普通的数码摄像机。 ( 2 ) 存储单元。计算机的硬盘容量有限，独立的存储单元解决了 海量视频数据的存储问题。它使训练视频数据库的实现成为可能， 同时也为使用者自由选择分析对象提供了方便。 ( 3 ) 计算机( 要求内存至少5 1 2 m ，装备w i n d o w sx p 操作系统) 。 计算机是软件的载体。它分析来自存储元的视频，向摄像机和存储 单元分别发送控制指令和采集指令。采集完成之后计算机对动作视 频进行分析处理，得到运动视频的比较结果并发送给显示设备 ( 4 ) 显示设备。显示设备接受计算机发送来的处理结果，并以可 视化的形式反馈给系统使用者。 酉4 i 系统总体结构图 图4l 是本系统的总体结构图。 如果硬件条件受限制，我们要求最少能满足图4 2 的系统要求。 视频采鬟 巴+ 图4 2 系统基本结构圈 区翼 2 软件部分 ( 1 ) 视频运动目标提取的算法程序 背景提取算法 a 读入相邻连续的两帧图像到p u n o h t e r n p l 和p u n c h t e m p 2 。并 2 9 将差值p u n e h t e m p 3 二值化后存在起来。结果得到所有连续帧的差 值图像。 载入第一帧后对每一相邻帧进行比较 f o r ( i n ti = 2 ；i e m p t y ( ) ； i f ( ! l o a d d i b s e q ( s t r f i l e p a t h ，i ，n t o t a l f r a m e n u m ，p d i b t e m p ) ) r e t u r nf a l s e ； 将数据取出，存放在p u n c h t e m p 2 中 m e m c p y ( p u n c h t e m p 2 ，p d i b t e m p - m l p i m a g e ，n l m a g e w i d t h 事n i m a g e h e i g h t ) ； 对图像帧差进行二值化处理，并将二值化后的图像存放在 p u n c h t e m p 3 中 b i n a f r a m e d i f f ( p u n e h t e m p1 ，p u n c h t e m p 2 ，n l m a g e w i d t h ，n i m a g e h e i g h t ，p u n c h t e m p 3 ，10 ) ； 对二值化后的图像进行腐蚀处理，这里对腐蚀窗口的大小设 置为2 ，阈值为7 e r o d e f r a m e d i f f ( p u n c h t e m p 3 ，n i m a g e w i d t h ，n l m a g e h e i g h t ，2 ，7 ，p u n c h r e s u l t a f t e r m o r ) ； 将此二值化后的程序放入p u n c h t r a c k b o x 的相应位置 m e m c p y ( p u n e h t r a c k b o x + i n d e x ，p u n c h r e s u l t a f t e r m o r ，s i z e o f ( u n s i g n e dc h a r ) n i m a g e w i d t h n l r n a g e h e i g h t ) ； c h a r ) ； 计算图像数据在p u n c h t r a c k b o x 中的偏移量 i n d e x = i n d e x + n l m a g e w i d t h 卑n l m a g e h e ig h t 幸s i z e o f ( u n s i g n e d 每做完两帧之间的比较，就使帧号下移一个，p u n c h t e m p l 中是保存k 帧内容，p u n c h t e m p 2 帧是k + l 帧内容，所以，每次只要把 p u n c h t e m p 2 中的内容给p t e m p l ，而p t e m p 2 重新读入则可 u n s i g n e dc h a r p u n c h t a g = n u l l ； p u n c h t a g= p u n c h t e m p1 ； p u n c h t e m p1 = p u n e h t e m p 2 ； p u n c h t e m p 2 = p u n c h t a g ； b 通过差值图像序列得到每一个像素位置的背景图像序号。对 每一个像素点跟踪最大为0 的长度，并将最大长度中的中间帧标号 记录下来 f o r ( i n ty = o ；y n l m a g e h e i g h t ；y + + ) f o r ( i n tx = 0 ；x n l m a g e w i d t h ；x + + ) o o oooo o oo 遍历整个序列，跟踪并记录此点连续为0 的最大长度 w h i l e ( t = n t o t a l f r a m e n u m 一1 ) b r e a k ； 此时应为此长度的开始 s e g s t a r t = t ； w h i l e ( ( t l a r g e l e n ) l a r g e l e n = s