（交通信息工程及控制专业论文）虚拟电视广告系统的基本框架与研究.pdf

摘要 摘要 本文设计并实现了一个应用在足球比赛直播中的虚拟电视广告系统。该系统 能够在足球比赛图像中的特定位置安插虚拟广告。首先利用h o u g h 变换和数学形 态学方法提取直线，求直线的交点作为特征点。然后用提取到的特征点和它们对 应的世界坐标对摄像机进行标定，用最小二乘法求解线性方程组得到透视变换矩 阵。最后由透视变换矩阵和特定的广告安插位置的世界坐标计算出虚拟广告的图 像坐标范围，对这个范围中的每个点三维重建，计算他们的世界坐标，将每个点 的像素值替换为广告图像中对应位置的像素值。实验结果表明，本系统能够较为 快速、有效的在足球比赛图像中的特定位置安插虚拟广告。 关键词：虚拟广告特征点提取摄像机标定三维重建 a b s t r a c t3 a b s t r a c t t h et h e s i sd e s i g n sa n dr e a l i z e sav i r t u a la d v e r t i s e m e n ts y s t e mi nt vs o c c e rg a m e b r o a d c a s t i n g v i r t u a la d v e r t i s e m e n t sc a nb ei n s e r t e di nt h ea p p o i n t e dp o s i t i o n si nt h e s o c c e rf i e l db yt h i ss y s t e m h o u g ht r a n s f o r ma n ds o m eo fm o r p h o l o g i c a lm e t h o d sa r e u s e dt oe x t r a c tt h ef i e l dl i n e s t h e i rp o i n t so fi n t e r s e c t i o na r et r e a t e da st h ef e a t u r e si n c a m e r ac a l i b r a t i n g b yu s i n gl e a s ts q u a r et os o l v el i n e a r e q u a t i o n s ，t h ep r o j e c t i v e m a t r i xc a nb ee s t i m a t e d t h ep r o j e c t i v em a t r i xs h o w st h er e l a t i o n s h i pb e t w e e nt h e f e a t u r e s w o r l dc o o r d i n a t e sa n di m a g ec o o r d i n a t e s t h e nt h ei m a g ec o o r d i n a t e so ft h e v i r t u a la d v e r t i s e m e n tc a nb ec a l c u l a t e ds i n c et h ep o s i t i o ni nt h es o c c e rf i e l di s a p p o i n t e d a b o u tt h ea d v e r t i s e m e n ti n s e r t i o n , t h et h e s i su s e s3 dr e c o n s t r u c t i o nt o c a l c u l a t et h ew o r l dc o o r d i n a t e so ft h ea d v e r t i s e m e n t t h ep i x e l so ft h ea d v e r t i s e m e n ti n r e f e r e n c ef r a m ew i l lr e p l a c et h ec o r r e s p o n d i n gp i x e l si nt h ei m a g es p a c e e x p e r i m e n t a l r e s u l t sh a v es h o w nt h a tt h i ss y s t e mc a ni n s e r tv i r t u a la d v e r t i s e m e n t si nas o c c e rg a m e i m a g e 、) r i t l ll l i g he f f i c i e n c ya n ds p e e d k e y w o r d ：v i r t u a la d v e r t i s e m e n tf e a t u r e se x t r a c t i o nc a m e r ac a l i b r a t i o n3 d r e c o n s t r u c t i o n 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：妄雉 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 日期：加g 岛谚 日期：砌，户矿 第一章绪论 第一章绪论 1 1 计算机视觉的研究概况 视觉是人类感知环境世界、认识外部世界的主要途径。据统计，人类约有8 0 的信息是通过视觉途径获取的【。计算机视觉( c o m p u t e rv i s i o n ) 的研究目的就是要 赋予计算机以人类的视觉认知功能。计算机视觉或称图像理解研究的主要内容是 通过计算机分析景物的二维图像，从中获取三维世界的结构和属性等信息，进而 完成在特定环境下的特殊任务。它大致可以分为三个主要研究方向【2 1 ：对生物视觉 系统建模( c o m p u t e rv i s i o n ) ，解决实际问题( m a c h i n ev i s i o n ) 和推断景物的描述 ( i m a g eu n d e r s t a n d i n g ) 。计算机视觉的研究重要性是不言而喻的，早在1 9 8 9 年美 国总统办公厅便将c v 列为联邦高性能计算计划( h p c p ) 中具有“重大挑战意义 的研究领域f 3 】。在其后的十几年的时间里，从最初的机器人视觉导航到目前日益 流行的基于图像的三维游戏、可视通讯、视频特技、虚拟现实、互联网虚拟漫游、 数字图书馆、电子商务等诸多前景广阔的应用，如何更逼真、更简便的获取真实 世界的三维模型激励着计算机视觉研究人员不断的提出新的算法和完善现有的方 法。 人们总是希望机器视觉能如同智能生物那样从场景的图像中理解该场景及其 中的物体，在某种程度和某种环境下，可以替代人类的工作。于是，随着数字信 号处理理论的发展和计算机的问世，计算机视觉逐渐发展成为一门新的学科。目 前，计算机视觉技术融合了图像处理、模式识别、计算机技术以及心理学等学科 的研究成果，并成为了信息科学和人工智能领域内一个活跃的和富有成果的部分。 然而在计算机视觉的理论的发展历程上，从1 9 6 4 年r o s e n f e l d 创建第一个计 算机视觉实验室，1 9 6 5 年r o b e r t s 富有开创性的工作 4 1 ，相关研究历经十多年的时 间，其问直到1 9 8 2 年m a r r 提出将视觉系统从概念上分成几个独立模块的视觉范 本j ( p a r a d i g m ) 别，计算机视觉研究领域才第一次出现了一个理论框架。 m a r t 在其视觉计算理论的整体框架中主要阐述了两种观点：处理观和表示 观。在处理观方面，m a n 强调的是层次化思想，他将视觉过程看成是复杂的信息 处理过程，必须在三个不同的层次上来理解：计算理论层、算法层和硬件实现层。 在表现观方面，m a r r 强调的是模块化的思想，他首先提出了“2 p 1 5 d - 3 d ”的 表示框架，然后指出完成这一表示框架所必须遵照的模块设计原则。m a r r 曾得出 结论：对体视信息的分析就象对运动的分析一样，也可以在没有其他信息出现的 情况下独立的进行【5 】o 根据这一结论，m a n 把视觉信息处理分成若干个可以分别 2虚拟电视广告系统的基本框架与研究 予以理解的模块，即所谓的“s h a p ef r o mx ”模型。例如，运动视觉、立体视觉、由 明暗恢复形状、由纹理恢复形状、由轮廓恢复形状等模型。 图像 川 初始图像 封习斗 2 5 维图像 川 l 三维模型 图1 1m a n 提出的视觉恢复过程 计算理论层次充分体现了m a r r 工作的独创性。m a r r 把视觉过程定为定量地 恢复图像所反映的景物中三维物体的形状信息和空间位置，并将这一恢复过程分 成三级内部表示。如图1 1 所示。第一级是图像的表示( 2 dr e p r e s e n t a t i o n ) ，要把 二维图像中的主要信息描述清楚，如物体的边界、顶角，图像的光强度变化，局 部的几何结构等；第二级是可见表面的表示( 2 5 dr e p r e s e n t a t i o n ) ，在以观察者为 中心的坐标系中描述可见表面的三维信息，隐藏在背后的表面是看不见的，这一 阶段集中把看得见的表面恢复深度，这是不完全的深度恢复，故称二维半。它是 在二维初始简图与三维模型之间建立一个中间表达层次，主要描述可见表面的内 在特征，如表面朝向、反射和入射光照、表面纹理等。建立二维半表面表示的手 段，可以概括为：由图像中的x 来恢复形状，其中的x 可以是图像的明暗、纹理、 颜色、轮廓、运动、立体视觉等。第三级表示是三维模型的表示( 3 dr e p r e s e n t a t i o n ) ， 在以物体为中心的坐标系中用来处理和识别三维物体的三维形状表示，它是在二 维半表面表示的基础上，通过模型或者先验知识的约束，使三维目标得到清晰的 描述。由此可见，三维重建是m a n 理论为计算机视觉提出的具体目标。 m a n 开创性的视觉计算理论决定了其后十几年来计算机视觉发展的主流方 向，并已对计算机视觉的研究起了巨大的推动作用，但是到目前为止，这样的理 论还远未解决人类视觉的理论问题，在实践中也遇到了很多的困难。从1 9 9 1 年到 1 9 9 4 年的短短四年间，c v g i p ：i u 杂志组织了两次大的讨论，很多学者从计算机 视觉、神经生理学、认知学甚至哲学等各个领域就m a r r 理论的合理性进行了很多 争论【6 ，7 ，引。而国内的模式识别和人工智能杂志也在9 0 年代初就相关问题进行了评 第一章绪论 论和探讨【9 , 1 0 , 1 1 1 。在对m a r r 理论争论的过程中，人们逐渐认识到，真正建立一个 通用的计算机视觉系统现在还为时尚早，而为某一特定目的的专用的视觉系统则 是最有可能投入实用的视觉系统。 1 2 论文的研究背景和意义 随着电视直播技术的发展和人们生活水平的提高，观看体育赛事逐渐成为了 人们日常生活中一项重要的休闲娱乐活动。体育赛事与商业的结合也越来越紧密， 尤以足球比赛为甚。足球是世界第一大运动，拥有数以百万计的爱好者，通过电 视可以收看到的足球比赛资源非常的丰富，四年一届的世界杯和欧洲杯每每吸引 着全世界球迷的目光，除此之外些足球强国每年的联赛也拥有固定的收看人群。 爱好者众多、赛事丰富使得足球拥有强大的传媒能力。我们可以看到足球比赛的 场地四周摆放着许多全球著名品牌的实物广告牌，这就是足球拥有强大影响力的 最好证明。然而实物广告难免受到场地的制约，例如在球门的两侧，如果安放实 物广告就会影响球员正常比赛，这种情况下计算机视觉技术便有了他的用武之地， 用图像处理方法安插的虚拟广告摆脱了场地限制，可以充分利用资源，最大限度 的发挥足球的影响力。 目前全球著名的虚拟广告系统是以色列的o r a d 公司的i m a d g i n e 系统，它 是目前唯一能替换或者插入篮球足球冰球赛马等护栏广告牌的虚拟广告系统，具 有许多独特功能，能处理快速摄像机运动并能在各种天气条件下工作。此外e p s i s 现场虚拟广告系统也在全球有较高的使用率，美国p r i n c e t o n 等公司也推出了 自己的虚拟广告系统【1 2 1 。国内的技术则相对落后。如果能在国内各项赛事直播中 安插虚拟广告，充分利用资源，价值无疑是巨大的。因此研究虚拟广告系统很有 实际意义。 1 3 论文的研究内容 本文的目标是设计一个应用于足球比赛直播中的虚拟电视广告系统。受到场 地条件制约，传统的实物广告牌无法随心所欲的摆放在足球场上。为了在不影响 场上运动员安全和现场观众观看效果的情况下能够充分利用足球的影响力，就需 要借助图像处理技术来安插虚拟广告。虚拟广告的安插不受地点限制，视频资源 得到了充分的利用，球场四周包括球场内都成了可利用的地方，也可以用虚拟广 告覆盖掉原有的实物广告，适用性非常强。不仅足球，其他一些体育赛事甚至一 些文艺演出的直播都可以应用虚拟广告。 本文探讨了虚拟广告系统的基本框架和一些应用到的技术，包括了对足球比 4虚拟电视广告系统的基本框架与研究 赛图像特征点的提取、摄像机标定和虚拟广告生成的方法技术的研究。本文所作 的主要工作如下： 第一章绪论，简要地概括了计算机视觉理论的研究情况，说明了课题的研究 背景和研究意义，并且介绍了本文的组织结构和主要内容。 第二章介绍了用于足球比赛直播中的虚拟电视广告系统的框架。对系统工作 流程和每个模块的功能与实现做了简要的介绍。 第三章主要研究在足球比赛直播图像中提取特征点的方法。介绍了一些经典 的边缘检测算子，并对其实际处理效果进行对比做出选择，然后介绍了h o u g h 变 换的原理和基于数学形态学的图像处理技术，最后通过提取直线并求直线交点的 方法得出标定所需特征点的坐标。 第四章介绍了摄像机标定的相关理论知识，介绍了摄像机模型和各种摄像机 标定技术的原理和方法。针对虚拟广告系统的实时性要求及足球比赛图像的特点， 同时又满足一般实验条件下的摄像机标定，本文采用了透视投影的摄像机模型并 且使用了简化了的线性求解方法求出了透视变换矩阵，由此计算出虚拟广告对应 的图像坐标范围。简要介绍了立体视觉三维重建的原理，并选择了适用于本文的 三维重建方法计算图像坐标对应的世界坐标，用替换像素值的方法在足球比赛图 像上生成虚拟广告，对浮点坐标的像素值采用了双线性插值法来确定。在最后给 出了m a t l a b 仿真实验的结果图。 第五章总结全文的工作，提出今后工作努力的方向。 第二章虚拟电视广告系统的框架5 第二章虚拟电视广告系统的框架 2 1 系统模型 本文设计的是一个应用于足球比赛直播中的虚拟电视广告系统。受到场地条 件制约，传统的实物广告牌无法随心所欲的摆设在足球场上。为在不影响场上运 动员安全和现场观众观看效果的情况下能获取更高的广告收益，虚拟广告技术应 运而生。虚拟广告的安插不受地点限制，视频资源得到了充分的利用，球场四周 包括球场内都成了可利用的地方，也可以用虚拟广告覆盖掉原有的实物广告，适 用性很强。不仅足球，其他一些体育赛事甚至一些文艺演出的直播都可以应用虚 拟广告。 虚拟广告系统的工作就是以摄像机所拍摄图像为处理对象，通过图像处理得 到虚拟广告的位置形状等信息，并由此生成虚拟广告叠加在原始图像信号上并输 出。其工作步骤大致如下：第一步先对摄像机拍摄到的足球比赛图像进行前期处 理，检测并提取其中的特征点信息。第二步对摄像机进行标定，从而得出三维世 界坐标n - 维图像坐标的透视变换矩阵。最后由预设的三维世界坐标和第二步求 出的透视变换矩阵，计算出预设广告区域对应的二维图像坐标，经图像处理生成 与原图成正确透视关系的虚拟广告并将虚拟广告叠加在原始图像信号上并输出。 本文设计的虚拟电视广告系统的框架如图2 1 所示： 图2 1 系统框架简图 本文所设计的虚拟电视广告系统包括三个主要功能模块。第一个模块作用是 对足球比赛视频中的特征点进行提取，第二个完成摄像机的标定，第三个模块控 制虚拟广告的生成。 6虚拟电视广告系统的基本框架与研究 2 2 提取特征点 进行摄像机标定需要在一幅图像上提取足够多的标定点，这是摄像机标定的 前提和基础，这个模块的作用是提取足球比赛图像中特征点作为标定点。 图像特征主要包括图像边界、边缘点、角点、拐点、纹理等。足球场是一个 特殊的区域，球场上有底线、边线、球门区、罚球区等等，这些区域都是用白线 来划分的，这些线和它们的交点提供了丰富的图像特征点，如图2 2 ： 1 0 5 m 图2 2 球场上的特征点 一幅足球比赛的图像不仅包含了上述的直线，还包括了球场外的实物广告、 观众席、场上球员等等，这些干扰因素使直接利用角点检测算法提取所需的标定 点变得困难，本文选择了用h o u g h 变换检测直线，再用数学形态学方法对结果进 行处理，然后对图像进行二次h o u g h 变换提取直线，求出直线的交点作为标定点。 2 3 摄像机标定与虚拟广告生成 摄像机标定是后期视觉的主要研究内容，是计算机视觉实现的前提和基础。 这个模块的作用是建立二维图像坐标与三维世界坐标之间的关系以便系统计算虚 拟广告生成的位置、大小等参数。 上一步工作得到了足球比赛图像中几个特征点的图像坐标，这些特征点的世 界坐标都是已知，它们的图像坐标与世界坐标之间的对应关系由摄像机成像几何 模型决定，本文采用了最简单的针孔成像模型描述这种关系，考虑到这些点都处 于球场平面上，选取合适的世界坐标系简化运算，最后求出世界坐标系到图像坐 第二章虚拟电视广告系统的框架 7 标系的透视变换矩阵。 预先在世界坐标系中选取显示虚拟广告的位置、大小等参数，通过上一步求 出的透视变换矩阵就可以计算出虚拟广告显示区域的图像坐标范围，对此范围中 的每个像素确定其像素值，对于坐标为浮点数的像素，其像素值用双线性插值法 确定，最后生成与背景成正确透视关系的虚拟广告图像叠加输出。 第三章足球比赛图像中特征点的提取9 第三章足球比赛图像中特征点的提取 3 1 边缘检测 摄像机标定是后期视觉的主要研究内容，是计算机视觉实现的前提和基础。 而二维图像的特征提取是计算机三维视觉的第一步，其中边缘检测是十分重要的 部分。 边缘是图像最基本的特征，边缘检测在计算机视觉、图像分析等应用中起着 重要的作用，是图像分析与识别的重要环节。这是因为图像的边缘包含了用于识 别的有用信息，它为人们描述或识别目标和解释图像提供了一个有价值的和重要 的特征参数，所以边缘检测是图像分析和模式识别的主要特征提取手段。 3 1 1 边缘检测概述 所谓边缘或边沿是指其周围像素灰度有阶跃变化或屋顶变化的像素的集合。 边缘广泛存在于物体与背景、物体与物体、基元与基元之间，因此它是图像分割 所依赖的重要特征【玛】。p o g g i o 等指出边缘或许对应着图像中物体( 的边界) ，或许 并没有对应着图像中物体( 的边界) ，但是边缘具有十分令人满意的性质，它能大 大减少所要处理的信息，但是又保留了图像中物体的形状信息。 两个具有不同灰度值的相邻区域之间总存在边缘。边缘是灰度值不连续的结 果，这种不连续常可利用求导数方便地检测到，一般常用一阶和二阶导数来检测 边缘。如图3 1 中，第一排是具有边缘的图像实例，第2 排是沿图像水平方向的 一个剖面图，第3 和第4 排分别为剖面的一阶和二阶导数。常见的边缘剖面有3 种： ( 1 ) 阶梯状，如图( a ) 和图( b ) 所示； ( 2 ) 脉冲状，如图( c ) 所示； ( 3 ) 屋顶状，如图( d ) 所示； 阶梯状的边缘处于图像中两个具有不同灰度值的相邻区域之间，脉冲状主要 对应细条状的灰度值突变区域，而屋顶状的边缘上升沿和下降沿都比较缓慢。由 于采样的缘故，数字图像中的边缘总有一些模糊，所以这里垂直上下的边缘剖面 都表示成有一定坡度。 1 0虚拟电视广告系统的基本框架与研究 图像 剖面 一阶导数 二阶导数 即口口 厂 l 儿v 八 - j l 一 - j 厂 f l i ( c ) 刃 n u l v ( d ) 图3 1 边缘和导数 图3 1 ( a ) 中，对灰度值剖面的一阶导数在图像由暗变明的位置处有一个向上 的阶跃，而在其他位置都为零。对灰度值剖面的二阶导数在一阶导数的阶跃上升 区有一个向上的脉冲，而在一阶导数的阶跃下降区有一个向下的脉冲。在这两个 阶跃之间有一个过零点，他的位置正对应原图像中边缘的位置。所以可用二阶导 数的过零点检测边缘位置，而用二阶导数在过零点附近的符号确定边缘像素在图 像边缘的暗区或明区。分析图3 1 ( b ) 可以得到相似的结论。这里图像是由明变暗， 所以与图3 1 ( a ) 相比，剖面左右对换，一阶导数上下对换，二阶导数左右对换 图3 1 ( c ) 中，脉冲状的剖面边缘与图3 1 ( a ) 的一阶导数形状相同，所以3 1 ( c ) 图的一阶导数形状与3 1 ( a ) 图的二阶导数形状相同，而它的二阶导数的两个过零 点正好分别对应脉冲的上升沿和下降沿。通过检测脉冲剖面的二阶导数的两个过 零点就可以确定脉冲的范围。 图3 1 ( d ) 中，屋顶状边缘的剖面可看作是将脉冲边缘底部展开得到的，所以 它的一阶导数是将图3 1 ( c ) 脉冲剖面的一阶导数的上升沿和下降沿展开的到的。 通过检测屋顶状边缘剖面的一阶导数过零点可以确定屋顶位置。 真实图像中( 灰度) 边缘是比较复杂的，由于采样的原因，实际图像中的边缘 是有坡度的，所以一般需要用5 个参数来描述它【l 引。 ( 1 ) 位置：边缘( 等效的) 最大灰度不连续处。 ( 2 ) 朝向：跨越灰度最大不连续的方向。 ( 3 ) 幅度：灰度不连续方向上的灰度差。 ( 4 ) 均值：属于边缘的像素的灰度均值。 ( 5 ) 斜率：边缘在其朝向上的倾斜程度。 对边缘的检测常借助边缘在上述5 个方面的特点来进行。所谓边缘检测也常 指通过计算获得了边缘的5 个参数中的若干个。 基于以上的讨论和检测原理，可采用许多不同的方式来检测边缘。在空域对 第三章足球比赛图像中特征点的提取 边缘的检测常采用局部算子进行。下面分别对几种经典的边缘检测算子( 包括一阶 和二阶) 进行介绍，然后再着重讨论一下c a n n y 算子。最后对各种算子的检测效果 进行比较分析。 3 1 2 传统的边缘检测算法 现有的方法主要以各种微分算子为基础，结合用范本及门限、平滑等手段提 取边缘。如r o b e r t 算子、s o b e l 算子、p r e w i t t 算子等，其都是一阶微分算子，二 阶微分算子有拉普拉斯算子、m h 算子等。 一阶微分是图像边缘和线条检测的最基本方法。常用的算子有： ( 1 ) r o b e r t s 算子： r o b e r t s 边缘算子是有一种利用局部差分算子查找边缘的算子。它由下式给 出： g ( x ，y ) ： 厕一7 飞：j 丽 2 + i s f ( x + l , y ) 一歹飞丽 2 啦( 3 ，) 其中f ( x ，y ) ，f ( x + l ，j ，) ，( x ，y + 1 ) ，f ( x + l ，y + 1 ) 分别为4 领域的坐标，是具 有整数像素坐标的输入图像，平方根运算使该处理类似于在人类视觉系统中发生 的过程。这种方法计算简单，对具有陡峭边缘的低噪声图像响应最好。 r o b e r t s 算子是2 2 算子模板。图3 2 所示的2 个卷积核形成了r o b e r t s 算子。 图像中的每一个点都用这2 个核做卷积。 划 图3 2 r o b e r t s 算子 ( 2 ) s o b e l 算子： s o b e l 算子是利用像素邻近区域的梯度值来计算一个像素的梯度，然后根据 一定的阈值来取舍。它由下式给出： s = ( 出2 + 砂2 ) 驴 ( 3 2 ) s o b e l 算子是3 x 3 算子模板。图3 3 所示的两个卷积核形成了s o b e l 算子，图 像中的每个点都用这两个核做卷积，一个核对通常的垂直边缘响应最大，而另一 个对水平边缘响应最大。两个卷积的最大值作为该点的输出值，运算结果是一幅 边缘幅度图像。 1 2虚拟电视广告系统的基本框架与研究 ；享罩 兰三司 ( 3 ) p r e w i t t 算子： p r e w i t t 算子和s o b e l 算子的方程完全一样，p r e w i t t 算子由下式给出： s p = ( 出2 + d y 2 ) 归 ( 3 3 ) p r e w i t t 算子是3 x 3 算子模板。图3 4 所示的两个卷积核出，咖形成了p r e w i t t 算子。和使用s o b e l 算子的方法一样，图像中的每个点都用这两个核进行卷积， 取最大值作为输出。p r e w i t t 算子也产生一幅边缘幅度图像。 一01010111。0三111 i1 10 1 iiil 1一j 由于一阶微分算子通常在边缘附近的区域内产生较宽的响应，所得的结果常 需加以细化处理，影响了边缘定位的精度。而利用二阶导数零交叉所提取的边缘 宽度为一个像素，所得结果无需细化，有利于边缘的精确定位。二阶微分算子主 ( 1 ) l a p l a c e 边缘检测算子： l a p l a c e 算子是二阶微分算子，它是一种与边缘方向无关的边缘检测算子，它 是一个标量，不是向量。它对灰度突变敏感。在数字图像中，可用差分来近似， 厂( ，) 的l a p l a c e 运算为： v 2 f ( i ，) = 厂( f + 1 ，j ) + f ( i - 1 ，) + 厂( f ，j f 一1 ) + ( f ，j + 1 ) - 4 f ( i ，- ) ( 3 - 4 ) 由于l a p l a c e 是二阶差分运算，因此，在灰度阶跃边缘的两侧均有响应。其 值一边为正，一边为负，而对斜坡形边缘响应为零，即值为零，并且在此零值点 的两侧也有一正一负两个峰值，不论是阶跃边缘还是斜坡边缘，这一正一负两峰 值的大小及走向，反映了边缘的强弱及走向。 l a p l a c e 算子的零交叉点也可作为图像的阶跃型边缘点，而其极小值点可作为 图像的屋顶型边缘。l a p l a c e 算子极小值算法用于检测屋顶型边缘的效果不错，但 对噪声敏感性较大而其过零点算法若直接用于检测阶跃型边缘，则不仅过零点的 门限难于选择，而且检测精度一般不高。l a p l a c e 算子如图3 5 所示。 第三章足球比赛图像中特征点的提取 f 孙：- 8 1 - 一。1l i 0 1 0j l 一1 1 一l j 图3 5l a p l a c e 算子 ( 2 ) l o g 算子： l o g 算子又称m a r r - h i l d r e t h 模板或算子，它由下式给出： v g ( 训) = 窘+ 矿0 2 g = 专( 孚一， e x p ( 等 仔5 ， 式中g ( x ，y ) 是对图像进行处理时选用的平滑函数( g a u s s i a n 函数) ；x , y 为整 数坐标；盯为高斯分布的均方差。对平滑后的图像z ( 4 = i ( x ，y ) x c ( x ，夕) ) 做拉 普拉斯变换，得： h ( x ，y ) = v 2 4 ( x ，少) = v 2 ( x ，y ) xc ( x ，j ，) - - f ( x ，y ) v 2 g ( x ，y ) ( 3 - 6 ) 即首先对图像平滑，然后利用拉氏变换求二阶微分，等效于把拉氏变换作用 于平滑函数，得到一个兼有平滑和二阶微分作用的模板，再与原来的图像进行卷 积。l o g 边缘检测算子有以下优点： ( 1 ) 通过图像平滑，消除了一切尺度小于盯的图像强度变化； ( 2 ) 若用其他微分方法，需要计算不同方向的微分，而它无方向性，因此可以 节省计算量： ( 3 ) 边缘连续性好，可以提取对比度较弱的边缘点。 l o g 边缘检测算子也有其缺点，有研究结果表吲1 5 1 ，l o g 方法获得的零交 叉点与实际边缘间的误差受盯取值及输入信噪比的影响，一般来说仃越大，误差 也越大，但是减小盯则将导致噪声被误检为边缘点的概率大为增加。当边缘的宽 度小于算子宽度时，由于过零点的斜坡融合将会丢失细节。常用的l o g 边缘检 测算子是5 x 5 的模板： 3 1 3c a n n y 边缘检测算法 -2-4_4-4-2 _ 4o80 - 4 482 48 _ 4 408o4 之- 4 _ 4 4 - 2 图3 6l o g 算子 c a n n y 提出了一种较好的边缘检测方法，把边缘检测问题转换为检测单位函 1 4虚拟电视广告系统的基本框架与研究 数极大值的问题来考虑【1 6 】。他利用高斯模型，借助图像滤波的概念指出一个好的 边缘检测算子应具有三个指标： ( 1 ) 低失误概率，既要尽量不丢失真正的边缘也要尽量避免把非边缘判为边 缘。 ( 2 ) 高位置精度，检测出的边缘应在真正的边界上。 ( 3 ) 对每个边缘有唯一的响应，得到的边界为单向素宽。 c a n n y 还提出一种对噪声估计的实用方法。假设边缘信号的响应较少但值较 大，而噪声的响应很多但是值相对较小，那么阈值就可以通过滤波后对图像的累 积直方图进行统计，得到大约在直方图的o 8 点处的响应值比较好。 但是，仅仅有这一个阈值是不够的。由于噪声的影响，边缘信号响应只有差 不多一半是大于这个阈值的，由此造成了斑纹现象( s t e a k i n g ) ，也就是说边缘是断 的。如果把这个阈值降低，往往发现会出现错误的“边缘 。为了解决这个问题， c a n n y 提出了一种双阈值方法。前面利用累计统计直方图得到一个高阈值互，然 后再取一个低阈值正( m a t l a b 6 5 中使用的五= 0 4 正) 。如果图像信号的响应大于高 阈值，那么它一定是边缘；如果低于低闽值，那么它一定不是边缘；如果在低阈 值和高阈值之间，就看它的8 个邻接像素有没有大于高阈值的边缘。 在多尺度检测的基础上，c a n n y 设计了一个边缘检测算法： ( 1 ) 首先用2 d 高斯滤波模板进行卷积以消除噪声； ( 2 ) 利用导数算子( 比如p r e w i t t 算子、s o b e l 算子) 找到图像灰度的沿着两个方 向的偏导数( g 。，g ，) ，并求出梯度的大小： i g i = + g ； ( 3 - 7 ) ( 3 ) 利用( 2 ) 中结果计算出梯度的方向： p = 一 p 8 ， ( 4 ) 一旦知道了边缘的方向，就可以把边缘的梯度方向大致地分为四种( 水平， 竖直，4 5 。方向，1 3 5 。方向) 。也就是把0 。1 8 0 。分为5 个部分：o 。2 3 5 。以 及1 5 7 5 。1 8 0 。算做是水平方向；2 3 5 。“7 5 。算做4 5 。方向；6 7 5 。1 1 3 5 。算 是竖直方向；1 1 3 5 。一1 5 7 5 。记为1 3 5 。方向。需要注意的是：这些方向是梯度的方 向，也就是和边缘方向的正交方向。通过梯度的方向，就可以找到这个像素梯度 方向的邻接像素； ( 5 ) 非极大值抑制：遍历图像，若某个像素的灰度值与其梯度方向上前后两个像 素的灰度值相比不是最大的，那么这个像素值置为o ，即不是边缘； ( 6 ) 使用累计直方图计算两个阈值。凡是大于高阈值的一定是边缘；凡是小于低 阈值的一定不是边缘。如果检测结果大于低阈值但又小于高阈值，那就要看这个 第! 章，碑赛捌像中特征点的提取 像素的邻接像素中有没有超过高面值的边缘像素，如果有的话那么它就是边缘了 否则它就不是边缘。 3i 4 各边缘检测算子处理效果的比较与分析 为了进行摄像机标定，我们需要先在足球比赛图像中提取足够多的特征点， 因此要求我们采用的边缘检测算子能够很好的检测出球场边线、底线、禁区线和 球门线。下面我们就对足球比赛图像来进行边缘检测实验，从比赛视频中截取一 幅图像，使用以上各种边缘检测算子对其进行边缘检测处理，检测的结果如图37 所示。 蟹甄骤望蛾 ，。 j a 骥熙露除 图3 7 ( a ) 足球比赛视频截图 磷 赢毒 图37 ( b ) r o b e r t s 算子边缘检测的结果 虚拟电广告系统的甚$ 框架与研究 图3 7 ( e ) l o g 算于边缘检测的结果 通过以上各边缘检测结果的对比研究我们可以看出，用不同的边缘检测算子 对同一幅具有不同灰度类型、不同边缘类型的原始图像进行检测，其检测效果的 * 三章足球赛图像中特征点摧取 差异是很明显的。r o b e r t s 葬子对灰度呈阶梯状的边缘检测效果较佳，且所得边缘 细小，对边缘的朝向及噪声不敏感，运算量小，但部分边缘出现不连续的情 况；s o b e l 算子和p r e w i t t 算子检测的信息比较丰富，但同时也带来了许多的伪边缘 点，放大了噪声而且两种算法检测到的边缘线比较孝r ，边缘定位精度不高。l o g 算子把高斯平滑滤波器和拉普拉斯锐化滤波器结合了起来先平滑掉噪卢，再进 行边缘检测，但是平滑和锐化的结合，会使检测后的圈像细节比较模糊，边缘粗 大，严重了影响了边缘的定位，给后续的检测带来不便。 众所周知：每种边缘检测算子都存在着这样或那样不完善的问题，即没有一种 边缘检测算法适用于所有图像。因此，在对具体图像进行边缘检测时，需要根据 图像的特点选用适当的算法。 一般来讲，一个好的边缘检测算法应满足如下要求： r 1 ) 检测精度高： ( 2 ) 抗噪声能力强： ( 3 ) 计算简单； ( 4 ) 易于并行实现。 其中最根本的问题是解决检测精度与抗噪声能力之间的矛盾。下面我们再看 看另一种边缘检测算子：c a n n y 检测算子。 图3 8c a n n y 算子边缘检测的结果 从图38 中我们可以直观的看出，c a n n y 算子的检测效果是令人满意的。其 可以对噪声进行一定的抑制，采用了双阐值算法检测和连接边缘，它采用的多尺 度检测和方向性搜索较l o g 算子要好，所得到的边缘结果无需细化，有利于边 缘的精确定位，这对后续的参数检测提供了良好的基础。我们想要提取的球场边 线、底线、禁区线和球门线的边缘都十分清晰准确。所以在本课题中，我们采用 c a n n y 算子进行边缘点的提取。 1 8虚拟电视广告系统的基本框架与研究 3 2h o u g h 变换 h o u g h 变换是一种检测、定位直线和解析曲线的有效方法【l7 1 。它将原始图像 中给定形状的曲线或直线变换到参数空间的一个点，即原始图像中给定形状的曲 线或直线上的所有点都集中到参数空间的某个点上形成峰值。这样，就把原始图 像中给定形状的曲线或直线的检测问题，变成了寻找参数空间中峰值的问题，也 即把检测整体特性( 给定曲线的点集) 变成检测局部特性的问题。哈夫变换最大 的优点是抗干扰性强，即曲线上有小的扰动、间隙、甚至虚线，经哈夫变换后， 均能在变换空间形成明显的峰值。 3 2 1h o u g h 变换基本原理 h o u g h 变换的基本思想是利用点一线的对偶性( d u a l i t y ) 。即图像空间共线的点 对应在参数空间里相交的线；反过来，在参数空间中相交于同一个点的所有直线 ( 曲线) 在图像空间里都有共线的点与之对应。 这里，可以拿基本的直线进行说明。在图像空间灯里，所有过点( x ，y ) 的直 线都满足方程： y = p x + q ( 3 - 9 ) 其中p 为斜率，g 为截距。式( 3 - 9 ) 也可写成： q = 一+ y( 3 - 1 0 ) 式( 3 - 1 0 ) 可认为代表参数空间p q 中过点( p ，g ) 的一条直线。 y q q y i p l x i = y j p x j 0x0 p p ( a )嘞 图3 9 图像空间和参数空间中的点线对偶性 图3 9 给出了一个示例，图3 9 ( a ) 为图像空间，图3 9 ( b ) 为参数空间。 在图像空间x y 中过点( 毛，咒) 的通用直线方程按式( 3 9 ) 可写为y t = 死+ g ， 也可照式( 3 1 0 ) 写成q = 一阮+ 以，后者表示在参数空间尸9 里的一条直线。同样地， 过点( ，乃) 有乃= 辑+ g ，也可写成g = 1 码+ 乃j 它表示在参数空间阳里的 第三章足球比赛图像中特征点的提取 1 9 另一条直线。设这两条直线在参数空间p q 里的点( 以q ) 相交，这里对应图像空 间胛中一条过( t ，只) 和( x j ，y ，) 的直线，因为它满足乃= p x + g 和y j = p k ，+ g 。 由此可知，图像空间x y 中过点( 薯，只) 和( x ，y ，) 的直线上的每个点都对应在参数 空间尸q 里的一条直线，且这些直线相交于点( 矿，g ) 。 由此可知在图像空间中共线的点对应在参数空间里相交的线，反过来，在参 数空间中相交于同一个点的所有直线在图像空间里都有共线的点与之对应，这就 是点一线的对偶性。根据点一线的对偶性，当给定图像空间的一些边缘点，就可 以通过h o u g h 变换确定连接这些点的直线方程。h o u g h 变换把在图像空间中的直 线检测问题转换到参数空间里对点的检测问题，通过在参数空间里进行简单的累 加统计完成检测任务。 在具体计算时需要在参数空间尸q 里建立一个2 d 的累加数组。设这个累加 数组为a ( p ，g ) ，如图3 1 0 所示，其中【p u ，】和【g m i n ，g 一】分别为预期的斜率 和截距的取值范围。 q g m 戤 吼n i n p m b呱p 图3 1 0 参数空间里的累加数组 开始时置数组a 为零，然后对每一个图像空间中的给定边缘点，让p 取遍尸 轴上所有可能的值，并根据式( 3 1 0 ) 算出对应的g 。再根据p 和g 的值( 设都已经 取整) 对a 进行累加：a ( p ，g ) = a ( p ，g ) + l 。累加结束后，根据彳( p ，g ) 的值就可 知道有多少点是共线的，即a ( p ，g ) 的值就是在( p ，g ) 处共线点的个数，h l 对( p ，g ) 值也给出了直线方程的参数，即给出了点所在的线。 3 2 2 直线的极坐标形式 实际使用h o u g h 变换时，要在上述基本方法的基础上根据图像具体情况采取 一些措施，以提高运算的精度和速度，下面介绍使用极坐标直线方程的方法。 累加数组的尺寸对计算的精确度和计算量都有很大的影响。运用式( 3 9 ) 的直 线方程时，如果直线接近竖直方向，则会由于p 和g 的值都接近无穷( 因为截距g 2 0虚拟电视广告系统的基本框架与研究 无穷，斜率p 也无穷) 而使计算量和存储需求大增( 因为累加器尺寸将会很大) 。 此时可使用极坐标方程： p = x c o s o + y s i n o( 3 - 1 1 ) 来表示直线y = p x + q 如图3 1 1 所示。 y 图3 1 1 直线的极坐标表示 根据这个方程，原图像空间中的点对应新参数空间中的一条正弦曲线，即原 来的点一直线对偶性变成了现在的点一正弦曲线对偶性。检测在图像空间中共点 的线需要在新参数空间里检测正弦曲线的交点。具体就是让9 取遍秒轴上所有可 能的值，并根据式( 3 1 1 ) 算出所对应的p 。再根据口和p 的值( 设都己经取整) 对 累加器数组a 累加，由a ( o ，p ) 的数值得到共线点的个数。这里在参数空间建立 累加数组的方法与上述仍类似，只是无论直线如何变化，口和p 的取值范围都是 有限区间。 现在来看图3 1 2 ，其中图3 1 2 ( a ) 给出图像空间灯中的5 个点( 可看作一幅 图像的4 个顶点和中心点) ，图3 1 2 ( b ) 给出它们在新参数空间里所对应的5 条曲 线。这里秒的取值范围为 一9 0 。，+ 9 0 。 ，而p 的取值范围为一嘶，、 2 n 2 ( n 为图像边长的长度) 。 氏缸 。 刎| ( a ) x 嘞 图3 1 2 图像空间和参数空间中点和正弦曲线的对偶性 由图3 1 2 可见，对图像中的各个端点都可做出它们在参数空间里的对应曲线， 图像中其它任意点的h o u g h 变换都应在这些曲线之间。前面指出，参数空间里相 交于一点的正弦曲线所对应图像空间中的点在同一条直线上。在图3 1 2 ( b ) 中，曲 第三章足球比赛图像中特征点的提取 2 l 线1 ，3 ，5 都过s 点，这表明在图3 1 2 ( a ) 里图像空间中的点l ，3 ，5 处于同一条直线上。 同理图3 1 2 ( a ) 里图像空间中的点2 ，3 ，4 处于同一条直线上，这是因为在图3 1 2 ( b ) 中，曲线2 ，3 ，4 都过t 点。 若对于一些离散的边缘点，可利用下面所描述的办法确定出边缘直线。具体 方法如图3 1 3 所示。 图3 1 3h o u g h 变换原理图 如果图像空间中的点1 ，2 ，3 ，4 ，5 经h o u g h 变换后在参数空间中通过同一个点 q ，则说明在图像空间中它们共线。在实际的计算中，为了找出这些点所构成的 直线段，将p ，0 空间量化成许多小格，根据图像中每一个( ，) 点代入p 的量化 值，算出各个p ，所得值( 经量