（交通信息工程及控制专业论文）摄影测量在数字辅助直播系统中的应用.pdf

摘要 随着计算机视觉技术的迅速发展，数字辅助直播系统在体育比赛中的应用越 来越广泛。本文针对足球比赛中实时信息的提取，设计了一个基于摄影测量的数 字辅助直播系统。该系统能实时计算足球视频图像中待测点的世界坐标，并计算 各种三维距离信息，实现球场目标的三维重建。我们首先利用各种图像处理技术 对足球视频图像进行球场特征点的提取。这些特征点的成功提取是进行摄像机标 定的前提。接下来，我们利用以提取的特征点的图像坐标，以及它们己知的世界 坐标进行摄像机标定。在球场目标三维重建方面，本文针对足球视频图像的特点 采用了基于平面的重建方法。通过对具体的足球比赛视频图像的实验，结果表明 该方法适用于实时性要求较高的足球比赛中几何距离实时检测，具有简单性，有 效性，可靠性。 关键词：摄影测量数字辅助直播系统特征点提取摄像机标定三维重建 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t a v i s i o nt e c j l f l o l o g y ，m ed i g i t a la s s i s t e d b r o a d c a s t i n gs y s t e mi su s i n gm o r ea n dm o r ee x t e n s i v e i yi ns p o r t s ，t h j sp a p e rd e s i g n e d t 1 1 ed i 百t a la s s i s t e db r o a d c a s t i n gs y s t e mb a s e do np h o t o 口a m m e h m 锄di t su s e df o r f e a 】一t j m ei n f o 册a t j o ne x t r 童c l i o nf b ms o c c e rn l a t c b t h j ss y s l 锄c a l lc a l c u l a t et l l e p o i m sw o r l dc o o r d i n a t e si 1 1 s o c c e rv i d e oi m a g e ，a 1 1 dc a l c u l a t ea l lk i n d so fd i s t a l l c e i i l f b 肌a t i o ni n3 一d w ec a i lr e a l i z c3 dr e c o l l s t n l d i o ni ns t a d i 咖f j r s tw eu s ei m a g c p r o c e s s 主n gt e c h n 0 1 0 9 yt oe x 扭a c ts 埘i u m sf e a t u r e ns o c c e rv i d e oi m a g e s t h es u c c e s s o ft b e s ef e a m r ep o i n t s 麒t r a c t j 伽j sp 坤r e q u i s i t ef o ft b ec 锄e f ac a l j b r a t i d n n c x t ，w e u 山ef e a t i l r ep o i n t si m a g ec o o r d i n a t e s ，a i l dt l l e i rk n o 啪w o r l dc o o r d i n a t e st o c a l i b r a t ec a r l l c r 乱c o n s j d e r i n gt h ec h a r a c t e r i s t j c so fs o c c e rv i d e oi i n a g e ，i nt l l i sp a p 盯w e u s e dp l a n e b a s e dm e t l l o dt 0r e c o n s t r u c t3 di n f o m i a t i o n t h r o u g ht e s t i i l gn l er e a ls o c c c r v i d e 。i m a g e ，t h ee x p e m e n 钽lr e s u l t ss h o wt i 硷tl h i sm e t h o dc 锄b e 印p l i e dt om e 鹄u r e m eg e o m e 城cd i s t a i l c ei ns o c c e rm a t c l l a n di ss i m p l i c i 劬e 疏c t i v e n c s s ，a n dr e l j a b i l i 够 k e y w o r d s ：p h o t 0 留阻m m e 打y 恤ed i g i t a l 硇s i “e db r o a d 嘲t i n gs y s t e m l 切t j te i 呐c 蛞佃c a m e r 叠皿b r a 6 佃 3 dl 。e c o s t t c 6 加 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期： 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名： 垂塑 导师签名： 牛 日期： 日期： 第一章绍论 第一章绪论 1 1 计算机视觉与机器视觉概述 1 1 1 计算机视觉概述 人类的感觉信息是多种多样的，包括视觉、听觉、嗅觉、味觉、接近感和临 场感以及情感等。其中，对视觉的研究最为重要，己进入实用阶段。视觉是人类 最重要的感觉能力之一。视觉数据是人类最复杂和最有用的感觉输入信息。人眼 能感觉颜色，因为它具有色彩分辨能力。人眼能感觉运动，因为视网膜能提供所 出现实物的实际响应i l j 。 视觉是人类观察世界认知世界的重要手段。人类从外界获得的信息约有8 0 来自视觉系统，这既说明视觉信息量巨大也表明人类对视觉信息有较高的利用 率。人类的视觉过程可看作是一个复杂的从感觉( 感受到的是三维世界的二维投影 图像) 到知觉( 由二维图像认知三维世界的内容) 的过程【2 】。让计算机或机器人具有视 觉，是人类多年以来的梦想。虽然，目前我们还不能让计算机也具有像生物那样 高效、灵活的视觉，但这种希望正在逐步实现。 人类是通过眼睛与大脑来获取、处理与理解视觉信息的。周围环境中的物体 在可见光的照射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉冲信 号，经神经纤维传入大脑皮层进行处理与理解。视觉不仅指对光信号的感受，它 包括了视觉信息的获取、传输、处理、存储与理解的全过程。信号处理理论与计 算机出现后，人们试图用摄像机获取环境图像并将其转换成数字信号，用计算机 实现对视觉信息处理的全过程，这样，就形成了一门新兴的学科一计算机视觉【3 l 。 计算机视觉是指用摄像机和计算机代替人眼对目标进行识别、跟踪和测量等， 是由图像数据来产生视野环境内有用符号描述的过程，它涉及对相似视觉数据的 解释。计算机视觉系统的输入装置可以是摄像机等，它们都把三维的影像作为输 入源，即输入计算机的是三维客观世界的二维投影。如果把三维客观世界到二维 投影图像看作是一种正变换的话，则计算机视觉系统所要做的是从这种二维投影 图像到三维客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观 世界f 4 l 。 计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能 力。这种能力将不仅使机器能感知三维环境中物体的几何信息，包括它的形状、 位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。实现这种能 力主要有两类方法：一类是仿生学的方法，参照人类视觉系统的结构原理，建立 相应的处理模块完成类似的功能和工作；另一类是工程的方法，从分析人类视觉 摄影测苗在数字辆助直橘系统中的戍川 工程的功能着手，并不去刻意模拟人类视觉系统的内部结构，而仅考虑系统的输 入和输出，并采用任何现有的可行的手段实现系统功能。计算机视觉己发展起一 套独立的计算理论与算法，它并不刻意去“仿真”生物视觉系统，其原因有三： ( 1 ) 十多年来，虽然神经生理学、心理学与认知科学对生物视觉系统从解剖学、 电生理过程与信息处理等不同角度进行了大量卓越的研究，但对视觉认知过程的 认识还远远不够，尤其是对大脑皮层中高层次视觉信息处理的认识还是十分肤浅 的。 ( 2 ) 研究表明，大脑神经细胞构成了一个极其复杂的，巨大的互联网络，这种 神经网络在体系结构上与当前计算机体系结构有很大的差别。虽然，近年来人工 神经网络的研究得到很大的重视( 即用计算机或专用芯片去局部仿真神经网络) ，但 这种仿真也只能是近似的、局部的，要实现大量人工神经元的互联网络在技术上 目前还是很困难的。另外，不少计算机视觉工作者认为，只要从信息转换的角度 真正理解了视觉信息处理过程并发展出一套信息处理的计算理论，用哪种体系结 构去实现它是无关紧要的。近年来对神经网络的研究表明，其中许多算法既可以 用通用的串行的计算机体系结构实现，也可以用神经网络实现。 ( 3 ) 在许多工业应用场合，视觉系统要观察的环境常常比较简单。6 0 年代第一 次做的计算机视觉系统的实验，环境被限制在所谓“积木世界”，即周围的物体 都是由多面体组成的，需要识别的物体可以用简单的点、直线、平面的组合表示。 计算机视觉的研究工作就是从对这些简单的物体识别与定位开始的。另一方面， 用计算机视觉的方法还可以处理与识别更广泛的图像，例如遥感图像、医学图像 等，这些图像的处理和识别与一般摄像机的图像有较大的不同，处理与识别的方 法也不刚5 】。 1 1 2 机器视觉概述 机器视觉与计算机视觉是既有区别又有联系的。计算机视觉是采用图像处理， 模式识别，人工智能技术相结合的手段，着重于一幅或多幅图像的计算机分析。 图像可以由单个或多个传感器获取，也可以是单个传感器在不同时刻获取的图像 序列。分析是对目标物体的识别，确定目标物体的位置和姿态，对三维景物进行 符号描述和解释1 6 j 。 机器视觉则偏重于计算机视觉技术的工程化，能够自动获取和分析特定的图 像，以控制相应的行为。具体地说，计算机视觉为机器视觉提供图像和景物分析 的理论及算法基础，机器视觉则偏重于计算机视觉技术工程化，它为计算机视觉 的实现提供传感器模型，系统构造和实现手段。因此可以认为，一个机器视觉系 统技术就是一个能够自动获取一幅或多幅目标物体图像，对所获取图像的各种特 第一章绪论 征量进行处理，分析和测量，并对测量结果做出定性分析和定量解释，从而得到 有关目标物体的某种认识并做出相应决策的系统。机器视觉系统的功能包括：物 体定位，特征检测，缺点判断，目标识别，计数和运动跟踪。机器视觉系统一般 以计算机为中心，主要由视觉传感器、高速图像采集系统及专用图像处理系统等 模块构成门。如图1 1 所示。 图1 1机器视觉系统基本组成模块 1 2 摄影测量技术概述 既然机器视觉系统所要做的工作是根据二维投影图像去重建三维客观世界， 这里就存在着一个关键问题：距离信息的获取。正常的二维图像是没有距离信息 的，因此，摄影测量的关键技术就是距离信息的获得。摄影测量是对由摄像机摄 取的影像进行测量，测定物体在三维空间的位置、形状、大小乃至物体的运动。 摄影测量在近百年的历史中经历了三个发展阶段，即模拟摄影测量、解析摄影测 量和数字摄影测量。近景数字摄影测量是数字摄影测量的一个重大分支。它是随 着c c d ，数码相机，数字影像技术，图像处理技术，计算机视觉，三维重建技术 等数字技术的发展而发展起来的。 模拟摄影测量仪器完全是依赖于精密的光学一机械仪器，它常用两根金属导 杆代替投影光线，将两个同名像点的投影光线“交会”得到它们的空间点位。2 0 世纪3 0 年代，德国著名的摄影测量学者g n l b e r 指出：“摄影测量是一门可以避免 技术的技术”。 解析摄影测量时代，计算机不仅用于大规模的空中三角测量、区域网平差、 数字测图等，还实时计算共线方程、代替模拟测图仪的金属导杆( 称为数字导杆) ， 控制像片盘的实时运动，交会空间点位例。 进入计算机化的数字摄影测量工作站( d p w ) 几乎无需光学、机械部件，d p w 就是一台计算机+ 各种功能的摄影测量软件。d p w 处理的原始数据就是数字影像， 它利用数字图像处理、模式识别的技术，开始实现摄影测量的自动化。 4 摄影测革在数字辅助直播系统中的麻_ j 目前，数字摄影测量可以分为两类： ( 1 ) 离线数字摄影测量，在工业测量中，离线数字摄影测量是最灵活、最便携 的测量系统。在测量的过程中，摄像机与处理计算机不连接，这就是离线数字摄 影测量名字的由来。 ( 2 ) 在线数字摄影测量，在线数字摄影测量系统中，摄像机与计算机相连接， 测量后能立即得出测量的结果。如果测量的频率与零件的变化或者移动的频率一 致那么这个系统就是一个实时测量系统。 与传统的摄影测量相比，数字摄影测量技术的优势在于：( 1 ) 数字摄影测量中 的计算机不但能完成大多数摄影测量工作，同时数字摄影测量引入了数字图像处 理、模式识别的理论与技术，实现目标的自动或半自动识别( 如识别框标和识别同 名点等) 和提取，从而大大提高了摄影测量的自动化功能。( 2 ) 数字摄影测量系统不 仅可以处理数字化的航片影像，而且可以处理包括卫星在内的多传感器、多分辨 率、多时相的多种数据源，采用数字影像或数字化影像作为系统的输入，通过高 速高容量计算机和专用配套设备对影像进行处理，以研究目标的几何和物理特性， 从而获得各种形式的数字化产品和可视化产品。( 3 ) 其数据的获取，处理产品的形 式、管理、分发等都是以数字的形式，摄影测量所有工序都可以在计算机上实现， 并且涵盖了整个传统摄影测量的各个工序。( 4 ) 自动化程度高，能有效地缩短生产 周期，提高工作效率，增强测量产品的实时性和灵活性。 1 3 本文的研究背景和意义 随着2 0 0 8 年北京奥运会的临近，越来越多的电视观众对体育赛事产生了浓厚 的兴趣。为了能使观众更好的欣赏比赛，电视数字辅助直播系统对体育比赛中实 时的信息提取就显得格外重要。在国外一些重大赛事中，能见到一些基于计算机 视觉和摄影测量技术的数字辅助直播系统在比赛中的应用。例如网球比赛，羽毛 球比赛中用来判断球出界等的数字辅助系统；斯诺克比赛中描述球路的数字辅助 系统；足球比赛中的数字辅助系统等等。这些系统是目前计算机视觉领域中比较 新的应用。国外的一些发达国家在这方面已经有了一定的应用，但仍不普及。国 内目前没有见到比较成熟的应用。即使有使用国外的设备，价格上也是非常昂贵 的。因此，本文设计了一个基于足球比赛的数字辅助直播系统。 足球作为世界上最受欢迎的体育运动之一同时也是拥有观众人数最多的体育 比赛，带动了电视广播的巨大发展。然而，在电视足球比赛直播中，观众只能凭 感觉判断真实球场中足球和球员的各种距离位置信息，例如足球比赛中主罚任意 球时判断人墙是否离球有9 1 5 米；判断罚球时足球距球门的距离；判断球员是否 越位等等。本文设计的数字直播辅助系统就是能够利用计算机视觉中的摄影测量 第一章绪论 技术测量出待测点在球场中的世界坐标，并计算上述各种距离信息，实现球场目 标的三维重建。给观众提供真实的球场信息，使观众能更好地欣赏比赛。图1 2 给 出了数字辅助直播系统在足球比赛中的应用。 图1 2 数字辅助直播系统的应用 1 4 本文研究的主要内容 本文设计了一个用于足球转播中的数字辅助直播系统。主要研究足球视频图 像中特征点的提取，摄像机标定以及三维重建的有关理论，方法和技术。讨论了 课题的研究意义，然后按照提出的系统模型，逐步深入到其中的各个领域，从理 论上实现了基于足球比赛的数字辅助直播系统。本文的结构组织如下： 第一章讨论了课题的研究背景及其意义，简单介绍了计算机视觉和摄影测量 的概念。以及本文研究的主要内容。 第二章介绍了用于足球比赛中的基于摄影测量的数字辅助直播系统。对系统 流程和每个模块的功能和实现做了简单的介绍。 第三章研究了摄像机标定前所必须的标定点的提取过程。由于足球视频中含 有较多的信息，想要准确的检测出我们需要的标定点是一项比较复杂的过程。本 章内容所作的工作就是利用数字图像处理技术以及数学几何方法研究足球视频图 像中球场特征点的准确提取。 第四章介绍了摄像机标定的有关理论知识，讨论了摄像机模型，介绍并分析 了目前几种较为典型的摄像机标定法。针对一般应用场合中快速、准确的测量要 求，同时又满足一般实验条件下的摄像机标定，我们采用了透视投影的摄像机模 型。在球场目标的三维重建方面，针对足球视频图像，本文采用了一种简单快速 且满足一定的精度的基于平面的重建方法。该法尤其适用于实时性要求较高的足 球比赛中几何距离实时检测。最后结合实际足球视频图像给出实验结果。 第五章总结了本文的工作并讨论了今后的努力方向。 6 摄影测艟矗擞字辅助直播系统中的廊刚 1 5 本章小节 本章主要分析本课题的研究背景及其意义，对计算机视觉和摄影测量做了概 述，阐述了二者的理论基础，特点及其应用。在本章的最后还指出了本论文的主 要研究内容及其结构组织。 第一二章数字辅助直稀系统的设计 7 第二章数字辅助直播系统的设计 2 1 系统模型 在足球比赛直播中，观众只能凭感觉判断真实球场中足球与球门，球员与球 员，球员与球门之间的各种距离位置信息，例如足球比赛中主罚任意球时判断人 墙是否离球有9 1 5 米；判断罚球时足球距球门的距离；判断球员是否越位等等。 这些信息的获得可以增加比赛的观赏性，使观众能真实的了解到当前比赛的情形。 本文设计的数字辅助直播系统就是能够利用计算机视觉中的摄影测量技术测量出 球员或足球在球场中的3 d 坐标，并计算上述各种距离信息，实现球场目标的三维 重建。给观众提供真实的球场信息，使观众能更好地欣赏比赛。 本文所设计的数字辅助直播系统【9 j 【加j 属于摄影测量范畴。第一步工作是利用数 字图像处理技术，完成了对球场特征点的检测与提取。第二步工作是利用传统的 透视投影摄像机模型，进行摄像机标定，求出联系图像坐标与世界坐标的变换矩 阵。晟后一步是球场目标的三维重建。根据所求出的变换矩阵和待测的球员( 或 足球) 的图像坐标，计算其世界坐标，从而计算真实场景中各种三维空间的距离 信息。本文设计的数字辅助直播系统的整体框架如图2 1 所示：它包括三个主要模 块，第一个模块是足球视频图像中球场特征点的提取；第二个模块是摄像机标定； 最后一个模块是球场目标的三维重建。下面将简要介绍各个模块。 视频图像 序列 球场特征 点的提取 摄像机参 数矩阵的 标定 计算待测 点的世界 坐标 三维距离 计算 图2 i 系统整体框架 摄影铡鞲在数字辅助直播系统中的麻h j 2 2 图像特征点的提取 图像特征点的获取是顺利进行摄影测量和摄像机标定研究的前提和基础。在 m a r r 的视觉计算理论l 中，抽取二维图像上的边缘，角点等基本特征是整个系统 框架的基础。如前所述，进行摄像机标定所需要的标定点的获得是从二维图像上 提取出其特征点而得到的，而且这些特征点在标定模型中是作为已知量直接参与 的，因而特征提取的好坏直接影响到后面的标定精度和匹配精度。如何快速、有 效、精确地提取出特征点的坐标是本章研究的主要任务之一。 图像特征主要包括图像边界、边缘点、角点、拐点、纹理等。而球场的边界、 边缘点、角点信息i j2 j 1 1 4 】是非常丰富的。如球场中小禁区，大禁区边界线的角点， 球门柱与底线的交点，点球点等等，如图2 2 所示【i s j 。因此对我们进行特征点的提 取以及选取标定点是非常有利的。本文就是利用图2 2 所标出的点作为我们的特征 点来进行标定。 - 。一 一 孙( )4 一 图2 2 球场上的特征点 由于足球视频图像中存在场上球员，场边观众，广告等等相当大的干扰，想 要直接利用角点检测算法直接提取我们所需要的标定点，几乎是不可能的。本文 设计的方法是先检测出大禁区，小禁区的边界线还有球场边线。利用检测出的边 界线，求取它们的交点，即为我们所需要的标定点。因此我们需要对采集到的标 定图像进行预处理。在预处理的过程中，我们使用了c 锄y 边缘检测，h o u 矾变 换，膨胀，闭合等图像处理方法，再利用h o u 曲变换检测直线，由得到的直线方 程求解边界线的交点。这种方法得到的标定点图像坐标适用行强，准确性高。 2 3 摄像机标定与三维重建 摄像机标定是从二维图像获取三维空间信息( 欧几里德空间) 的关键和必要 步骤( 即三维重建) 【j6 j 。它是指建立图像像素位置和场景位置之间的关系。三维 计算机视觉系统应能从摄像机获取的图像信息出发，计算出三维环境物体的位置、 形状等几何信息。图像上每一点的亮度反映了空间上某点反射光的强度，而该点 在图像上的位置则与空间相应点的几何位置有关。这些位置的相互关系由摄像 第一章数字辅助直播系统的设计 9 机成像几何模型所决定。摄像机模型是光学成像几何关系的简化。最简单的模型 为线性模型，或称为针孔模型( p i nh o l em o d e l ) 【7 】。本文就是利用这种线性模型进行 摄像机的标定工作。该几何模型的参数称为摄像机参数1 1 7 】，这些参数必须由实验 与计算来确定，实验与计算的过程称为摄像机杯定。 我们通过上步特征点的提取，得到了视频图像几组特征点的图像坐标。在 三维重建过程中，本文采用了一种简单快速且满足一定的精度的基于平面的重建 方法。根据这些点的图像坐标值以及它们的世界坐标值，求解出反映图像坐标与 世界坐标关系的变换矩阵。在进行对所要测量目标的世界坐标的求解过程中可直 接利用这个变换矩阵求解。该法尤其适用于实时性要求较高的足球比赛中几何距 离实时检测。 三维计算中，我们实时获得所要计算的点的图像坐标。将它带入变换矩阵， 求解出其真实球场中的世界坐标。各种距离信息就可以利用欧式空间的距离公式 进行计算。 第二章足球视频罔像中球场特，仕点的提取 第三章足球视频图像中球场特征点的提取 3 1 图像处理概述 眼睛是人类大脑的直接信息来源。而对于机器视觉系统，摄像机为其提供了 原始的和直接的视觉信息，一般称为视觉图像。在一幅视觉图像中，把其中具有 鲜明特征的信息，如边缘、角点、圆或椭圆中心以及图像的形状特征等称为视觉 图像特征信息。视觉图像特征信息的提取是标定机器视觉系统模型参数和进行机 器视觉实际应用的前提和基础。人们用各种技术方式和手段对图像进行加工以获 得有用信息。我们常说的图像处理泛指各种图像处理技术，如图像增强、图像复 原、图像变换、图像编码、图像配准、图像分析和特征提取、图像分割旧【1 8 1 等。 足球视频图像包含了相当大的信息，其中含有大量的噪声。例如观众，广告 牌，球员等等。为了能有效、准确地提取出球场上的特征信息，必须对采集到的 图像进行预处理，图像处理着重强调在图像之问进行的变换。我们的工作主要是 围绕特征提取所做的。本章根据我们所要研究的足球视频图像介绍了我们所使用 的c 锄l y 边缘检测，h o u 曲变换，膨胀，闭合等图像处理技术的基本理论，并给 出每部分处理后的结果。图3 1 是我们本文图像处理的流程。 图3 1 足球视频图像处理流样图 摄影溯蕈住数字辅助n 橘系统中的戍_ l j 3 2 边缘检测 在一幅视觉图像中，往往有很多条图像边缘，可以说图像边缘是视觉图像的 主要特征信息。边缘检坝4 通常是机器视觉系统处理图像的第一阶段，也是机器视 觉领域内经典的研究课题之一，其结果的正确性和可靠性将直接影响到机器视觉 系统对客观世界的理解。这部分的目的是为了获取足球视频中清晰的大禁区，小 禁区的边界线还有球场边线。为下一步的球场上直线提取做准备。 3 2 1 边缘检测的概述 边缘检测的实质是采用某种算法来提取图像中对象与背景间的交界线。我们 将边缘定义为图像中灰度发生急剧变化的区域边界，图像灰度变换的情况可以用 图像灰度分布的梯度来反映。因此我们可以用局部图像微分技术来获得边缘检测 算子。经典的边缘检测方法，是对原始图像中像素的某个小邻域来构造边缘检测 算子。首先通过平滑来滤除图像中的噪声，然后进行一阶微分或二阶微分运算， 求得梯度最大值或二阶导数的过零点，最后选取适当的闭值来提取边界。 图像的局部边缘定义为两个强度明显不同的区域之间的过渡，图像的梯度函 数即图像灰度变换的速率将在这些过渡边界上存在最大值。早期的边缘检测是通 过基于梯度算子或一阶导数的检测器来估计图像灰度变化的梯度方向，增强图像 中的这些变化区域，然后对该梯度进行阈值运算，如果梯度值大于某个给定的门 限，则存在边缘。 对于图像的边缘检测来说，一般在识别过程中有如下的要求： ( 1 ) 首先能够正确的检测出有效的边缘； ( 2 ) 边缘定位的精度要高： ( 3 ) 检测的响应最好是单像素的； ( 4 ) 对于不同尺度的边缘都能有较好的响应并尽量减少漏检； ( 5 ) 对噪声应该不敏感； ( 6 ) 检测的灵敏度受到边缘方向影响应该小。 一阶微分是图像边缘和线条检测的最基本方法。图像函数( j ，_ ，) 在点( 五，) 的 梯度( 即一阶微分) 是一个具有方向和大小的矢量，即 叭圳卜饼慝爿 。叫， w ( j ，y ) 的幅度为： i v 厂( x ，y ) l 等+ 等 、次2 。砂2 ( 3 2 ) 第二章足球视频例像中球场特征点的提取 方向角为： 厌五力= 珂c c 锄( ，= ) ( 3 3 ) 以上述理论为依据，人们提出了许多算法，常用的方法有1 2 0 】：差分边缘检 测、r o b e n s 边缘检测算子、s o b e l 边缘检测算子、p r e w m 边缘检测算子、l o g 边缘 检测算子、c 蛐y 边缘检测算子等等。 所有的基于梯度的边缘检测器之间的根本区别有三点： ( 1 ) 算子应用的方向； ( 2 ) 在这些方向上逼近图像一维导数的方式； ( 3 ) 将这些近似值合成梯度幅度的方式。 3 2 2 经典的边缘检测算子 当我们处理数字图像的离散域时，可用图像的一阶差分直接代替图像函数的 ，( x + 1 ，y ) 一厂( x ，y ) ( 3 4 ) ，( 石，y 十1 ) 一厂( 工，y ) ( 3 5 ) 利用像素灰度的一阶导数算子在灰度迅速变化处得到极值来进行奇异点的检 测。它在某一点的值就代表该点的“边缘强度”，可以通过对这些极值设置阈值 来进一步得到边缘图像。但是，用差分检测边缘必须使差分的方向与边缘方向垂 直，这就需要对图像的不同方向都进行差分运算，增加了实际运算的繁琐性。 下面是差分边缘检测算子的垂直边缘、水平边缘、对角线边缘检测的模板： 差分边缘检测方法是最原始、最基本的方法。根据灰度迅速变化处一阶导数 达到最大原理，利用导数算子检测边缘。这种算子具有方向性，要求差分方向与 由r o b e r t s 提出的算子是一种利用局部差分算子寻找边缘的算子，它在2 2 领 g ( x ，y ) = 【，( x ，力一，( x + l ，y + 1 ) 】2 + 【，( y + 1 ) 一，( x + 1 ，力】2 ( 3 6 ) g ( x ，y ) 又称为r o b e n s 交叉算子。在实际应用中，为了简化计算，用梯度函数 4 摄影测昔在数字辅助商橘系统中的戍用 g ( 石，y ) = i 【，( j ，y ) 一，( j + l ，_ y + 1 ) 】+ 【，( j ，y 十1 ) ( j + 1 ，j ，) l ( 3 7 ) g ( j ，y ) ：m a x ( f ，( j ，力一，( x + l ，y + 1 ) l ，1 ( x ，j ，+ 1 ) 一( j + l ，y ) 1 ) ( 3 8 ) 渊 由上面两个卷积算子对图像运算后，求得图像的梯度幅度值g 瓴) ，) ，然后选取 适当的门限t h ，做如下判断：g “y ) t h ，( j ，) 为阶跃状边缘点， g ( f ，) 为一个 方向差分运算与局部平均相结合的方法，即s o b e l 算子。该算子是在以，( ，y ) 为中 i = 厂( x + l ，y 一1 ) + 2 厂( x + 1 ，y ) + 厂( 工+ l ，j ，+ 1 一 i 厂( x 一1 ，_ ) ，一1 ) + 2 ，( 工一l ，y ) + 厂( x 一1 ，j ，+ 1 ) 1 j ，= 厂( x 一1 ，y + 1 ) + 2 ( x ，) ，+ 1 ) + 厂( x + 1 ，y + 1 ) _ 3 9 ) 【 厂( 工一1 ，y 一1 ) + 2 八五y 一1 ) + ，( 工+ l ，y 一1 ) ) 实际上，上式应用了( x ，_ ) ，) 邻域图像强度的加权平均差值。其梯度大小为 g ( 五 = + ( 3 1 0 ) 三；司 i 享； 上面两个卷积算子对图像运算后，求得图像的梯度幅度值g ( z ，y ) ，然后选取适 当的门限t h ，做如下判断：g “力 t h ，( j ，) 为阶跃状边缘点， g ( f ，肼为个二 第j 章足球视频图像中球场特征点的提取 果。同时，由于s o b e l 算子引人了局部平均，使其受噪声的影响也比较小。当使用 大的邻域时，抗噪声性会更好，但这样做又会增加计算量，并且得到的边缘也比 较粗。 s o b e i 算子利用像素点上下、左右相邻点的灰度加权算法，根据在边缘点处达 到极值这一现象进行边缘检测。因此s o b e i 算子对噪声具有平滑作用。提供较为精 确的边缘方向信息。但是，这是由于局部平均的影响，它同时也会检测出许多伪 边缘，且边缘定位的精度不够高。当对精度要求不是很高时，是一种较为常用的 边缘检测方法。 4 p r c 晰n 算予 p r e t t 提出了类似的计算偏微分估计值的方法 巳= ( x + 1 ，y 一1 ) + ，( x + 1 ，y ) + ，( x + l ，y + 1 ) ) 一 。，! 裂锚瀚：瀚：勰卜 c ，一n ， j ，= 。( x l ，y + 1 ) + ，( x ，) ，+ 1 ) + ，( x + l ，y + 1 ) 一 。 ( 工一l ，y 一1 ) + 厂( l ，一i ) + ，( 工+ l ，y 一1 ) 梯度计算则利用 g ( z ，y ) = m + k 它的卷积算子为： r 1o 一1 i lo lf l l o l j f 1 1 一1 l o o of ll llj ( 3 1 2 ) p r e 州n 边缘检测算子方向模板 当用两个卷积算子组成边缘检测器时，通常取较大的幅度作为输出值。这使 得它们对边缘的走向有些敏感。取它们的平方和的开方可以获得性能更一致的全 方位的响应。这与真实的梯度值更接近。另一种方法是，可以将p r e w m 算子扩展 到八个方向，即边缘样板算子。这些算子样板由理想的边缘子图像构成，依次用 边缘样板去检测图像，与被检测区域最为相似的样板给出最大值。用这个最大值 作为算子的输出值p ( f ，) ，这样可以将边缘像素检测出来。 5 高斯一拉普拉斯算子 一阶微分是个矢量，既有大小又有方向，和标量相比，它的存储量大。另 外，在具有等斜率的宽区域上，有可能将全部区域都当作边缘检测出来。因此， 有必要要求出斜率的变化率，即对图像函数进行二阶微分运算 吼力：鬈霉 ( 3 1 3 ) q c 谚 这毅是应用l a p l a c i 孤算子提取边缘的形式，即二阶偏导数蛇和，它是_ 介标 6 摄影测譬住数字辅助直孺系统中的应h j 量，属于各向同性的运算，对灰度突变敏感。在数字图像中，可用差分来近似微 护八五力“似二嬲塞蹴未瓮：裟c ，叫，+ 【苁t y + 1 ) 一伍y ) 】- f ( 工，y ) 一( t y 1 ) 】 “ 卜钼 i i 三；三 - i 三；l 二阶导函数取异号。l a p l a c i 锄算子就是据此对( x ，y ) 的每个像素取它关于z 方向和 y 方向的二阶差分之和，这是一个与边缘方向无关的边缘检测算子。而对屋顶状边 缘来说，在边缘点的二阶导数取极小值，这时对，( z ，y ) 每个像素取它关于z 方向和 子为二阶差分，双倍加强了图像中的噪声影响；优点是各向同性，即具有旋转不 变性。因为在微分学中，一个只包含偶次阶导数和取偶次幂的奇次阶导数的线性 够连续、不能获得边缘方向信息等等。而且l 印l a c i a i l 算子为二阶差分，与一阶微 分比较。l a p l a c i a i i 算子对噪声更敏感，它使噪声成分加强。因此在实际应用中， 嗍加嘉等一，p c s 州， 其中a 为高斯分布的标准方差，它决定了高斯滤波器的宽度称为高斯一拉普拉 斯算子( l 印l a c i a i lo f g 叫s s i a l l ，l o g ) ，这种边缘检测方法也称为m a r r 边缘检测方 第二章足球视频同像中球场特征点的提取 3 2 3c a n n y 边缘检测算子 虽然边缘检测的基本思想比较简单，但在实际实现时却碰到很大困难，其根 本原因是实际信号都是有噪声的，而且一般表现是高频信号。尤其在足球视频中 存在着相当大的干扰。在这种情况下，如果直接采用上述边缘算子检测出来的都 是噪声引起的假的边缘点。前面介绍的边缘检测算法是基于微分方法的，其依据 是图像的边缘对应一阶导数的极大值点和二阶导数的过零点。然而，这种依据只 有在图像不含噪声的情况下成立。解决这一问题的方法是对信号进行平滑滤波， 以滤去噪声。c a i l l l y 算子力图在抗噪声干扰和精确定位之间寻求最佳折中方案。 c a i l i ，y 考察了以往的边缘检测算子和边缘检测应用，发现尽管这些应用出现在 不同的领域，但都有一些共同的要求，他将其归纳为三条准则【2 1 】： ( 1 ) 好的检测结果，就是说对边缘的错误检测率要尽可能低，要检测出图像 真实的边缘，同时要避免检测中出现虚假的边缘。 ( 2 ) 好的边缘定位精度，也就是说标记出的边缘位置要和图像上真正边缘的 位置尽量接近。 ( 3 ) 对同一边缘要有低的响应次数，有的算子会对一个边缘产生多个响应； 也就是说图像上本来只有一个边缘点的，可是检测出来就会出现多个边缘点。第 三条准则要求对一个边缘点最好只有一个响应。 c 枷y 边缘检测算子是近年来在数字图像处理中广泛应用的边缘算子，它是应 用变分原理推导出的一种应用高斯导数逼近的最优算子。通过c 锄n y 算子的应用， 可以计算出数字图像的边缘强度和边缘梯度方向，为后继边缘点判断提供依据。 公式： 式中 q = 咒v g v g ，( 剐，) 刀2 o _ i v g ，( j ，y ) l ( 3 一1 6 ) 吲 w 1 菇j 。_ 1 7 n 就是边缘方向，v g 是梯度矢量，而边缘强度由i v g ( 马y ) l 决定。 在c a n n y 算子计算实现过程中，为了提高强度，同样可以采用分解的方法， 把v g 的滤波模块分解为两个一维的行列滤波器。即： 罢珊冲( 吾h 割 0 x z 盯。jz 盯一j 等= 砂唧e 冲( 割 将式( 3 1 8 ) 和式( 3 1 9 ) 分别与图像( f ，- ，) 卷积，得到 ( 3 1 8 ) ( 3 一1 9 ) 摄影测鼙仕数字辅助直橘系统中的应用 e f ：孚朋，- ，) 伪专啪力 ( 3 删) 爿( ，) = 巨2 ( f ) + e ，2 ( f ，)口( ，) = a r c m n ： ；等 ( 3 2 1 ) c - v ，j j 式中爿( f ，) 反映了图像上( f ，) 点处的边缘强度，口( f ，- ，) 是图像( f ，) 点处的法 向方向( 正交于边缘方向) 。 图像经过高斯平滑后边缘变得模糊，因此，由计算梯度得到的边缘就具有一 定的宽度。具有这种宽边缘变细的方法，叫作非极大点的抑制( n o n m a ) 【i m s u p p r e s s i o n ，n m s ) 。这种方法是在垂直于边缘的方向( 梯度的方向) 上互相比较 邻接像素的梯度幅值，并除去具有比邻域处小的梯度幅值。根据这一操作，梯度 幅值的非极大点被除去，边缘也就变细了。 当然，非极大点抑制幅值图像仍会包含许多由噪声和细纹理引起的假边缘， 假边缘可以通过双阈值算法得以去除。双阈值算法是对非极大点抑制幅值图像作 用双阈值i 和五，且五z 2 互，得到两个双阈值边缘图像g l 【f 刀和g 2 【f ，刀。由于图 像g 2 f ，一是用高阈值得到的，因此它含有较少的假边缘，但可能在轮廓上有间断。 双阈值算法要在g 2k 门中把边缘连接成轮廓，当到达轮廓的端点时，该算法就在 g i 【f ，门的8 邻点位置寻找可以连接到轮廓上的边缘。这样，算法将不断地在g l 【f ，卅 中收集边缘，直到将g 2 【f ，】中所有的间隙连接起来为止。 归纳上述过程，c 咖y 算子检测图像边缘的步骤i l 埘如下： ( 1 ) 用高斯滤波器平滑图像。 ( 2 ) 计算滤波后图像梯度的幅值和方向。 ( 3 ) 对梯度幅值应用非极大值抑制，其过程为找出图像梯度中局部极大值点， 把其他非局部极大值点置零，已得到细化的边缘。 ( 4 ) 用双阈值算法检测和连接边缘，使用两个阈值正和正，五来找到每条线 段，正用来在这些线段的两个方向上延伸寻找边缘的断裂处，并连接这些边缘。 3 2 4c a i l l l y 算子与其它边缘检测算子的图像处理结果与分析 我们以待标定的足球视频图像为处理对象，用上述边缘检测算法对图像进行 边缘检测。目的是为了检测出球场上大禁区，小禁区的边线，以及球场边界。结 果如图3 2 所示： 第二二章足球视频削像中球场特祉点的提取 9 ( a ) 原始足球视频图像 ( b ) s o b e i 算子检测结果 ( c ) r o b c n s 算子检测结果 摄影测鼙住数字辅助直播系统中的麻j i f d lp r e w i n 算子检测结果 ( e ) l o g 算子检测结果 ( dc n y 算子检测结果 图3 2 各种边缘检测算法比较结果图 在边缘检测中，边缘定位能力和噪声抑制能力是一对矛盾体，有的算法边缘 定位能力强，有的抗噪声能力比较好。从上面得到的处理结果可以看出，本文所 第二章足球视频图像中球场特征点的提取 采用的c a n n y 算子效果最好。球场上大禁区，小禁区的边界线以及球场边线都很 好的检测出来了。下面是对各个边缘检测算法的结果分析： ( 1 ) r o b e n s 算子：r o b e r t s 算子利用局部差分算子寻找边缘，边缘定位精度 高，但容易丢失一部分边缘，同时由于图像没有经过平滑处理，因此不具备抑制 噪声的能力。该算子对具有陡峭边缘且含噪声少的图像效果较好。 ( 2 ) s o b c l 算子和p r e w i n 算子：两者都是对图像先做加权平滑处理，然后再 做微分运算，所不同的是平滑部分的权值有些差异，因此对噪声具有一定的抑制 能力，但不能完全排除检测结果中出现虚假边缘。虽然这两个算子边缘定位效果 不错，但检测出来的边缘容易出现多像素宽度。 ( 3 ) l o g 算子：该算子首先用高斯函数对图像作平滑滤波处理，然后才使用 拉普拉斯算子检测边缘，因此克服了拉普拉斯算子抗噪声能力比较差的缺点，但 是在抑制噪声的同时也可能将原有的比较尖锐的边缘也平滑掉了，造成这些尖锐 边缘无法检测到。 ( 4 ) c 锄y 算子：c 锄y 算子是基于最优化思想推出的边缘检测算子。该算 子同样采用高斯函数对图像进行平滑处理，因此具有较强的抑制噪声能力。c a l l n y 算子之后采用了双阈值算法检测和连接边缘，它采用的多尺度检测和方向性搜索 较l o g 算子要好。 通过理论和实验分析我们可以得出结论，对于足球视频来说，c a l l i l y 边缘检测 算子检测球场上的特征线具有良好的效果。因此，我们将采用c a l l l l y 算子作为我 们边缘检测的算法。 3 3 h o u 曲变换 通过上一步c a l l n y 边缘检测算子提取的足球视频边缘的结果来看，尽管球场 的大小禁区的边界线，以及球场边线都很好地检测出来。但是视频图像中球场外 围的观众，广告牌，球场内的球员的边缘信息也被检测出来了。这些冗余的信息 对我们提取直线造成了相当大的干扰。因此，我们仍需要对边缘检测之后的图像 做进一步的处理。而h o u 曲变换就是用来检测图像中直线的有效技术手段，由于 它对随机噪声和部分遮盖现象不敏感，而且适合于并行处理，因此在机器视觉中 被广泛应用。h o u 曲变换实际上是利用分散的边缘点进行曲线逼近，它也可看成 是一种聚类分析技术，图像空间中的每一点可以对参数空间中的参数集合进行投 票表决，获得多数表决票的参数即为所求的特征参数。因此，h o u g l l 变换又称为 变换空间聚类法j i ”j 。 摄影洲苗在数字辅助直橘系统中的应川 3 3 1 利用直角坐标中的h o u 曲变换检测直线 在图像空i 日j 中，经过( - ，y ) 的直线可表示为： y = 甜+ 6 ( 3 2 2 ) 其中a 为斜率，6 为截距。上式可变换为： 6 = 嗍+ y ( 3 2 3 ) 该变换即为直角坐标中对_ ，) 点的h o u