（信息与通信工程专业论文）基于视频的斯诺克比赛支持系统关键技术研究.pdf

独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：乏怂嗍竺! 鱼丑9 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 弛：涂分 导师繇哆 吼叫雌日2 日 摘要 体育视频分析的研究已有多年的历史，目前在研究内容、算法和应用方面 都有很大发展。近年来，斯诺克运动在中国受到普遍关注和欢迎。每年举办许 多高质量的国际斯诺克职业比赛，更是吸引了大批观众和球迷。 本文对斯诺克比赛支持系统中有关视频处理的一些关键技术进行了研究， 包括背景台面分割、图像坐标和台面坐标转换、复位等，具体如下： 1 提出了一种改进的颜色和边缘特征相结合的图像分割方法。原有图像 分割算法只能针对固定颜色的台面背景，而且受噪音干扰较大。改进算法增加 了背景主颜色的自动提取，并通过平滑和循环曲线拟合的方法剔除噪音点，保 留真正的边缘点。实验结果表明，改进算法能适应多种背景环境、多种形变和 拍摄视角，而且分割效果几乎不受台球运动的影响。 2 设计并实现了一种适合于台球桌面的单平面相机标定算法。结合本文 实际应用，选择置球点和有效击球区域的交点作为标定点。进一步，根据标定 点分布的不均匀性把图像分为左右两个半区，分别计算坐标变换矩阵。通过求 解线性方程组最小二乘解的方式确定标定参数。 3 提出了一种基于图像匹配技术的台球精确复位方法。充分利用连续图 像之间的关联性和稳定性，实现基于图像匹配技术的复位，精确度到1 个像素 点。采用二级搜索的方式计算坐标偏移量，采用具有透明效果的彩圈标记台球 的原始位置，使得整个复位过程精确而美观。 4 设计并实现了一个算法展示系统，用于展示背景生成、台球自动定位 和台球复位等算法，并提供一些基本的数据分析功能。 关键词视频分析；斯诺克；图像分割；相机标定；精确复位 北京工业大学t 学硕士学位论文 a b s t r a c t s p o r t sv i d e oa n a l y s i si ss t u d i e df o ral o n gt i m e s o m ee f f e c t i v em e t h o d sh a v e b e e np r o p o s e da n dh a v e b e e na p p l i e di ns o m es p o r t s s n o o k e ri sb e c o m i n g a p o p u l a r s p o r ti nc h i n ar e c e n t l y t h e r ea r es e v e r a li n t e m a t i o n a lp o p u l a rt o u r n a m e n t se v e r y y e a r , w h i c ha t t r a c t e da l o to fa u d i e n c e i nt h i st h e s i s ，w ef o c u so ns o m ek e yi s s u e so fv i d e o - b a s e ds u p p o r t i n gs y s t e m f o rs n o o k e r , s u c ha ss e g m e n t a t i o no fp l a y i n gs u r f a c e ，t r a n s f o r m a t i o nb e t w e e ni m a g e a n dt a b l ec o o r d i n a t e s ，r e s e t t i n ga n ds oo n t h ed e t a i l sa r e a sf o l l o w s ： 1 w ep r o p o s ea ni m p r o v e di m a g es e g m e n t a t i o nm e t h o du s i n gc o l o ra n de d g e t h ef o n n e rm e t h o di sd e s i g n e df o rs n o o k e rt a b l ec o v e r e dw i t hg r e e nb a i z ea n d i ti s n o tr o b u s tt on o i s e t h ei m p r o v e dm e t h o di sd e s i g n e dt oe x t r a c tt h ec o l o ro fp l a y i n g s l l r f a c eo nm et a b l ea u t o m a t i c a l l y ，a n dw ef i l t e rt h en o i s ee d g ep i x e l sb ys m o o t h i n g a n di t e r a t e dc t l r v ef i t t i n g t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o di s r o b u s tt ov a r i a t i o no fi l l u m i n a t i o n , c o l o ro fp l a y i n gs u r f a c e ，v i e wo fc a m e r a a n db a l l s o nt h et a b l e 2 w ed e s i g na n di m p l e m e n tap l a n e b a s e dc a m e r ac a l i b r a t i o na l g o r i t h m w e u s et l l eb a l ls p o t so nt h et a b l ea n di n t e r s e c t i o np o i n t so ft h ec l o s e dp l a y i n gs u r f a c ea s c a l i b r a t i o np o i n t s f u r t h e r m o r e ，t h e r eu s u a l l ya r es o m ed e f o r m a t i o n si nt h ei m a g e i n o r d e rt or e s o l v et h ep r o b l e m ，w ed i v i d ea l lt h ec a l i b r a t i o np o i n t si n t ot w og r o u p s ， 舶mw m c ht w oc o o r d i n a t et r a n s f o r m a t i o nm a t r i x e sc a nb eo b t a i n e d c a l i b r a t i o n p a r a m e t e r sc a l lb ea c h i e v e db yr e s o l v i n gl i n e a re q u a t i o n sr e s p e c t i v e l y - 3 w ep r o p o s eap r e c i s er e s e t t i n gm e t h o du s i n gi m a g er e g i s t r a t i o n t a k i n g 觚lc o n s i d e r a t i o no ft h ec o r r e l a t i o na n ds t a b i l i t yb e t w e e na n yt w oc o n s e c u t i v e 丘锄e s t h eb a l l sa l er e s e tb yt h es i m i l a r i t yb e t w e e ns u b - i m a g e si nt w oc o n s e c u t i v e 丘锄e s t h er e s e r i n gp r e c i s i o ni s1p i x e l c o o r d i n a t eo f f s e ti sf a s tc o m p u t e db ya t w o s t e ps e a r c h i n ga l g o r i t h m t h et r u el o c a t i o ni s m a r k e du s i n gt r a n s p a r e n tc o l o r c i r c l e s a l lt h ea b o v ew o r k sm a k et h er e s e t t i n gp r o c e d u r ep r e c i s e ，f r i e n d l ya n d p l e a s i n g 4 w ed e s i g na n di m p l e m e n tad c m op l a t f o r m i tc a nb eu s e dt os h o wt h e r e s u l to fi m a g es e g m e n t a t i o n ，l o c a t i o na n dt r a c k i n go fb a l l s ，r e s e t t i n ga n ds oo n f u r t h e r m o r e i tc a nb eu s e df o rd a t aa n a l y s i s k e y w o r d s v i d e oa n a l y s i s ；s n o o k e r ；i m a g es e g m e n t a t i o n ；c a m e r ac a l i b r a t i o n ； r e s e t t i n g n 目录 目录 摘要i a b s t r a c t i i 目录i i i 第1 章绪论l 1 1 课题的背景与意义1 1 2 基于视频的斯诺克比赛支持系统简介。1 1 3 研究现状3 1 3 1 图像分割的研究现状3 1 3 2 摄像机标定的研究现状。4 1 3 3 图像匹配的研究现状5 1 4 本文研究内容_ 5 1 5 本文结构安排7 第2 章颜色和边缘特征相结合的图像分割方法研究9 2 1 台球图像的特点9 2 2 原有算法存在问题lo 2 3 改进算法10 2 4 实验结果1 4 2 5 本章小结17 第3 章相机标定与坐标转换问题研究。1 8 3 1 摄像机透视投影模型18 3 2 基于平面的相机标定2 0 3 3 考虑形变的摄像机标定2 0 3 3 1 图像的形变2 0 3 3 2 摄像机成像模型的修正2 1 3 4 计算齐次方程组的最d - - - 乘解2 2 3 4 1 坐标归一化2 2 3 4 2 系数矩阵的s v d 分解。2 3 3 4 3 坐标变换矩阵2 4 3 4 4 坐标归一化对变换矩阵的影响2 5 3 5 标定点的自动检测2 5 3 5 1 置球点检测2 6 3 5 2 标定点的分区2 7 3 6 标定结果2 9 3 7 本章小结3 4 第4 章基于图像匹配技术的台球精确复位3 5 4 1 总体思路3 5 4 2 标记3 6 4 3 实时复位3 8 4 4 阈值的确定4 1 4 5 透明图像的显示4 1 h i 北京t 业大学丁学硕士学位论文 4 6 本章小结4 4 第5 章算法展示。4 5 5 1 动态链接库( d y n a m i cl i n k a b l el i b r a r y ) 4 5 5 2 功能展示4 7 5 2 1 背景生成4 7 5 2 2 实时目标自动定位结果演示4 8 5 2 3 复位模拟4 9 5 3 数据分析5 0 5 3 1 像素分析5 0 5 3 2 距离计算5 l 5 4 本章小结5 3 总结与展望5 4 参考文献5 5 攻读硕士学位期间发表的学术论文5 8 申请和获批的专利5 8 致谢5 9 i v 第1 章绪论 第1 章绪论 近年来，视频处理技术发展迅速，其应用领域也不断扩展，基于视频的体 育比赛、训练辅助系统不断出现。相关产品正在逐步被人们接受并得到实际应 用，从而为体育视频处理技术开拓了一个广阔的应用领域。 1 1 课题的背景与意义 现代竞技体育中，很多项目都开始使用一些电子设备来辅助裁判执法。北 京工业大学的拳击裁判系统在多项体育比赛中使用。2 0 0 5 年9 月，一个即时回放 系统( 俗称鹰眼) 成为网球联合会的官方裁判辅助设备，次年3 月正式进入职业 循环赛。随后鹰眼被广泛使用于一些项目的国际大赛上，成为众人皆知的高科 技产品。 斯诺克( s n o o k e r ) 作为一项室内的休闲体育活动，深受人们的喜爱与关注； 同时，这个运动也是众多国际职业比赛的比赛项目，显示出越来越大的体育魅 力和影响力。传统的斯诺克比赛存在如下一些不足： 令观众无法像选手那样自由走动，观察下球路线； 很难快速准确的判断是否出现斯诺克； 裁判在复位台球时，没有标准参照，仅凭记忆和经验，容易引发争议； 以上问题如果通过设备来解决成本很高。举例来讲，为了增加观众观看视 觉转播媒体需要增加机位来解决，而这种方法得到的视觉数量也是极其有限的。 为了帮助裁判复位，比赛过程中时间允许的话会把原来的视频调出来给裁判参 考。 可以看到，上述方案成本高，实时性也不强，本文拟研究一种基于视频的 斯诺克比赛支持系统，系统通过视频处理技术自动定位比赛过程中球的位置， 然后将球的走位结果用三维方式呈现出来，在比赛过程中从任意角度给观众呈 现；在复位过程中，自动标注球的准确位置，直到裁判完成复位。本文主要研 究其中与视频处理相关的部分关键技术。 1 2 基于视频的斯诺克比赛支持系统简介 系统硬件环境如图l l 所示，将摄像头安装在斯诺克台球桌的正上方位置， 然后通过主机上的视频采集卡将摄像头采集的图像输入到系统中，作为软件系 北京丁业大学t 学硕士学位论文 统的视频采集输入。 第1 章绪论 1 3 研究现状 本文工作涉及到的技术很多，如图像分割、计算机视觉等，这里我们讨论 一下图像分割、摄像机标定和图像匹配等领域的研究现状。 1 3 1 图像分割的研究现状 图像分割是一种重要的图像分析技术。分割的目的是把图像空间分成一些 有意义的区域。目前的主要方法包括： 阈值法 阈值分割是一种古老的分割方法，特点是计算简单，而且总能用封闭且连 通的边界定义不交叠的区域。在这种方法中确定一个最优阈值是分割的关键， 现有的大部分算法都集中在阈值确定的研究上【1 1 。如双峰直方图阈值分割法、 最大熵阈值分割、最大类间方差阈值分割法、灰度共矩阵阈值分割法等。 区域生长 区域生长的基本思想是根据事前定义的准则提取图像中相连接的区域。基本 方法是以一组“种子 点开始将与种子性质相似( 诸如灰度级或颜色的特定范围) 的相邻像素附加到生长区域的每个种子上。把这些新像素作为种子继续生长，直 到没有满足条件的像素可被包括，这时生长停止，一个区域就形成了。区域生长 算法的研究重点是区域生长准则的设计和算法的高效性和准确性2 1 。与阈值分割 类似，区域生长也很少单独使用，往往是与其他分割方法一起使用。 边缘检测 边缘检测利用图像一阶导数的极值或二阶导数的过零点信息来提供判断边 缘点的基本依据，是一类重要的图像分割方法。根据检测边缘采用方式的不同， 边缘检测方法大致包括以下几类：基于局部图像函数的方法、多尺度方法、图像 滤波法、基于反应扩散方程的方法、基于边界曲线拟合方法、状态空间搜索法、 动态规划法、边界跟踪法、哈夫变换法等。a r c h i b a l d ，r i c k 提出了以局部多项 湮没技术为基础的边缘检测的方法，这种方法对于多变量和不规则区域具有非常 明显的效果【3 1 。 基于神经网络的分割方法 神经网络方法的出发点是将图像分割问题转化为诸如能量最小化、分类等 问题，从而借助神经网络技术来解决问题，其基本思想是用训练样本集对a n n 北京工业大学t 学硕士学位论文 进行训练以确定节点间的连接和权值，再用训练好的a n n 去分割新的图像数 据f 4 】on a n d e d k a r ，a b h i j e e tv 提出了基于适应性神经网络的自动图像分割和边 缘检测系统。这种系统是通过自适应阈值来进行图像分割的，自适应阈值可以 利用神经网络获得。这个系统不需要先验假设。像这样的算法对于对象是不同 的( 或事先不清楚的) 类型图像非常有效【5 1 。 1 3 2 摄像机标定的研究现状 摄像机标定起源于早前摄影测量中的镜头校正( 1 e n sc a l i b r a t i o n ) 。基于摄像机 标定的方法主要分为两类，一类采用非线性优化的技术，求解非线性方程，这种 方法虽然精度高但是模型复杂、计算量大，而且需要在搜索开始时选取适当的初 始值，f a i g 算法是这类方法的一个代表。另一类利用成像几何性质将需要标定的 参数分解，然后分别计算，不使用优化技术，只求解线性方程组，使算法更快捷， 而且一次求解的未知数较少，算法更实用。t s a i 等提出的两步法是这类方法的 一个典型。 j w e n g 6 】在t s a i 模型的基础上提出了适用于大多数畸变的摄像机模型， 考虑了主要的摄像机畸变来源，包括径向畸变、离心畸变和薄棱镜畸变，畸变模 型采用三次多项式的形式，包括5 个畸变参数。摄像机标定过程分为两步，首先 第1 章绪论 检测每幅图像中的控制点。 对每一幅图像，由控制点的像素坐标和空间坐标求解单应矩阵h 。假定图像没 有畸变，联立f i 幅图像的h 矩阵求解相机的内参数，再由内参数和h 求解拍摄此 图像时的外参数。 利用上一步求得的内参数和外参数计算平面模板上每个控制点的理想像素坐 标，把理想像素坐标和图像中检测出的控制点像素坐标代入径向畸变的畸变 模型，用最小二乘法求解畸变参数。 把上述求得的参数作为初值，在考虑径向畸变的同时，应用l e v e n b e r g 算法对图像点与再投影点间的距离之和进行非线性最小化，_marguartdt从而 得到一组精度更高的参数值。 1 3 3 图像匹配的研究现状 图像匹配是指对包含同一场景的两幅图像进行对准并确定彼此对应关系的 图像分析和处理技术，它广泛应用在导航、地图与地形匹配、生物特征识别、文 字识别、医学影像分析、计算机视觉等领域。图像匹配主要分为以灰度为基础的 匹配和以特征为基础的匹配。 灰度匹配捧】通过利用某种相似性度量，如相关函数、协方差函数、差平方和、 差绝对值和等测度极值，判定两幅图像中的对应关系。研究主要集中在如何改变 搜索策略，减小搜索的像素点数和减小相似比较的次数，达到快速图像匹配。如 单阈值比较法，通过给定一个阈值，超过阈值的像素点不参与比较，减少了相似 比较的次数。再如贯序相似性检测法( s s d a ) ，这种方法通过给定一个动态阈值 范围，对超过阈值段范围的像素点跳过搜索或不进行比较【9 】。 基于特征的匹配【l o j 所处理的图像一般包含的特征有颜色特征、纹理特征、形 状特征、空间位置特征等。s z e l i s k i 1 1 】以手动确定至少4 对特征点，并以特征点像 素的亮度误差构造优化函数来估计图像间的点变换关系。y a n g 1 2 】等利用角点集 中的凸包概念来解决仿射变换下的图像配准和场景识别问题，该方法为离散角点 的对应匹配提出了新的思路，但只适合于提取特征轮廓的简单场景。z h a n g 1 3 】等 提出基于s u s a n 算法的自动配准方法。 1 4 本文研究内容 本文针对基于视频的斯诺克台球比赛支持系统，对其中涉及到视频处理的 关键技术进行研究，具体包括： ( 1 ) 鲁棒的图像分割方法 一场高水平的台球比赛往往会吸引很多观众和广告商，各式各样的造型和 广告围板把台球桌边装扮得丰富多彩，这些都给图像分析和目标检测带来考验。 北京工业大学t 学硕十学位论文 本文引入有效击球区域的概念，把图像分析的范围限制在台球桌面以内，大大 降低了算法的复杂度。本论文研究了适应多种背景环境、多种形变和视角下的 台面分割方法。 ( 2 ) 相机标定与坐标转换问题研究 在实物与图像之间建立一种坐标对应关系，是相机标定的任务之一，也是 斯诺克比赛支持系统的一项重要需求。本论文研究了基于单平面的，针对台球 桌面的相机标定方法。 ( 3 ) 基于图像匹配技术的精确复位方法 在斯诺克比赛中，复位是一个很容易引起争议的过程，因为裁判是凭借自 己的记忆和经验把球放回原位。每个人都有一个记忆中的球的位置，这样裁判 复位的球容易引起运动员的质疑，从而影响比赛。于是指导裁判精确公正的复 位台球，成为本系统的一大特色。本论文研究了基于图像匹配技术的台球精确 复位方法。 ( 4 ) 实用的算法展示系统 一个画面精美、操作简单的界面，能够有效提升算法的科研和商用价值， 起到画龙点睛的效果。论文最后研究了基于动态链接库的算法展示系统。 论文的整体框架可分为三层：算法层、应用层和界面层。有效击球区域的 分割是对现有算法的改进，台球检测与跟踪属于实验室已完成工作。有效击球 区域分割为台球检测与跟踪限定一个相对简单的检测范围，同时为相机标定提 供部分标定点。相机标定的目的是实现图像坐标与台面坐标的自由转换。台球 检测与跟踪最终输出的定位坐标是真实台球桌上的台面坐标，应用层中的精确 复位在接收到台面坐标后，先将其转换成图像坐标再进行图像匹配。应用层和 算法层的方法被封装在d l l 中，由界面层负责调用，包括功能展示和数据分析 两个方面。 6 第1 章绪论 应用层 1 5 本文结构安排 图1 3 论文的整体框架 f i g 1 3t h ef r a m e w o r k 论文共分为五章。 第1 章绪论。简要介绍本课题的研究背景与意义，发展进程及研究状况， 给出本论文的主要研究内容及结构安排。 第2 章颜色和边缘特征相结合的图像分割方法研究。介绍了一种改进的颜 色和边缘特征相结合的图像分割方法，分割出一个封闭的有效击球区域，为后 续的图像分析和检测提供有力保障。 第3 章相机标定问题研究。介绍了一种基于平面的相机标定方法，并给出 详细的推导过程。在约束条件下求解齐次方程组的最小二乘解得到标定参数。 最后介绍了标定点的检测和分区。 第4 章基于图像匹配技术的台球精确复位。介绍了一种基于图像匹配技术 的台球精确复位方法，分两级搜索来计算台球的偏移量，介绍了图像的透明效 7 北京t 业大学t 学硕十学位论文 果，并由两幅已知背景的图像计算其a l p h a 值。 第5 章实验平台演示。介绍了动态链接库的生成与调用，介绍了一个基于 m f c 的算法展示系统。 在论文的最后给出总结与展望、参考文献、攻读硕士学位期间发表的论文、 申请的专利以及致谢等。 8 第2 章颜色和边缘特征相结合的图像分割方法研究 本章面向斯诺克比赛自动分析应用，提出了一种改进的颜色和边缘特征相结合的 图像分割方法，分割出一个封闭的有效击球区域，从很大程度上排除了其他景物( 地 毯、人员走动、广告围板等) 的干扰，将检测范围限定在相对简单的环境中，为后续 工作的展开提供了保障。 2 1 台球图像的特点 图2 - l 视频图像不例 f i g 2 1i l l u s t r a t i o no f v i d e of r a m e 从图2 1 可以看出，本文应用中的斯诺克视频图像有以下特点： ( 1 ) 往往带有形变。用于分析与检索的台球比赛视频所用摄像头一般位于台球 桌面正上方，普通的广角镜头要想在近距离拍摄全台很容易产生径向畸变。 本章在检测台案内边界时即假设待提取边缘为二次曲线。 ( 2 )图像内容简单。台球桌面内部为平坦的绿色区域，不包含复杂的细节，桌 面以外的地面在图像中所占的比例很小。图像中比较明显的边缘集中在台 球桌的木质边框以及低于边框的台案内边界，因此一般的边缘检测算子或 滤波器都能检测出大致边缘，边缘提取的难点在于提取连续的台案内边界 的边缘。 ( 3 )台案的内边界并不交于一点而是有球洞相隔。 针对以上问题，本章提出一种改进的颜色和边缘相结合的图像分割方法。既然台 泥部分内容简单，台泥之外内容相对复杂，那么首先自动提取台泥的主颜色，然后进 9 北京工业大学下学硕十学位论文 行局部边缘检测，在颜色和边缘的双约束下提取峰值边缘点，也就是说只考虑那些落 在台泥范围内的边缘检测响应最强的边缘点。最后用曲线拟合的方法把离散的峰值边 缘点连接起来，考虑到图像可能存在形变因而采用二次曲线拟合，考虑到噪音和边缘 附近干扰物的影响，采用循环曲线拟合的策略对拟合点进行严格的筛选。 2 2 原有算法存在问题 文献【1 4 提出了一种基于局部峰值边缘的s n o o k e r 比赛台面自动分割方法。首先， 利用可分离高斯函数二阶导数方向可变滤波器去提取边缘象素点，然后通过彩色分割 和膨胀算法，提取候选台球区域，进一步，用局部峰值边缘和候选台球区域共同约束 提取边缘象素。最后，通过曲线拟合得到完整台面边缘，实现台面分割，如图2 2 所 示。 图2 - 2 文献 1 4 】的算法框图 f i g 2 - 2f r a m e w o r ko fs c h e m ep r o p o s e di nr e f 14 】 原算法应用过程中遇到的问题是：噪音、置球点、球袋、台面上的台球经过方向 可变滤波器后，其边缘响应往往比边界更强，在确定局部峰值边缘点时，可能引入错 误的边缘点。因为边界本身不是闭合的，有球袋相隔，而且比赛之前和比赛当中的灯 光环境是不同的，而比赛进行中的台面又总是有台球出现。所以干扰点的存在很难避 免。因此干扰点的剔除成为曲线拟合的一个不容忽视的问题。 针对上述问题，我们提出了后面的改进算法。 2 3 改进算法 为了减小噪音的影响，我们增加了平滑处理；由于边缘以水平垂直边缘为主，所 以放弃复杂性较高的方向可变滤波器，直接采用基于梯度的边缘提取算法；为了提高 图像分割算法的适应性，我们将自动提取背景主颜色，这样算法可以适应于不同颜色 的背景图像应用；将曲线拟合改为循环曲线拟合，把误差大于平均误差的拟合点剔除 掉。改进后的算法框图如图2 3 所示。 1 0 第2 章颜色和边缘特征相结合的罔像分割方法研究 首先对于输入图像通过滤波去除随机噪音；第二步进行彩色分割，通过提取台泥 的色度信息实现台泥与其他背景区域的分离，采用门限处理的方法将色度值与台泥色 度相近的像素点纳入到候选区域当中，并通过膨胀处理使候选区域中的点尽可能彼此 邻接，避免在一些重要的地方( 如边缘处) 出现空洞现象；第三步在候选区域进行边 缘检测，由于候选区域可能包含一些孤立的点或者空洞，因此先对滤波后的输入图像 作边缘检测得到图像中的灰度变化不连续点，然后以彩色分割的结果作为限制条件， 排除那些落在候选区域之外的边缘点。第四步，提取图像局部区域的峰值边缘点得到 候选边缘像素点；第五步通过循环曲线拟合滤除噪音边缘点，保留真正边缘点，最终 得到精确边缘。 1 平滑 图2 3 本章改进算法 f i g 2 - 3f r a m e w o r ko fi m p r o v e ds c h e m e 平滑的目的是滤除图像中的随机噪声，这一点对于网络视频图像的处理尤为重 要，一方面输入图像的分辨率较低、视频编解码过程也往往引入较大的噪声，另一方 面边缘检测后续的峰值边缘点提取对亮点是比较敏感的，而错误的峰值边缘点会对下 一步的曲线拟合造成不利影响。 没有经过平滑处理经过两次半滑滤波 图2 - 4 平滑对峰值边缘提取的影响效果对比 f i g 2 4i n f l u e n c eo fs m o o t h i n gt oe x t r a c t i o no fp e a ke d g e 北京工业大学t 学硕士学位论文 一个面向实际应用的鲁棒的图像分割方法，抗噪能力是必不可少的。从图2 4 中 对比可以发现，在噪音影响严重的情况下，平滑是一种有效的预处理方法，本章采用 的平滑掩模是3 x 3 的方形窗。 2 彩色分割 在原有算法基础上新增背景主颜色自动提取。 台球桌作为图像的主体部分，其中的台泥总是占据很大比例，而且台泥的色度一 致性较好，反映到色度直方图上就会有一个较窄的高峰，如下图所示。 峰值色度1 2 4 o “l l i 7 t 1 1 瑚# 峰值色度1 1 3峰值色度1 0 6峰值色度1 9 3 图2 5 不l 司背景图像的色度直方图 f i g 2 - 5h u eh i s t o g r a m so fd i f f e r e n tb a c k g r o u n di m a g e s 本章的改进算法对图像的色度值进行直方图统计，并把直方图中最高峰所在色度 确定为台泥的色度，最高峰及其附近的小范围确定为背景台面颜色范围，从而实现了 背景主颜色的自动提取。从图2 5 中可以看出，随着台泥颜色的不同、拍摄条件的变 化或桌面在图像中比例的变化，直方图中峰的位置、宽度、峰值大小会有所不同，但 背景主颜色始终对应着最高峰。 3 边缘检测 对平滑后的输入图像进行边缘检测，由于图像中的细节较少，噪音已作滤除，因 此一般的边缘检测算子如p r e w w i t 算子、s o b e l 算子或方向滤波器都能检测到边缘。 本章将原算法中的方向滤波器改为p r e w w i t 算子，提高了运算速度，同时并未影响峰 值边缘点的提取。 边缘检测算子之后，就是根据台面边缘的局部峰值特性，在彩色分割的限制条件 下，寻找每条边的峰值边缘点。具体过程与原算法相同。 1 2 4 循环曲线拟合 图2 - 6p r e w w i t 算子 f i g 2 - 6p r e w w i to p e r a t o r s 本章算法对原有算法的另一个重大改进在于将曲线拟合修改为循环曲线拟合。为 了得到精确的边缘曲线，对拟合点进行严格筛选，不断滤除这些噪音边缘点，进行多 次曲线拟合，最终得到精确边缘。 图2 - 7 循环曲线拟合 f i g 2 - 7r e s u l to fi t e r a t e dc u r v ef i t t i n g 循环曲线拟合的具体过程为： ( 1 ) 初始化。设定误差限e r r t h = 5 ，给最大误差m a x e r r 赋初值2 0 。 ( 2 ) 统计有效边缘点( x l ，y 1 ) ( x n ，y n ) ，数量n 个。 ( 3 ) 进行二次曲线拟合，得到拟合曲线y = 口o + 口l x + a 2 x 2 ( 4 ) 计算平均误差和最大误差： a v e e 2 翘y i - y ；l m a x e r r = m a x iy i y ；i 1 3 北京丁业大学工学硕十学位论文 ( 5 ) 剔除误差大于平均误差的边缘点( iy f - y ；l a v e p 玎) ( 6 ) 如果最大误差大于误差限，若有效边缘点的个数大于0 ，则回到步骤( 2 ) ，用剩余 的边缘点重新拟合曲线，否则提示“循环拟合曲线失败 ，提前退出。 ( 7 ) 输出拟合曲线系数a o ，a 1 ，口2 ，正常结束。 台面的有效击球区域是指台球在台球桌面内的有效活动范围，是低于边框的台泥 部分，它被定义为一个封闭的区域，区域的交点由台面内边界延长相交得到。上下左 右四条拟合曲线相交得到的封闭区域即为所求的有效击球区域。 2 4 实验结果 为了验证算法的有效性，首先对一场比赛的2 3 5 3 2 幅图像进行了测试，正确分割 率高达9 6 3 ，图像分割错误的原因主要是选手挥杆打球时覆盖了某条边界，使得相 当一部分峰值边缘点没有落在边界上。从测试结果来看，边界分割的结果几乎不受台 球运动的影响。 图2 8 给出了原算法与本章算法分割效果的对比。图中标记出了每条边离散的峰 值边缘点，和连续的拟合曲线。从中可以看出，噪音或台面中的台球会使得部分峰值 边缘点偏离真正的边界，此时如果对所有的点都进行曲线拟合将会带来很大误差。 与原算法相比，本章算法增加了平滑滤波和利用直方图统计自动提取背景主颜 色，同时将原算法中利用可分离高斯函数二阶导数方向可变滤波器进行边缘检测的部 分简化为p r e w w i t 算子，将曲线拟合修改为循环曲线拟合。这些改进能够明显增强图 像分割的鲁棒性，而在计算复杂度方面也是完全可以接受的，以循环曲线拟合为例， 每条边对应的拟合点不超过1 0 0 0 点，一般重复拟合3 n 5 次便能退出循环，得到一条精 度较高的边缘。 ( a ) 受噪音影响较大的网络视频截图( 左图为原算法分割结果，右图为本章算法分割结果) 1 4 第2 章颜色和边缘特征相结合的图像分割方法研究 臻 ( b ) 运动中的台球对台面分割的影响( 上图为原算法分割结果，下图为本章算法分割结果) 图2 - 8 原算法与本章算法的分割结果对比( 离散的峰值边缘点和连续的拟合曲线) f i g 2 - 8s e g m e n t a t i o nc o m p a r i s o nb e t w e e nm e t h o di nr e f 【14 】a n dt h i sc h a p t e r 最后，对3 7 幅不同视角、不同光照、不同形变、不同台面颜色的台球桌面图像 进行分割，3 5 幅图像都能够很好的分割。2 幅图像分割精度不高，分析发现主要是因 为背景颜色和台泥颜色比较接近，导致其分割结果边缘为台面外边框而不是台面边 框，如图2 - 9 所示。 1 5 北京工业大学t 学硕十学位论文 输入图像图像分割结果，左边界分割有误 图2 - 9 分割效果不佳的图像示例 f i g 2 - 9e x a m p l e so fp o o rs e g m e n t a t i o n 第2 章颜色和边缘特征相结合的图像分割方法研究 普通球房，灯光明显不均匀网络视频截图，蓝色的台泥 图2 1 0 不同视角、光照、形变和台泥颜色的分割结果示例 f i g 2 1 0e x a m p l eo fi m a g es e g m e n t a t i o nw i t hv a r i a n tv i e w ，i l l u m i n a t i o n , d e f o r m a t i o na n dt a b l ec o l o r 从以上实验结果可以看出，改进以后的算法对噪音的鲁棒性得到增强，适应于不 同背景颜色、不同光照环境应用，增强了算法对环境的适应性，拓展了算法的适用范 围。 2 5 本章小结 本章提出一种改进的图像分割方法，结合颜色和边缘的信息，自动提取背景台面 颜色范围进行彩色分割，简化边缘检测，然后进行有效区域约束的局部峰值边缘提取， 最后进行循环曲线拟合得到精确的连续边缘。实验结果表明，图像分割的结果几乎不 受台面台球运动的影响，算法能够精确地分割不同背景颜色、不同变形、不同视角下 的斯诺克桌面的有效击球区域。 有效击球区域的分割，从很大程度上排除了其他景物( 地毯、人员走动、广告围 板等) 的干扰，将检测范围限定在相对简单的环境中，以不变应万变，为后续工作的 展开提供了保障。 1 7 北京工业大学工学硕十学位论文 第3 。章相机标定与坐标转换问题研究 空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是 由摄像机成像的几何模型决定的。这些几何模型参数就是摄像机参数，参数的 获得过程被称为摄像机标定【1 5 】。根据相机标定结果实现图像坐标与台面坐标的 相互转换，为后续支持三维重现提供保障。受硬件设备和安装环境的限制，采 集到的图像可能因成像平面与台面不完全平行而呈现梯形，也可能因广角镜头 而呈现桶形畸变，这也是我们需要解决的问题。 3 1 摄像机透视投影模型 摄像机通过成像透镜将三维场景投影到摄像机二维成像平面上，这个投影 可用空间变换( 即摄像机成像模型) 来描述。 图3 - 1 标定系统中的坐标系 f i g 3 - 1c o o r d i n a t es y s t e m sf o rc a m e r ac a l i b r a t i o n 图3 1 描述了标定系统中的三个坐标系：世界坐标系、相机坐标系和图像坐 标系。世界坐标系o w x w y w z w 用于描述现实的三维空间中任意一点的位置。在 世界坐标系中有一个相机，点c 表示相机镜头的光心，以光心为原点、光轴为 z c 轴建立相机坐标系c x cy i c z c 。成像平面x o 口y 与x c c y c 平面平行，根据小孔成 像原理，当物距大于2 倍的焦距时，可以得到倒立缩小的实像。 世界坐标向相机坐标的转换如下： 1 8 第3 章相机标定与坐标转换问题研究 茎 = r 蓦 + r ( 3 1 ) 其中r 是3 x 3 的旋转矩阵，表征相机的朝向，其行向量或列向量是单位正交的； t 是3 x l 的平移向量，表征世界坐标系原点0 w 到c 点的平移。 相机坐标向图像坐标的转换如下： x = f x c z c y = f y c z c ( 3 - 2 ) 其中f 是镜头的焦距，( x ，y ) 表示平面x o p y 中的一点，( x c ，y c ) 表示平面x c c y c 中的一点，平面x o p y 与平面x c c y c 的距离为z c 。 写成矩阵的形式为： 图3 - 2 透镜成像示意图 f i g 3 2i l l u s t r a t i o no fl e n si m a g i n g ( 3 - 3 ) 上述的世界坐标系、相机坐标系和图像坐标系，都是以米或者毫米为单位 来度量距离，而图像的基本单位是像素。于是定义像平面的像素坐标系0 。u v ， 坐标轴u 、v 分别平行于x 、y 轴，方向如图所示，原点位于图像的左上角。 o p 点的像素坐标记作( u o ，v o ) 。假定x 方向的像素距为d x ，y 方向的像素距为d y ， 单位毫米像素，则有： 写