（电工理论与新技术专业论文）基于数字图像处理的摄像机跟踪系统.pdf

堕韭三、业查堂堡：! 笙兰! 苎王塾! 璺堡些些塑塑堡垫璺堕墨竺 a b s t r a c t c a m e r a t r a c k i n gs y s t e m t h a ti so n eo ft h e k e yt e c h n o l o g i e si nt h ev i r t u a ls t u d i oi s s t u d i e di nt h ep a p e r c o m p a r e dw i t h p r e v e n tw o r k s ，t h en e wc a m e r at r a c k i n gi s b r o u g h tf o r w a r di nt h et h e s i s i ti sn e ww a yt h a ti sr e f e r r e dt ot h ei m a g eo fc e i l i n gt o d e s i g nt h ec a m e r at r a c k i n gs y s t e m t oc u td o w nt h ec o s to ft h es y s t e m ，t om e e tr e q u i r e o fr e a l - t i m ea n d a c c u r a c yt h ei m a g e o f c e i l i n g i sd e s i g n e d a s s i s t a n tc a m e r at h a tf a s t e nt h em a i nc a m e r as h o o tc e i l i n g t h es h o ti m a g e sa r e a n a l y z e da n d t h eb e t t e rf i l t e ra r i t h m e t i co fi sc h o s e n t oc o m p u t eas m a u p a r to f t h e i m a g e c a nr e d u c et h ew o r kt i m eo ft h es y s t e ma n di ti san e w w a y t op r o v et h er a t eo f t h es y s t e m c o m p a r i n g w i t ht h es o b e l o p e r a t o ra n d t h ei m a g i n gt h et h e o r yo fc c d a r r a yg e t s t h eb e t t e re d g ed e t e c t i o n i m a g ee d g e sa r ec o m p u t e db y t h ee d g ed e t e c t i o no ft h ec c d a r r a y a n dt h ep o i n t s c o r r e s p o n d e n c e s c a ng a i n e db yh o u g ht r a n s f o r m a tl a s ti tc a n g a i nt h ep o s i t i o n p a r a m e t e r so f t h em a i nc a m e r a k e y w o r d s ：t h ev i r t u a ls t u d i oc a m e r a t r a c k i n g f i l t e r e d g e d e t e c t i o n s o b e lo p e r a t o r h o u g h t r a n s f o r mc c d a r r a y m h t i i 西北r 业大学坝l 论文：基于数字图像处理的摄像机跟踪系统 1 1 虚拟演播室 第一章绪论帚一早三百。了匕 电视节目制作技术在迅速地向数字化、多媒体方向发展，但传统演播室制作 需要大量时间进行前期布景、后期合成，无法满足现代电视生产周期短、节目变 化频繁的需求，因此虚拟演播室技术应运而生，并已成为近年来的新热点。虚拟 演播室系统( t h ev i r t u a ls t u d i os y s t e m ，简称v s s ) 是通过计算机三维图形技术，模 拟真实电视节目场景，并通过摄像机位参数的精确传感，使真实电视演播视觉空 间与三维虚拟场景空间完全一致，最终用视频色键处理混和器，实现主体与三维 虚拟场景的合成。虚拟演播室既包含了传统演播室的特技切换设备，也集成了先 进的计算机多媒体技术与摄像机跟踪技术。它使传统的实景拍摄模式转向虚拟三 维环境，使幻想中的场景看起来具有毋庸质疑的逼真效果，让电视节目制作人不 局限于演播室的道具而创造出新的世界。 图1 1 虚拟演播室的工作原理 虚拟演播室系统如图1 1 所示，它由真实摄像机、虚拟摄像机、同步跟踪系统 延迟器、视频板、色度键控合成器等构成，其工作的基本原理是：由真实摄像机拍 摄前景图像，进行a d 转换( 数字摄像机不需要此过程) ，输入到延时器；图形发 生系统使用高速图形发生器产生与真实摄像机状态相匹配的图像，然后在色度键 西北工业 学顺l 论文：挂卡数字幽像处理的摄像机跟踪系统 控制器中把虚拟场景与摄像机拍摄到的图像实时地进行色键合成，生成具有随意 背景的活动图像。 虚拟演播室在传统抠像技术的原理上，引入了摄像机跟踪技术和视频延时技 术。摄像机跟踪系统将摄像机本身的状态信息及场景中物体运动的信息送往计算 机进行运算，根据计算机得出的数据，图形工作站输出一个视觉上正确的虚拟场 景。 一套典型的虚拟演播室系统一般由四个子系统组成：图像分割、摄像机跟踪、 背景生成和图像合成。虚拟演播室技术经过数年的发展之后，已从初创阶段走向 实用阶段。目前的虚拟演播室系统在关键技术上有了很大改善。 1 , 2 虚拟演播室的关键技术 虚拟演播室的关键技术包括蓝箱及图像分割系统蓝箱；摄像机跟踪系 统；背景图像生成系统；图像混合系统图像。 在虚拟演播室要确定虚拟背景中哪些部分应该进入画面，就要知道真实摄像 机的拍摄方向；要取得正确的透视合成效果，就要使虚拟背景的立体透视关系实 时地跟上真实摄像机拍摄方向的变化。为此，虚拟摄像机就需要采用同步跟踪技 术，摄像机跟踪系统必须能实时地检测出摄像机的运动参数和成像参数的变化， 包括摄像机前后、左右、上下移动、俯仰、转动等，以及推拉镜头、聚焦、调焦、 光圈及光照条件等变化，并以这些参数作为虚拟摄像机的参数。只有保证前景图 像与背景图像具有一致的成像参数，才能保证最终合成画面的真实感。目前采用 的同步跟踪技术主要有机械传感、图形识别及红外传感技术。系统的实现也会有 相应的区别。 1 3 几种跟踪方式的优缺点 目前用于虚拟演播室的摄像机定位系统主要有：机械跟踪方式、图像分析识 别方式和红外跟踪方式。对现有方式的优缺点进行比较，我们提出自己的方案。 4 西北工业人学l i i l 论殳：接于数。，图像处理的摄像机f 硅踪系统 1 3 1 机械跟踪方式的优缺点 这种方式是利用各种机械方式和传感器来测量摄像机的位置和转角的。它具 有明显的优点：跟踪数据没有延时，无需额外的工作站处理跟踪信息等。缺点是 使得演播室中可使用的摄像机的种类及数量受到限制，不能使用手持式摄像机， 因为摄像机的机械跟踪系统部分过于庞大、笨重，增加了摄影师灵活使用的难度； 机械跟踪需要对摄像机的镜头进行精确的测量，校正困难；在拍摄之前，需要一 个非常耗时的过程来获取摄像机的初始位置和方向；安装费用高。 1 3 2 图像分析识别方式的优缺点 在蓝箱正面有用浅蓝色组成的网格图案，而且正面是倾斜放置的。这种精确 的网格图案以两种不同的蓝色形状绘制于篮背景上，蓝背景整体采用与传统演播 室相同的蓝色，因此仍可利用色键合成技术。摄像机拍摄这种图案后，与计算机 跟踪软件及硬件预先确定的模型进行对比，以确定物体与虚拟场景的透视关系及 距离。利用图像分析识别技术在拍摄期间同步控制并检测摄像机的各项位置参数。 优点：不需要对摄像机进行改造，无需镜头校准；可直接使用演播室原有的 摄像机，甚至是便携式摄像机；同一个跟踪器可同时用于一个以上的摄像机；摄 像机可以不用轨道进行运动，安装费用低。 缺点：数据处理时间长，加大了视频延时量；必须准确知道参考点的坐标， 使摄像机移动时维持正确的相对位置。在蓝室内标记参考点也不是一件容易的事 情；这种蓝色网格图案很难保持良好的键的质量：摄像机和演员的运动受到一定 限制。 l 3 3 红外跟踪系统的优缺点 此类跟踪分被动和主动两种工作方式。被动方式需要在蓝幕上方安装一套可 以发射和接收红外线的红外摄像机对准演播室，摄像机顶部还需安装红外线反射 球。通过对反射回摄像机的红外线进行图像处理，以确定摄像机的位置和方位。 西北t 业大学颂一i 一论文：基于数中幽像处理的摄像机跟踪系统 主动方式工作原理与被动方式类似，只不过系统以动态红外发射器替代了安装在 摄像机顶上的红外反射球。 优点：一旦系统搭建好，即可迅速重新定位和校正；增加机位时成本较低； 摄像机可自由运动，不受任何限制。 缺点：覆盖范围小，容易受到红外反射面( 如橡胶运动鞋、金属反射面等) 的影 响；对演播室高度及可支持的机位数有一定的限制；红外摄像机与接收器之间不 能有遮挡，所以对道具放置的要求比较苛刻。 1 4 黑白方格识别方式 本文提出采用黑白方格识别方法测量摄像机的水平位置和方向，它属于图像 分析识别方式即具有以前图像分析识别方式的优点。本方案是从成本，摄像机跟 踪系统的精度和实时性的要求去研究对图像分析识别方式做了如下改进：。 1 不在蓝背景上做文章，而是在演播室天花板上做文章。 2 网格图案简化为黑白两色，采用黑白c c d 摄像机，简化图像处理复杂程 度。 通过c c d 摄像机拍摄天花板图像，对该图像进行图像分析计算出摄像机的二维位 置参数。 首先设计天花板图案。在摄像机上安装一个黑白c c d 辅助摄像机。用于x ，y 方 向定位时，辅助摄像机与主摄像机固连。主摄像机俯仰转动时，辅助摄像机不受 影响；但左右转动时，辅助摄像机将同步转动。主摄像机移动时，辅助摄像机拍 摄的图案变化，通过辅助摄像机拍摄天花板图像，在通过对拍摄的图像进行分析 处理可获得主摄像机在l y 方向的定位参数。因辅助摄像机的图像中含有主摄像机 的方向信号，进一步的数据处理可以获得方向角口。 本方案通过设计天花板的图案为只有黑白两色的网格图形，这相对于以往绘 制于上篮背景精确的网格图案以两种不同的蓝色形状要简单，而且成本要低廉很 多，制作也要简单。对于只有两种颜色的图像。计算机处理的数据要比彩色的图 西北工业大学碳：j ：论文：基于数寸幽像处理的撮像机跟踪系统 像的数据要少了许多。2 5 6 色的灰度就满足要求，但原有的图像分析识别方式处理 两种不同的蓝色，至少需要2 5 6 x2 5 6x2 5 6 ，因此本方案数据处理时间短，减少了 视频延时量，满足拍摄过程中的实时性的要求。 本方案不需要对摄像机进行改造，无需镜头校准：可直接使用演播室原有的 摄像机；同一个跟踪器可同时用于一个以上的摄像机；摄像机可以不用轨道进行 运动，安装费用低。摄像机只要能拍摄到天花板就可，所以摄像机运动不受限制， 因此允许摄像机有更好的拍摄角度；演员在舞台范围内可以任意速度自由活动， 不受限制，演员更容易接受虚拟场景。 本设计只研究摄像机二维位簧参数，计算摄像机在二维方向上的位置参数和 方向角x ，y ，口。 1 5 本文的结构 第一章研究了虚拟演播室的工作原理及其结构，并简要地介绍了其关键技术 讨论了几种摄像机跟踪技术的优点和缺点，提出了一种新的基于数字图像处理的摄 像机跟踪方案。 第二章系统地概述整个方案的算法。并对背景图案的设计进行了论述 第三章详细论述本方案中用到的数字图像处理的算法的原理及其应用，并对 其提出了改进。 第四章w i n d o w s 程序实现 第五章对仿真结果进行误差分析 第六章总结全文的创新和优点，并提出以后的研究方向。 西北工业人学硕士论文：基于数字拦像处理的摄像机趴踪系统 第二章摄像跟踪系统 2 1 摄像机与图像的坐标关系 当摄像机面对静止物体做平移运动时，我们可以理解为物体相对于摄像机做 反方向做平移运动，同时当摄像机在空间坐标系中绕z 轴做旋转运动时也相当于摄 像机不动而物体逆向旋转相同的角度。在分析摄像机拍摄过程中的运动参数，只 需通过计算出拍摄图像的二维位置参数，即可得到摄像机的二维运动参数 2 2 方案总述 本设计方案针对解决x ，y ，0 方向定位的问题进行设计，具体如下：如图2 1 所 示，在演播室天花板上绘制黑白图案。面积为比摄像机活动范围稍大。在摄像机 上安装一个黑白c c d 辅助摄像机。用于x ，y 方向定位时，辅助摄像机与主摄像机固 连。主摄像机俯仰转动时，辅助摄像机不受影响；但左右转动时，辅助摄像机将 同步转动。主摄像机移动时，辅助摄像机拍摄的图案变化，通过图像分析处理可 获得主摄像机在x ，y 方向的定位参数。因辅助摄像机的图像中含有主摄像机的方向 信号，进一步的数据处理可以获得方向角。 8 图2 1 ：x ，y 参数跟踪定位方案 西北 ：业人学预士论文：基于数幽像处理的摄像机球昧系统 2 2 1 天花板图案的设计 天花板的图案设计的规格如图2 2 所示：天花板由中间是边长为9 0 m m 的白 色正方形，正方形与正方形之间相隔1 0 m m ，由黑色填充的网格形成。 这样设计网格比较方便，容易处理，但当摄像机运动速度很快时有可能出现 识别错误。分析表明，只要每两帧图像问旋转角度小于4 0 度，图像平移小于 4 0 m m ，就不会出现识别错误。摄像机拍摄速度为2 5 帧s ，如果产生识别错误， 其平移速度需大于1 米秒；转动速度需大于1 0 0 0 度秒。实际摄像机 的运动速度远小于此，所以不会出现识别错误。 图案可事先印刷，安装时象贴墙纸一样贴上去即可，因 此图案细节的绘制不成问题。选择低分辨力辅助摄像机有可 能提高图像信号的帧速率，从而解决速度问题。低分辨率引 起的定位精度降低问题，可由图案细节和图像处理算法弥补。 图2 2 天花板设计 本方案弥补了以蓝背景网格图案为基础的图像分析识别方式的缺点，可以进 行迅速重新定位和校正、增加机位时成本较低，摄像机运动也不受限制，发展潜 力大，符合成本优势、技术优势和发展优势的原则。 2 3 2 特征点的获取 辅助摄像机在二维平面拍摄天花板的图像，我们假设拍摄的图像至少包括天 花板的9 个方格，图像经过中值滤波后通过选取位于图像接近中心的白色方格的 大概中心点0 “，y ) 的图像包括方格及其黑色边缘( 该截取图像大小包括实际天花 板1 5 0 m m * 1 5 0 m m ，这样可保证下一帧图像通过) ，再对图像进行边缘检测及h o u g h 变换获取直线后找出特征点。算法如图2 3 所示：第一帧滤波及检测出边缘的图像 通过h o u g h 变换检测得到的直线是两组平行线，以o ( x ，y ) 为基准，通过计算d 0 ，y ) 分别到两组直线的距离，距离较近的必是内方格的边缘直线工1 ，l 2 。分别计算 l i ，l 2 同各自平行直线的距离，对距离值进行递增排列，距离值排列第二的直线就 西北工业大学硕士论文：攮1 二数字幽像处理的摄像机“h 踪系统 是内方格的另外两条直线三3 ，l 4 。对下一帧图像以o ( x ，) ，) 为基准进行以上处理， 也可以得到四条直线上1 + ，l 2 ，l 3 ，l 4 ， 可分别得到四组对应直线 ( l 1 ，l 1 ) ，( l 2 ，l 2 ) ，( l 3 ，l 3 ) ， 通过对应直线可计算出四组对应点， 根据对应点即可计算出图像的二维位 置参数。再重新对第二帧图像获取中 心点0 ：0 ，y ) ，保证图像两两之间有共 同的中一i i , 点。 2 3 参数的计算 2 3 1 近似中心点的计算方法 图2 3 h o u g h 变换后检测的直线 原理如图2 4 所示 为了寻找近似中心点d ，可通过图像方格中的任何一 个白点，以该白点为基准，以圆的形式向外扩，如果有一 点的狄度为黑，计算该黑点与白点的距离，则根据计算结 果移动白点如果接近半径r ，即可以计算得出近似中心点 厂、 o 刃 0o 算法如下：取图像的中心点d 。判断该点的灰度值， 圈2 4 近似中心点原理图 如果该点的灰度值为黑，则向附近移动直到该点的灰度值为白为止。如果点0 的 攻度为白则可进行以点0 为基准向四周扩展，为了保证点d 最后落在接近选中方 格的中心，则以点。为基准向四周扩展时取最大扩展范围为接近半径r 即可，这 样就不会影响精度 凹；i t i 、j k 太学坝二匕论文：赫于数字例像处理的搂像机趴踪系统 2 3 2 根据对应特征点计算位置参数的方法 图像通过边缘检测，h o u g h 变换得出直线方程并结合摄像机的拍摄速度以及天 花板的特定图像得出了四个对应点。在三维空间： 即即 舯讣r 叫妥矧 n 吲 叫c o s c r s i no 咿i x 1 + 吲 i 】4 ! o i s u nc s c i n ：a n 葶 【i i 。屯i儿 it 衄妙， 口 a m 0篇。b 儿屯儿n 西北工业大学坝l 论殳：摧于数宁幽像处理的掇像帆跟踪系统 澍 首先求出矩阵【章车霉 的逆，选用是矩阵求逆的全选主元高斯约当法 得出【葺霉军 - 1 通过【霉x 2 霉 匿萆车】即可得到矩阵 【! 鼍：罨三葶】，就可求的缸，y 渐n a ，c o s “那么旋转角度口2 a r c s j n c s j n a ，就 。1屯儿， b 。儿， 1 = 缸母 口 口 如 宝o黧。 c 一1 r 西北 j 业大学硕士论文：挂于数字幽像处理的摄像机* 健踪系统 2 4 摄像机参数的获取 动态图像分析建立在三维空间中的运动和二维平面上的投影的基本知识如 下。分别用大小写字母描述三维空间和二维图像平面上的投影用下式表示： ( 置，x ：，x 3 ) 一心，工：) 图2 5 给出了这种透视投影的示意图，若焦距为f ，则投影关系可以写作 x ；( x 1 , x 2 , x 3 m w 砉，奢 图2 5 摄像机拍摄坐标关系 本课题规定辅助摄像机的距离墨和焦距，一定。不妨设厂= l m m ，x ，= l m ， 通过z ；( ，鲁，厂等) 的关系就可计算出辅助摄像机的二维方向上的位移和角度。 通过辅助摄像机的二维位置参数和其旋转角度及辅助摄像机与主摄像机的固定的 坐标关系即可计算得出主摄像机的位置和旋转角度。 2 5 小结 本章研究了虚拟演播室的摄像机跟踪系统的整体设计，从新的角度提出了摄 像机跟踪系统的设计方案，提出了通过固联在主摄像机上的辅助摄像机拍摄天花 板的图像计算摄像机的二维参数，天花板设计简单，灰度为8 位，所合计算数据 少且制作简单，一般的工艺都能完成，成本底等优点。从而可以提高计算速度满 足实时性要求，摄像机的位置不受限制同时又具有以前图像分析识别模式的优点。 西北 二业大学硕l 论殳：甚于数字幽像处理的搬像机跟踪系统 3 1 滤波 第三章图像处理算法研究 对受到噪声污染的退化图像的复原可以采用线性滤波的方法来处理，在许多 情况下是很有效的。但是多数线性滤波具有低通性，在去除噪声的同时也使图像 的边缘变得模糊了。中值滤波方法在某种条件下可以做到去除噪声又保护图像边 缘的较满意的复原。中值滤波是一种去除噪声的非线性处理方法，它由t u r k y 在 1 9 7 1 年提出，在去噪复原中得到了较好的效果。 中值滤波的基本原理：中值滤波的基本原理是把数字图像或数字序列中的一 点的值用该点的一个邻域中各点的值的中值代替。中值的定义如下： 一组数而，奶，南，x 。，把n 个数按值的大4 、j i n 序排列于下： x f l 主x i 2 x i 3s s x y m e d x l ，x 2 ，工3 x 一 n g j 奇数 n 为偶数 y 称为序列x 1 ，z 2 ，屯，x 的中值。 把一个点的特定长度或形状的邻域称作窗口。在一维的情形下，中值滤波是 一个含有奇数个像素的滑动窗v i 。窗口正中间那个像素的值用窗口内各像素的值 的中值代替。 中值滤波的概念很容易推广到二维，此时可利用某种形式的二维窗口。设 ，( f ，) ，2 表示数字图像各点的灰度值，滤波窗口为a 的二维中值滤波可定义 为y 一 f 叫协口卜= m e d x ( m x ( + ，) ，( ，s ) ，2 ) 二维中值滤波的窗e l 可以取为方形，也可以取近似圆形或十字形。图像通过 中值滤波后可有效的保持图像的边缘特性。 卜 “ 哇 x ， + 型：争 x k 。 1 2 两北t 业大学 i | j 士论文：挞于数字燃像处脞的摄像机k 比踪系统 3 2 计算图像块的获取 为了减少计算量，只对拍摄图像的一小部分进行处理。通过第二章计算得出 的近似中心点o ( ，y 。) ，o ( x 。，y 。) 点为中心选取图像块，算法如下：根据天花 板的设计规则，设选取的图像块为1 5 0 r a m + 1 5 0 m m ，设( x o ，y 0 ) 是原图像的坐标， ( x l ，y 1 ) 是选取后图像的坐标，根据如下坐标关系选取图像 工0a 工。一1 5 0 2 + 工1 y o a y o 一1 5 0 1 2 + _ ) 】1 选取后的图像可以包括整个方格。 3 3 边缘检测 3 3 1s o b e l 算子 到了模板操作，所谓模板如：吉正1 】则算法是将原图中个象素的灰度值和 素的坎度值。如果模板是吾l ；习则该操作应该描述为：将原图中一个象素的 图像该象素的灰度值a 如果模板为 j ，则将表示将自身灰度值的2 倍加下边元 素灰度值作为新值，而 0 则表示将自身灰度值加上边元素灰度值的2 倍作为新 西北工业大学硕士论文：基于数字图像处理的撮像机* h 踪系统 上无法操作的点，一般是复制原图的灰度值，不进行任何处理。 模板操作实现了一种领域运算( n e j i g h b o r h o o do p e r a t i o n ) ，积某个象素点的 结果不仅和本象素灰度有关，而且和其领域点的值有关。模板运算在数学上描述 为卷积。 边缘是图像的最基本的特征。所谓边缘( 或边沿) 是指其周围象素灰度具有 阶跃变化或屋顶变化的那些象素的集合。边缘广泛存在与物体与背景之间、物体 和物体之间、基元与基元之间。因此，它是图像分割所依赖的重要特征。 边缘是由灰度不连续性所反映。经典的边缘提取方法是考察图像的每个象素 在某个领域内灰度变化，利用边缘邻近一阶或二阶方向导数变化规律。用简要的 方法检测边缘。这种方法称为边缘检测局部算子法。 边缘的种类可以分为两种：一种称为阶跃边缘，它两边的象素灰度值有着显 著的不同，另一种称为屋顶状边缘，它位于灰度值从增加到减少的变化转折点。 如果一个象素落在图像中某一个物体的边界上，那么它的领域将成为一个灰 度积变化的带。对这种变化最有用的两个特征是灰度的变化率和方向，它们分别 以梯度向量的幅度和方向来表示。 边缘算子检查每个象素的领域并对灰度变化率进行量化，也包括方向的确定。 本课题开始边缘检测选用s o b e l 算子的模板操作获得边缘效果如下：对于数字 图像 ，( f ，) ，s o b e l 算子定义如下： 设： a ；f ( f q 一1 ，一1 ) + 2 f ( i 一1 ，) + 厂“一1 ，+ 1 ) ) 一( ，私+ 1 ，一1 ) + 2 ，p + 1 ) + ，( f + 1 ，+ 1 ) j b = i ( ，( f 一1 ，一1 ) + 2 f ( i ，一1 ) + 厂( f + 1 ，一1 ) ) 一( ，“一1 ，j + 1 ) + 2 f q ，j + 1 ) + ，( f + 1 ，+ 1 ) ) 则： s ( i ，) tm a x 0 ，b ) 或 s ( i ，j ) - a + b 西北工业入学硕士论文：基于数r 甾像处堙的摄像机￥k 踪系统 3 3 。2 基于c c d 图像传感器边缘检测 为了进步提高图像边缘的精度，我们可以获取图像的角度去考虑。 c c d 图像传感器是将物体的光像转换为电信号输出的种大规模集成电路光 电器件，又称为电荷耦合器件，简称c c d 器件。它的工作过程是：首先经光学系 统将被测物体成像在其受光面上，受光面下的象素小单位将光像转换为电荷信号 并存储：然后在时序控制信号的作用下，反应光像的被存储的电荷信号被转移传 输和顺序输出。 c c d 器件完成对物体的成像，是其内部形成的“电像”，即j 。f _ 几 形成与图像相对应的电荷分布也就是c c d 器件中成千个相互独立鬯爿毕 的m o s 元势阱中存储的电荷量分布图与物体的光像相对应。 圈3 2 电荷耦合器件c c d 作为物体表面形状，位置，尺寸测量的一 c c d 闰像传感器 种有效手段已获得广泛的应用， c c d 是一系列排列成线或面阵的小光敏组成的探测器阵列，它有两个重要的 结构参数，即相邻光敏的中心距d 和间隙a , d 和a 的典型尺寸是几个微米，而一些 低分辨率的面阵c c d 则达到十几个微米 图3 2 是c c d 尺寸测量系统的基本原理，物体经透镜成像于c c d 的光敏面上， 称为景物图像，其x 方向的光强分布为，0 ) ，而c c d 光敏元的分布是离散的， 相当于对景物图像进行了抽样，抽样的频率为1 d ，另外，由于象元间隙的存在， c c d 探测到的不是整个图像的信息，而是其中被光敏覆盖的部分，这相当于对景 物图像进行了积分，其积分区域为d 一口，最后所得到的电子图像可表述为 9 2 ( 小憾冀，o ) 出 式中i 一一整数 女一一光电变换的倍率因子 由此可见c c d 所得到的电子图像已不是景物图像的真实再现，而是经过了抽样和 积分两次信息损失后的失真图像，失真的程度与d 和a 有关，显然d 和a 越大，图 西北t 业大学坝士论文：皋于数字幽像处理的摄像机* h 踪系统 像高频信息损失越严重，测量精度越低。 图3 3 中图a 是高对比度物 体的实际光强分布，图b 是其景 物图像的光强分布，由于光学系 统的衍射效应，其下降沿具有一 定的宽度。典型值为2 微米。由 采啦 ( a ) 2 ( b ) x “ 图3 3 普通c c d 成像系统 于下降沿远小于c c d 象元间隙，因此很可能落在两个象元之间的空白区，图c 是 这种情况下c c d 的抽样，积分后所有得到的电子图像，由于象元2 ，3 的灰度值 有一突变。因此我们只能判定物体的边缘落在2 ，3 之问。而无法对其进行精确定 位，造成很大的误差。为了减少该误差提高图像精度可以通过线性插植获取图像 边缘。 线性插值是代数插值的最简单的情形。假设给定了函数，o ) 在两个互异的点 和x 。的值y 。( x 。) 并f l y 。；f ( x 。) 现要求用一线性函数y 一妒o ) ；a x + b 近似代替 ( x ) 。选择线性函数的参数a ，b 使 删z 嚣称这样的线性函数为，( 洲线性插值函数。 线性插值的几何意义是用通过点爿 。，f ( x 。) ) ，b ( x 。，f ( x 。”的直线近似地代替 曲线y 一，o ) 。容易求出这一直线方程，且易知它是唯一的。妒 ) 的表达式直接 占 ) 。y 。+ 旦尘 出几何意义给出： 工，- - x o ：兰丑y 。+ 兰鱼y ， x o x 1工1 一x o 记r ( x ) = ，( x ) 一庐( x ) 西北工业大学硕士论文：基于数字圈像处理的摄像机跟踪系统 尺o ) 称为插值函数庐( x ) 的截断误差。x o , x ， 称为插值区间。插值区间的长 度越缩小，那么在区间上矿缸) 逼近于，( x ) 的效果就越好。若， ) 在插值区间内 为凹函数，那么当工e x 。，x ，】时恒有r ( x ) t0 ，即逼近值偏高于函数值，当f ( x ) 是 凸函数时其结论则相反。当x 属于插值区间i x 。，_ ，利用妒0 ) 的值代替，o ) 的值 这种问题称为内插。当x 偏离插值区间之外，但又较接近插值节点或时，也可 用o ) 近似地代替f ( x ) ，这种问题称为外插或外推计算。 图像通过c c d 获取后可以通过线性插值的算法提高边缘提取的精度。 边缘的获取：灰度级的直方图就是反映一幅图像中的灰度级与出现这种灰度 的概率之间的关系的图形。 设变量r 代表图像中的像数灰度级。在图像中，像素的灰度级可作归一化处理， 这样，r 的值将限定在下述范围之内： 0 暑rs 1 在灰度级中，r = 0 代表黑，= 1 代表白。对于一幅图像来说，每一个像素取得【o 1 】 区间内的灰度级是随机的，也就是说r 是一个随机变量。假定对每一瞬间它们是连 续的随机变量，那么，就可以用概率密度函数p ，r ) 表示原始图像的灰度分布。其 横坐标是表示像素的灰度级别，纵坐标是表示该灰度出现的频率( 像素个数) 。 为了有利于数字图像处理，必须引入离散形式。在离散形式下，用“代表离 散灰度级，用p ，( 咋) 代表p ，( r ) ，并且下式成立： p ，( 唯) ：坠 ，l 0s s 1 k 一0 ，1 ，2 一，f 一1 式中为图像中出现狄度的像素数，n 是图像中像素总数，而鲁就是概率论中 1 9 西北工业人学硕二论文：长于数幽像处理的搬像机跟踪系统 所说的频数。在直角坐标系中做出0 与p ，( “) 的关系图形，这个图形称为直方图。 由于天花板的图像是有黑白两色组成，其直方图能够 y 很好地反映图像中轮廓的灰度分布特征。如图3 4 所示，拍 摄图像经过滤波并对其进行插值后根据其直方图的闽值t 可获取图像边缘。 3 3h o u g h 变换 3 3 1h o u g h 变换 0 1 1 图3 4 直方图 基本原理：直线y - f i x + 6 可用极坐标表示：r x c o s ( o ) + ys i n ( o ) 其中( y ，8 ) 定义了一个从原点到线上的最近点的 向量如图3 5 所示， 考虑一个以参数，和0 定义的二维空间， x ，y 平面的任意一直线对应了该空间的一个点， 因此，x ，y 平面的任意一直线的h o u g h 变换是 r ，0 空问的一个点。 y 0 产。 彤i 现在考虑x ，y 平面的一个特定的点 f ，y ，) 图3 5h o u g h 变换原理图 过该点的直线可以很多，每一条都有对应了r ，0 空间的一个点。然而这些点必须是 满足以z ，和y ，作为常量时的等式。因此在参数空间中与x , y 空间中所有这些直线对 应的点的轨迹时一条正弦型曲线，而x ，y 平面上的任一点如图对应了空间r ，0 空间 的一条f 弦曲线如图。 西北t 业大学硕i r 论文：基于数。一图像处理的掇像机跟踪系统 如果有一组位于由参数，0 和以决定的直线上的边缘点，则每个边缘点对应了 r 日空间的一条正弦型曲线。所有这些曲线 图3 7 直线的h o u g h 变换曲线交于一点 西北工业大学碳士论文：基于数宁嘣像处理的摄像机跟踪系统 必交于点( r o ，0 。) ，因为这是它们共享的一条直线的参数 在( x ，y ) 平面中的n 个点( 0 。，y 。) ，( x ：，y ：) ，0 。，y 。) ) 共一条曲线，则有 y i = a x l + 6 由h o u g h 变换的定义可知，变换域的曲线为 p ti x j c o s o f + y fs i n 0 1 将) ，i 。a x j + 6 代入上式，有 p f 一工fc o s o f + yjs i n 0 = x i c o s o i + ( a x l + b ) s i n o f 昌z f ( c o s 0 。+ 口s i n o i ) + 6s i n o i 由此可知，无论x 。为何值，曲线都将通过c o s b + as i n 0 。t0 这点，也就是 o = - a r c t a n 丢，n 一6 s f n n ( 一a r c t a n ) 这一点a 而变换域中一条曲线上的n 点对应于( x ，) ，) 域中过一公共点的n 条直线a 假设变换域中有n 点( p 。，乱) ，( p ：，0 ：) ( n ，吼) 在同一条曲线上，则有： p f = 口c o s o l + b s i n b it 1 , 2 ，“ 对应于o ，y ) 域的直线可导出如下： 因为：p l a c o s o i + b s i n o f i ；l 2 ，- ，“ 所以： y ，t b + 志n ps l ： 一一t b + 志。c o s b + b s i n o i ) = ( 一工i + a ) c o t 0 + b 由此可见，不论0 ，为何值，直线都经过 x ，一日，y ；= b ) 这一点。 两北t 业大学硕士论文：摧于数字目像处理的摄像机小蹄系统 h o u g h 变换的应用可用如下方法实现： 在o ，y ) 域中的每一离散数据点变换为( p ，p ) 域中的曲线。将日和p 分成许多小 段，每一个p 小段和每一p 小段构成一个小单元( p ，a 8 ) 。对应于每一个小单元可 设一累加器。在o ，y ) 于中可能落在直线上的每一点对应变换域中的一条曲线 p f = 并fc o s 8 + y 。s i n o 。分别使日等于0 ，a 0 ，2 a o ，3 a 0 ，便可求出相应的p 值，并 分别计算落在个小单元中次数，待全部0 ，y ) 域内数据点变换完后，可对小单元进 行检测，这样，落入次数较多的单元，说明此点为较多曲线的公共点，而这些曲 线对应的o ，y ) 平面上的点可以认为是共线的。检测出( x ，y ) 平面上n 点后，将曲线 交点坐标( p 。，0 。) 代入 p ot x c o s 日 0 + y s i n o o ，便可得到逼近n 点的直线方程。 在这种实现中，变换域小单元( p ，a 0 ) 的大小直接影响0 ，y ) 中逼近直线的精 度。h o u g h 的另外一个实用弱点是未考虑点的相邻性，有时得到的最佳逼近直线 可能会由于邻近的点的影响而产生扭曲。 3 3 2 直线h t 的改进算法阻 标准直线h t 是一种“一列多”算法，图像平面的一个特征点对应着参数空间 的一条由许多点构成的正弦曲线。这种算法实际上是“盲目”地将每一个特征点 映射到累加阵列地许多单元，然后统计各个单元的计数来确定是否存在直线及直 线参数。因此标准h t 算法的效率不高。 下面提出了改进算法m h t 的思想：图像平面的每一由n 个特征点组成的子集 ( 这里n 等于h t 参数空间的参数个数) 被映射到参数空间的一个节点单元，即所 谓“多对一”映射。这种方法能将图像数据映射到参数空间中具有更大的概率。 在此对其算法进行介绍并对其性能进行分析。 m h t 算法采用了“多对一”策略“来降低计算复杂度。对比上述标准直线 叫北工业大学倾= 匕论文：基于数字幽像处理的摄像机跟踪系统 h t 在其参数空间的累加阵列的绝大多数单元进行了一次或两次增值操作，m h t 的计算步骤： 种子点选取：设在n x n 的二值化边缘图像中存在k 个特征点，它们构成集 合 ( x i ，y 。) i i ；1 2 ，七) ，依次每次从集合中抽出一点作为种子点并建立一个与它对 应的一维累加器h ( 0 1 。种子点选定后，按顺序选择每一个特征点，用它与种子点 构成一个点对。这个点对将确定图像平面的一条直线。 计算参数：连接上述的特征点对 ( _ ，y ；) ，0 ，y ，) ) 的直线的参数可由下式计算： p 口= 0 fc o s 8 口+ ) r js i n 0 口) p 口； ，c o s 0 # + y s i n o o ) 驴t a n “甓) 由于m h t 中我们仅需要参数，故在这步中弓可以不用算 数组单元累加器操作：对每一个不同的0 。在累加数组h p ) 中指定个 h ( o o ) 与之对应，并将其黄1 ，若后面计算的以与一个已有的相等或两者之间的差 别小于一个预先设置的容限则相应的累加单元加1 ， 即 1 0 u - 0 。ls6 ，贝j j h ( o “) 一日( ) + 1 。 检查在累加阵列中的峰值：每次累加操作后都检查累加阵列h ( 0 ) 中的计数， 如果某个单元的计数超过预先确定的全局阈值t ，则可认为由种子点0 ，y ，) 和 确定的直线是一条应从原图像中抽取的一条直线。可方便地得到直线地另一参数 p “：p u x c o s 0 + y js i n 0 # 。 当这个种子点被处理完时，将被从集合中清除，在从集合中选择一点作为种 子点。 另一数组h 0 ，臼) 中保留已经抽取的直线参数( 弓，0 u ) 。消除已经检测出的直 线对应的各特征点，避免在后续的迭代中不必要的重复操作。重新初始化累加数 2 4 西北工业大学硕：l 二论文：基于数字图像处理的摄像机跟踪系统 组h ( 0 ) ，由于对应原种子点的累加数组所包含的有用信启、已经存储在数组 h ( p ，口) 中，可以释放该种子点所用的累加存储空间，将其重新分配给后续的迭代 使用。 按照上述方式一次选择一个种子点进行操作，直到图像中剩下的特征点数值 小于全局阈值t ，变换结束，最后保存在h ( p ，日) 中的结果表示在图像平面上检测 到的所有直线。 上述两种方法的比较：准h t 存储空间占用：若原图像维n n 象索，经边缘 提取与二值化等处理后得到m 各特征点。假设量化间隔分别为p 与a 0 的取值范 围为( - 2 4 n 2 ，2 k n 2 ) 及( 0 ，石) ，占用的存储空间可由下式计算： s 一= 舭( p ) 慨( 口) | 堕a p 蠢。 设卸。1 ( 2 2 ；v 2 ) - 与a 0 = l ( 2 ) ，对应的累加阵列占用的存储空间为d ( 2 ) 。 m h t 存储空间占用：由于使用了存储空间由两部分组成：动态分配的存储 空间h p ) 与附加存储空间日p ，口) 。数组h p ) 需要的存储空间为m 一1 ( m 个特 征点除去一个种子点) ，二数组h ( p ，日) 需要的存储空间为2 你 故m h t 的存储空间需求：s m r r = 2 n + m - - 1 。 由此可见改进的直线检测算法m h t 所需存储空间远小于标准h t 算法。 计算复杂度：对于h t ：假设图像中有m 个特征点，每个特征点将对参数空 间作n a 。0 次映射，总的计算复杂度为： 。南堋 对于m h t ：同样假设图像中有m 个特征点，每个特征点对参数空间的映射次数 在最不利情况下为咖一1 ) 2 。总的计算复杂度为：，；掣。 西北1 ：业火学硕士论文：基于数字图像处理的摄像机“融踪系统 事实上，m h t 实际的计算复杂度明显低于上式，原因为：当一条直线被检测 出后，与之相关的特征点将被从特征点集中消除使后续的运行过程明显加快。另 外，对于第k 个种子点，若( m 。k ) 的值已经小于基本阈值t c ，则运行过程终止。 3 5 小结 本章研究了摄像机跟踪系统的数字图像的处理算法，并从精度和实时性两个 角度对算法进行研究和改进。通过分析滤波的方法选出了能保持图像边缘的最佳 滤波的算法中值滤波。研究了c c d 图像传感器的成像原理，提出了通过线性 插值的算法及使用灰度图像的直方图阈值获取图像的边缘来提高获取图像边缘的 精确度。通过分析h o u g h 变换的原理和应用提出了快速h o u g h 变换来提高算法的 速度获取直线以满足摄像机跟踪系统的实时性要求。 西北丁业大学坝一l 论文：基于数字幽像处理的摄像机跟踪系统 第四章w i n d o w s 程序设计与实现 4 1a v i ( a u d i ov i d e oi n t e r l e a v e 、 a v i 文件是m i c r o s o f t 公司制定的一种r i f f ( r e s o u r c e i n t e r c h a n g e f i l e f o r m a t ) 文 件格式。a v i r i f f 格式是由f o u r c c ( f o u r c h a r a c l e r c o d e ) a v i 所标志，并包含两个必 须的l i s t 块( c h u n k s ) 和一个可选的索引块。 第一个必备的块是h d r l c h u n k ，它指定a v i 数据格式，其中记载着视频音频的格 式参数分别采用b m p 和w a v 文件格式规范。第二个必备的块是m o v i c h u n k ，它指 定a v i 流数据，对于视频流其子块中包含各帧视频图像的数据。h d r l c h u n k 和 m o v i c h u n k 都有子数据块。索引块用于指明文件中数据块的地址。我只讨论对a v i 文件中视频数据的操作。 4 1 1 获取a v i 文件中的视频流的相关信息 s d k 中提供了a v i f i l e 函数及宏用于直接对基于时间的r i f f 文件( 如：波形音 频文件、a v i 文件等) 的操作。一个a v i 文件中可包含各种不同的数据类型，比如一 个视频流、一个中文的音频数据流和一个英文的音频数据流，采用a v i f i l e 系列函 数就可以分别获得这些数据流及其问的信息。由于a v i f i l e 函数和宏包含在动态链 按库中，必须调用a v i f i l e l n i t 初始化库后方可使用。a v i f i l e 维持应用程序对库的引 用计数，当使用结束后也必须调用a v i f i l e e x i t 以释放库。 首先调用a v i f i l e o p e ：r l 由