（电路与系统专业论文）组合全景摄像头相关问题的研究与设计.pdf

摘要摘要传统的监测系统是基于分散的多个监测摄像头或单个全景摄像头实现的。随着半导体技术的发展，摄像头的体积越来越小，价格越来越低。用多个摄像头组合成全景摄像头，具有成本低、图像的分辨率高、不需要额外的移动装置、稳定性好的特点。本文对单个摄像头成像模型与全景摄像头的成像模型进行了对比分析。单个摄像头的成像模型为针孔成像模型，像与物之间为线性比例关系，图像中每个像素点所对应在实际物理空间中为等距的线段；而全景摄像头像与物之间为非线性关系，图像中每个像素点所对应在实际物理空问中为等角度的圆弧。因此，将多个摄像头组合成全景摄像头时，要对每个摄像头的图像进行球面或柱面变换。由多个摄像头组合成全景视图时，要求每个摄像头的参数一致。本文采用m a t l a b 标定工具箱，通过对特征模板图像的分析来确定摄像头的参数。由于摄像头存在一定的畸变，必须对所获得图像进行畸变校正。本文通过拍摄标准模板的方法，测量出图像中特征点的径向畸变量，用最小二乘法得到相应的畸变校正函数，从而对畸变图像加以校正。由多个摄像头组合拍摄时，每个摄像头的场景不同，光照度也不相同，每个摄像头根据各自场景和光照条件进行自动曝光，使得图像在亮度上存在一定差异，拼接图像中出现明显的拼接缝。为了消除图像拼接缝就必须对图像的亮度加以调整。对于图像有重叠区的情况，本文以拼接图像重叠区部分的亮度直方图作为依据，采用非线性变换方法对图像亮度进行调整，使得重叠区直方图曲线之间差值达到最小，拼接图像的亮度趋于一致。在图像没有重叠区时，选取在拼接缝两侧紧邻的两列图像的亮度直方图作为依据，分别采用取平均值法和均值滤波的方法对直方图进行平滑处理，可以有效地降低直方图的离散程度，再采用直方图非线性变换的方法实现对无重叠图像亮度的有效调整；由于要保持各图像的最佳曝光效果，在非线性变换处理后，采用加权渐变的方法调整拼缝附近的图像亮度，使拼接缝基本消除。根据成像平面与球面、柱面之间的投影关系，推导出图像平面中各像素点与球面和柱面的对应位置的变换函数，用m a t l a b 编程实现平面图像到球面图像和摘要柱面图像的变换，从而获得球面图像和柱面图像。由摄像头的成像模型计算出多个摄像头组合成全景摄像头时产生空间误差的允许范围。给出组合全景摄像头的结构模型。通过对特定模板进行拍摄，调整各个摄像头位置以实现组合全景摄像头的配准。根据人们视觉习惯的需要，本文采用寻航显示的方法，对全景图像和平面图像进行分区实时显示。关键词：组合全景摄像头畸变校正亮度调整柱面变换全景图像i ia b s t r a c t- _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ _ - _ - _ _ _ _ _ 一_ _ _ _ 一_ _ _ _ _ _ _ _ _ _ - - _ - _ - _ _ _ - _ l _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 一a b s t r a c tt h et r a d i t i o n a lp a n o r a m i cm o n i t o r i n gi n f o r m a t i o ni sa c q u i r e db yd i s t r i b u t e dm o n i t o r i n gl e n so ras i n g l ep a n o r a m i cc a m e r a w i t ht h ed e v e l o p m e n to fs e m i c o n d u c t o rt e c h n o l o g y , t h ev o l u m eo fw e b c a mi ss m a l l e ra n ds m a l l e r , i t sp r i c ei sg e t t i n gl o w e ra n dl o w e r t h ep a n o r a m i cw e b c a mw h i c h 。i sac o m b i n a t i o no fm u l t i p l ec a m e r a sh a ss o m ea d v a n t a g e s ，s u c ha sl o wc o s t ，h i g hr e s o l 。u t i o ni m a g e s ，n on e e do fe x t e r n a lm o b i l ec o n t r o le q u i p m e n ta n dg o o ds t a b i l i t y i nt h i sd i s s e r t a t i o n ，t h ei m a g i n gm o d e lo fas i n g lec a m e r aa n dt h ep a n o r a m i cw e b c a mw e r ec o m p a r e da n da n a l y z e d f o ras i n g l ec a m e r a ，i t si m a g i n gm o d e li sp i n h o l ei m a g i n gm o d e l ，n a m e l y , t h er e l a t i o n s h i po fi m a g e sa n do b je c t si sl i n e a r , a n di ni m a g e st h el e n g t ho ft h ea c t u a lp h y s i c a ls p a c ew h i c hc o r r e s p o n d st oe a c hp i x e lp o i n ti se q u i d i s t a n tl i n es e g m e n t h o w e v e r , f o rt h ep a n o r a m i cw e b c a m ，t h er e l a t i o n s h i po fi m a g e sa n do b je c t si sn o n l i n e a r , i ni m a g e ：st h el e n g t ho ft h ea c t u a lp h y s i c a ls p a c ew h i c hc o r r e s p o n d st oe a c hp i x e lp o i n ti se q u a la n g u l a ra r c t h e r e f o r e ，w h e nm u l t i p l ec a m e r a sc o m b i n ei n t ot h ep a n o r a m i c ，t h ei m a g e so fas i n g l ec a m e r an e e dt ob es p h e r i c a lo rc y l i n d r i c a lt r a n s f o r m w h e nm u l t i p l ec a m e r a sc o m b i n ei n t ot h ep a n o r a m i cw e b c a m ，e a c hc a m e r a si n t e m a lp a r a m e t e r sm u s tb ec o n s i s t e n t i nt h i sd i s s e r t a t i o n ，b yu s i n gm a t l a bc a l i b r a t i o nt o o l b o xe a c hc a m e r a sp a r a m e t e r sa r ed e t e r m i n e db ya n a l y z i n gf e a t u r et e m p l a t ei m a g e s a se a c hc a m e r ah a sac e r t a i nd i s t o r t i o n ，t oo b t a i n i n gi m a g e sm u s tc a r r yo u td i s t o r t i o nc o r r e c t i o n i nt h i st h e s i s ，f i r s t l y , r a d i a ld i s t o r t i o no ff e a t u r ep o i n t si ni m a g e si sm e a s u r e db ys h o o t i n gt h ei m a g e so ft h es t a n d a r dt e m p l a t e ；s e c o n d l y ,d i s t o r t i o nc o r r e c t i o nf u n c t i o nc a nb eo b t a i n e db yl e a ，s ts q u a r e sm e t h o d ，a n dt h e nd i s t o r t i o ni m a g e sc a nb ec o r r e c tb yo b t a i n i n gd i s t o r t i o nc o i t e c t i o nf u n c t i o n w h e nm u l t i p l ec a m e r a ss h o o t ，t h ed i f f e r e n ts c e n eo fe a c hc a m e r ac a u s ed i f f e r e n ti l l u m i n a t e si n t e n s i t y a se a c hc a m e r ai sa u t o m a t i ce x p o s u r eb a s e do nt h e i rr e s p e c t i v es c e n e sa n di l l u m i n a t i n gc o n d i t i o n s i m a g e ss h o o th a v es o m ed i f f e r e n c e si nb r i g h t n e s s ，a n dt h i sd i f f e r e n c e sc a u s ea p p e a r a n c eo fb u t ts e a mi nt h ep r o c e s so fi n t e g r a t i n gi i ia b s t r a c ti m a g e s i no r d e rt oe l i m i n a t eb u t ts e a mt h eb r i g h t n e s so ft h ei m a g e sm u s tb ea d j u s t e d i nt h i sd i s s e r t a t i o n ，f o ri m a g e si nt h eo v e r l a pf i e l d ，b a s e do nt h eb r i g h t n e s sh i s t o g r a mo fo v e r l a pf i e l d so fm o s a i ci m a g e s ，b yu s i n gn o n l i n e a rt r a n s f o r mm e t h o d ，t h eb r i g h t n e s so fi m a g e sa r ea d j u s t e d w h e nt h ed i f f e r e n c eb e t 、e e e e nt h eh i s t o g r a mc u r v e so fo v e r l a pf i e l d si st h el e a s t ，t h eb r i g h t n e s so fm o s a i ci m a g e st e n d st ob ec o n s i s t e n t ，t h eh i s t o g r a ms h a p eo fo v e r l a pf i e l d si st h eg r e a t e s td e g r e eo fu n i f o r m i t y f o ri m a g e si nt h en o n o v e r l a pf i e l d ，f i r s t l y , b a s e do nt h eb r i g h t n e s sh i s t o g r a mo ft h ep r o x i m a t ei m a g e so ft h eb u t ts e a mo nb o t hs i d e s ，b yt a k i n gr e s p e c t i v e l yt h ea v e r a g em e t h o da n dt h em e a nf i l t e rm e t h o d ，t h eh i s t o g r a mi ss m o o t h e d ，t h i sc , a nr e d u c ee f f e c t i v e l yt h ed e g r e eo fd i s p e r s i o no fh i s t o g r a m ，s e c o n d l y , b yu s i n gn o n l i n e a rt r a n s f o r mm e t h o d ，b r i g h t n e s so fi m a g e si nn o n o v e r l a pf i e l da r ea d j u s t e d ，f i n a l l y , t om a i n t a i nt h eb e s te x p o s u r ef o re a c hi m a g e ，t h eb r i g h t n e s so fi m a g e sn e a r b 5 ，b u t ts e a mi sa d j u s t e db yu s i n gw e i g h t e dg r a d i e n tm e t h o d s ot h a tt h eb u t ts e a mi ! ；b a s i c a l l ye l i m i n a t e d a c c o r d i n gt ot h ep r o je c t i o nr e l a t i o nb e t w e e nt h ei m a g i n gp l a n ea n ds p h e r eo rc y l i n d e r , t h et r a n s f o r mf u n c t i o no fc o 仃e s p o n d i n gp o s i t i i o nb e t w e e ne a c hp i x e lp o i n ti nt h ei m a g ep l a n ea n ds p h e r eo rc y l i n d e risd e d u c e d b yu s i n gm a t l a bp r o g r a m m i n g ，t h et r a n s f o r mf r o mp l a n ei m a g e st os p h e r i c a li m a g eo rc y f i n d e ri m a g ec a nb ea c h i e v e d ，a n dt h e nc a no b t a i ns p h e r i c a li m a g eo rc y l i n d e ri m a g e b a s e do nt h ew e b c a mi m a g i n gm o d e l ，w h e np a n o r a m i cw e b c a mi sac o m b i n a t i o no fm u l t i p l ew e b c a m s ，a l l o w a b l er a n g eo ft h es p a t i ne r r o ra r ec a l c u l a t e d t h es t r u c t u r eo ft h ec o m b i n a t i o no fp a n o r a m i cw e b c a mm o d e li sg i v e n b ys h o o t i n go nf e a t u r et e m p l a t ea n da d j u s t i n gt h ep o s i t i o no fe v e r yc a m e r ac a na c h i e v et h ec o m b i n a t i o no fp a n o r a m i cw e b c a mr e g i s t r a t i o n i nt h i sd i s s e r t a t i o n ，a c c o r d i n gt ot h en e e d so ft h ev i s u a lh a b i t s ，b yu s i n gn a v i g a t i o nd i s p l a y , p a n o r a m i ci m a g e sa n dg r a p h i ci 【m a g e sa r eb e i n gp a r t i t i o n e dr e a l t i m ed i s p l a y k e y w o r d s ：c o m b i n a t i o no fp a n o r a m i cc a m e r ad i s t o r t i o nc o r r e c t i o nb r i g h t n e s sc o r r e c t i o nc y l i n d r i c a lt r a n s f o r mp a n o r a m i ci m a g e s引言第一章引言视频监控系统有很多应用领域，如在交通安全、 ：业控制、公共安全、医疗卫生、军事侦察等领域中得到大量应用，特别是“9 1 1 ”之后国内外对公共安全问题尤为重视，建立了大量的公共安全网络系统，其中视频监控是其重要的组成部分，通过运用大量监控摄像头来获取视图像信息。就目前来说，当前监控用的摄像头的型号种类繁多，具有不同的参数和特点，根据对全景信息不同的获取方式可以分为三种，无云台的多点布控普通监控摄像头，有机械云台的监控摄像头，大视场全景摄像头。常用的普通监控摄像头，在安装后不能移动，只能在固定位置以固定角度进行拍摄，由于摄像头的视场比较小，视角大约在3 0 度。要实现对全景的监控，必须要进行不同位置、不同角度的多点布控，在显示方面也不能够通过1 幅图像来反应全景的监控，只能将各自摄像头拍摄的图像同时显示在显示器上，由于为了实现对全景的监控必然要求在布控时做到无视觉死角，也就是消除监控摄像头之间的盲区，这必然会增加摄像头之间的重叠区域，造成信息的冗余，不利于对监控目标的判断。由于要使用多个摄像头，所以这种全景监控方式安装比较繁琐，成本也比较高。如1 1 图所示具有旋转机械云台的监控摄像头，这种是将监控摄像头固定在机械云台上，通过机械云台的运动来进行全景监控拍摄，这种方式的优点在于只使用了一个摄像头，所以安装相对于多点布控方式要简单的多。但由于使用的监控摄像头的视场小，只能通过云台的运动来实施摄像头对全景视场的覆盖，这就决定了其不能在同一时刻获得全景监控图像信息，同一时刻只能得到某一角度的图像，所以这种方式不可避免的存在漏洞，不能实现对全景的实时性监控。并且由于机械云台的运动速度不是很快，如果跟不上监控目标快速运动，就会造成监控目标的丢失，使监控失去意义。而且云台机械的移动需要人工操作或预先设定拍摄路线来进行，所以除必要的数据线外，还要有一套控制线路来实现对云台运动的控制，由于机械云台需要不停的运动才能实现对全景的监控，这样就降低了机械云台的可靠性差，容易出现故障，使得监控摄像头无法正常工作。引言图1 1 有云台的摄像头大视场全景摄像头是近些年发展迅速，如图1 2 所示具有大视场角度的鱼眼镜头，可以通过少量的监控点进行全方位的监控，并且没有机械移动部件，不易损坏。鱼眼镜头的焦距通常要小于1 6 m m ，可以获得接近1 8 0 度视或超过1 8 0度的全景视场。但在获得大视场的同时，必然伴随着桶形畸变的存在，使用鱼眼镜头拍摄图像，除了中心位置的景物保持线性关系不变，其它部分景物都会沿着径向从中心向外发生形变。理论上物点与像点满足一一对应的映射关系，但由于鱼眼镜头通常要采用1 0 片以上的透镜，光学结构非常复杂，影响的因素非常多，校正的难度比较大，获得校正效果也不是很理想。并且鱼眼镜头要使用高质量的光学成像材料，造价昂贵，使得大量应用受到限制。图1 2 鱼眼摄像头全景成像技术在机器人、计算机视觉和虚拟现实等领域有着重要的应用。近些年折反射全景成像系统发展迅速，并得到了广泛应用，所谓的折反射全景引言成像系统是指由一个c c d 像机和一个正对着像机的反射镜组成的全景摄像系统，反射镜面可以是半球面、圆锥面、抛物面和双曲面等。反射镜负责将水平方向一周的图像反射给c c d 像机成像，这样就可以在一幅图像中获取水平方向3 6 0 。的环境信息。实物如图1 3 所示。其国外的发展历程是，1 9 7 0 年，r e e s 提出使用镜面来实现全方位视觉的想法。1 9 9 0 年，l h o n g 等【2 】使用球面镜构成全景视觉设备。1 9 9 3 年，k y a m a z a w a 3 】等人用双曲镜面做成全景视觉系统。2 0 0 3年m f d s o u t h w e l l 4 利用一个透视像机和两个反射镜面连在一起的反射镜组成全景立体视觉系统；n a y e r 5 】利用两个反射镜和两个像机组成的垂直基线全景立体视觉。同一时期基于折反射镜的光学系统的全景成像技术也成为国内学者的一个研究热点。主要研究了抛物面形、双曲面形等不同的光学折反射面，曾吉勇，苏显渝等【6 】还通过设计非标准形光学折反射面，对水平场景无畸变的折反射全景图成像系统进行了理论分析和实验验证，而王道义与黄大为【_ 7 】则从分析传统中心投影法入手，深入分析探讨了全景环形透镜的工作原理及主要特点，并进行了实际系统的设计，实现了具有线性投影关系的无畸变全：景成像。折反射全景成像系统优点是利用光学折射和反射元件实现的视场较大，而它的不足主要体现在光学折反射面的设计制作与加工比较困难且成本较高【8 1 。攀鬻i 鬻姜蠢# 糍霭i冀鬻懑淄漤圈幽【。鬻麓溺湖豳斟霞蘩爨蒸翼曩零纂熏| | | | i 鬻l l t$ 删耩m￥ii j j 攀憋i | | o引言重叠部分的图像才能生成全景图像，所以实时性较差。本文中通过将多个摄像头以无重叠区的方式组合成全景摄像头。由于相邻摄像头之间没有视场重叠，减少了图像冗余，提高了处理速度，增强实时性，又实现对空间3 6 0 。全景图像信息的获取。所以采用组合全景摄像头获取全景视场图像有成像清晰，结构简单，图像畸变小，成本低的优势。4第二章摄像头的成像模型与畸变校正原理第二章摄像头的成像模型与畸变校正原理第一节成像模型中应用的坐标系为了清楚准确的描述摄像头的成像模型及成像原理，需要建立图像中各像素点与空间目标物点之间的变换关系，因此首先需要确立四种坐标系 9 , 1 0 , 1 1 , 1 2 】。2 1 1 图像平面像素坐标系通过摄像头获得的图像在计算机中是以数学矩阵的形式存储、处理的，矩阵中的每一个元素对应图像中相应的像点，矩阵中各元素的值就是图像中对应点的灰度( 亮度) 数值。例如，摄像头生成的图像模式为：m n 的r g b 格式图像，那么计算机是通过3 m n 阶的矩阵来表示，其中，每个m n 矩阵对应红、黄、蓝中的一种颜色在图像中的分布情况，各点元素的值表示图像中对应位置上颜色的强度。在图像平面上定义坐标系( o l u ，v ) ，如图2 1 所示，由于矩阵是以其左上角点为起始点的，所以坐标系的原点d ，也选择在图像的左上角，那么图像中任意点的坐标( “，1 ，) 与矩阵中的元素点( f ，j ) 4 臃f 应。其中，i ，表示对应点在矩阵中的行数和列数，满足“= ，v = f 的关系。由于图像是以像素为量度单位的，所以在图像平面上建立的坐标系被称为图像平面像素坐标系。一出方】d ( 甜0 ，v o )p ( u ，v ) op ( x ，y )vr1r图2 1 图像平面坐标系、成像平面物理坐标系第二章摄像头的成像模型与畸变校正原理2 1 2 成像平面物理坐标系由于图像的像素坐标只能表示图像在计算机矩阵中的地址，并不能反映像在实际物理空间中的坐标位置。换句话说，像素坐标系的量度单位是像素，在实际物理空间中没有意义，为了建立其与物理空间对应关系，必须要用实际物理单位为量度单位，如图2 1 所示，建立成像平面物理坐标系( d ，x ，) ，) 。图中坐标系x 轴和y 轴分别与图像像素坐标系中的“轴和v 轴平行；成像系统中的光轴垂直于成像平面，其相交点称为图像主点，也是坐标系的原点d 。在理想的摄像头模型中，图像的主点与图像的中心点重合。由于摄像头制造过程存在一定误差，会造成两者有些偏离，但通常偏离不会很：大，不会影响成像效果，所以在实际工程应用当中一般都认为图像的主点与图像中心点重合【3 4 j 。若定义d ，在图像像素坐标系下的坐标为( “。，y o ) ，面：，咖分别表示c c d 平面x 和y 方向的单位像素点的物理间距，则两坐标系之间的变换关系为：如果图像平面的坐标轴不相互垂直，引入倾斜因子y ，当坐标轴垂直时，y = 0 。则两坐标系通过矩阵相互转换的关系为：2 1 3 摄像头坐标系j =1_ y “( )d x10 了d v001( 2 2 )摄像头理想结构模型中的各种坐标系之间几何投影关系，如图2 2 表示，图中q 点为摄像头的光学成像系统中心点，简称光心；0 为主点；q d 为摄像头62绯+三出上方| |=比v第二章摄像头的成像模型与畸变校正原理的焦距f 。摄像头坐标系以光心。c 为原点，坐标系的k 轴和圪轴分别平行于成像平面坐标系的x 轴和y 轴，以摄像头的光轴为z c 轴。理想情况下光轴垂直于成像平面 4 ，6 1 。摄像头。，k ，z 。，)世界坐标系成像平面坐标系图2 2 成像平面坐标系、摄像头坐标系和世界坐标系的几何关系2 1 4 世界坐标系在实际拍摄的自然环境中还需要选择一个统一的外部参考坐标系，来描述摄像头与目标物体的空间位置关系，如图2 2 所示，世界坐标系的选取比较随意，没有特定要求，可以根据实际中具体情况来进行选择，只起到一般参考作用，其矩阵表示形式为：x w昂z t( 2 3 )这里世界坐标系参数矩阵的变量都是4 个。这是因为在图像投影空间中，有两条平行线在无限远处相交于一点的现象，但在实际三维空间中，两条平行线永远不会出现相交的现象，为了解决这个问题，在实际三维空间中的点( x ，】，z ) 三个参数变量的基础上增加一个维度变为( x7 ，】，z 7 ，t ) 四个参数变量，其中f 是比例系数，即7第二章摄像头的成像模型与畸变校正原理x y tz 1= 一一i = t( 2 4 )xyz三维空间中的无穷远点用( x ，】，z ，o ) 来表示，即t = 0 。通常洼i n 旧l , t i ，除去无穷远点，三维空问中的一般各点用( x ，】，z ，1 ) 来表示，即t = 1 。2 2 1 透镜成像原理第二节摄像头的成像原理由于摄像头的镜头采用的是透镜组 1 3 】，其成像可以等效成单个透镜成像。其成像原理如图2 3 所示jl彳jpo c 尸b广忒b t71r图2 3 透镜成像原理其中，尸是像接收平面，即成像平面；a b 为目标物体，么7 b 为其在成像平面p 上的像；0 c 为光心，b b7 为光轴；f = q f ，为透镜焦距；，2 = d c b 为物体到透镜的距离，简称物距；m = q b7 为成像平面到透镜的距离，简称像距。由几何光学中透镜成像原理可得：! ：! 卜1( 2 5 )第二章摄像头的成像模型与畸变校j e 原理通常情况下，物距要远远大于透镜的焦距，即n 厂，可以推得，像距近似等于透镜的焦距，即m 厂，也就是说成像平面与透镜的焦平面重合，这时透镜成像模型就可以用针孔成像模型来代替 1 4 , 1 5 1 。2 2 2 针孑l 成像原理图像是目标物体在像平面上的投影，图像上每一个像素点的值是对目标物体表面某点光强的反映，通过摄像头成像系统的空间投影模型，建立起目标物体表面上的点坐标与图像中各像素点坐标之间的对应关系。理想成像模型就是针孔模型，又称中心投影模型 1 6 】。如图2 4 所示。针孔模型应用的是光的直线传播的原理，物体表面发出的光线都要经过一个微小的孔径( 如针孔) 投影到成像平面上。理想情况下，针孔的大小是忽略不计的，也就是所有的光线都是从某一个点进入的。这种投射可以用一个投影变换来描述，针孔模型是由光心、主点、成像平面和光轴组成。图图2 4 针孔成像原理图第三节摄像头成像的畸变及校正2 3 1 几种典型的非线性畸变彳实物b能够造成图像的非线性畸变的原因有很多，但通常只需考虑以下三种类型的几何畸变 1 7 , 1 8 , 1 9 】：一、由于摄像头中的透镜组结构的不完善，造成的径向畸变；9第二章摄像头的成像模型与畸变校正原理二、由于摄像头镜头组合时的误差引起的图像离心畸变；三、在摄像头组装配过程中造成薄透镜畸变。2 3 1 1 径向畸变引起径向畸变的主要原因是摄像头的光学镜头：i 生径向上的曲率存在差异。这种畸变会引起图像中各点到图像中心点的距离长度发生变化，通俗的来讲，也就是说图像中心附近区域的放大率与图像边缘区：域的放大率并不一致，这种不一致性的变化规律是径向上的，与中心点距离越大，其畸变的程度越大，正的径向畸变会增加图像中各像点到图像中心的距离，使图像比例系数增大；负的径向畸变会减小图像中各像点到图像中心的距离，使图像比例系数减小【2 0 1 。这种畸变的影响效果是关于图像中心点中心对称的 2 1 1 。径向畸变只能引起图像在径向上失真，最常见桶形畸变和枕形畸变就是由径向畸变引起的。用长方形代表理想无畸变图像，畸变的名称由相应的畸变图像所体现，如图2 5 所示。( a )( b )图2 5 ( a ) 桶形畸变与理想图像之间关系，( b ) 枕形畸变理想图像之间关系其畸变数学模型如下：式中的k 。，k ：，k ，为径向畸变参数，瓯，f l y 分别为x 方向和y 方向上的畸变量。用极坐标可以表示为：6 ：，+ 尼，r + 尼，r + ( 2 7 )r = k l ，2 + 尼2 r 2 + 尼3 r 2 + ( 2 7 )1 0+卜+# o姒锄卜+pr俨+篓沪旷咻瓯第二章摄像头的成像模型与畸变校正原理式中的，为图像点到中心的距离。2 3 1 2 离心畸变在实际摄像头的光学系统中，不能确保摄像头的各组透镜的光轴在同一条直线上，这种结构上不完善造成拍摄得到图像中存在离心畸变。其对图像的影响效果可分解成，径向畸变的影响作用和切向畸变的影响作用两个部分，可以用如下的式子描述 2 2 , 2 3 ：4 = ，( x ，y ) c 。s ( 妒一)( 2 8 )【4 = 3 j ( x ，y ) s i n ( q ) 一)j ( x ，y ) = ，1 ( x 2 + y 2 ) + ，1 ( x 2 + y 2 ) 2 + ，1 ( x 2 + y 2 ) 3 + ( 2 9 )式中是最大切向畸变轴线与甜轴正方向之间的夹：自，是畸变参数，瓯表示径向畸变，d 表示切向畸变。图像切向畸变对图像的影响如图所示。则在笛卡尔坐标系下的数学模型如下：川甜期眨由于c o s 缈= 形，s i n 妒= 形设p l = 一j ls i n6 p o ，p 2 = - j lc o s 妒o ，只取畸变函数的前两项，则由式和式推得：眵2p l ( 3 x 2 + y 2 ) + 2 n 砂( 2 1 1 )i 万，= p 2 ( x 2 + 3 y 2 ) + 2 p i x y2 3 1 3 薄透镜畸变摄像头的透镜自身不可避免的误差和对摄像头：进行组装时产生误差都会产生薄透镜畸变。一般采用外加薄透镜的方法来校正这种畸变，但这种处理方法势必又将引起径向和切向畸变 2 4 , 2 5 。其畸变数学表达式为：瓯= ( x ，y ) c 。s ( 妒一孕、( 2 1 2 )l 瓯= i ( x ，y ) s i n ( q ，一妒1 )第二章摄像头的成像模型与畸变校正原理i ( x ，y ) = 1 1 ( x 2 + y 2 ) + 1 1 ( z 2 + 2 2 ) 2 + ，1 i ( x 2 + y 2 ) 3 + ( 2 1 3 )式中仍是最大切向畸变轴线与x 轴正向之间的夹角，万，表示径向畸变分量，4 表示切向畸变分量，。是畸变参数。由于薄透镜畸变的影响作用要比其他畸变影响作用要小的多，因此，只选取函数表达式的一次项的来描述图像薄透镜畸变。设q 。= 一i 。s i n o i ，q ：= - i ，c o s 仍，则在笛卡尔坐标系下，沿x 轴和y 轴的畸变的数学模型如下：j 瓯2 9 ，( x ：+ y i ( 2 1 4 )1 6 y = 9 2 ( x 2 + y 2 )2 3 1 4 几何畸变的综合影响综上所述，那么前面介绍的三种畸变对图像产生的几何畸变整体影响效果可以通过数学模型来描述，由于其综合影响效果是由三部分畸变效果共同作用叠加而成的，所以可以用以下的数学模型来表示：i 瓯= k l x ( x 2 + 少2 ) + p 1 ( 3 x 2 + y 2 ) + 2 p 2 x y + 9 1 ( x 2 + 少2 )。、恢= 尼2 y ( x 2 + y 2 ) + p 2 ( x 2 + 3 y 2 ) + 2 p l x y + q 2 ( x 2 + y 2 )怕“驯图像坐标系下相应点像素点的横轴坐标用x 、，表：示，对应像素点在x 轴方向上的畸变量用瓯表示，其y 轴方向上的畸变量用t 罗。表示，k l 、k 2 、p ，、p ：、g ，、g ，分别为相应畸变的系数。如( 2 1 5 ) 式所示，等式右边可以分成三个函数表达式，其分别对应着径向畸变、离心畸变和薄透镜畸变对图像畸变的影响作用。当摄像头的镜头焦距比较小时，径向畸变是主要的影响因素，而离心畸变和薄透镜畸变的影响与之相比要小的多，因此对于大多数场合来讲，摄像头的切向畸变都被忽略【27 1 。另外，对图像进行校正处理时，只要考虑较低幂次的径向畸变系数就可以，而且校正的效果也不是选取函数的高次项越高，最终获得的图像越好，最佳效果的峰值出现在函数取到3 次幂项的时候，如果幂次再增大误差就会增大，图像效果反而会下降。而且在相同的运算条件下，函数的次数越高越复杂，计算机处理图像的速度就越慢，耗时就更长。在本文中综合考虑到处理图像的速度和效果的问题，在畸变校正函数选择上只取到2 次项的形式，其他高次项忽略【2 8 。图像校正的数学模型如下：瓯= k l x ( x 2 + y 2 ) + k 2 x ( x 2 + y 了，。万。= k l y ( x 2 + y 2 ) + k z y ( x 。+ 32 ) 21 2第二章摄像头的成像模型与畸变校正原理标。式中，x 和y 分别是与实际图像中的坐标为x 和y 相对应的畸变校正后的坐2 3 2 几何畸变校正原理及过程2 3 2 1 几何畸变校正原理监控图像采集的过程中，由于摄像镜头的自身缺陷，使得拍摄的图像产生非线性的几何畸变，对图像信息的分析和处理会产生不良影响，因此必须校正发生畸变的图像。也就是说要建立畸变图像中各像素点与理想图像中对应像素点的坐标变换关系以及图像灰度重建。因此可以将畸变图像的校正分成两个部分来进行：一是空间坐标变换，建立畸变图像与理想图像对应点之间的坐标映射关系，实现将畸变图像中各点变换到理想图像中的正确位置的目的；二是灰度重建，将空间坐标变换后的像素赋予相应的灰度值。2 3 2 2 空间坐标变换在畸变的光学系统下的成像，只有通过对称中, 0 a 的直线能够保持不变，而其他位置的直线一般或多或少都会发生一定的形变。因此在进行畸变校正时首先要找出图像对称中心点位置，即确定下进行空间变换的坐标系的原点坐标位置，再进行空间几何变换，将畸变图像中的每个像素，通过空间地址映射关系由畸变空间变换到其在原来空间中对应点的空间位置，以进行重新排列恢复原来空间关系。笛卡尔坐标系下数学变换关系，由于计算机中图像是以数学中矩阵的形式被存储的。假设用f ( x ，y ) 表示被拍摄物体的理想图像，f ( u ，1 ，) 表示发生畸变后的图像。( x ，y ) 表示理想图像中某一点的坐标，( “，v ) 表示在畸变图像中与理想图像中( x ，y ) 点相对应的点的坐标。所谓的畸变校正就是要找出由( “，1 ，) 点到( x ，y )点坐标的数学变换关系l ，然后令：f ( x ，y ) = 厂( 正，( u ，v ) )( 7 )口为参数向量。若图像畸变是由纵横比的改变和倾斜造成的，那么通过空第二章摄像头的成像模型与畸变校正原理间仿射变换可以进行有效的校正。取：瓦：口= 么，b ，c ，d ，e ，f x = a u + b x + c jy = d u + e v + f i x i 表示去最接近x 的整数，如果能准确的得出参数口，就可以建立函数关系进而解决问题。但由于实际情况中的图像畸变不仅仅是纵横比的改变和倾斜，通常遇到的都是空问扭曲型几何畸变，也就是非线性的曲线畸变。所以不能通过简单的数学变换来解测2 9 1 。2 3 2 3 灰度插值畸变图像经过空间坐标变换后，由于在计算空间变换的时候，获得变换后的数据经常是非整数，但是不论是畸变图像，还是变换后的校正图像都是数字图像，而数字图像是由不连续的像素组成，也就是说其像素点的数值只有在整数处才有定义，所以变换后得到的非整数处的像素点的数值只有通过其邻域中的一些整数处的像素点的数值来计算，这个过程被称为灰度插值。灰度插值有邻近插值法、双线性插值法等等。下面是介绍一些常用的插值算法 3 0 1 。1 双线性插值法假设用f ( x ，y ) 表示被拍摄物体的理想图像，f c u ，v ) 表示发生畸变后的图像。两者位置坐标( x ，y ) 和( “，v ) 之间满足空间坐标变换关系r ，t ：( “，v ) = ( x ，y ) ，并且变换丁是可逆的，用丁。1 表示其逆变换。双线性插值法是利用图像f c u ，v ) 中与t 。1 ( x ，y ) 点周围最邻近的其他四个像素点的灰度值，运用线性逼近的数学方法得到f ( x ，y ) 的坐标点( x ，y ) 的灰度值，如图2 6 所示。设丁。1 ( x ，y ) = ( 甜，v ) ，i n t ( u ) = u o ，i n t ( v ) = v o ，i n t ( ) 为取整函数，则双线性插值公式为：f c x , 少) = ( 1 - u + u o ) ( 1 一v + v o ) f ( u o , 1 ) + ( u - - u 0 ) ( 1 一v + v o ) f ( u o + 1 , ) r 2 1 8 )+ ( 1 ，一v o ) ( 1 一u + u o ) 厂( “o ，v o + 1 ) + ( u u 0 ) ( v v o ) f c u o + 1 ，1 + 1 )、双线性插值法能够保持图像连续性，没有灰度上的缺点现象，并且精度较高，只是算法比较复杂，计算量比较大，相对而言比较费时，并且由于其具有低通滤波的特性，使得图像的高频部分被抑制，有可能导致图像的细节退化，出现图像轮廓的模糊。1 4第二章摄像头的成像模型与畸变校正原理40丁叫( 工，y )一一( k l 卜d12 扰34图2 6 双线性插值的原理图2 最近邻插值法最近邻插值法的原理是坐标位置变换后该点的灰度值与距离该点最近的像素点的灰度值相等3 1 1 。如有z 。1 ( x ，y ) = ( “，v ) ，那么最邻近插值法的数学表达式为：厶( x ，y ) = f ( i n t ( u + o 5 ) ，i n t ( v + o 5 ) )( 2 1 9 )这种算法十分简单，运算速度上要快于双线性插值法，并且便于实现，但其在精度上要比双线性插值法差，尤其当图像中包含相邻像素之间的灰度几何结构时，有明显的锯齿状现象，使图像并不光滑连续，其中有明显人为加工的痕迹。通常此种算法适合应用于对图像实时处理性要求比较高而精度要求比较低的情况。3 三次内插法由于在理论上最好的插值函数是s i n ( x ) ，三次内插值法通过多项式s ( x ) 的z三次项来接近这个理论函数。其数学形式如下：s ( x ) =l 一2 l x l 2 + l x 3 | ；o - - i x l 14 8x 1 + 5 i x l 2 一x 3 ；1 1 a ：l 9 0 。，或者物在无穷远的时候，公式( 3 4 ) 不成立。要获得大视场只有对目标空间进行压缩才能实现。从成像角度来说，这种压缩反映在图像上就是图像的桶形畸变。从数学变换角度来说，就是用适当的成像数学公式代替( 3 4 ) 式。替代时有不同的方案可以选择，如公式( 3 5 ) ( 3 8 ) ：h 。，= 2 f t a n ( - 警)( 3 5 )- o = f c o( 3 6 )h o = 2 f s i n ( 罢)( 3 7 )h o = f s i n 缈( 3 8 )如成像公式h ( 3 5 ) 式，在径向上和切向上的放大率分别是：2 5第三章全景摄像头的设计8 r - 8 l - 一毛fc o s 2( 3 9 )r 为成像物点到成像中心的球面半径，可见，径向放大率等于切向放大率，故被称为“体视投影”。如成像公式为( 3 6 ) 式，在径向上和切向上的放大率分别是：屈：屈：( _ 生)( 3 1 0 )则当视场角相等时，对应的径向距