数码相机定位的优化设计

1、西南民族大学学报·自然科学版第35卷第6期Journal of Southwest University for NationalitiesNatural Science Edition Nov.2009_收稿日期：2009-06-11作者简介：张广生(1957-, 男, 西南民族大学计算机科学与技术学院副教授.文章编号: 1003-2843(200906-1183-06数码相机定位的优化设计张广生, 马志霞, 王齐峰, 史腾飞, 张煜(西南民族大学计算机科学与技术学院, 四川成都 610041摘 要: 研究的是数码相机在交通管制中定位物体特征点的优化设计问题. 将数码相机成像问题简

2、化为针孔成像问题后, 研究了靶标图像与数码相机像平面上图像间的旋转和平移关系, 为了使二维图像获取三维信息, 建立起图像间的透视投影模型. 利用该模型, 通过确立标定点与相应的二维图像坐标, 运用最小二乘法求解投影矩阵, 实现对相机内、外部参数的标定. 标定过程中, 运用数字图像处理技术, 对图像进行二值化处理, 提高了数据的准确度和科学可信性, 由此解得较为精确的内、外部参数, 获得基于此模型的圆心在像平面的坐标表示, 分别为A(321,189、B(422,196、C(639,212、D(582,502、E(284,501. 使用BP 神经网络方法对已建立的模型进行检测, 通过对比BP 神经

3、网络与透视投影求得圆心值与实际圆心值的均方根误差, 论证了该模型有较高的精度和稳定性. 并基于已有工作, 建立了双目视觉定位模型, 得到两部相机间的相对位置关系. 在模型的进一步讨论中, 研究了椭圆中心偏移问题, 对像平面上椭圆的中心坐标进行了修定, 得到实际的中心为：A(325,191、B(427,201、C(642,216、D(584,504、E(288,505. 以及讨论了图形的畸变问题, 确定了相应的关系.关键字：透视投影; 图像二值化; BP神经网络; 双目视觉系统 中图分类号: O224 文献标识码: A1 基本假设(1将数码相机的成像原理简化成小孔成像的原理进行解决.(2忽略由于

4、简化相机为针孔模型, 图像产生的畸变. (3两部相机的型号、规格和内部参数完全相同.2 模型分析问题一：在处理靶标上的像和相机像平面上像的关系时, 可采用透视投影的方法结合图形几何转化建立模型, 确定两像间的转换关系. 现实世界中, 物体具有三维特征, 然而电子设备中呈现的都是二维的图像. 因此, 要实现数码相机定位就必须将物体三维特征与二维的数据间映射, 引入两个坐标系.世界坐标系：为使被显示的三维物体数字化, 要在实物所在的空间中定义世界坐标系. 坐标系的长度单位和坐标轴方向适合描述物体, 世界坐标系是不变的.屏幕坐标系：在图形显示器屏幕上定义二维直角坐标系, 称为屏幕坐标系. 问题二：可

5、利用已建立的基础模型, 进一步处理问题, 此时有两点引起注意：(1图1、图2中A 的形状近乎没有发生变化, 忽略两者间的差别, 近似认为两者相同, 以方便求解.(2数码相机所得图像为点位图, 可对图像进行二值化处理获得“0、1”(黑、白 图, 方便运用穷举扫描, 获取标定点求解M 矩阵, 得到像平面圆心坐标. 西南民族大学学报·自然科学版 问题三：利用BP 神经网络技术针对先前建立的模型进行来检验.问题四：利用双目视觉相机标定法, 分别建立相机坐标系与世界坐标系之间的关系, 进而求出两部相机间的相对位置.3 模型的建立及求解问题一：(1建立坐标系以O 点为照相机的透视中心, 以c c

6、 c Z Y X , , 为轴建立坐标系, 其中, c X 轴和c Y 轴与图像的v u , 轴平行, c Z 为照相机的主光轴与像平面垂直, 光轴与像平面的交点为成像平面坐标系的原点, 由点O 与c c c Z Y X , , 轴组成的直角坐标系称为照相机坐标系.(2相机坐标系与世界坐标系之间的关系相机坐标系与世界坐标系属于外部参数, 且满足, c w c w c w X X Y R Y T Z Z =+其中(33ijR r ×=为旋转变量, (Txyz T t t t =为平移变量.(3相机坐标系与像平面坐标系之间的关系结合几何光学知识空间点在相机坐标系下的坐标P (, , c

7、c c X Y Z 的齐次坐标的矩阵形式为=c c c c Z Y X f fy x Z 010000000. (1(4靶标图像与像平面坐标系之间的关系相机采集的数字图像, 以m n ×数组的形式进行存储. 在像平面坐标系中, 由于相机内部参数的影响, 建立如下坐标关系1010x y C u x dx v y C dy=. (2 其中, 纵横比dxdyS = , x y C C 为偏转量. 结合(1、(2式得透视投影模型=. (3 投影矩阵M 为43×矩阵, 同时也代表了二维图像与三维图像间的基本关系, 因此,当知道物点的世界坐标 第6期 就可以求出相应的理想化的图像坐标.

8、(5模型的求解计算模拟标定物的特征点在世界坐标系的坐标表示及其二维对应点像 , (i i v u 的坐标. 由(3式求得方程3433323114131211m u m Z u m Y u m X u m m Z m Y m X i wi i wi i wi i wi wi wi =+. 3433323124232221m v m Z v m Y v m X v m m Z m Y m X i wi i wi i wi i wi wi wi =+.n 个坐标点可得2n 个关于M 的线性方程, 六个以上点的世界坐标及其图像点的坐标可得M 矩阵, 为提高精度选取10个点.若已知某点的世界坐标(, ,

9、 w w w X Y Z , 利用投影矩阵M 得相应点的图像坐标+, 2122232431323334w w w w w w m X m Y m Z m v m X m Y m Z m +=+.假定相机的内部参数(', , , x y f s C C 已知, 带入方程求得外部参数R, T.M 矩阵与相机的内外参数的关系可以写成300001001001T T T T x x x x x z T T T T y y y y y z T T T z z r t m m C r C r t C t r t m m m C r C r t C t r t m r t +=+. 若标点在同一个平面

10、, 那么世界坐标是线性相关的, 即0w w w AX BY CZ +=, 可求得3, , , , x y r C C .3343r m m =1333413( T T Tx x C r C r r m m m =+= 1333423( T T Ty y C r C r r m m m =+=23413|m m m =×23423|m m m =×由以上求出的参数可以进一步求得以下参数：34113( x m r m C m =34223(y m r m C m =3414( x x m t m C = 3424(y y m t m C =3424(y y m t m C =3

11、4z t m =综上由空间给定的点及图像坐标, 可求出M 矩阵, 获得内外参数, 由世界坐标(, , w w w X Y Z 及投影矩阵M 可得图像坐标系下的坐标(, u v , 则像平面坐标为(, , x y R u v =. 问题二： 对于问题二的求解, 在已知条件下利用问题一建立的模型给出各个待求变量的实际解, 进而给出靶标上圆的圆心在像平面上的坐标.首先是给出标定物的世界坐标和与之相对应的二维图像坐标.(1标定物的世界坐标(, , wi wi wi X Y Z 的选取世界坐标坐标系的x 轴, y轴是平行于真实图像的平面, 利用画图软件调整像素比例,得到在像素坐标下每个圆的中心点和上下左

12、右边缘点的坐标(, w w X Y . 选取w Z 的过程图2 西南民族大学学报·自然科学版 如图2所示, 两幅图的中心定在圆A 和其像的圆心处.Z =wS S w圆像(w为像距, 利用数字图像处理技术获取图像二值化扫描后的像素个数, 累加得到S 像.(2二维对应点的图像坐标对图像进行二值化处理, 建立图像平面内的二维平面直角像素坐标系,(a二值化处理图像, 扫描后找到椭圆在x 和y 方向上的四个切点i Q (b连接相对的两个切点, 得到椭圆中心(c沿切点做切线, 得到4条切线相交的矩形区域, 连接矩形对角线, 得到其与椭圆相交的4个点i J 即两条对角线的斜率21, k k .(d

13、利用c+图像编程由Sobel 边缘检测算法抽取椭圆的边框.(e求标定点：此时, 图中只有突地边缘一圈的值为0, 扫描可得各个标点的位置, 扫描图示如图.利用勾股定理求出i w , 由此可以得到图像中长轴、短轴的(, , i i i u v w 坐标. 带入获得投影矩阵M, 进而得R 、T 的数值. 由此就可以确立像与像平面之间的关系.(3计算求解具体的数据：(略. 最终求得靶标上圆的圆心像坐标分别为： A(32,189, B(422,196, C(639,212, D(582,502, E(284,501. 问题三 (模型的检验 ：通过透视投影的模型, 建立了图像与其世界坐标系之间的关系. 采

14、用BP 神经网络技术对模型进行检验.(1 BP神经网络 BP 神经网络由输入层、隐层和输出层组成, 隐层可以是一层也可以是多层. 在理论上, 含有一个隐层的三层BP 神经网络在隐层神经元节点数可以任意设定的情况下, 能够以任意精度逼近任意连续函数. 在大多数应用情况下可采用一个(如图 隐层的三层BP 神经网络. 如图为一个三层BP 网络, 设输入层由n 个节点, 输出层由m 个节点, 隐层由l 个节点, 样本数为N, 输入向量为12, , , n x x x , ji w 为隐层节点与输入层节点的连接权值, 隐层节点的输入和输出为1(* nj i j i NET x o =.其中1( j j

15、O f NET =, 隐层节点的作用函数1f . 选取S 型变换函数, 设输出层节点k 与隐层节点j 的连接权值为kj w , 输出层节点的函数2f 选用线性变换, 则节点k 的输出为21(* lk kj j j y f w o =.误差函数为平方型误差函数, 对所有样本总误差为2111( 2n mkp kp p k E y y =.为提避免陷入局部最小解, 引入1(1 ( (1 n jt ji jp ip ji p w t w t x w t =+=+ 1(1 ( (1 nkj kj kp jp kj p w t w t x w t =+=+.图3 第6期 其中, kp jp 分别为样本p

16、输入时, 输出层节点k 和隐层节点j 的误差项, 计算公式如下*(1*( kp kp kp kp kp y y y y =, 1*(1*kpmjp jp jp kj k o o w =.(2测试试验评定标准：透视投影法和BP 网络法得到的点圆心坐标与圆心实际世界坐标的均方根误差e = , 其中e 为均方根误差；, , m m m X Y Z 为由神经网络和透视摄影方法计算出的圆心世界坐标值；, w w X Y 圆的心实际世界坐标值.(3计算机分析结果神经网络计算出的均方根误差(单位：mm1 2 3 4 5 神经网络标定： 0.2351 0.2785 0.3266 0.2571 0.1651 一般线性标定：0.5914 0.8725 0.6142 0.8569 1.4985由检验结果, 神经网络的精度明显高于线性方法的精度, 同时具有较高的稳定性.问题四：相机间相对位置：两部相机光学中心间的距离. 对于两个相机同时观察, 利用单个相机标定法来确定各自的内外参数, 设照相机1C 和2C 的同影矩阵为1M 和2M , 线