（信号与信息处理专业论文）非接触式双ccd浮体六自由度测试仪的图像研究.pdf

摘要 在海洋工程中的物理模型实验中，需要精确、实时的测量出浮体的六自由度运动轨 迹，为科研和工程设计提供可靠的技术依据。依托“2 1 1 工程”国家重点学科建设经费， 我们自主开发了浮体六自由度测试系统。 早期研制的接触式六分量测试系统，是用传感器作为信号源输入的，因其自身重量 和固定不便等因素的制约，虽然可以满足工程应用，但精度受到影响，需要以非接触式 的测量方式来替代。国外已经有相关产品出现，但价格昂贵，而且维护不便，我们需要 研制自己的同类产品。 非接触式六自由度测试系统是以机器视觉作为理论背景。用标定好的摄像机拍摄浮 体的运动情况，用图像处理的方法由摄取到的图像中重构出浮体上所附特征点的世界坐 标，并由此分解其六自由度。 在大量实验的基础上，课题完成了系统的核心部分，即摄像机的标定，由实验分析 的结果显示，由标定好的摄像机重构出的世界坐标精度是较为理想的，并为后续工作奠 定了良好的基础。 关键词：机器视觉、六自由度、特征点提取、摄像机标定、两步法、点匹配、三维 重构 a b s t r a c t i np h y s i c a lm o d e le x p e r i m e n to ft h eo c e a ne n g i n e e r i n g ，t h e6 - d o fm o t i o no f af l o a t i n gb o d ym u s to f t e nb em e a s u r e da c c u r a t e l yi no r d e rt os u p p l yr e l t a b l e t e c h n i c a lg i s tf o rr e s e a r c ha n dd e s i g n b yv i r t u eo ft h eo u t l a yf r o mn a t i o n a l p l a n n i n gc o m m i t t e et h e6 一d o fd e t e c t i o ns y s t e mh a s b e e nd e v e l o p i n g i nt h ee a r l yt i m ew eh a v ed e v e l o p e dc o n t a c t i n g6 - d o fd e t e c t i o ns y s t e ma n d t h es i g n a l i n p u ti sf r o ms e n s o r j u s tb e c a u s eo ft h es e n s o r ss e l f - w e i g h ta n d t h ei n c o n v e n i e n c et of i xt h es e n s o r ，t h ea c c u r a c yi sa f f e c t e dt os o m ed e g r e e ， s ot h en o n c o n t a c ts y s t e mm u s tb ed e v e l o p e d t h et h e o r e t i c a lb a c k g r o u n df o rt h en o n c o n t a c t6 - d o fi sb a s e do nm a c h i n e v i s i o n b yt h eu s eo fc a l i b r a t e d c a m e r at h er e a li m a g ei st a k e na n dt h r o u g hi m a g e p r o c e s s i n gt e c h n i q u et h ew o r l dc o o r d i n a t e so ft h ef e a t u r ep o i n t st o u c h e d o nt h e f l o a t i n gb o d ya r ei n v e s t i g a t e d ，t h e nt h e6 - d o fo ft h ef l o a t i n gb o d yi sd e c o m p o s e d b a s e do nag r e a tn u m b e ro fe x p e r i m e n t s ，t h ek e yp a r to ft h ep r o j e c th a s b e e n p e r f o r m e d ，t h a ti s c a m e r ac a l i b r a t i o n 。f r o mt h ee x p e r i m e n tr e s u l t si t c a nb e c o n c l u d e dt h a tt h ea c c u r a c yo ft h er e c o n s t r u c t e dp o i n t si sc o m p a r a t i v e l y1 d e a l a n di t s u p p l yag o o db a s i cf o rt h e f u t u r ew o r k k e yw o r d s ：m a c h i n ev is i o n ，6 - d o f ，e x t r a c t i o no f c h a r a c t e r is t i cp o t n t c a m e r ac a i i b r a t i o n t w o - s t a g et e o h n i q u e p o i n tm a t c h ，3 - d r e c o n s tr u c t i o n 非接触式双c c d 浮体六自由度测试仪的圈像研究 1 绪论 1 1 引言 船舶停靠于码头时，由于受风、浪、潮汐等的作用，会产生回转( r a 力、纵摇( 厅t c h ) 、 横摇( 肋) 、纵移( s u r g e ) 、横移( 砌a 力和升沉( h e a v e ) 六个运动，我们称之为浮体的六 自由度。这种运动不仅影响着船舶的停靠，还影响到码头的结构受力和船舶缆绳的系缆 力大小，从而影响诸如护弦形式，系缆方式等码头设计参数的决定，因此，在建设海港 码头时，要特别考虑停靠船舶在海浪作用下的运动情况。 设计船只的一个重要步骤就是在港池里面测试船只的模型，使用造波机，产生各种 波浪来模拟海洋中的实际波浪情况，观测船只在风浪中的各种运动轨迹。 在海洋、港口和船舶工程模型实验中，我们需要精确的测量浮体在风、浪、潮等作 用下的六自由度运动轨迹，从而为科研和工程设计提供可靠的技术依据。这六个自由度 就是回转( y a w ) 、纵摇( p i t c h ) 、横摇( r o l l ) 、纵移( s u r g e ) 、横移( s w a y ) 和升沉( h e a v e ) ， 前三者是角度分量，后三者是位移分量。 为了精确测量浮体在风、浪、潮作用下的六自由度运动，并为工程设计和科学研究 提供可靠的依据，我们研制了六自由度测量仪，在实验水池中来跟踪测量这些运动情况。 众所周知，视觉是人类从大自然获获取信息的最主要的来源。据统计在人类获取的 信息当中，视觉信息约占6 0 。由此可见视觉信息对人们的重要性。而图像正是人类获 取视觉信息的主要途径。图像是用各种观测系统以不同形式和手段观测客观世界而获得 的，可以直接或者间接作用于人眼并进而产生视知觉的实体。 依托“2 1 l 工程”国家重点学科科学建设经费，我们用双目视觉技术来实现六自由 度的非接触式测量。在该项目中，我们自行设计了两套系统，一个是六自由度位姿平台 系统，它用来模拟浮体在风浪中的运动情况，产生前述六个自由度的位姿变换情况。另 一个是机器视觉系统，它由双c c d 、图像采集卡、微型计算机及相关软件组成，该系统 用来获取六自由度位姿平台系统的图像，经过相关的图像处理技术，来计算六个自由度 分量。在进入实际环境应用之前，我们利用这两套系统来进行六自由度的跟踪。 本文结构安排如下，第一章介绍项目的相关内容i 第二章介绍系统组成及工作原理， 第三章介绍图像特征点的提取，它为摄像机标定做准备；第四章是摄像机的标定技术， 它是机器视觉系统成功与否的关键；第五章介绍三维空间点的匹配与重构；第六章介绍 如何利用标定好的机器视觉系统来计算六自由度分量；第七章是实验和实验结果的分 析。 1 2 浮体测量技术的发展与现状 大连理工大学海岸与近海工程国家重点实验室于2 0 0 1 年1 2 月为青岛海军工程设计 研究院工程综合实验研究中心开发设计了接触式六分量测试系统，利用位移和角度传感 器测出相应信号，再利用解耦公式求出六个变化量。该设备目前已经投入使用，各项指 标均能达到工程需要，其携带，安装方便，数据采集处理由计算机自动完成。该系统的 不足之处是，因传感器自身重量，以及固定不便等因素束缚，影响了测量精度。 非接触式双c c d 浮体六自由度测试仪的图像研究 基于接触式六分量测试系统的以上诸多不足，非接触式测试系统的研制成为现实。 在国外，比利时k r y p t o n 公司已经研制了r o d y m 6 d 测量系统，具有精度高，测量速度 快的特点，但该产品采用三个c c d 进行数据采集与分析，价格昂贵，维护困难。因此， 在国内自主研发这样的一套系统并投入工程应用是有实际意义的。非接触式测试系统以 c c d 摄像机作为信号源，它是机器视觉的一个典型应用。 非接触式双c c d 浮体六自由度测试仪的图像研究 2 系统的组成及工作原理 实际的工程应用中，我们要跟踪实验水池中浮体的六自由度运动情况，将3 个非共 线发光二极管附着于浮体上作为特征目标，因为浮体的运动是刚体运动，所以通过对3 个特征目标的跟踪就可以知道浮体的六自由度运动情况，其实际的工作框图如2 1 所示： 图2 1 实际系统的工作框图 f i 9 2 1t h ed i a g r a mo ft h er e a ls y s t e m 在进入实际应用之前，我们将在实验室中模拟浮体的六自由度运动，为此自行设计 了两套系统，一个是六自由度位姿平台系统，它用来模拟浮体在风浪中的运动情况，产 生前述六个自由度的位姿变化情况：另一个是机器视觉系统，它由双c c d 、图像采集卡、 微型计算机及相关软件组成，该系统用来获取六自由度位姿平台系统的图像，经过相关 的图像处理技术，来计算六个自由度分量。 2 ，1 实验系统介绍 2 1 1 六自由度平台系统 六自由度平台 该平台的机械部分是经过精密的机械加工制造而成的，它提供两方面的功能，一是 提供标定时的特征点，二是精确产生六个自由度分量。该平台的组成及其测量范围和测 量精度如下： x 、y 坐标采用滑动轴系和其随动系统( 滚动系) 组成，两个方向的坐标位移范围为 2 5 0 r m ，精度为0 0 2 r a m x 、y 坐标的转角采用分度盘，设在平台的上部，其测量范围为 2 0 ，精度为0 i 。 非接触式职c c d 浮体六自由度测试仪的图德研究 z 坐标采用滑动轴系，设在标定平台的中部，z 向测量范围为l o o m m ，糖度为0 0 2 r a m 。 z 向转角采用分度盘，测量范围为2 0 。，精度为0 1 。 在平台的顶部装有摄像机固定架，可以实现摄像机的上、下、左、右的移动。其实 物图如2 2 所示： 标定块 图2 2 六盘由度平台 f i 9 2 2t h es t a g eo f6 - d o f 标定块的尺寸为3 0 0 m m 3 0 0 衄的正方形，块上有3 3 的9 个圆孔，孔与孑l 之间 的距离为l o o m m ，为了在图像处理中方便对特征点的提取，我们将发光二极管插入圆孔使 其高亮，这样目标和背景很容易区分。标定块如图2 3 所示： 图2 3 标定块实物图 f i 9 2 3 t h et r u ei m a g eo fc a l i b r a t i o nt a r g e t 4 非接触式双c c d 浮体六自由度铡试仪的图像研究 2 1 2 机器视觉系统 c c d 摄像头 c c d 全称电耦合器件，是一种固体成像器件和集成电路芯片。c c d 摄像机有模拟和数 字之分，通过它可以将光信号转变为视频电信号，经由图像采集卡输入计算机。我们采 用美国u n i o 公司生产的u r n - 2 0 1 系列摄像头。其特性如表2 1 ： 表2 1u n i qu m - 2 0 1c c d ( c c l r ) 特性表 t a b l e 2 1c h a r a c t e r i s t i cc h a ro fu n i qa m 一2 0 1 c c d 传感器 1 2 英寸s u p e rh a dc c d 芯片尺寸6 4 m m x 4 8 m m u n i t s i z e8 6 u m 8 3 u m 最小照度0 0 5 流明斯 采集模式 帧场可选 镜头基座c 型 电子快门1 6 0 1 3 1 ，0 0 0 可选 电源直流1 2 v ，2 1 0 m a ，2 5 w 图像采集卡 由c c d 输出的视频信号是模拟的，不能直接进入计算机，图像采集卡经过a d 转化， 重采样等一系列处理将视频信号变为标准的数字信号输入计算机，可以直接对图像进行 象素处理。我们采用加拿大m a t r o x ( 迈创) 公司的m e t e o ri i m c 采集卡，其主要特性如下： p c i 总线 单色模拟视频信号输入 采样率3 0 m h z 图像最大分辨率为7 6 8 x5 7 6 三个2 5 6 8 - b i t 查找表 单色最大通道数6 “板内扩展缓存 r s 一2 3 2 串行接口 m i l l i t e a c f i v e m i l - l i t e 开发包 支持平台w n 9 8 , w i n d o w sn t4 0 ，w i n d o w s2 0 0 0 摄像机和采集卡之间配备一条红( 0 通道) ，绿( 1 通道) ，蓝( 2 通道) ，灰四通道接口数据 线用来连接多个c c d 与采集卡进行传输。实际应用中，在红，绿，蓝中任选两个通道， 连接两个c c d ，利用外部触发实现同步，图像大小设为6 4 0 x 4 8 0 ，所得图像是组合r g b 图像，每个通道占据一个颜色成分，如0 通道对应红色成分，将各颜色成分分离，便 非接触式双c c d 浮体六自由度测试仪的图像研究 得到各摄像机所摄取的灰度图像，其双通道合成r g b 图如2 4 所示 图2 4 双通道台成r g b 图 f i 9 2 4 t h ec o m p o n e n tr g bi m a g ef r o rt w oc h a n n e l s 分离后各摄像机摄取的灰度图像如1 ，5 所示( 我们使用o ，1 两个通道) 软件开发包 图2 5 分离图像( 左为o 通道，右为1 通道) f i 9 2 5s e p a r a t e di m a g e s ( 1 e f tc h a n n e l 一0 。r i g h tc h a n n e l 1 ) 附随采集卡配备了功能强大的软件开发包，能实现诸如对内存，采集卡，摄像机， 显示器，数字转化器的控制和访问的功能，还有大量的图像处理包，能实现边缘检测， b l o b 处理，平滑，锐化，模板匹配，j p e g 肝e g 等功能为实现图像的采集和通道分离， 主要用到以下几个函数： g - r a b o ： 功能：单帧图像的采集 g r a b c o n t i n u o u s o ： 功能：连续图像的采集 g e t ( u s e r a r r a ya sa r r a y ， f o r m a ta si m f o r m a t c o n s t a n t s ， 【b a n da si m b a n d c o n s t a n t s ， 0 f f s e t xa sl o n g ， 非接触式双c c d 浮体六自由度测试仪的图像研究 【o f f s e t ya sl o n g ， 【s i z e xa sl o n g ， s i z e y a s l o n g ) 功能：将r g b 图或合成r g b 图的各彩色成分单独提取出来 参数u s e r a r r a y 是用户定义数组，用来存放图像数据； 参数f o r m a t 定义复制时的数据格式； 参数b a n d 定义颜色通道； 参数o f f s e t x 是相对于图像左上角的x 偏移量； 参数o f f s e t y 是相对于图像左上角的y 偏移量； 参数s i z e x 复制图像区域的宽度： 参数s i z e y 是复制图像区域的高度。 p u t ( u s e r a r r a ya sa r r a y ， f o r m a ta si m f o r m a t c o n s t a n t s ， b a n da si m b a n d c o n s t a n t s ， o f f s e t xa sl o n g ， o f f s e t ya sl o n g j ， s i z e xa sl o n g j ， s i z e ya sl o n g ) 功能：将处理后的图像数据放回图像中。 各参数的含义和g e t ( ) 中相同。 2 2 成像的基本知识 视觉应用中往往会涉及一些相关的专业术语，比如视场，景深，工作距离等，在此 我们给出对于它们的定义以及相互之间的关系。 术语 i ) 视场( f i e l do fv i e w ) ：c c d n 察区域的大小； 2 ) 工作距离( w o r k i n gd i s t a n c e ) ：从镜头到物体的距离( 在焦距范围和视场范围 3 ) 景深( d e p t ho ff i e l d ) ：当保持焦距对，允许物体治z 轴运动静数量。 光学关联 1 ) 一般的，在不变的焦距下，视场越大镜头的焦距必须越小 2 ) 扩大光圈会降低视场的景深； 3 ) 具有专门的最大期最小焦距的镜头可以准确调焦。 相互关系 c c d 尺寸、焦距、视场以及工作距离有以下的关系： 堕：堕 f w d 非接触式双c c d 浮体六自由度测试仪的图像研究 其关系如图2 6 m 柚船 图2 5c c d 尺寸、f o v ( 视场) 、叨( 工作距离) 、f o c a l l e n g t h ( 焦距) 的相互关系 f i 9 2 6t h er e l a t i o n s h i pa m o n gc c ds i z e 、f o v 、仰a n df o c a ll e n g t h 2 3 系统工作原理 将定做的标定块固定在六自由度平台上，选取标定块上成等腰三角形的不共线的3 个孔，在孔内放置发光二极管，作为三个特征点，其示意图如2 。7 所示： 图2 7 特征点示意图 f i 9 2 7t h es k e t c ho ft h ef e a t u r ep o i n t s 不断改变平台的位姿，利用标定好的两个c c d 摄像机对平台同时取像，利用图像处 理的方法将平台上的3 个特征点的象素坐标求取出来，并利用立体视觉的方法，由两幅 图像中的匹配点重构出3 个特征点的世界坐标，再经过六自由度分解求出各个自由度分 量。 由工作原理可以看出，最为核心的部分就是由图像点恢复世界点，要完成此功能， 就要进行摄像机的标定，摄像机标定反映了图像坐标到世界坐标的映射关系，通过求解 摄像机的内外参数，将图像坐标与世界坐标联系起来，如果已知图像点坐标并已知标定 参数，便可以恢复出图像点所对应的世界点坐标。为实现摄像机的标定，需要一定数量 的标定数据，可以利用图像处理的方法获取标定块上特征点的图像坐标信息，在标定完 成之后，利用标定的结果变可以实现点的匹配与重构，以及六自由度的计算，以后各章 节将详细介绍相关的内容。 非接触式双c 印浮体六自由度浸i 试仪的冒像研究 3 特征点提取 机器视觉系统中，作为输入装置的c c d 摄像机必须先进行标定才能进行后续操作， 这是非常关键的一步，详细内容将在下一章介绍。为了实施标定，需要获得相关的标定 实验数据，这些数据分为两类，一类是在世界坐标系下的世界坐标值( x 。，y w ，z 。) ， 另一类是在计算机图像坐标系下的象素坐标值( j ，一) 。象素坐标是从c c d 拍到的标定 块图像中获得的，标定块上有一些特征明显的图形，如圆、矩形等，对应于圆形，特征 点是其质心，对应矩形，可以将角点作为其特征点。耐用图像处理的手段，就能提取出 这些特征点的象素坐标。 针对不同的特征点，我们有不同的提取方法。对于质心，一般用矩来求取其坐标， 方法较为单一；实际中，更多的特征提取是基于角点的，因为它是离散的，且对于尺度、 旋转以及视角，它又具有不变性。 关于角点并没有一个统一的定义，根据不同的角点定义，人们用不因的数学方法 对其进行检测。一个很简单的定义就是将两块不同灰度区域连接处的高曲率边界作为角 点，对于该定义，提出了很多基于边缘盏率的检测方法，如k 7 t h e n a n dr o s e n f e l 4 寻找图像中梯度幅值和边缘等高线曲率最大的点作为角点：w a n ga n db r a 咖将芷交 于边界等高线且具有最大梯度的点作为角点；还有的将所有方向都存在较大亮度变化的 点作为角点，h o r a v e c 提出了种新的方法，他在一个小窗口内的四个方向上计算 亮度的自相关，具有局部最小自相关的点就是角点。h a r r i sa n d s t e p h e n s 9 1 对m o r a v e c 的方法作了改进，他们用一个变换矩阵在所有可能的方向上就算图像一阶偏差的自相关 值，该矩阵的特征值与自相关的曲率成比例，那些具有高曲率值的点就是角点。 下面就实验中用到的些方法进行介绍， 3 1质心求取的矩方法 质心求取就是获得图像中莱一目标的质心坐标( z ，) 。图3 1 是一幅用c c d 拍得的 标定块图像， 图3 1 标定块图像 f i 9 3 ，1t h ei m a g eo ft h et a r g e tt a k e nb yc c d 非接触式双c c d 浮体六自由度测试仪的图像研究 物体的质心定义如下： 工。= m ( 1 ，0 ) m ( o ，0 ) 儿= m ( o ，1 ) m ( o ，o ) nn 其中研o ，v ) = ，( i ，歹) f 。歹”为图像的钟阶矩阵 i - i i - 1 f ，- ，为目标象素点的象素坐标 m ( o ，o ) 为目标点所含象素点的个数； m ( 1 ，o ) 为目标点所含象素点横坐标累加值； m ( o ，1 ) 为日标点所含象素点纵坐标累加值 f ( i ，) = 1 ( f ，_ ，) 为目标： f ( i ，- ，) = o ( f ) 不为目标； 先将图像进行二值化处理，由于图中目标与背景分明，由其直方图可以很方便的定 出二值化阈值t h r e s ，假设目标灰度值为l ，背景灰度值为0 。二值化的结果如图3 2 所示： 图3 2 二值化后的图像 f i 9 3 2t h eb i n a r i z e di m a g ea f t e rt h r e s h o l d i n g 接下来是对每一个目标点求其质心，我们必须将目标分离出来，使得每一目标点的 质心求取过程是独立的，而不受其他目标点的干扰为此，我们可以通过加窗方法或对 目标点做标记的方法来实现。 加窗方法就是对图像进行从上到下，从左到右的扫描，每扫描到一个值为1 的象素 时，就相当于扫描到一个目标点，然后用一个n m 的窗口来框住该目标点( 注意，该窗 口的面积必须大于目标点的面积，否则会产生新的虚伪目标点) ，在此窗口内，应用质心 公式求出该窗口内目标点的质心。当求解完窗口内国标点的质，b 之后将此窗口内所有点 的灰度值为0 ，继续求解其他目标点的质心； 1 0 非接触式双c c d 浮体六自由度铡试仪的图像研究 该方法的结果如图3 3 所示： 图3 3加窗后的结果图 f i 9 3 3r e s u l to ft h em e t h o db ya d d i n gw i n d o w 标记法是将图像中的目标点用不同的灰度值来傲标记。因为目标点是致密的，目标 点中的象素都是连通的，所以一个目标点中的所有象素都可以用相同的灰度值来标识， 当标识完一个目标点后，再用另一个不同的灰度值来标识下一个目标点，直到标记完所 有的目标点为之。标记法不必象加窗方法那样需要入为估计窗口的大小，如果估计不当， 则会产生新的目标点。 图3 。4 是提取质心前后的图像： 图3 4 左边为原图，右边为处理后的图 f i 9 34l e f ti so r i g i n a li m a g e r i g h ti sd r o c e s s e di m a g e 3 2 角点检测 角点检测的方法很多，我们给出h a r t i s 观角点检测方法的原理和实现。胁谢坊法 是对m o t 8 w e c 方法的改进，在m o r a v e c 的方法中，用一个小的正方形窗在图像中沿不同的 方向移动很小的距离，考虑亮度的平均变化，考虑三种情况： 1 ) 如果窗内的图像块是平滑( 灰度均衡) 的，砸所有方向上的移动只会弓f 起很小酌 变换： 2 ) 如果窗口跨过边缘，那么沿边缘方向的移动引起的变换很小，垂直于边缘方向 的移动引起的变化则很大： 非接触式双c c d 浮体六自由度测试仪旮匀图像研究 3 ) 如果窗内图像块是角点或独立点，那么沿所有方向都会引起很大变化，当所有 方向产生的变换的最小值都很大时，就将该点看作角点。 其数学表达式如下： e ( ”) = w 。泖【。+ ，n 一。川】2 其中，代表亮度，e 表示变化量，w 是矩形窗，( x ，y ) 取( 1 ，0 ) ，( 0 ，1 ) ，( 一l ，1 ) ( 1 ，1 ) 各值，寻找e 的最小值局部极大值即为角点。 肋旭阳确点检测算子在应用中会遇到一些问题，h a r r i s e 他的基础上作了改进 1 ) 算子e 是各向异性的，因为它仅仅以4 5 度角的方向进行移动，为此对算予e 作 调整使得它能覆盖所有可能的微小移动，则占变为 ，) = h 瓯。州一0 一】2 其中x ，y 是一阶梯度 因此，e 可以重写为 其中 = w ( 。“ x x + y y + o ( x 2 ，y 2 ) 】2 工= 1 0 ( 一1 , 0 ，1 ) = a i 缸； y = ，0 ( 一1 ，0 ，1 ) 7 = 甜，a y 臣圳= a x 2 + 2 c x y + b y 2 彳：x 2 固w b = y 2 固w ： c = ( 船) o w ： 2 ) 算子e 对噪声敏感，将矩形窗w 用一个具有滤波作用的高斯窗代替 ) = e x p 一 2 + v 2 ) 2 0 2 用一个更简洁的式子表示e 其中肘是一个2 2 的矩阵 e ( m ) = ( z ，y ) m ( x ，y ) 1 m = 睇 非接触式双c c d 浮体六自由度测试仪的凰像研究 可以看出e 近似于一个自相关函数，m 描述了起始点的形状；假设a ，卢是矩阵m 的特征值，则口，夕可以看作是该自相关的始率，因此有三种情况需要考虑： 1 ) 如果两个曲率都很小，则局部自相关平坦，窗口内的图像可以认为其亮度是均 衡的。 2 ) 如果一个曲率大，另一个曲率大，则局部自相关呈屋脊状，表示该处是边缘。 3 ) 如果两煦率都大，则此处即为角点。 综合以上三者的考虑，可以总结出，在( a ，) 牢- f s 3 中，对于一个理想边缘，口很大， 为0 ，而实际上，由于噪声、量化等的影响，不为0 ，但它相对口而言呈现一个很小 的值；在角点处，口，都很大；而在平坦区，口，卢都呈现很小的数值。 以上是基于胁 j 萌j 点检测的原理性分析，在实际实现中，采取以下步骤： 1 ) 先对原图像在五y 方向上求一阶差分得见d y ： 2 ) 用一个高斯窗与两个差分做卷积，令p = w q d ；，o = w d ：，s = w o ( 皿d y ) 3 ) 令u = t 0 一s 2 ，y = p + q ，c = v u ； 4 ) 以某点为中心，在，2x 厅的图像范围内比较该点的c 与其他点的c 的大小，最小 即为角点。 图3 5 是h a r r i s 角点检测的结果图： 图3 。5h a r r i s 角点检测 f i 9 3 5 f a r r i sc o r n e rd e t e c t o r 非接触式双c c d 浮体六自由度测试仪的图像研究 4 摄像机标定 摄像机标定是机器视觉中的一个关键问题，也是本项目中的难点所在。它依据某种 成像模型来求取摄像机的内外参数，利用这些内外参数，结合提取出的计算机图像坐标 下的象素坐标来求解世界坐标。目前的各种摄像机标定方法中，摄像机模型大同小异， 除了少数有特殊应用背景的方法外，主要都是投影透视和刚性变换的方法。对相机成像 模型的不同考量，如畸变和非线性因素等，会使内外参数的引入个数不同，如在理想模 型下的参数个数少于考虑镜头畸变所引入的参数个数。围绕摄像机标定，人们展开了细 致而深入的研究。 4 1 摄像机标定的种类 现有的标定技术，大致可以分为以下几类： 1 直接非线性求解 在这类方法中，建立标定点的空间三维坐标和图像坐标的对应关系，用迭代算法对 非线性方程求解 2 h 。 该方法的优点是可以覆盖所有的相差变形即可选定任意的系统误差模型，因此若 提出的估计模型比较好，且能较好的收敛，其精度是很高的但是因为应用迭代算法， 其稳定性差。相机的内外参数共u 个，若再引入像差修正参数作为迭代变量，迭代的步 骤设计不当，像差参数与相机位置参数相互干扰，可能导致无意义的解。 2 将非线性方程转化为线性方程求解 这类方法不需要迭代，它将非线性方程的变量组合成一组新的变量，称之为中间参 数，原非线性方程也就转化为中间参数的线性方程，利用线性最小二乘法求得中间参数 后，由某些约束条件可以分解出原来的内外参数值。 该方法的优点是不需要迭代，只需求解线性方程，速度较快，缺点是相机的系统误 差不能加进去，因而不能进行系统误差的修正，另外由于中间参数间存在相互制约，它 的维数大于原参数的维数，加上存在噪声及镜头畸变的影响，标定精度不高。 3 双平面法 双平面法的优点是也只需要求解线性线性方程组。但是它包含至少2 4 个未知量，并 且图像和世界坐标之间的转化是在经验的基础上得出的。 此方法是e 扫m a r t i ne ta 1 1 5 1 提出的。理论上，在一般应用时对摄像机的外参数没 有限制，但是由实验结果得出，摄像机坐标系和世界坐标系的相对位置假设为已知。 4 两步法 1 4 非接触式双c c d 浮体六自由度测试仪的图像研究 这一方法是目前最为普遍采用的方法，是t s a i 川首先提出的。该方法的第一步是求 解线性方程，得到部分外参数的精确解，第二步将其余外部参数与畸变修正系数进行迭 代求解。 该方法迭代参数较少，且能自动提供较好的初始值，求解速度快，主要考虑了镜头 的径向畸变，稽度比较高，缺点是畸变修正只髓是轴对称的，且对图像原点没有修正。 在我们的工程中，主要使用两步法对摄像机进行标定，因为它考虑了镜头畸变，精 度较高，且求解不是过分复杂，同时还会介绍直接线性法，以便同两步法做一比较。 4 2 摄像机内外参数 前面已经提及，根据对成像模型的不同考量内外参数的个数会有所不同，结合本 文提出的标定方法，将内外参数列举如下： ( a ) d l t 法： 内参数： d f 一有效焦距 m m ； 视频扫描工方向上相邻两象素间庳勺距离 m m p i x e l ： 视频扫描y 方向上相邻两象素间的距离 m m p i x e l ： ( c ：，c ，) 成像平面中心的坐标 p i x e l ； 外参数： 偏转角( 们，倾斜角( 庐) 俯仰角( 妒) 一一从世界坐标系到摄像机坐标系变 换的旋转角 d e g ； ，l ，t 一从世界坐标系到摄像机坐标系变换的平移量 胁 ； d l t 法的实质是求解投影变换矩阵，该矩阵的各个元素是内外参数的非线性组合， 它们是没有具体物理含义的，在不同的应用中，可以根据情况从这些元素中分解出内外 参数。 ( b ) 两步法： 内参数： 厂有效焦距 咖 ( e ，c ，) 一成像平面中心的坐标 p i x 一一为反映摄像机视频产生电路及数字图像采集卡中 d a ，a d 抽样时间间隔变换的参数： 非接触式双c c d 浮体六自由度测试仪的图像研究 七 一一镜头径向畸变的阶系数 外参数： 偏转角( 们，倾斜角( 声) ，俯仰角( p ) 从世界坐标系到摄像机坐标系 变换的旋转角 d e g ； t ，l ，t 一一从世界坐标系到摄像机坐标系变换的平移量 m m ； 在两步法中引入了畸变参数，更好的反映了光学成像的实际情况，也能提高 测量精度。 4 3d l t 法 这里所讲的d l t 是属于第二类标定技术，即先求解投影变换矩阵，不考虑镜头的畸 变。在摄像机的标定中，最常用的成像模型是p i n - h o l e ( ，j 、孑l ) 成像模型。根据光学几何 法，在理想情况，物体成像点应该与光心、空间点共线。成像模型见图4 1 ： ，y ，z ) p ( x w ，y w , z w ) 图4 1 理想小孔成像模型 f i 9 4 1 t h ei d e a lp i n h o l em o d e l 在小孔成像模型的标定技术中，需要用到四个坐标系，列举如下： 1 ) 世界坐标系：该坐标系中任意点p 的坐标为( z 。，l ，z 。) 。 2 ) 摄像机坐标系：该坐标系以光心0 为坐标系原点，z 轴与光轴重合。坐标 系中任意点p 的坐标为( 工，y ，z ) 。 3 ) 成像平面坐标系：其中心d j 为光轴与该平面的交点。在不考虑畸变时，任意点p 在此坐标系中的坐标为( x 。，e ) ，如果考虑镜头畸变时，p 点坐标为( k ，虼) 。 4 ) 计算机图像坐标系：该坐标系以图像左上角为原点，向右为x 轴，向下为y 轴。 p 点坐标为( z ，) a 菲接触式双c c d 浮体六自由度铡试仪的雹像研究 他们的相互关系如下： 1 ) ( j ，l ，z ，) 与( | j ，y ，z ) 其中，矗为3 3 的旋转矩阵，r 为3 1 的平移向量。 2 ) ( x 。，e ) 与( x ，y ，z ) ： x 。= f ； 二 ( 4 1 ) “2 ) 3 ) ( 戈，弓) 与( 五，e ) ： x ，2 c ；+ d ：x 。，y ，2 c y + d ，e ( 4 3 ) 综合以上三式可得 其中 m ，= r s x o ：+ 一k z r 2 ，m 3 = m 郅 割 ；1； n ， r 9 x i4 - k i r 3 r t y o 十七，r 4，b 儿+ 七p 吩 鸭2 互一棚6 2 i 一一7 2 r y q + r y k 一+ 等 m s = y o + 等 m ，2 乏，。乏，。i r 9 ，k x = ，以，q 5 ，d ， ( 4 5 ) 将( 4 4 ) 式展开，得到两个线性方程： z ，m l + l m 2 + z 。埘3 + m 4 一z ，x 。m 9 一x ，l m i o x ，z 。肌l l = 巧 x 。m 5 + l 啪6 + z 。舰7 + m 8 - - x 。m 9 k m l o 一巧2 。r o l l = y ，； 如果己知n 点的世界坐标( x w ，毛，z 。) 和计算机图像坐标( 五，弓) ，便 1 7 丁 + 1，j巨 足 、l卜i 一憎旧旧一 y z 厂 = k 墨 们j副 o o l0 ，o r ，o d r。l 1t，0j e q ，u上“u 上0 o ，l f i 1；lll0，j 乃。 ，。l 乙 m = 1l，0j k 巧乙 1，；j 傀 鸭膨批椰 一m 学 = 聊 非接触式双c c d 浮体六自由度测试仪的图像研究 可以得到2 n 个关于m 矩阵的线性方程组，用矩阵形式表示如下： x ，l 匕1z w l 1000 0 一乃1 x ，l z ，l 一z ，1 z ，1 0o00 l l 瓦1z 。- 1 一巧- z 一y ，匕。一巧，z 。 x 。kz 。1 00 0 0 一x m x 。一x j 。一x * z 。n 0000 k 匕z 。l 一珞x 。一k一z 。 x f l 。 - x m ( 4 6 ) 利用线性最小二乘法即可求出向量m 。 当求出向量m 后，可以利用一些约束条件( 如r 的单位正交性) 来分解出一些内外参 数，如： 巧= 1 ( m 9 2 t m l 2 0 t m l 2 j ) 。 肌1 川9 + 肌2 埘1 0 + 优3 聊1 1 = c z 巧 m 5 加9 + 聊6m l o + m 7m 1 1 = c 巧等等a 4 4 两步法 两步法( t w o - s t a g et e c h n i q u e ) 是显ft s a i 予1 9 8 7 年提出的，他在小孔成像模型中 引入镜头的一阶径向畸变，利用径向排列约束( r a d i a la l i g n m e n tc o n s t r a i n 来求解 摄像机的内外参数。该方法将标定参数分为两组，求解标定参数的过程也分为两步。第 一步是根据径向约束得出第一组参数，尽管径向排列约束是非线性的，但是使用非常简 单的方法就可以求出第一组参数，第二步是用非线性二乘法来迭代求解第二组参数，使 投影方程的误差最小，迭代的初始值是通过忽略镜头畸变和求解两个未知量的方程得到 的，过程非常简单。下面将对两步法进行详细介绍。 在4 2 节中，我们列出了两步法的内外参数，除了这1 1 个摄像机参数外，还有6 个固 定的内部摄像机常量，他们是： 一摄像机x 方向的传感单元数目 s e l ： 非接触式双c c d 浮体六自由度罚i 试仪的圈像研究 n 止一一图像采集卡x 方向的象素数目 p i x e l ； d ， 一摄像机传感单元工方向的尺寸 m m s e ； d 。 一摄像机传感单元y 方向的尺寸 i i l s e l d 。一图像采集卡中x 方向的有效尺寸 m m p i x e l d ，一一 图像采集卡中y 方向的有效尺寸 m m p i x e l ； 通过查阅摄像机用户手册，我们可以得到以上各参数的数据，其中： d 。d ，xn 。n # ， d p y = d y ； 实际的视觉系统中是要考虑镜头畸交的，镜头畸变包括径向踌变和切内畸变t 舰 指出在成像模型中过多的引入畸变因子，不仅不能提高精度，反而会出现解的不稳定a 在两步法中，我们引入一阶径向畸变因子，即前面的内参数t 。另外，诸多因素的变换 需要引入一个不确定因素迸行补偿，比如图像获取硬件与摄像机扫描硬件的时序失匹， 以及视频扫描自身时序的不精确都会对测量造成影响，这个补偿因子就是前面的内参数 摄像机模型 两步法中依然使用小孑l 成像模型，它所涉及的坐标系和d l t 法中的一样，此 处不再列出，其成像模型如图4 2 所示： 0 z w ) 图4 2 带有一阶径向畸变的p i n h o l e 模型 f i 9 42 p i n h o l em o d e lf o rc a m e r aw i t hf i r s to r d e rd e v i a t i o n 由于畸变的引入，使得处理过程有所不同，从世界坐标系到计算机图像坐标系的转 换分为四个步骤，如图4 3 所示： 非接触式双c c d 浮体六自由度测试仪的图像研究 系 ( j ，】，z ) 摄像机坐标系 小孔成像的光学几何变换 标定参数为：， s t e p2 上 ( z 。，l ) 理想图像坐标 图4 3 从世界坐标系到计算机图像坐标系变换的四个步骤 f i 9 4 3 t h ef o u rs t e p st r a n s f o r a t i o nf r o mw o r l dc o o r d i n a t et o c o m p u t e ri m a g ec o o r d i n a t e 图4 3 是两步法的流程图，我们将依据此图用数学表达式定量的给出它们之间的关 非接触式双c c d 浮体六自由度测试投的圈像研究 其中 1 ) 世界坐标系( x 。，k ，2 。) 到摄像机坐标系( ，】，z ) 的刚体变换 闩p 。1 时引 肚慝 ( 4 7 ) r 中的9 个元素是由3 个欧拉角度构成的，它们是y 神( 分) ，p i t c h ( # ) ，t i l t ( p ) ，用 这三个角度来表示旋转矩阵r ，如下式 c o s 妒c o s 0 曩= f s i n 伊c o s + 每o s p s i n 护5 j n ls i n 妒s i i l + c o s 9s i n 8 c o s s i n 妒c 0 9 0 c o s p c 0 5 妒+ s 趣矿s 主n 8 s