（光学工程专业论文）双目ccd成像目标器识别算法研究.pdf

硕 士 论 文双目c c d成像目标器识别算法研究 ab s t r a c t thi s p 即e r i s arr ang e dunder th e即p i i c at i o no f s p ace c r a ftren d e zvo u sandd o c k i n g ( rvd ) t e c hno lo g ie s o u r p u rp o s e i s t o s o lv e th e re al 一t im e m e a s u re m e nto f re la t iv e p o s itio n and r e lative atti tud e b e t we e n o bj e c t i ve and t r a c k i n g d e v i c e s ， w h e n t h e y are n e a rby i nth e dis s e rt a t l o n ， w efi r s tl y e 1 a b o r at et h e o p t i c a l m e a s u re m e ntpri n c i p i um b a s e do n b in o c u lars te re o v is io n s y s te m ， th e n p r o v e th e fe a s ib il ity o f th is m e t h o d in th e o ry ， s e c o n d l y， th e t 比 oretic ald e ri v at io n o f re lat iv e p o s it io n and re lat iv e attitu d e w il1 b e p re s e n te d . whend i s c u s s i n gt he s o l v e o f p r oj e ct i o nm a t r i xi n p o s i t i o nandat t i t u d e m e a s u r e m e nt ， we d e fi n e fi v e c o o rdi n a t e s y s t e ma n d d e s c r i b e the i r re l at i o n s h i p ， the n o b t ai n t h e p roje c t i o n m atri xfr o mc am e ra， s i n t ern aland e x t e m a 1 p a r a 翔e t e r s . b e foreth atp r o c e d ure ， w e ana l y z e an d c o n 1 p ar e s e v e ra l c amera c a i ib ratio n te n o lo g ie s ， and c h o o s e a m o s t a p p r o p r iate o n e fo r u s e h s a l g o rlt 加 m co r e and c a lib rati0 n pr o c e dur e is p re s e nt e d a s fo l lo w in g with the h e lp o f i m age g r a b b ers d k ， w e p r o g ram m e the ut iliti e s t o c o m p le t e th e fu n c t io n o f 而age c ap t u re and i t s p re tr e a t m e nt. u s i 呢 t h e m e t h od o f c l u s t e r i n p a t t e rnr e c o g n i t i o n ， t h e feat ure ar e a o f c am e rac a l i b rati o nm o u 1 d i n gb o a rd i m a g e ando bj e c t i v ei m a g ec an b et a g g e d ， andt h e i r e ffect i v ei n format i o nc a nb e c al c u l at ed andr e c o r d e d ， wh i c hi s c r u c i a l for t h efo l l o w i n g c o m p ut at i on. a t th e e n d ， w e e m u l at e t h e a l g o r i t h mfor t h e me asu r e m e n t o f r e lat i v e p o s i t i o n and re l at i v e atti t u d e by u s i ng c / c + + 1 ang u a g e and m at l ab i n t h i s e x p e ri m e nt. f in al 1y， w e b u ild th e w h o le e xpe r im e n t s y stemo f o bj e c t iv e m e as ur e m e n t in l ab o r a t 0 ry ， 助d v e r ifyth e feas i b ilityo f th is t hou g ht . t h e r e s u lt p r o v e s th atso lu tio nis c o rr e ctand fu1 fi l 1 t h e a p p 1 i cati on o f b i noc u l ars t e r co v i s i o n me asureme n t . k e y wo rds : r e n d e zvo u s and d o c ki n g ， p o s it i o n and atti tu d e me a s ure m e nt b in o c u l ars t e re o v i s i o n， c am e r a c a li b r a ti o n ， c l u st e r ana ly z e 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知， 在本 学位论文中，除了加以 标注和致谢的部分外，不包含其他人已 经发表或 公布过的 研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已 在论文 中作了明确的说明。 研 究 生 签 “ : 支 血 一 t 耐 年 了 ” 7 日 学位论文使用授权声 明 南京理工大学有权保存本学位论文的电子和纸质文档，可以 借阅或 上网 公布本学位论文的部分或全部内 容， 可以向有关部门或机构送交并 授 权其保存、借阅或上网公布本学位论文的部分或全部内容口 对于保密 论文，按保密的有关规定和程序处理。 研 究 生 签 名 二 土迎 一 一 二 。 年 川日 硕士论文双目c c d成像目 标器识别算法研究 1绪论 1 . 1引言 我国预计在近几年之内， 航天员 将实 现太空行走。 除了 实现航天员出 舱行走以 外， 在2 0 09年至2 0 12年， 中国 还将发 射目 标飞行器， 实现飞行器空间交会对接， 为未来 建立永久太空站打下基础。 这个任务 应该具有很大的挑战性， 为了 这个任务， 以 及接 下来任务的顺利开展， 应该说航天人在对接机构的前期研制任务上做了大量的工作， 地面的实 验已 经全部开展， 为下一步的 工作开展打下了 很好的基础。 航天空间交会对 接技术是发展空间技术的关键途径， 是我国继载人航天技术之后重点发展的空间技术 之一。 它主要包含两方面的技术，即空间交会技术和空间 对接技术。所谓空间交会， 指两个和两个以 上的 航天器在轨道上按预定时间 和位置相会; 而对接则是两个航天器 相会后在结构上连成一体。 这其中无不需要对航天器之间的具体位置姿态需要精确测 量估计，因此对诸如此方面的基础性研究具有很重要的意义。 早期交会对接测量技术的 特点是采用以微波雷达为测量主体， 在逼近段配备辅助 的目 视光学设备， 在字航员的参与下， 实现手动对接。 这种测量系统由 于宇航员人工 的参与， 所以可靠性比较高， 但宇航员的负担比 较重， 而且需要人来参与使空间站综 合成本大大增加。 于是入们想出了各种新的光学测量方法来解决诸多问题实现机器自 动测量。 双目 立体视觉是计算机视觉的一 个重要分支。 即由 不同 位置的 两台或者一台 摄像 机 ( c c d ) 经过移动或旋转拍摄同 一幅场景， 通过计算空间点 在两幅图像中的视差， 获得该点的三维坐标值。 80年代美国 麻省理工学院人工智能实验室的m a r r提出了 一种视觉计算理论并应用在双眼匹配上， 使两张有视差的平面图产生有深度的立体图 形， 莫定了双目 立体视觉发展的理论基础。 相比其它类的体视方法， 如透镜板三维成 像、投影式三维显示、全息照相术等，双目 体视直接模拟人类双眼处理景物的方式， 可靠简便. 在许多领域均极具应用价值。 如微操作系统的 位姿检测与 控制、 机器人导 航与航测、三维测量学及虚拟现实等。 因此， 在空间对接近距离逼近阶段， 选用双目 立体视觉， 利用图像处理的方法实 现目 标器、 追踪 器相对位置姿 态测 量不失 为一 种好的 解决 方法(2 4 乃 气 硕 : 论文双目c c o成像目 标器识别算法研究 l z课题的研究背景 一般来说， 空间交会对接过程可以划分为地面导引、自 动寻的、最后接近、 逼近 操作和对接等几个阶段，如图1 . 1 所示 悴靠对接 接近会合 图1 . 1 空间交会对接过程示意图 下图1 . 2 是整个合作目 标自 主探测装置的总体方案图， 测设备和测量方法。 在不同阶段使用不同的探 地面初始信息 图 1 . 2 合作目 标白 土探测装置的总体方案框图 其工作过程可分成三个阶段， i km 到3 00m主要由 激光雷达与四象限 探测系统负 责目 标器实 现自 动搜捕、 跟踪和参数的测量。 3 00m到z m主要由 双目c c d测量系统 和激光雷达负责目 标器的相对位置、 相对速度和姿态参数的精确测量与控制。 最后接 近阶段结 束时， 追踪器和目 标器之间的相对距离己 减到 10 m左右， 追踪器沿对接轴 方向 平移就可达到目 标器的对接口 上。 在整个航天器交会对接技术研究中， 本课题是空间交会合作目 标自 主 探测装置研 究的 分解课题。旨 在当目 标器与追踪器相 距300m 之内， 即进入接近阶段时， 对追踪 器与目 标器的相对位置、 相对姿态等信息进行精确的测量， 来提供给导 航和动力控制 系统控制对接。 1 3论文主要研究内容 ( 1)研究了机器视觉中双目 立体成像原理，探讨了 视觉精度影响元素以 及视 觉系 2 硕士论文双目c c o成像目 标器 识别算法研究 统的结构设计. 分析对比了 各类c c d摄像机标定方法， 选择最佳适合实 验的ts ai标定方法， 深入研究算法核心并且编制了仿真程序实现了 该算法。 深入学习了数字图像处理各种算法原理， 用c 什语言程序实现了实验图像采 集和图像预处理功能。 认真领会了 模式识别分类、聚类等相关概念，用聚类分析方法实现了对图像 特征区域的分割、标识和提取，为标定模板图像和目 标器图像特征提取做了 充分准备. 建立了 整个目 标器测量实 验平台，由视觉系统、目 标器系统和摄像机标定 模 板等组成， 真正实现了空间对接中接近阶段对目 标器位置姿态探测的仿真实 验，并且给出了实验结果和误差分析. 、刃2、月 ，门j 了、了、 ( 4 ) ( 5 ) 硕士论文双目c c d成像目 标器识别 算法研究 寸及空间 物体特征点的 三维坐标。 双目 立体视觉一般由 两个摄像机或者一个运动的 摄 像 机 构 成 l， 8. 101 。 2. 2. 1平视双目立体视觉三维测量原理 双目 立体视觉三维测量是基于视差原理， 图2 . 4 所示为简单的平视双目 立体成像 原理图， 两摄像机的投影中心连线的距离，即基线距为b . 两摄像机在同一时刻观看 空间物体的同一特征点p ， 分别在“ 左眼” 和 “ 右眼” 上获取了点p 的图像， 它们的 图 像 坐 标 分 别 为 plot = ( 踢， 场) 沪 确 子 = ( 老 耐 苦 ， 猛 ) 假 定 两 摄 像 机 的 图 像 在 同 一 个 平 面 下 ， 则 特 征 点p 的 图 像 坐 标 的 y 坐 标 相 同 ， 即 场= 猛 二 y ， 则 由 三 角 几 何 关 系 得 到 xc-气 f 与 犬 石 脚 _ 工一b =j(2:21 ) 左摄像机光轴右摄像机先轴 ， 扭 yc， “ 右图像 像 图 左 x l e f t基线距b盆 r i 狱 图24双日 立体成像原理 则 视 差 为 : di 印 ar it y 二 九 一 万 月 动 口 . 由 此 可 以 算 出 特 征 点p 在 摄 像 机 坐 标 系 下 的 三 维 坐标为 凡 = b 谓咖 d 求 spa r i 印 b. y d 诬 spa r 仰 ( 2 .2 .2 ) zc = 硕士论文双目c c o成像目 标器识别算法研究 因此， 左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点 ( 二者是空间同一点在左、右摄像机像面上的点) ，就可以确定出该点的三维坐标。 这种方法是点对点的运算， 像面上所有点只要存在相应的匹配点， 就可以 参与上 述运 算，从而获取其对应的三维坐标. 2. 2. 2双目 立体视觉数学模型 在分析了最简单的平视双目 立体视觉的三维测量原理基础上，现在考虑一般情 况， 对两个摄像 机的 摆放 位置 不做 特别 要 求， 如图2 . 5 所示【氏 汽 川 : 图2 . 5 立体视觉定位原理图 对 于 空 间 任 意 一 点p ， 它 在q 摄 像 机 成 像 平 面 上 的 点 为君 ， 这时 无 法 得 知p 的 三 维 位置 。 因 为 在0. ，尸( 0. ， 为q 摄 像 机的 光 心) 连 线 上的 任 意 一点尸 的 投影 点 都 是君 。 因 此由 君 点 的 位 置 我 们只 知 道 空 间 点 位 于0.尸 连 线 上 的 某 一 位 置 而 无 法 知 道p 点 的 深度信息。 如 果 利 用c和q两 个 摄 像 机同 时 观 测 点p ， 若 点君 ， 只 分 别 是 点p 在c ， q摄 像 机 成像平面上的投影点， 那么空间点p 落在oc . p . 和飞氏 上，则点p 是oc 。 p . 和压p z 两 条直线的交点，即而确定点p 的 三维位置。 2. 3坐标系定义 本文牵涉到五个坐标系之间的转换， 对每个坐标系给出 它们的具体定义以及它们 之间的转换关系。 硕士论文双目c c o成像目 标器识别算法研究 2. 1 1参考坐标系 又称世界坐标系， 众所周知， 实验中 所有的器材、 物体都摆放在一个特定的区域， 怎么对这些实物进行一个空间定位， 就必须定义一个具体的坐标系作为参考来确定它 们相对于这个坐标系的位置。 根据论文中需要， 我们把以摄像机标定模板的原点位置 作为参考坐标系原点，2 轴垂直纸面朝外如图2. 6 : x 轴 下 面 一 万 奋 一 面 一 万 - 面 1飞 - 面 膺 点 (。 . 。 ， 。) .0. . 2轴 朝 夕 卜 .l .二 .j丫 轴 图2. 6 参考坐标系 z j .2摄像机坐标系 由 图2. 2 针孔 成 像 模型 可 知 131 ， 摄 像 机 透 视 投 影 模 型 及 针 孔成 像 模型，图 像 坐 标 系( x， y ) 和 摄像 机坐 标 系( xc， 耳 ， zc ) 对 应 关系 的 齐 次 坐 标 形 式: .1)描 2.3来 xc耳zcl 而摄像机坐标系与参考坐标系之间的关系可以 用旋转矩阵 r与平移向 量 述， 此时空间中的 某一点p 在参考坐标系与摄像机坐标系中的关系为 硕士论文 双目c c o成像日 标器识别算法研究 (2.3 ，2 ) ，.1一ij xyzi r叮welleses.es卫.t怪l 外 m - ，.片1!ljj xyzi rleseeesljl 飞1月，wej r了 卜!月l 一- ，.1.es.几 x.兀2.1 其中 ， ( xc ， yc ， 2 。 ， 1 犷 : 点p 在 摄 像 机 坐 标系 中 的 齐次 坐 标， (x ， 丫 ， 2 ， 1 )t : 点p 在 参 考坐标系中的齐次坐标，了:(0，0 ，0) 2 3 3图像坐标系 摄像机采集的图像在计算机中转化为m* n数组形式存储的数字图像，数组中的 每一 个元素称为像素. 在图 像上定义两种形式的直角坐标系， 一种是以 像素为单位的 图像坐标系ou。 ，其中每一个像素的坐标(u ， v)分别是该像素的在数组中的列数和行 数。 另 一 种是以 物理单 位( mm ) 表 示的图 像坐 标系。 ， 砂， 其中 每一 个像素的 坐标( x ，y ) 分别是该像素在图像中的物理位置。如图2. 7: 图2. 丁图像坐标系 若o 在 坐 标 系甲v 的 坐 标为( uo ， 咋 ) ， 且 每 一 个像 素 在x 轴 与y 轴 方向 上的 物 理 尺寸为dx， 勿，则在图 像中任意一个像素在两个坐标系下的 关系为 石+ uo y 二 苏 、 1-1- u护 fl! 硕士论文双目c c d成像目 标器识别算法研究 用齐次坐标和矩阵形式表示则为: ( 2 3 . 3 ) ，1.weesj xyl resee.eswe1l ，1.r.且汀es.j 1 / 去 0 u0 01 / 咖vo 001 r.十.l - ，月.rl.to，j uvi 一lljl 由 式 (2 :31) (2 .3. 2) (2 .3. 3) 可 推导 得 到， 在 参 考 坐 标 系 下的 一点p 江，y，2) 和 它 在图 像中 的 映射点试 认 v) 的 对应关系为: 1 / 公 0屿 0 1 / 办vo 001 f0 0 0 0 f 0 0 001 0 ( 2 . 3 . 4 ) .月，.，.lesee习 xyzi 尸iselselee.l ，牛1.j r夕 尸rl.esl ，1十eel.j r.werawel lwel.weesesj 尸.les卫.l 工一 ，.eel.iwej 封v，.二 r，1.esestes1l zc 式中各参量前面已加说明，或为己知或可通过摄像机标定得到其内外部参数求得。 2 3 .4追踪坐标系 空间交会对接中， 摄像机是固定在追踪坐标系上的，它们之间由一常数矩阵即可 转化得到， 其模拟空间示意图 如图2. 8 所示122 】 : z丫 图2. 8 追踪器坐标系和目 标器坐标系示意图 为了描述方便， 本文考虑的是目 标器坐标系与摄像机坐标系之间的相对位置及相 对姿态的测量，即将摄像机坐标系与追踪器坐标系之间转化的常数矩阵隐含其中. 2 3 .s 目 标器坐标系 在实验室中， 我们建起了空间对 接中 的模拟仿真过程。 用一个面包板作为载体搭 起电路， 用l e d作为特征点光源，制作成一个具有空间相对位置特征点的仿真目 标 器。如图2. 9 所示: 硕士论文双目c c o成像目 标器识别算法研究 .1 .2 . 5 图2 . 9目 标器坐标系 该仿真目 标器由5 个空间位置点组成， 设置特征点3 有深度信息， 即有2轴分量， 建立目 标器坐标系是为了刚体本身确定其特征点的空间位置信息。 2. 4参考坐标系空间点的位置求解 假定空间任意一点p 在两摄像机c . 和c z 上的成像平面的投影pi和p l 己 经从两 幅图 像中分别检测出 来，即己 知p : 和几为空间同 一点p 的映射点， p 点位置 求解原 理图如图2. 10: 图2 . 10 双日 视觉空间位置求解原理图 进一步假设摄像机已 标定且它们的 投影矩阵m l 和城 已 计算出， 投影矩阵公式如 下13 润: 硕士论文 双目c c o成像目标器识别算法研究 、，.了 自.盖 4 . ， 子 ，.，leses月理es月iij 心人t.1 个气与 爪伙气 1 / 击 0气 01 / 咖vo 001 f0 0 0 0 f0 0 001 0 1 / 改 0左 。 01 / 咖vo 001 f0 0 0 0 f 0 0 001 0 t 00 牛rzl与。 厂!1.r月.、l ，.1吸万esesesesj r胜!二1卫l 一- ，十.j r卜，. ro7 .井1月es七 ，leeleees.j res气j卫1.j 飞卫11!曰 一一 m 可由摄像机坐标系和参考坐标系关系得出如下关系: ( 2 .4 . 2 ) ，刀卫.，.j xyzi r，.月苦.!.，刃 ，月.1!j 碟崎弓 端吨毗 毗吨嗦 叫叫叫 一- ，西.，.1月十月.j xyzi rl.ee.l 斌 一一 ，.1吸，j zc. vl ，.lweweeewej xyzi reses.we.ee.舀wej ，卫十舀.卫ij 嵘心嵘 毗呢毗 嵘嵘嵘 毗毗mj. rjllweestes月l - ，.1.扭resreswej xyzi r.11!1.esl = mz(2，4 3 ) ，.lweeej 叽咋1 尸lse.1，ij z. 式中 (u . ，vl ， 1) 和 ( u : ， 性 ， 1) 分 别 为 点 ul 和u . 在 各 摄 像 机 成 像 平 面 中 的 齐次 坐 标 ， 消去乙1 ，zcz 后， 便得到关于x ， y ，2 的四个线性方程， 直线方 程化 尸: 俩叫 ， 一 叫 ， ) x + 俩叫 2 一 叫 2 )y+ 叭叫 ， 一 毗)z= 嵘一 八 弓 ( 哟 叫: 一 码. ) x 十 (v， 叫 2 一 叫 : )y+(巧 叫 ， 一 吨)z= m 么 一 vl 毗 ( 2 .4 4 ) 直线方 程q z 尸 : ( 肠 m 孑 ， 一 杯) x +( 巧 嵘一 ， 几 )y +( 热 成一 毗)z= 嵘一 热 心 (v=时 ， 一 斌 . )x+( 屹 暇一 毗)y +( 价 毗一 呢)z= 弓一 咋 弓 ( 2 4 . 5 ) 由 解析 几何可知， 两个平面方程的联立为空间 直线的方程，故空间点p 是直线ocl pi 和o cz p z 的 惟一交点。 因 此可以 将两式联立起来求出 唯一解即为点p 的坐标。 计算中 利用最小二乘法求出x，丫 2的最佳估计值。以 上方程用矩阵表示为: ax = b 其中: a= 1 肠 脚 1艾 一 m llz 从 m l3 厂m l， 匕 m 、 1 -: 一 m iz 之 哟 m i3， 毗衬 码斌耐 一 功 2 11 热 脚 2 3 t 一 m z l l 八 用 2 一 m i2 3 一 脚 气 ( 2 4 . 6 ) 咋 拼 2 3 ， 一 m 2 2 1 性 m z 艾 一 m 2 2 2 咋 m z ， 厂m l 刀 硕士论文 双目c c d成像目 标器识别算法研究 m ll; 一 肠 m im m .洲 一 匕 m 冲” m z t。 一 料 m z m m 2 2 一 吟 功 z m (2.4 . 7 ) 尸.1十.l -一 b lweeej xyz rl.ee.il 一一 x 于是点p在参考坐标系中的三维坐标的最小二乘结果为 x= ( a 7 月 ) 一 ， 注 ， 丑( 2 .4 . 8 ) 2. 5目标器距离和位置姿态求解 根据上述分析可知，在交会对接中，利用c c d光学成像敏感器测量两飞行器之 间的 运动参数必须在目 标器上安装三个以 上的 特征光点， 这样才能确定出自 身的空间 位置信息。 追踪器通过摄像机测得它们的投影位置， 确定特征点在摄像机坐标系中的 位置坐标， 进一步求得特征点在追踪器坐标系中的 位置坐标， 由 于它们在目 标器坐标 系中的位置是已知的， 通过坐标系的转换即可求得两飞行器之间的相对位置和相对姿 态 122 刀 津 6 。 由于摄像机是固定在追踪器上的， 摄像机坐标系与追踪器坐标系之间的相对位置 和 姿 态 在 运 动 过 程中 是 不 变的 ， 则 摄 像 机 坐 标 系 与 追 踪 器 坐 标 系 之 间的 转 换 矩 阵爪 是常数矩阵。 因此， 为了描述方便， 考虑的是目 标器坐标系与摄像机坐标系之间的相 对 位 置 及 相 对 姿 态 的 测 量 129 ) 。 刃 1 。 2. 5. 1相对距离测量 己 知 特 征 光 点 p tjo 司 ，2，. . 沁在 目 标 器 坐 标 系 下 的 坐 标 为p 。 = ( x tj ， y tj ， 乌 六 经 过 侧 量 后 得 到 创门 在 摄 像 机 坐 标 系 下 的 坐 标 为p 。 = 沁， y cj ， 黝 户 。 注 意 这 里 是 在 摄 像 机坐标系下的坐标， 因此还需通过摄像机外部矩阵 把求得的p 点在参考坐标系下的 齐 o ，.月一.j !r!. !二，_， . _. ，. _ . _. . . 1工 1 转化成该点在撮像机坐标系 卜 的弄次坐标1 二 令 xyzi reses.十l 标 坐 次 ( 2 . 5 . 1 ) ，.卫十 xyzi r.esesesleseseseseses.l 外 m 一- ，.1.，刀.j xyzi rto.esesj ，!一 r了 尸诊jles月l - ，.rl月.es.1 x.耳zcl 其中n为 特征 光 点 的 数目 。 利 用 式 (2. 3. 8) 可 得pcj气 xcj， yej， 勒 )t的 估 计 值 硕士论文 双目c c d成像目 标器识别算法研究 pcj 一 ( 凡， fcj ， 艺 。 ) 丁 凡= (风， 凡 ， 才 。 ) r = (a 了 a ， ) 一 ，川 凡 ( 2 . 5 2 ) 由 于 n 个 特 征 点 是 固 定 在 目 标 器 上 ， 利 用 几0 对位置可以 得到点0 : 在摄像机坐标系中的向 量0 。 =1 么 ， n ) 与目 标器原点0 : 的相 的 估 值 石 。 二 ( 戈 。 ， 元 ， 2 。 ) t 。 若 假 定 n的 特征点是对称的且点o t 在它们的中心， 可得到 +x八+yo.+zc 尸1月weeses，.l 1一n - ac = (凡 ，元 ，“ 。 )r = 斋 (具 】 + “ 2 + “ 3) x 。 。 + xcz 两飞行器的距离d cl 为 d.，= 寸 戈 ， 。 十 夕 2 。 十 玄 。 (2.5.3) ( 2 . 5 . 4 ) 2. 5 2相对姿态测量 假 设n 闷， 特征 点p 而= 1 ，2， 3 ，4， 5) 在目 标 器 坐 标 系 下 的 坐 标 向 量 是p 。 气 xtj， y lj ， ztj 户 ， 根 据 安 装 条 件 ， 点pi . ， 几， p 。 不 共 线 ， 因 此 向 量 组几 一 pt : ， p i3 一 pt . ， ( 凡 一 pt : ) x( p o . p 宜 户是线性无关的。 其中各点 在目 标器坐标系下的向 量可表示为: (25 .5 ) x，珠2， 他们的向量之间的运算为: 戈3 一 戈， x ， 一 茸 . 乙 3 一 2， : (2. 5. 6) 了产月月.rl.吸、 一 咨.刀 p1i 一 、 君 月 2 一 月 、 = 戈: 一 戈. 艺 : 一 耳 ， 2，2 一 乙 : ( 戈: 一 戈. ) x ( 戈3 一 戈. ) ( 万 : 一 茸 ， ) x ( 鱿 ， 一 茸 : ) ( 各 2 一 乙 : ) x ( 乙 3 一 乙 。 ) (2. 5 . 7 ) 了十、 - ( 君 : 一 君 . ) x ( 月 ， 一 君 : ) 我们可以 假设一个能包含三个特征点 系中的空间相对位置关系，我们设: atl刀 ， i p 。 一 pl l ，凡一 p : : ， 矩阵形式为: 的向量， 来反映三个特征点的在目 标器坐标 ( p 。 一 pl l ) x( 凡一 pt l ) 1 硕士论文 双目c c d成像目 标器识别算法研究 戈: 一 戈、戈3 一 戈，( 戈: 一 式. )x( 戈3 一 戈. ) x z 一 万 ， 鱿 3 一 万 :( 若 2 一 艺 . ) x ( 万 ， 一 不 ， ) 乙 2 一 2， : 式 3 一 乙 : ( 乙 2 一 2， : ) 、 ( 乙 3 一 2， : ) ( 2 5 8 ) r.卫月.ee菠.1.l 一一 禹 同理我们假设这三个点在摄像机坐标系下的空间位置坐标我们也己 经得到， 那么 这三个点在摄像机坐标系中的空间也有个相对位置关系。我们假设为: acl 2 3 = p 一 pc卜p 。 p c l ， ( p c z 一 pcl )x( p 。 p c ， ) 1 矩阵形式为: 戈: 一 弋，x.， 一 x.( 戈: 一 x.1 ) 、 ( xc3 一 戈1 ) 共 2 一 耳 : 毛一 耳 。( 耳 2 一 几) 、 ( 尤 3 一 yc，) zc: 一 凡、 z c 3 一 2.， ( 2 。 : 一 2. ， ) x ( 2. ， 一 2. ) (2. 5. 9 ) 尸一l - 23 凡 而ati23 和acl23实际上是相同的三个点在不同的坐标系下的对应矩阵。 两矩阵之 间有一定的转化关系， ，这就是我们需要求解的目 标器坐标系和摄像机坐标系之间的转 化矩阵. 考虑到目 标器作为一个刚体， 在旋转过程中保持空间位置点之间的相对位置， 因此我们可以得到下列矩阵关系式: 减 . 2 : = 凡， ， ， 凡 ， ，(2 .5 0 ) 其中凡123为目 标 器 坐 标系 和 摄 像 机 坐 标 系 之间 的 转 化 矩阵。由 矩 阵 运 算可 得: 凡12 ， = 氏2 ， 丙2 3一 ，(2， 5 . 1 1 ) 式中古2 ， 由 目 标 器上的 点 三 维 坐 标 可 算 得为 常 数 矩阵， 当 特征 点 确 定 后， 它 们 的 值 也 就 可 以 算 出 。 进 一 步 利 用p cjo 月 ，2， 3， 4， 5) 的 测 量 值凡 (j = 1 ， 2 ， 3 ， 4 ， 5) 就 可 确 定专 。 的 估 计 值矩阵ac iz ， : ac】 二=凡 2 一 凡 :君 3 一 凡 ，( 瓜一 只 . ) x ( 几一 汽 .( 2 . 5 . 1 2 ) 将 其 代 入 式(2 二8)， 可得 到凡12 3 的 估 计 值凡。 ， : 八 一 1 凡12 3 ， 碑 123凡123(2. 5 . 1 3 ) 这 里今 。 不 存 在 估计 值， 因 为 它 就 是 有目 标 器 特 征 点 坐 标 计 算 所 得 ， 可 直 接 参 与 运 算 。 同 理 ， n 一 5 特 征 点 p 刃 一 1 么 3， 4， 5) 取 三 个 点 组 合 可 得 到 威 、 、 瑞 、 心 、 ， 取它 们的 平均值凡作为凡的 估计 值 硕士论文 双目c c o成像目 标器识别算法研究 人 凡: 。 + 凡:2 4 + 凡2 ， + 凡: 。 ( 2 ， 5 . 1 4 ) 此时， 我们就得到了 用四 个点的 对应值来表示的目 标器坐标系和摄像机坐标系之 间的转化矩阵。以为后面姿态角的测量做出准备。 2. 5. 3姿态动力学 刚体模型通常被用来来描述航天器或航天器主要部分的运动。 刚体的运动可以分 解为 平动和转动。 平动可以用航天器上的某一点( 例如质心) 的运动来代表; 转动则 用固 联于刚体的本体坐标系( 如目 标器坐标系) 相对于某一参考坐标系 ( 如地心坐标 系) 的姿态参数来描述。 常用的姿态参数有方向 余弦阵、 欧拉四元素和姿态角。 下面 简述方向 余弦阵、 欧拉四元素表示的姿态方法， 重点阐述姿态角的推导过程。 图2 ， 11 为 摄 像 机 坐 标 系 o. xc耳 2.与目 标 器 坐 标 系 q 戈 耳 各 之 间 的 姿 态 关 系 133 粼 邓 气 图2 . 11摄像机坐标系与日 标器坐标系 ( 1) 方向 余弦阵 由 一个3 *3矩阵表示两 坐标系方向余弦阵， 矩阵元素为各个坐标轴单位矢量排列 乘积得到。9 元素中只有三个元素独立。 ( 2 ) 欧拉四 元素 欧 拉四 元 素 是4 个 可唯 一 确定 方向 余 弦阵 的 量ql ，q z ，q 3， 和q4。 它 们的 平方 和 为1 ， 因此4 个数中只有3 个是独立的。 ( 3 )姿态角 硕士论文 双目c c o成像目 标岩识别算法研究 如 上图2. 4. 3 ， 目 标器 坐 标系q一 戈万 2， 摄 像 机 坐 标系0.一 x.k z.， 它 们 之间 有 个 矩 阵 转 化 ， 先 定 义 以 39 问 : oc xc轴 不 动， oc 兀 zc平 面 绕q xc轴 旋 转 的 方 向 角 为 俯 仰 角必 : oc 耳 轴 不 动， oc xc乙平 面 绕oc 鱿 轴 旋 转 的 方 向 角 为 偏 航 角 笋 : oc zc 轴 不 动，oc xc耳 平 面 绕oc zc 轴 旋 转 的 方 向 角 为 滚 动 角 夕 : 目 标 器 坐 标 系q一 戈 万 乙 相 对 于 摄 像 机 坐 标 系oc一 戈兀 凡的 转 化 矩 阵rc，可 表 示 为 : :l5) r.，= c( p ) cy( 夕 ) c( 俨 )( 2 5 c o s 尹 一 s mp s mp u v s 价 (2. 5 n . 0 .二n一u 一1.weeses.l - 其中: 绕x轴旋转变化公式: cx( 哟 绕y轴旋转变化公式: c，伽) cos 俨 0 一 sl n 尹 0 ( 2 51 7 ) s ltl少o c o s 尹 一1卫ee.ee月l 工一 r.reses.il 一- 绕2 轴旋转变化公式:q( 0) ( 2 5 . 1 8 ) 则几可表示为: 卜 cos 尹 cos 夕 s in 必 s i n 笋 c o s 夕 一 cos 尹 s i n 夕 cos 少 s i n 俨 cos 口 + s i n 尹 si n 口 cos 俨 s i n 夕 s i n 少 s i n 少 s i n o + cos 必 cos 6 cos 必 s i n w s i n o 一 s in 少 cos 夕 一s l n少 s l n 尹c o s 俨 c o s 尹c o s 梦 r.1月es.吸l = 凡 因 此， 只要 通过 式 (2 :.51 4) 的 思 路， 用目 标 器 上 特征 点 坐标 值ntj= 入 ， y lj， ztj )t 组 合 而 成 的 矩 阵 以 及 它 们 在 摄 像 机 坐 标 系 下 对 应 的 坐 标 值vcj气 xej 合而成的 矩阵来求出目 标器坐标系和 摄 像机 坐标系 之间 的 转化矩阵凡 ycj， 勒 )t 组 就可通过式 (2 :5 19 ) 反 推 出 姿 态 角. 设凡元 素 为 戈 (i ， j = 1 ， 2 ， 3) . 则 硕士论文 双目c c d成像目 标器识别算法研究 鱼凡n(4气一叮 俯仰角尹 = 偏航角俨 = ( 25 . 2 0 ) 滚动角夕 = arcs i n( 2. 6 本章小结 本章在用图示形象地描述了 摄像机透视投影模型后， 对双目 视觉的原理进行了数 学模型的建立. 在定义了 文中五种坐标系后， 导出了 投影矩阵的 求解， 然后根据立体 视觉原理由两条直线有唯一交点的特性确定出 空间位置点的空间坐标。 最后对文章的 关键之处 目 标器的相对位置和相对姿态的测量做了详细的推导， 从数学上理清了 求解方法的整个过程。而在投影矩阵求解问题上， 对摄像机的标定则由第三章给出。 硕士论文 双目c c o成像目 标器识别算法研究 3摄像机标定技术 在立体视觉测量中， 透视投影的 模型建立是离不开投影矩阵的，由 式( 2 4 . 1 ) 投影 矩阵: !十一 心t，气1 勺与气 爪伙气 1 / 去 0气 01 / 咖vo 001 f0 0 0 0 f 0 0 001 0 1 / 击 0气 01 / 咖vo 001 f0 0 0 0 f 0 0 od1 0 00 尸.!1口esl ，!.ltoj rl.es.es叮月l 一一 竹1月.se.1 价月.1 r了 尸lesj .1.es.esj r性sewe.ij = m 得 知 : 式 中dx、 勿、uo 、 vo 为 摄 像 机内 部 参 数由 摄 像 机内 部 结 构 性 质 决 定 ， 而r ， t 则需要摄像机标定来完成， 因此本章将对摄像机标定技术先作一个概述性讨论， 然后 就当 前各种不同类型用途的摄像机标定技术做一个调查和比 较， 最后对适合实验要求 的几a i 标定方法作了 详细的数学推导，导出了 摄像机的内外部参数求解过程。 3. 1标定技术研究 3. l i标定技术概述 摄 像 机 标定 算 法 有很多， 在不同 的 视 觉 系 统中 应 用 到 不同 的 标定 方 法 ， 各 种改 进 的 方法也很多， 而且对于某些特定的实 验确实达到了 增加实验数据精度的要求。 中山大学谭晓军等提出的改进方法克服了传统的立体摄像机标定要求在摄像机 前精确地配置标定物， 过程繁复， 户外实现较困难的弱点， 提出一种改进标定方法， 通过 双目 匹 配点，线性地求解本质矩阵 ， 快速找出摄像机的相对位置关系，而且实验表明 其 精度与传统的方法相当， 且优于其它的快速标定方法， 可广泛应用于各种户外场合。 但 仅仅是相对位置还不够， 更多的内外部参数也是必须的。 哈尔滨工业大学陈刚等提出 了 一种基于立体标定模板的双目 视觉摄像机内、 外部参数现场标定方法， 该方法采用 理想小 孔模型忽略摄像机镜头的非线性畸变， 把透视变换矩阵中的元素作为未知数 ， 在 已 知一组三维空间特征点坐标及其对应的图 像点坐标时， 利用线性算法求解出 透视变 换矩阵中的各个元素， 进而得到所需的 参数， 方法简易， 但对模板制作精度要求却很 高。 还有安徽大学计算智能与 信号处理教育部重点实验室王年等提出仿射坐标系下 场 景中 平面与像平面的单应关系， 绝对二次曲 线及其图 像的 表示。 通过对场景中一个平 面 模 板获 取 3幅图 像( 该模板是由 含内 切圆 的等 边三角 形构成 )， 利用上述单 应关系 并 结合圆环点对摄像机内参数的约束， 获得一组线性方程， 进而确定摄像机的内参数 11 卿211。 也未能 获取本实 验系统的 外 部 参数。 这些标定 算法 标 定 过 程简易、 快速， 但 通常 或是只能 对内 部参数标定， 无法得到外部参数等， 通用性较差， 或是标定模板制 硕士 论文 双目c c d成像目 标器识别算法研究 作精度要求高。 国内当中 有一种基于标准长度的 双目 视觉系统标定方法川 ， 该方法在双目 视觉中 应用也较为 广泛。 而张式标定法在标定靶的制作上精密性要求较高， 需要控制的 靶点 间 距离较为精确 (2 4. o 83inm ) 。 考虑到实 验条件限 制， 本文将采用该方法的可能性不 大。 标定的 难点在于找到最合适的标定算法， 一方面需求标定简易可行， 另一方面要 求要求必需达到实验所要求的精度。 而另 一 种已 经被广泛 用于工 业视觉系 统的几 a i 摄像 机标定 算法110 14， 151 适合本实 验要求， 而且标定精确， 进行 3 d测量的精度可达 1 /4 0 00， 是个非常好的敬果。 ts ai 标定 方法标定模板设计较为简单， 模板设计通过大量的 标定点 ( 1 00个) 来达到精确 标定的 精度， 而且有标定模板标定点 共面、 非共面等多 种情况， 适应性强。 通过软件 的算法优化方法解决了对制作工艺的高要求. 3. l 2双目 视觉标定 以下将讨论怎样在一个实际系统中对双目 摄像机的标定和立体测量的结合问题， 在建 立 立体 视 觉实 用系 统中 将有以 下几 件事需要 去做 闭 : 1 . 标定每个摄像机的内部参数。 2 . 解决相对定位问题。 3重新取样图像使极线与图像行对应。 4 . 通过特征点匹配或关联计算配对的点。 5 . 对每对匹配点找出立体的对应交叉点。 6 . 决定基准线距离。 7 . 求解出视场中点在摄像机坐标系中的位置到该点在参考坐标系中的位置转化关 系。