（机械电子工程专业论文）立体视觉测量系统的研究.pdf

东北大学硕士学位论文摘要 立体视觉测量系统的研究 摘要 在现代化的大生产中，视觉检测往往是不可缺少的环节。比如，汽车零件的外 观，药品包装的正误，i c ( i n t e g m t e dc 沁血) 字符印刷的质量，电路板焊接的好坏 等等，都需要众多的检测工人通过肉眼或结合显微镜进行检验。大量的人工检测不 仅影响工作效率，而且带来不可靠的因素，直接影响产品质量与成本。另外，许多 检测的工序不仅要求外观的检测，同时需要准确获取检测数据，比如零件的高度、 圆孔的直径、基准点的坐标等等，这些工作很难靠人眼快速完成。 近年来发展迅猛的计算机视觉技术可以解决这一难题。计算机视觉系统一般采 用c c d ( c h a r g ec o u p l i n gd e v i c e 电荷耦合器件) 或c m o s ( c o m p l i m e 哪m 咖l 0 x i d es e i l l i c o n d l l c t o r 互补金属氧化物半导体) 照相机摄取被测物信息并转化为数字 信号，再采用先进的计算机硬件和软件技术对数字信号进行处理，从而得到所需要 的各种目标图像，并由此实现坐标计算、模式识别等多种功能；然后再根据结果显 示出图像，输出数据，发出指令，配合执行机构完成位置调整、好坏筛选、数据统 计等自动化流程。与人工视觉相比较，计算机视觉可以达到精确，快速，可靠，以 及数字化。 立体视觉测量是计算机视觉技术的典型应用。它是根据一个三维空间点在不同 空间位置的两个或多个摄像机拍摄的图像中的视差，以及摄像机之间的空间位置关 系来获取该点的三维坐标值，无须借助伺服机构等扫描装置。立体视觉测量面临的 最大困难是三维空间点云在多幅数字图像中提取的精度和匹配的准确性等问题。 本文针对数字图像处理中的图像阈值分割和区域中心提取问题，以及立体视觉 测量中的摄像机标定和畸变图像校正问题进行了大量细致的研究工作，并在此基础 上全面分析摄像设备、应用对象及现场环境，借鉴相关的计算机视觉技术，构造了 一种适用于廉价c m o s 数码摄像机的立体视觉测量试验系统。该系统采用数字图像 处理和立体视觉的复合检测技术，通过v i s l l a lc + + 编程，使测量范围和测量精度能 够满足实际要求。此系统采用低性能的c m 0 s 数码摄像机( 市价在一百元人民币左 右) ，具备很高的性能价格比和很好的市场应用前景。 本文通过大量的实验，分析和讨论了立体视觉测量中各种因素引起的图像几何 变形对目标测量的影响，摄像机拍摄位置、角度和间距对目标测量的影响。给出了 在摄像机内外参数未知情况下进行较高精度目标测量的实现方法。设计出了立体视 一一 东北大学硕士学位论文 a b s n 毽c t t h er e s e a r c ho nt h es t e r e ov i s i o nm e a s u r i n g s y s t e m a b s t r a c t i nt h em o d e mp r o d u c t i o n ，t 1 1 ev i s i o nd e t e c t i o ni so f t e na n 砌i s p e n s a b l el i n k ，f o r e x 锄p l e ，t h eo u t l i n eo f t l l ea u _ t o m 甜v ep a r t s ，t 1 1 ep a c k a g eo f i n e d i c i i l c s ，t h eq u a 王i 哆o f m e i cc h a r a c t e rp 血d n ga i l dt 1 1 ec i r c l l i tb o a r dw e l d i n g ，e t c nr l e e d si 岫e r o u sm e a s 嘶n g w a r k e r so b s e r v ea n de x a m i l l et h r o u g ht l l en a k e de y eo r1 1 1 i c r o s c o p e s al a 唱en u m b e ro f 枷f i c i a lm e a s u r e m e n t sn o to i l l yi n n u e c et h ew 幽ge 伍c i e n c y b ma l s ob r i n gt h e u n r e l i a b l ef h c t o r 趾d 砌u e n c et h ep r o d l l c t x 东北大学硕士学位论文 第一章绪论 第一章绪论帚一旱三百t 匕 1 1 计算机视觉及深度测量技术概述 1 1 1 计算机视觉概述 人类的感觉信息是多种多样的，包括视觉、听觉、嗅觉、味觉、接近感和临场 感以及情感等。其中，对视觉的研究最为重要，已进入实用阶段。视觉是人类最重 要的感觉能力之一。视觉数据是人类最复杂和最有用的感觉输入信息。人眼能感觉 颜色，因为它具有色彩分辨能力。人眼能感觉运动，因为视网膜能提供所出现实物 的实际响应叫。 视觉是人类观察世界认知世界的重要手段。人类从外界获得的信息约有8 0 来 自视觉系统，这既说明视觉信息量巨大，也表明人类对视觉信息有较高的利用率。 人类的视觉过程可看作是一个复杂的从感觉( 感受到的是三维世界的二维投影图像) 到知觉( 由二维图像认知三维世界的内容) 的过程。1 。让计算机或机器人具有视觉， 是人类多年以来的梦想。虽然，目前我们还不能让计算机也具有像生物那样高效、 灵活的视觉，但这种希望正在逐步实现。 人类是通过眼睛与大脑来获取、处理与理解视觉信息的。周围环境中的物体在 可见光的照射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉冲信号， 经神经纤维传入大脑皮层进行处理与理解。视觉不仅指对光信号的感受，它包括了 视觉信息的获取、传输、处理、存储与理解的全过程。信号处理理论与计算机出现 后，人们试图用摄像机获取环境图像并将其转换成数字信号，用计算机实现对视觉 信息处理的全过程，这样，就形成了一门新兴的学科计算机视觉0 1 。 计算机视觉是指用摄像机和计算机代替人眼对目标进行识别、跟踪和测量等， 是由图像数据来产生视野环境内有用符号描述的过程，它涉及对相似视觉数据的解 释。计算机视觉系统的输入装置可以是摄像机等，它们都把三维的影像作为输入源， 即输入计算机的是三维客观世界的二维投影。如果把三维客观世界到二维投影图像 看作是一种正变换的话，则计算机视觉系统所要做的是从这种二维投影图像到三维 客观世界的逆变换，也就是根据这种二维投影图像去重建三维的客观世界“1 。 计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能 力。这种能力将不仅使机器能感知三维环境中物体的几何信息，包括它的形状、位 置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。实现这种能力主 要有两类方法：一类是仿生学的方法，参照人类视觉系统的结构原理，建立相应的 处理模块完成类似的功能和工作；另一类是工程的方法，从分析人类视觉工程的功 他的倾向，因而不能被工会组织容忍。因此，在第一次全国代表会大会结束后， 自由工会便督促人民全权代表委员会颁布一个新的法令，确认劳资利益团体协议 妁有效性。这就是1 9 1 8 年1 2 月2 3 日合同法令出台的背景”6 。 这一法令有3 点特殊之处。 第一，它是由人民全权代表委员会颁布的法令，而不再是执行委员会的决 议，这表明第一次全国代表会大会之后的新权力格局已经形成，这一法令因此也 具备了司法实践的可能。在此后的历史进程中，我们也可以看到，企业代表会 条例几乎不再被劳资利益团体提及，而合同法令却成为各方主要的司法依 据，并最终成为企业代表会法起草的模板5 1 7 。也正因如此，在德国宪政历史 研究上，合同法令被视作“新劳动权的基础”8 。 第二，它确认了1 9 1 8 年1 1 月1 5 日“斯廷内斯一列金协议”的主要内容， 将“集体工资合同”与“集体劳动权”作为劳资关系的基础，并沿用了“工人与 职员委员会”的名称，将之权限规定在“工资与劳动条件的协商领域”。 第三，它加大了国家管理部门在协调劳资矛盾中的作用。“斯廷内斯一列金 孙议”构建的是劳资利益团体自行解决劳资矛盾的权力模式，亦即“中央工作组”。 照在这份条令中，劳动部获得了协调矛盾与最终裁判权。它规定“劳动部有权对 那些被证明在合同领域或劳动条件规范方面违反法规的合同进行宣判。它可以对 劳动合同的适用范围、劳动形式，或根据第1 条规定，在劳资双方没有参加谈判 的情况下，介入其中”、“它的判决是终审判决”。 毫无疑问，这一条令获得了自由工会的支持。在1 9 1 9 年2 月举行的自由工 会执委会会议上，卡尔列金特别指出，“作为工会的领袖，我们坚持的立场是， 在所有的劳动条件规范中，由工会代表全体劳动者的利益，所以我们绝不允许企 业中的工人代表会以任何独立的方式加入到工会中。它同我们至今为止已经存在 的工人委员会具有相同的意义。名字当然不是一个问题，但是它会妨碍已经存在 的工人与职员委员会的作用。它或许可以在工资问题出现的时候有所作 用但是所有的职能只能集中在工资与劳动条件协调上”。其他执委纷纷予以 附和，并督促尽快根据这一条令展开工人委员会与职员委员会的新选举，用1 2 月2 3 日条令反对“代表会体制”。5 1 9 晗，口，咖“僻如m 捃跏眦如口刨岫窖旭 4 如r 而删记m 魄口 小2 i ，2 j 9 坩“搬= 删，i n ：g c r h a r d a r m e r s u s 拍n em i l k ( h 硌g ) ，d 曲c k “捃c 妇月纠咖，f d ，9 ，吕，9 协d d h 脚脚，s 2 4 9 2 5 0 ：e m s tr u d o l f h u b e l 饥“坫曲p 昭伽f “馏档曲耙 据卵打，瑁只s 8 6 9 8 7 0 详见附录一。文件”( 3 2 ) 。 ”举例来说，自由工会执委会在1 9 1 9 年2 月会议上，就一直强调1 9 1 8 年1 2 月2 3 日法令是调整代表会运 动的主要依据。参见d d h 删研f 以尼2 ，9 殳砌，咖坩孵出r 埯r 6 硎咖d ，删础，j n ：a u ss c h o n h o v e n t 蛐、d l e g e w e r b c 确e e n t n e h h t e g u 耐r “o t u l o ni 9 4 一1 9 i 9 ，舛硪e r “r g e s c l i c h 证d e r d “t s c h e n 东北大学硕士学位论文 第一章绪论 图1 1 主动三角形成像系统 f j g1 1i n i i i a t i v e 研a i l g 】ei m a 垂n gs y s t e m 这幅图是测量的俯视图，摄像机的光轴与z 轴重合，光源与j 轴成口角其中三 为摄像机的光轴与光面的距离，即：伽= 上，摄像机的光轴与j 轴成口角， m d d = 厂，物体在摄像机底片的像坐标为一，少，根据原理图我们可以推出三维点 的坐标为： 拈磊矗巫 t a n 口一一 x = z c o t 口( 1 1 ) y ： 兰：z 厂s i n 口一x - c o s 口 它是由激光器、c c d 摄像机构成结构光测量传感器，通过图像采集卡与计算机 相联，利用计算机处理数据，得出测量结果。结构光法还分为光点式结构光法、光 条式结构光法、光面式结焉淄名；蕉基煺滢滢淆i 啊弹旗甄弱蚋醋爨辨明鹊鼢列k ! l l i 烈器翟犁髫纂啤 贰夥矫具有代表性的公司有英国的3 d s c a n i e r 公司、法国鬟妻墓孵瞄霸筹妻囊蠹辇皿 上矾。i蓥3冀i爨雾嚣氦ii=i|萎蓁融张娟蝴辨拥要利驾魏?动鞠副魏积魏嬷诣酿菲昕 臻蜷稚i毵&则薹戗。翌飘虢禚!?篓j；俘綦爱霎窭例囊冀斛亨爨簪氯趔婴剿帮甲甄晷廖整；邕鞴驰鬻鲤镰犍偻鉴皑茔茹烈契崭j 葙巨曰魅鲥蕾洋lj；蝰霉；辜日棚 委琴毛眼的涠萎g彰函爱剂鬟x 东北大学硕士学位论文第一章绪论 ( 2 ) 光条式结构光法 该方法也是基于激光三角法测量原理，与光点法不同的是采用线光源代替点光 源，和光点式结构光法相比，光条式虽然增加了产生平面狭缝光的光学装置，但只 需沿一定方向进行一维扫描即可得到景物的距离图像，两且每摄取一幅图像就可以 得到景物的一个截面的三维形状，这样大大减少了扫描和处理的时间，因此，在实 际应用中比光点式更广泛。 ( 3 ) 光面式结构光法 由于光点式结构光法和光条式结构光法都需要进行连续扫描才能完成对整个表 面的测量，所以降低了测量效率。而如果将编码结构光( 光栅式、网格式等) 投射 到被测物体表面上则无须进行连续扫描测量。根据标定出的摄像机和光投射器的内 部几何参数以及外部方向、位置参数和结构光的编码方式，利用三角法即可测量出 被测物体表面各点的三维坐标。但其缺点是计算方法复杂，所以实际应用不如光条 法广泛。 ( 4 ) 彩色结构光法“” k l b o y e r 等提出了基于彩色编码的光条结构光方法，由于采用彩色结构光编 码，简化了编码光的识别与匹配过程，提高了测量效率和精度。 3 激光自动聚焦法5 1 t 灿叫a 等研制了新的采用自动调焦控制原理的三维形状测量系统，该系统由 激光光点投射器、快速响应的z 轴伺服控制工作台以及安装在其上的高灵敏度位置 敏感器件( p o s i 怕ns e n s i t i v ed e t e c t o r ，p s d ) 聚焦探测装置所组成。测量时用p s d 聚焦探测装置拍摄光点图像并使之相对于光点始终处于聚焦位置，即保持p s d 聚焦 探测装置到光点的距离为常量，并通过z 轴伺服控制工作台的位移量反映到被测物 体表面的高度变化。 4 莫尔技术“3 莫尔技术是让光线通过一光栅投射到景物表面，其反射光回到光栅处与新的发 射光产生干涉，在接收器上出现莫尔条纹。其数学关系可表述为 x 东北大学硕士学位论文第一章绪论 的低能工业c t 每台价格高达1 l o 多万美元。美国l l n l 实验室研制的高分辨率工 业c t 系统测量精度为o 0 1 毫米“”。2 0 0 3 年由中国工程物理研究院应用电子学研究 所研制成功的我国首套高精度工业c t ，从面体上可检测最小达o 0 0 2 立方毫米的设 备内部缺陷：从线体上可检测出1 0 微米的内部裂缝；分辨能力比国外公布的同类设 备高出近1 0 倍，其价格仅相当于国外低能量密度设备的1 ，3 左右o “。 1 1 2 2 被动测距法 1 单目视觉法 单目视觉方法只采用一个摄像机，所以结构简单，相应的对摄像机的标定也较 为简单，同时避免了双目视觉中立体匹配的困难。单目视觉方法又可以分为聚焦法 和离焦法：1 ) 聚焦法：就是使摄像机相对于被测点处于聚焦位置，然后根据透镜成 像公式可求得被测点相对于摄像机的距离。摄像机偏离聚焦位置会带来测量误差， 寻求精确的聚焦位置是关键所在。2 ) 离焦法：这种方法不要求摄像机相对于被测点 处于聚焦位置，而是根据标定出的离焦模型计算被测点相对于摄像机距离。这就避 免了由于寻求精确的聚焦位置而降低测量效率的问题，但离焦模型的准确标定是该 方法的主要难点。 2 双目视觉法 双目视觉法是人类获得距离信息的主要方式，该方法是利用立体视差进行测距， 所谓立体视差就是被测点在左、右摄像机c c d 像面上成像点位置的差异。 3 三目视觉法 引入三目视觉法的目的主要是为了增加几何约束条件，减少双目视觉中立体匹 配的困难，但结构的复杂性也引入了测量误差，降低了测量效率，因此在实际应用 中很少使用。 1 1 - 3 计算机视觉检测技术现状及发展趋势 现在，机器视觉( 即计算机视觉) 的研究仍然方兴未艾。机器视觉技术作为计 算机科学的一个重要分支，其应用遍及工业、农业、军事等领域，对这些领域的自 动化水平的提高发挥了熏要作用。可以预见这种势头还将保持一段相当长的时期。 所谓“百闻不如一见”，视觉信息在人类活动所涉及的各种信息中所占比重很大， 其独特的空间特性和结构特性不是其它任何信息所能代替的。 以国外为例，据“视觉系统国际”公司的市场调研报告，1 9 9 9 2 0 0 0 年北美的 机器视觉市场规模从1 6 8 亿美元增长到1 9 亿美元( 年增长率1 2 4 ) 。1 9 9 9 年，北 美商业机器视觉市场( 包括由系统集成商和原始设备制造商提供的附加值) 规模估 计为1 2 5 亿美元( 其中用于半导体工业的机器视觉系统为4 8 8 亿美元) ，2 0 0 0 年达 到1 4 亿美元( 年增长率1 2 4 ) 。生产机器视觉产品的厂家，成立于1 9 8 1 年的英国 c o n 鼬e x 公司是机器视觉领域的领先者。该公司在机器视觉领域拥有6 0 多项专利， 东北大学硕士学位论文 第二章立体视觉测量系统结构 第二章立体视觉测量系统结构 2 1 系统组成 整个测量系统硬件部分由工作台、计算机、摄像头( 包括支架) 组成( 见图2 1 ) 。 工作台包括底座、导轨、可移动平台三部分；计算机为日常使用的p c 计算机；摄像 头采用分辨率为3 5 万象素的低性能c m o s 摄像头，支持u s b l 1 和u s b 2 0 接口a 整个系统的核心为立体视觉测量软件。 被测物摄像头 图2 1 立体视觉测量系统结构 f i g 2 1s t r u c t u r eo f s t c r e o v i s i o n m e a s u r i n g s y s t c m 系统接线：两个摄像头的u s b 信号输出口分别与计算机的两个u s b 信号输入 口相连，如果计算机没有多个u s b 接口，可用u s b 集线器( u s bh u b ) 连接摄像 头和计算机。 2 2 系统工作原理 本系统主要基于计算机视觉原理。首先进行摄像头的参数标定，摄像头标定是 指建立图像像素位置和场景位置之间的关系。因为每个像素都是通过透射投影得到 东北大学硕士学位论文第二章立体视觉测量系统结构 的，它对应于摄像头透镜的光学中心与场景点形成的一条射线。摄像头标定问题就 是确定这条射线在场景绝对坐标系中的方程。具体操作步骤如下：在测量深度范围 内，每隔5 毫米，移动一次标定靶，标定靶如图2 2 中所示。手动测量标定靶上各 个特征点的三维空间坐标，并用左右摄像头各拍摄一幅标定靶图像，图像拍摄完成 后，启动测量软件，对摄取的标定靶图像进行预处理，得到标定靶上各个特征点在 图像坐标系下的坐标，取首末深度位置上正中部分的十五个点作为标定点，将标定 点的三维空间坐标和对应的图像坐标输入测量软件中，经软件运算得到两个摄像头 的标定矩阵。然后，将标定靶上各特征点的图像坐标和对应的三维空间坐标读入测 量软件，通过软件运算能够得到整个测量范围内各个特征点的平均测量误差和各个 深度位置上的图像校正系数，试验证明，校正系数在深度为5 毫米的范围内校正效 果都比较理想，获得平均测量误差和深度位置校正系数后就完成了标定工作；此时， 拍摄被测物的图像，经过同样的图像处理，获得被测物上采样点的图像坐标，将图 像坐标代入由左右摄像头的标定矩阵确定的投影方程组中，即可利用测量软件运算 得到采样点的空间坐标。 图2 。2 摄像头拍摄的标定靶图像 f i g2 2c a l i b m d n gt a 唱e ti m a g ec 印t i i r e db yc 锄e r 鼬 2 3 软件界面结构及使用方法 基于以上分析，设计了标定操作界面，结构如图2 3 所示。 2 3 1 界面结构 标定操作的软件界面共由两大部分组成，如图2 3 。界面下部区域是图像显示区， 用来显示图像经过各种算法处理后的效果，指导操作者进行参数修改，以达到最好 的效果。界面上部是控制菜单栏。当进行图像处理操作时，可点击图像处理下拉菜 一1 2 东北大学硕士学位论文第二章立体视觉测量系统结构 的，它对应于摄像头透镜的光学中心与场景点形成的一条射线。摄像头标定问题就 是确定这条射线在场景绝对坐标系中的方程。具体操作步骤如下：在测量深度范围 内，每隔5 毫米，移动一次标定靶，标定靶如图2 2 中所示。手动测量标定靶上各 个特征点的三维空间坐标，并用左右摄像头各拍摄一幅标定靶图像，图像拍摄完成 后，启动测量软件，对摄取的标定靶图像进行预处理，得到标定靶上各个特征点在 图像坐标系下的坐标，取首末深度位置上正中部分的十五个点作为标定点，将标定 点的三维空间坐标和对应的图像坐标输入测量软件中，经软件运算得到两个摄像头 的标定矩阵。然后，将标定靶上各特征点的图像坐标和对应的三维空间坐标读入测 量软件，通过软件运算能够得到整个测量范围内各个特征点的平均测量误差和各个 深度位置上的图像校正系数，试验证明，校正系数在深度为5 毫米的范围内校正效 果都比较理想，获得平均测量误差和深度位置校正系数后就完成了标定工作；此时， 拍摄被测物的图像，经过同样的图像处理，获得被测物上采样点的图像坐标，将图 像坐标代入由左右摄像头的标定矩阵确定的投影方程组中，即可利用测量软件运算 得到采样点的空间坐标。 图2 。2 摄像头拍摄的标定靶图像 f i g2 2c a l i b m d n gt a 唱e ti m a g ec 印t i i r e db yc 锄e r 鼬 2 3 软件界面结构及使用方法 基于以上分析，设计了标定操作界面，结构如图2 3 所示。 2 3 1 界面结构 标定操作的软件界面共由两大部分组成，如图2 3 。界面下部区域是图像显示区， 用来显示图像经过各种算法处理后的效果，指导操作者进行参数修改，以达到最好 的效果。界面上部是控制菜单栏。当进行图像处理操作时，可点击图像处理下拉菜 一1 2 东北大学硕士学位论文 第二章立体视觉测量系统结构 单，操作者可选择各种图像处理方式；当进行摄像头参数标定时，可点击“标定计 算”下拉菜单，下拉菜单中包含“标定”和“读入数据两个子菜单，当点击“标 定”子菜单时，会弹出一个标定对话框，对话框中有空间坐标输入区和左右图像坐 标输入区，操作者需要在指定的区域输入相应的坐标，然后点击“确定”键。“读 入数据”子菜单用来读取标定靶上特征点的坐标数据和被测物的图像坐标数据。 图2 3 软件界面 f i g2 3t h ei m e 晌c eo f t h es o 脚眦 2 3 2 控制软件使用方法 1 启动控制软件。 2 点击“文件”下拉菜单中的“打开”子菜单，选择需要处理的图片文件的 路径打开图片文件。然后点击“图像处理”下拉菜单中的“中心提取”子 菜单，提取图片中特征点的区域中心坐标，中心坐标数据将会自动存放在 与图片文件同一路径的“d o t d a t t x t ”文本文件中。将需要处理的图片文 件按照相同的步骤操作，提取出特征点的区域中心坐标。 3 “标定计算”下拉菜单中的“标定”子菜单，在弹出的对话框中输入标定 点的空间坐标和在左右两个摄像头中的图像坐标，点击“确定”键。 4 点击“标定计算”下拉菜单中的“读入数据”子菜单，选择标定靶上特征 点坐标和被测物图像坐标所在的文件路径，软件将根据这些数据计算出被 测物的空间坐标并自动存放在指定的文件中。只改变被测物的图像坐标数 据，按照以上的方法将得到另一组被测物的空间坐标数据。 需要说明的是，此方法只需第一次使用时进行标定，以后只有在摄像机位置变 动时才需要重新标定。 一1 3 东北大学硕士学位论文第三章图像阈值分割与区域中心提取 第三章图像阈值分割与区域中心提取 3 1 图像阈值分割技术 若图像中目标和背景具有不同的灰度集合：目标灰度集合与背景灰度集合，且 两个灰度集合可用一个灰度级闽值进行分割，比如，高灰度集合是目标灰度集合。 这样，就可以用闽值分割灰度级的方法在图像中分割出目标区域与背景区域。这种 方法称为灰度阈值分割法。 此种方法在物体与背景有较强对比的景物图像中分割物体与景物是特别有用 的，尤其是物体内部灰度分布均匀一致，背景也均匀一致的时候。如果物体与背景 的差别不是灰度特征而是其他特征时，那么先用这些其他特征差别识别物体与背景， 并且将其转化为灰度的差别，在符合前述的闽值分割条件下再进行阈值分割。在这 种变换之下，使用阈值分割技术也可能是十分有效的”1 。 设图像f ( f ，) ，其阈值分割输出 或 蜘，= 器：裂皿r n ， 即棚= o ? 裂玲丁 n 2 ， ； 正f ( f ，_ ，) 疋 ( 3 3 ) ；其它 式中丁和z 为阈值8 1 ，o 和l 均为逻辑值，而非图像实际的颜色值。 图像闽值分割的方法分为统一闽值法和区域阈值法。统一阐值法是指整个区域 采用一个阈值，大于或等于该阈值的像素颜色值置为2 5 5 ，小于该闽值的置为0 ；此 阈值根据具体情况设定，以能够突出物体为标准，一般为1 2 8 ( 0 2 5 5 ) ；区域阈 值化是指一幅图像分区域确定阈值，不同的区域取不同的阈值，大于或等于该闽值 的像素颜色值置为2 5 5 ，小于该闽值的置为0 ；各个闽值根据3 ：7 原则来确定，也 可以根据具体情况来确定。 一1 4 一 l 0 ，fl = 、，o 8 或 东北大学硕士学位论文第三章图像阈值分割与区域中心提取 一1j ”一ln l 一i 歹b 【f ，j 】_ 一沿d ，】 ( 3 6 ) = 0 = 0 f - 0j = 0 其中i 和歹是区域相对于左上角图像的中心坐标，物体的图像位置为 月一l 一1 归p ，刀 i ：生! ：! 一 4 曼芝培m培【f ，】 歹= 一型= 0 _ 一 ( 3 7 ) ( 3 8 ) 这些是一阶矩。由于约定y 轴正方向向上，因此式( 3 6 ) 和( 3 8 ) 的等号右边 加了负号，若设定y 轴正方向向下，等式右边则为正号。 与剥皮法确定区域相比，质心法算法简单，对区域有无空洞没有严格要求，因 此，应用范围更广。本课题即采用质心法获取区域中心，精度满足测量要求。但值 得注意的是，当区域轮廓成凹形时，用质心法求得的区域中心有可能位于区域外。 3 3 光条和网格图像的处理 鉴于实际测量中快速高效的原则，对于表面积较大的被测物，如果采用光点式 结构光在其表面制造出大量的特征点，会增加光源设备的复杂程度，这种情况下多 采用光条式结构光或者网格式结构光构成被测物的特征轮廓，本课题采用宽度为1 毫米的纵横交叉线条模拟网格式结构光投影，并对从此类图像中获取特征点位置的 方法也进行了比较深入的探索。图3 2 显示了网格式结构光的模拟图像及其阈值分 割后的效果。 图3 2 网格式结构光模拟图像及其阈值分割后的图像 f i g3 2s i m u l a t e di m a g eo f g r i dp a t c e ms 仃u c t u r e dl i g h t 卸di m a g em r e s h o l ds e g m e n 侧o n 1 7 东北大学硕士学位论文第三章图像阈值分割与区域中心提取 3 3 1 图像的腐蚀、膨胀和细化【2 6 】 腐蚀、膨胀和细化属于数学形态学范畴内的运算。数学形态学( m a m e m a t i c a l i n o i p h o l o g ) r ) 是分析几何形状和结构的数学方法，是建立在集合代数基础上，用集 合论方法定量描述几何结构的科学。1 9 8 5 年后，它逐渐成为分析图像几何特征的工 具。 数学形态学是由一组形态学的代数运算子组成的。最基本的形态学运算子有： 腐蚀( e r o s i o n ) 、膨胀( d i l a t i o n ) 、开( o p e 血g ) 和闭( c l o 凼g ) 。用这些运算子 及其组合来进行图像形状和结构的分析及处理，包括图像分割、特征抽取、边界检 测、图像滤波、图像增强和恢复等方面的工作。 形态学的理论基础是集合论。在图像处理中形态学的集合( s e t ) 代表着黑白和 灰度图像的形状，如黑白二值图像中所有黑色像素点( p i x e l ) 的集合组成了此图像 的完全描述。在一个集合中，将要进行形态变换的像素点是被选择的集合x ，而此 集合的补x 。是没有被选择的集合。通常被选择的集合是图像的前景( 触g r o u n d ) ， 而未被选择的集合是图像的背景( b a c k g r 0 蚰d ) 。 3 3 1 1 图像腐蚀 对一个给定的目标图像x 和一个结构元素s ，将s 在图像上移动。在每一个当 前位置x ，s x 只有三种可能的状态，参见图3 3 。 ( 1 ) s x 互x ； ( 2 )s x x c ； ( 3 9 ) ( 3 )s x n x 与s x nx c 均不为空。 第一种情形说明s x 与x 相关最大；第二种情形说明s x 与x 不相关；而第三 种情形说明s x 与x 只是部分相关。因而满足( 1 ) 的点x 的全体构成结构元素与图 像的最大相关点集。我们称这个点集为s 对x 的腐蚀，记为x 0s 。也可以用集合的 方式定义： x s = x l s x x ( 3 1 0 ) 腐蚀在数学形态学运算中的作用是消除物体边界点。如果结构元素取3 3 的黑 点块，腐蚀将使物体的边界沿周边减少一个像素。 腐蚀可以把小于结构元素的物体去除，这样选取不同大小的结构元素就可以去 掉不同大小的物体。如果两个物体之间有细小的连通，那么当结构元素足够大时， 通过腐蚀运算可以将两个物体分开。 一1 8 东北大学硕士学位论文第三章图像阈值分割与区域中。提取 0l234 5 6 ( c ) 0l2 3 456 ( b ) ol2 3 4 56 ( d ) 图3 4 图像z 被结构元素s 膨胀的结果 ( a ) 图像j 和结构元素s ( b ) 捌剐( c ) 踟( d ) x o s 铺s l 】u 跚u 跚 f i g3 4i 沁s u no f x d i l a t e db ys ( a ) i m a g e 彳a l l de l e m e n t s ( b ) 剐( c ) 啦】( d ) 工o p 嘲岛】u 啦】u 研跚 膨胀运算在数学形态学中的作用是把图像周围的背景点合并到物体中。如果两 个物体之间距离比较近，那么膨胀运算可能会使这两个物体连通在一起。膨胀对填 补图像分割后物体中的空洞很有用。 3 3 1 3 图像细化 辩瓣 ( a )( b ) 图3 5 图像膨胀 ( a ) 原始图像( b ) 膨胀后的图像 f i g3 5i m a g ed i l a t i o n ( a ) o r i 西n a l i m a g e ( b ) d i l a t i n gi m a g e 一个图像的“骨架”，是指图像中央的骨骼部分。是描述图像几何及拓扑性质 的重要特征之一。求一图像骨架的过程通常称为对图像“细化”的过程。、在文字识 一2 0 一 东北大学硕士学位论文 第三章图像阈值分割与区域中心提取 单的方法检测边缘。这种方法称为边缘检测局部算子法。 边缘的种类可以分为两种：一种称为阶跃边缘，它两边的像素的灰度值有着显 著的不同；另一种称为屋顶状边缘，它位于灰度值从增加到减少的变化转折点。图 3 8 中分别给出了这两种边缘的示意图及相应的一阶方向导数、二阶方向导数的变化 规律。对于阶跃性边缘，二阶方向导数在边缘处呈零交叉；而对于屋顶状边缘，二 阶方向导数在边缘处取极值。 在图3 8 中，第一排是一些具有边缘的图像示例，第二排是沿水平方向的剖面 图，第三和第四排分别为剖面的一阶和二阶导数。第一列和第二列是阶梯状边缘， 第三列是脉冲状边缘，第四列是屋顶状边缘。 如果一个像素落在图像中某一个物体的边界上，那么它的邻域将成为一个灰度 级的变化带。对这种变化最有用的两个特征是灰度的变化率和方向，它们分别以梯 度向量的幅度和方向来表示。 边缘检测算子检查每个像素的邻域并对灰度变化率进行量化，也包括方向的确 定。大多数使用基于方向导数掩模求卷积的方法。 常用的边缘检测算子有r o b e r t s 边缘检测算子、s o b e l 边缘算子、m 边缘 算子、k r i s c h 边缘算子、高斯一拉普拉斯算子。 图像 剖面 一阶导数 二阶导数 ，1j l 瓜 土丁午噜 十十十州 图3 8 边缘及其导数 f i g 3 8e 衄e sa n dt h e i rd e r i v a l i v e s ( 1 ) r 0 b e n s 边缘检测算子是一种利用局部差分算子寻找边缘的算子。对数字 图像驴( f ，力 的每个象素取它的梯度值 一2 3 东北大学硕士学位论文第三章图像阈值分割与区域中心提取 别、地质构造识别、工业零件形状识别和图像理解中，先对被处理的图像进行细化 有助于突出形状特点和减少冗余的信息量。 细化是将一个曲线形的物体变化为一条单像素宽的线，从而图形化地显示其拓 扑性质。细化主要运用数学形态学图像处理中的腐蚀操作。腐蚀是消除物体所有边 界点的一种过程，其结果使剩下的物体沿其周围边界比原物体小一个像素的面积。 如果物体是圆的，它的直径每次腐蚀后将减少两个像素。如果物体任意一点的宽度 少于三个像素，那么腐蚀操作后它在该点将变为非连通的，任何方向上不大于两个 像素的物体将被除去。 为了避免分裂物体，细化操作可分为两步进行。第一步是正常的腐蚀操作，但 它是有条件的，也就是说，那些被标记为可除去的像素点并不能立即消除。在第二 步中，只将那些消除后并不破坏连通性的点消除，否则予以保留。 对于物体图像的一次细化操作，只消除了物体周围的一些边界点。要完全使物 体变成单像素宽的拓扑线条，一般情况下需要对图像进行多次细化才能完成。因此 细化过程是一个非常费时的计算过程。特别是图像较大，纹理结构较为复杂时，若 百幅图像的物体测量而言，测量时间将是相当可观的。因此在算法选取上，要在细化质量和细化速度上作以取舍。 对于细化操作，通常要考察中心点与周围点的拓扑关系，常见的是考虑相邻性 或连通性。常见的33细化模板有8连通和4连通之分，如图36所示，中心点pl， 若只考虑点p。与点p0、r、p4、p6之间的关系，称为4相邻，若考虑与周围8个点 之间的关系，则称为8相邻。在4相邻中若p1点为物体上的点(黑点)，p0、p2、 p 4 、p 。这4 个点中只要有一个为物体上的点，则称p l 点是连通的，否则为孤立的点。 而在8相邻中只要p1点周围的8个点中有一个为物体上的点，则称p。点是连通的， 留。 p 5p 6 p ， 图3 6 标记点p - 和邻点 f i g3 6p o i mp 1 柚di 乜a d j o i n tp o i n t s 一2 1 而在8 相邻中只要p1点周围的8 个点中有 一个为物体上的 点 ，则称p 。点是连通的， 东北大学硕士学位论文第三章图像阈值分割与区域中心提取 边沿检测器，它把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来，先平滑噪声， 再进行边沿检测，所以效果较好。常用的高斯一拉普拉斯算子是5 5 的模板，如图 3 1 3 所示。 上述边缘算子产生的边缘图像看来很相似，r o b e r t 算子是2 2 算子，对具有陡 峭的低噪声图像响应最好。其他三个算子都是3 3 算子，对灰度渐变和噪声较多的 图像处理的较好。图3 1 4 是利用以上几种边缘检测算子对细化后的网格图像进行边 缘提取的结果对比： 图3 1 4 上排从左至右分别为原图、高斯一拉普拉斯算子和k r i s c h 边缘算子，下 排从左至右分别为p r e 、v i t t 边缘算子、r 0 b e n s 边缘检测算子和s o b e i 边缘算子对网格 图像进行边缘提取效果。 图3 1 4 各种边缘算子对网格图像进行边缘提取的效果 f i g 3 1 4e 电ee 咖甜0 ne 腩如o f 鲥d si m a g eu s i n gd i n te 电e 叩e m t o r s 由图3 1 4 可阻看出，利用s o b e l 边缘检测算子或者p r e 、i t t 边缘检测算子，在去 除噪音点以后都可以检测出网格交叉点周围一定范围内的像素点，交叉点的位置就 在由这些点组成的区域的质心附近，利用质心法找到区域的质心，也就找到了交叉 点的近似位置。本文尝试采用p r e w i 仳边缘检测算子检测交叉点区域，可以看出，利 用这种方法检测网格交叉点的位置会有一个像素左右的检测误差，检测的准确程度 取决于在此之前的阈值分割、膨胀以及细化等算法的处理精度。 一2 6 东北大学硕士学位论文 第四章摄像机标定 第四章摄像机标定 4 1 摄像机标定概述 三维计算机视觉系统应能从摄像机获取的图像信息出发，计算出三维环境物体 的位置、形状等几何信息，并由此识别出环境中的物体。图像上每一点的亮度反映 了空间物体上某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点 的几何位置有关。这些位置的相互关系，由摄像机成像几何模型所决定。该几何模 型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程 称为摄像机标定。摄像机模型是光学成像几何关系的简化，最简单的模型为线性模 型，或称为针孔模型( p i l l h 0 1 c m o d e i ) 啪1 。本章主要介绍线性模型摄像机的标定。 摄像机标定是指建立图像像素位置和场景位置之间的关系。因为每个像素都是 通过透射投影得到的，它对应于光学中心与场景点形成的一条射线。摄像机标定问 题就是确定这条射线在场景绝对坐标系中的方程。摄像机标定问题既包括外部定位 问题又包括内部定位问题。这是因为，建立图像平面坐标和绝对坐标之间的关系， 必须首先确定摄像机的位置和方向以及摄像机常数，建立图像阵列位置( 像素坐标) 和图像平面位置之间的关系，必须确定主点的位置、行列比例因子和透镜变形系数。 摄像机标定问题涉及到两组参数：用于刚体变换的外部参数和摄像机自身所拥有的 内部参数。”。 摄像机标定是从二维图像获取三维空间信息( 欧几里德空间) 的关键和必要步 骤。如基于图像的物体重建，基于图像的测量等应用中，都要进行摄像机标定。摄 像机标定可以分为三种不同的形式：传统标定方法、自标定方法和基于主动视觉的 标定方法。所谓传统的摄像机标定方法是指用一个结构已知、加工精度很高的标定 块作为空间参照物，通过空间点和图像点之间的对应关系来建立摄像机模型参数的 约束，然后通过优化算法来求取这些参数。传统方法的典型代表有d l t 方法( d i r e c t l i n e a rt m n s f o r 1 a t i o n ) “蚓，t s a i 的方法o o 啪1 ，w e n g 的迭代法啪1 以及简易标定 方法瞰瞄1 。传统方法的优点是可以使用任意的摄像机模型，标定精度高，其不足是 标定过程复杂，需要高精度的标定块，而实际应用中在很多情况下无法使用标定块， 如空间机器人，危险、恶劣环境下工作的机器人等。所以，当应用场合所要求的精 度很高且摄像机的参数不经常变化时，传统标定方法应为首选。自标定方法( s e l f c a l i b f a d o n ) 不需要标定块，是指仅依靠多幅图像对应点之间的关系直接进行标定的 过程，摄像机自标定是2 0 世纪9 0 年代中后期在计算机视觉领域兴起的最重要的研 2 7 东北大学硕士学位论文 第四章摄像机标定 究方向之一啪1 。自标定由于仅需要建立图像对应点，所以标定方法灵活性强， 应用范围广泛。自标定方法最大的不足是鲁棒性差删h 0 1 。自标定方法的主要应用场 所是精度要求不高的场合，如通讯，虚拟现实等。在这些场合，视觉效果而不是绝 对精度为首要考虑的问题。事实上，这也是为什么近年来自标定方法会受到人们如 此重视的根本原因。鉴于传统方法和自标定方法的不足，人们提出了基于主动视觉 的摄像机标定方法”“。所谓基于主动视觉的摄像机标定，是指在“已知摄像机 的某些运动信息”下标定摄像机的方法。这里，“已知摄像机的某些运动信息”包 括定量信息和定性信息。定量信息如摄像机在平台坐标系下朝某一方向平移某一给 定量，摄像机的二平移运动正交等。定性信息如摄像机仅作纯平移运动或纯旋转运 动等。基于主动视觉摄像机标定方法的主要优点是由于在标定过程中知道了一些摄 像机的运动信息，所以一般来说，摄像机的模型参数可以线性求解，因而算法的鲁 棒性比较好，目前，基于主动视觉的摄像机标定的研究焦点是在尽量减少对摄像机 运动限制的同时仍能线性求解摄像机的模型参数。这里需要指出的是，“尽量减少 对摄像机运动的限制”不等于“对摄像机的运动毫无约束”。如果对摄像机的运动 毫无约束的话，标定过程本质上是一个多元非线性优化问题，基于主动视觉的标定 就回到了自标定的范畴了。 鉴于实际应用中，相对于摄像设备的分辨力来说，要求达到的测量精度较高( 测 量误差要求在l 毫米之内) ，而且，摄像机一经标定其内外参数将不再进行调整， 所以，本文采用传统标定方法。 4 2 基础知识和概念 4 2 1 摄像机模型、刚体运动及投影矩阵 下文使用的摄像机模型为经典针孔模型。当摄像机的光心为摄像机坐标系的原 点q ，光轴为摄像机坐标系的乙轴，图像平面与以e 平面平行时，空间点x ，到图 像点u 。( 齐次坐标) 的投影关系为 似1f 工j “。1 似1 = lv 。l 一脚。= | o 工v o0j ，l ( 4 1 ) l 1jl o o 1 八五 式( 4 1 ) 中，符号“”表示在相差一个非零常数因子意义下的相等。k 为摄 像机的内参数矩阵，其构成元素即为要标定的摄像机模型参数；无，正是图像坐标 系“轴和v 轴的尺度因子；s 为由于”轴和v 轴可能不垂直造成的畸变因子； 。，) 为主点坐标( p r i n c i p l ep o i n t ) ，即光轴与像平面交点的像素坐标。 一2 8 东北大学硕士学位论文 第四章摄像机标定 第四章摄像机标定 4 1 摄像机标定概述 三维计算机视觉系统应能从摄像机获取的图像信息出发，计算出三维环境物体 的位置、形状等几何信息，并由此识别出环境中的物体。图像上每一点的亮度反映 了空间物体上某