（检测技术与自动化装置专业论文）编码光三维物体形状检测与重构系统的研究.pdf

摘要 摘要 三维物体形状检测与重构技术是计算机图像处理技术的一个分支，是计算机视觉和计算 机图像图形处理相结合的一个研究方向，它在生产自动化、机器人视觉、c a d 、虚拟现实 和医学等领域都有着广泛的应用前景。如何快速而准确地获取被测物体表面的三维物体形状 信息，并根据这些信息对被测物体形状进行三维重构，仍然是一项重要而有难度的研究课题。 本论文探时了一种新酗的m 接触式快速获取三维物体外形的检测方法条纹边界编 码光检测法。当向被测物体表面投射四幅模式不同但又有内在联系的编码光时，从与投影光 轴成一定角度的方向可以观测到由于物体表面凹凸变化而在其表面产生的畸变条纹，这些畸 变条纹就包含了物体表面形状的三维信息。四幅编码光产生的四幅畸变条纹图像由c c d 摄 像头拍摄井传送至计算机，对这些图像进行预处理、闽值分割、边界整合、编码提取等一系 列处理后，根据相应的数学模刑和图像处理算法对畸变条纹进行分析，得到被测物体表面 的三维外形数据信息，在此基础上进行三维重构点云处理，读入坐标数据，并显示在屏幕上， 同时添加了光照和渲染等处理，增强了场景的真实感。针对本课题点云数据特点，我们选取 其中的一部分数据进行处理。对数据进行分组、排序、重新采样以及坐标修改等重构预处理 后构造曲线，并提出了简单可行的三角网格化算法，实现了曲面重构。同时为后续研究的需 要，本文给出了一种基丁m c 改进算法的三维实体重构的实现。在本文的最后讨论分析了课 题进一步的理论研究方向。 关键词：三维物体形状检测条纹边界编码 畸变条纹三维重构曲面重构 a b s t r a c t a b s t r a c t 3 ds 1 1 a p em e a s u r e m e n ta n dr e c o n s i r u c t j o ni sab r a n c ho fc o m p u t e ri m a g ep r o c e s s i n ga n da r e s e a r c hd j r e c t j o nt h a ti n t e g i - a t e sc o m p u t e rv i s i o nw j t hc o m p u t e ri m a g ea n dg r a p hp r o c e s s i n g i t | 1 a saw i d ea p p i i c a t i o ni nt h e “e i d so fa u t o m a t i o np r o c e s s ，m a c l l i n ev i s i o n ，c a d ，v i r t u a lr e a l i iy m e d i c i n ea n ( 1s oo n i ti sa ni l n p o r t a n ib u td i 币c u l tp r o b l e mt h a t1 1 0 ww ec a no b t a i nt h e3 ds u r f a c e m f o r m a t j 0 1 1o fa no b j e c ta c c l l r a t e l ya n dr a p i d l ya n dr e c o v e rt h e3 ds h a p eb yt h e s ei n f o r m a t j o n t h i sd j s s e r t a “o np r e s e n t san e wm e t h o dn a m e ds l r i p eb o u n d a r yc o d em e a s u r e m e n t ，b y w 1 们c hw ec a nc a p t u r et 1 1 es l l n h c et o p o g r a p h yo fa3 do b j e c tw i t h o u ta n yc o n t a c t t h ed e f o r m e d p a 仕e r na p p e a r sw 1 1 e n f o u rd i 仟b r e n t s t r i p e c o d e dp a n e m sa m o n g w h i c ht h e r ea r es o m e r e l a t i o n s h i p sa r ep r o j e c t e d0 1 1 t ol h es p e c i m e na i l do b s e r v e df r o mt h ed i r e c t i o nt h a th a sa na n g l e f r o mt h ep r o j e c t i o na x i st h ed e f o r m e dp a n e r ni m a g ec o n t a i n si n f o r m a t i o na b o u tt h es u r f a c e t o p o g r a p l l yo f3 do b j e c t t h ef 0 l l rd e f o r m e dp a 竹e m 5p r o d u c e db yt h ef o u rd i f 弛r c n ts tr i p e c o d e d p a t t e m sa r ei n p u ti n t oac o m p u t e rb yc c dc a m e r aa n dp f o c e s s e db yas e r i e so fp m c e d u r e ：i m a g e p r e t r e a t m e n t ，t h r e s l l o l d i n 昌b o l m d a l ya d j u s t i n ga n dc o d ed e t e c i m ga n dt h e na r ea n a i y z e dt oo b t a j n t 1 1 e3 dc o o i d i n a t i o no ft h es l i p e m c i a io ft h em e a s u r e do b j e c t o nt h eb a s i so ff o r m e rs y s t e m ，w e r e a i i z e3 dp o i n tc l o u d sr e c o n s i n l c f i o n t h ep o i n tc l o u d sa r er e a da n ds h o w e do nt h es c r e e nw i t l l m o l et r l l ef e e l i n gw i t ht h e 】i 9 1 1 t i n ga n dr e n d e r i n gp a r tw ea d dl ot h es y s t e m t om a k et h ew o r k 1 1 a n d l e de a s j iy ，w es e l e c iap ar co fl h eo r i g i np o i n tc i o u d s b yp r e t r c a t m e n is u c ha sg r o u p i n g ， s o r t i n 舀s a m p l i n ga n dc o o r d j n a t i o na m e n d i n gw er e a i i z el j n er e c o n s t r u c t i o n w ep r e s e n tas i m p i e a n de f f c c t i v et a n g u l a t i o na i g o r i t h mb a s e do no u rp r o j e c t ，t h e nw ec a nr e a l j z es u r f a c e r e c o n s t r u c t i o nf i n a i i v ，t a k et 1 1 ef u n h e rw o r kj n t oa c c o u mw er e a l i z e da3 d s h a p er e c o n s t r u c t i o n b a s e do na d a p t e dm ca i g o t h 兀1 ，a n df o rt h es a m er e a s o nw et a l k e da b o u tt h ef u r t h e rr e s e a r c h d j i e c t i o no f ih i sp r q i e c t k e v w o r d s3 ds h a p em e a s u r e m e n t d e f o r m e ls ”i p ep a t t e r n s u r f h c er e c o n s t r u c t i o n s p eb o u n d a r yc o d e 3 dr e c o n s t r u c t i o n 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 出剑 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：锌岔虹翱签名：逍奎甄日期：。j 吐夕 尔南大学硕士学位论文 第一章绪论 簸羞j l 。业他夫生产熬不断发展，对予其趣鳇技术应煺；| 求惑发的广泛魏深入，露技术主 的要求又推动蓿科学的不断发聪，同时科学的发展又促进了技术的不断创新以及与此相关领 域的发展。在生产自动化、c a d 及医学镣领域产生了这样一种需求；能够有一种技术可以 处理现实的三维实钵，撬敬其三绻戆表嚣数据戳弱予生产瓣爨动健季拜搂其| ! l 冬蠡动生残或袁是 在虚拟的环境中重构这个实体己便于后续的分析与研究。这样就催生了对于三维物体形状检 测和裁构技术的研究，检测技术蒋重于三维数据的摄取而重：f i ；i 技术则祷重了三维实体的虚拟 实现。 1 1 三维检测及重构技术概述 三维物体彤状检测瓤l 重构技术是计算机图像处理( 视觉处理及梭式识别) 的一个分支， 宅是剥蠲捩逮的、j 接黩鹣捡涮手段，对于实际空阏中静物体进行数字 毛建援著在虚撂环境 中再现的一种现代检洲技术。= 三维检测投术以近现代物理、控制论、信息论和系统论为理论 基础，以现代光学技术、电子技术和计算机技术为技术背景，为空间模式判断、机器人视觉 等学秘提供技拳支持，又为：盈蠡动 乏、纛援现实等提供模鍪资源供疯，是一门跨学秘镞域、 多应蜊层次的关键技术，在理l 仑上和实际应用中有着重要意义。 三维物体孵状检测技术在生产自动化、机器人视觉、c a d 、医学等方面有着极其r 泛 豹瘟翔毒荸景。髑如，在汽车生产避翟中，车鑫残型楚关键工蓐之一，彼依靠久l ：捡涮攒本无 法对苇身的关键点和关键尺寸进行高准确度的测量，必须采_ 1 1 ；| 三维检测技术方法对产品进行 准确、快速地检测。三维重构 l 机器人导航、考古、文物保护、虚拟现实、人工智能等方面 窥强广泛。 本论文将介绍一种通过采川编码光投影法来实现三维物体形状检测与重构的方法。实验 结果袭明，该方法具有检测过聪宛企非接触、数据空间分辨率较赢、一次性瞬闻获取三维信 惫筹特点，稚够快捷、有效造提敬瘗镪俸彩获韵三缭信意，实现三维物箨静形虢检测与夔秘。 1 2 三维检测及堂构技术发展现状 三维物体检测技术的蟋究在国外已经持续了避2 0 年，露翦仍燕学术研究比较活跃的领 域。在技术发糕豹初朝，由于其在机器视镦、图像辩识、计葬视圈形、侠速模型建立、机器 人导航等不同学科中都有涉及，所以不同学科的研究人员基于自身的知识背嘏和设计臻求， 提出了许多不阁鳃决方榘，兹在蒜自领域独立发鼹。一些主要的检测方法如一f ： 1 、摩尔检测技术 瘁尔检测技木是让毙线遂避个光搬投射到物体救表程，其反射光圄到光壤楚与毅的发 射光产生干涉，在接收器上j b 现焚尔条绽，从条纹的位置或相位变化获得物体韵形状尺寸。 h j 摩尔检测技术可得到较高精度的数据，应用白色光源的艨尔检测技术，可得到误蕺小于 o ，l m l 嘲的澡 i ：f 数据，闲越摩尔检测技术卷被弱寒检测麴瑟物体的袭蠢l 形状。健是，垮零干 涉光纹强度分布范围大、噤声多，倒值选取有一定的困难噤声抑利臻求高，而且被检测的 物体袭面剁率不能超过某一常数。 2 、数字照相系统 相当长的一段时间，许多三维非接触测量工作都涉及到被动式三角测量方法，主要应_ | l 领域燕簸空测糕、卫量避感、丰鼹器a 撬懿等，毽为这些垤台f 采鼹变动式测畿建不臻蜜麴。 典型的被动法罐立体视藻( s 把r od i s p a r i t y ) 法，所谓视差就烂物体表丽同一个点在左右图像 东南大学硕士学位论文 中成像点的位置差异，根据左右图像成像点位置就可解算出物体上对应点的空问坐标。由于 近年来在半导体光电器件方面有较大突破，使得生产高分辨率的数字照相系统成为可能，目 前已能生产出4 5 0 万像素的数码像机，如禄来6 0 0 8 型等，高分辨率数码相机已被用于三维 测量中。这种洲量方法的主要问题是多幅图像上同名点的搜索及自动匹配比较困难，通常求 墩同名点的方法有：依据微0 1 0 物体上的人工的或固有的特征点( 角点，局部灰度极值点等) 在各个视角方向的图像中形态的相似性进行匹配；利用窗口或模板求对应点。 3 、结构光投影法 结构光投影法是8 0 年代发展起来的直接获取三维图像数据的方法，其基本思想是利用 结构光投影的儿何信息来求得物体的三维信息，通过向物体投射各种结构光( 如点、线、空 间符号结构光等) ，在不同丁投影光轴的方向观察，利用投影点、观察点及物体的三角关系 获取物体的三维信息。 点结构光投影法是最早发展起来的，通过分别向物体不同位置的点投影单柬光，计算出 物体上所有检测点的三维坐标获取物体的整体三维图像。由于点结构光投影法属于点检测 方法，测量时间长，数据空间分辨率低现在己很少把其作为一种实用方法。 线结构光投影法是结构光投影法中具有代表性的一种方法，其基本原理如图1 1 所 征一l 等人提出了一种新的结构光投影 法，即面结构光投影法：向物体投影 图1 - 1线结构光投影法组成原理图 各种模式的面结构光，当基准结构光 投影到目标物时，若从不同下投影光轴方向的观测点来看，基准结构光条纹随着物体表面形 状的凹凸变化而发生奇变，由于这种畸变是投影的基准结构光条纹受物体表面形状的调制所 致，因此包含了物体表面形状的三维信息。由于面结构光投影法是一次性瞬间投影获取被测 物体表面形状的三维信息，冈此1 0 线结构光投影法相比具有准确、快捷、数据空间分辨率高 等特点。 4 、计算机断层扫描( c t ) 技术 计算机断层扫描( c t ) 技术最具代表的是基于x 射线的c t 扫描机，它是咀测量物体 对x 射线的衰减系数为基础，川数学方法经过计算机处理而重建断层图像，这种方法最早 戍j = | = | 于医疗领域，目前已经开始用于工业领域( 即所谓“：l 业c t ”) ，特别针对中空物体的 无损三维测量。这种方法是目前最先进的非接触式的检测方法，它可对物体的内部形状、壁 厚，尤其是内部构造进行测量，但它存在空间分辨率较低、获得数据需要较长的积分时问、 重建图像计算量大、造价高，只能获得一定厚度截面的平均轮廓等缺点。 近年来，随着对三维物体检测技术的研究深入，人们逐渐重视不同解决方案之间的内在 关联，研究多种三维物体检0 1 0 技术的通用模式，并朝着复合检测技术方向深入。其中的一些 主要方法有： 1 、双目检测技术 双目检测法( s t e r e o ) 是最甲研究的一种检测方法。其基本思想烈目图像匹配算法 在计算机视觉领域已经有了1 f 常耀入研究，爿。且已经有比较有效的算法【2 1 0 传统的坝目检测方法是对空问中两个视点图像进行特征匹配，找到匹配的区域，然后根 据视点与实际物体的几何关系得到物体的深度信息。由于参与匹配的对象是空间中不同视点 2 珂雠雠餐 东南大学硕士学位论文 处采集的i 划像，故该方法山称为墨蔓问双目检测技术( s p a c t i a is t e r e o ) 。图l 2 为该匹配方法 如示惑鼬。式( 1 、1 ) 为空蚓戡瞳捡测方法的匹配朦理公式。 忆( k ( x ) ) 一j ，( k ( z ：) ) ( ) 式中x 是嘲像中某个像素点，v 是该像素点临域的描迷向量，l 煅对该向凝的评估函数。 采解式( j ) 瀚最孛缓，褥刭写x 穗嚣黧静点x 2 4 。 该方法的主要技术难题是如侗选取匹配区域的大小：匹配区域过小，则会出现匹配结果 不唯一：旺配区域过犬，则会得不到匹配结果。目前现有的匹配方法只适用于特定条件的检 溺謦稼场景，所璐该检测方法翁鲁棒洼差，誊得不有效弱梭测毽，这藤秘了该挂末在 ：箨 实践中的廊_ j 。 图1 2 空间积目模型的匹配算法 时间般目检测披术( t e m d o r a ls t e r e o ) 是在研究运动物体的检溯课题中提出的双霸检测 方法。与空间凝蟊检溺不同瀚燕， l 亨阉载弱捡测麦蔓零的匹筏篷在不弱援点麓多l 滚闰橡中豹运 动矢擞l i j j 在时间方向变化特性相同的区域。幽1 3 为时间敢目横型匹配方法的示意图。 式( 12 ) 为时间双目梭测方法的匹配原瑚公式。 ，l ( ( x i ，气) ) 一，2 ( k ( z 2 ，“) ) 酽 ( 12 ) 东南大学硕士学位论文 式中x 是吲像中某个像鬃点，t 0 是某个帧时刻，v 是该像素点临域的描述向量，i 是对 该向鬃的评估灏数。求解式( 1 2 ) 的撮小蠖，得到与x l = | ； 旺配的蠡x 2 + 。 谊方法虽然为运动物体的硷测提出方案，弱化了空间敢强检测的应麓条件，僵冀运动 矢量i 虽= 度选取缚问题则阻碍该方法检测效采的提商，而且多视点间图像帧同步问题常导致检 测失效。 除上述两种基本碰疆检测方法，还有许多萁它类窭的戳疆硷涮方法，翔羹丁l 竞源遥动瀚 p 1 1 0 t o ，m e cs c e r e o 队向设删物体投影的a c t i v es i e r e o 以及综台方法如m u l l i p e r s p e c t j v e s t e r e 。f 5j 譬。 溉舀检溯方法的理论贡献楚对于图像匹配技术进行了深入的研究，其中湃多结论与算法 成为麒它方法的理论基础。并且人们发现呱配原则是三维检测技术的通用数学模型的熬本元 素，共在缀大程度上决定了检测性能( 遮发与精度) 。 2 、激光检洲技术 在三角捡测法中，激光条绞捡测技术( l a s 嚣s | r l p e ) 是缓成熟的， 亟是鼗翦唯一在工 程测络中应增技术。传统f ! i 勺激光条绞稔测技术髭在空间域( s p a t 矧0 口m a i n ) ，通过商被测 物体投射一个激光平面，在物体表面形成畸变条纹。根据条纹的畸变特性与几何关系得到物 拳表巍蔗愚。矮实a 】缀晕裁拜始疆究时溺域( r m p o r 鑫ld o m a b ) 的激光螽纹检测技术【6 l 【”。 近来人们义将结构光技术引入激光条故裣测技术，并在多摄像头系统等方掰进行了j 。泛舶 研究吼 疰l 予滋竞具有较嶷的撬手涉蛙，可以柱复祭环境f 进纷捻测，磁基三维捻测方法存在内 在的联系性，所蚪许多只能谯实验室中使用的检测方法可以通过穆藕j = l j 到激光梭测仪器上， 便于在： ：张实践中应用。 爨藤，缝鞠光投影捡测技术楚最为关注的捡测技术。变要有默f 原因； 从发艇角度上看，在不同的学科对子各自检测技术研汽中，针对各自闯题独立提漤了各 自的检测方法比如在快速建模研究中，将传统的荩尔法刷妻吉构光投影来代替；在计算机视 羹疆突过程中，对于甥馋特钱避行人为拣定以剥予圈像匹1 。睫麓班究的深入，人们发现 在不嗣的检测技术中酃存在缩鞫光投影的基本思想，荠且采用结构溉投影模式有助予检测技 术的理论分析，有利于建立更i 瞧州的数学模型。 敲理论强发上毳，缝毒党投影以信慰谂为基硪，可以方便地剥蠲信号编鹃等学科的既有 知识，研究基础宽广深厚。 从实现角度上看，结构光投影设备简单，利于构建不同形式的实验平台，并且投影模式 撩控方霞，翳予进行多方像探褰翻综合憷 j 究。 目前，圜外结构光投影模式已经从空间域编码向时问域编码、时空复台编码等多形态编 码方式发展，并目已经开始进行对移动物体的实时检测的 i j | = 究“。 在三维夔鞠系绫中，一般避过臻擒光投影法、三坐撂测拦极( c m m ) 、激光测鲎枧、光 栅扫描仪或1 业c t 簿先进的快速测量系统获取海量散乱外形坐标数据( 点云) ，经过对这 些点云数据n 勺预处理，由点构造曲线或者直接在点的基础上构造曲蕊，实现三维重构。 樽对l 二_ = = ；- 维捡测按术款笈襞薅言，三维重捣技术熬重鞠手段也在不断蚋秘变之中，主要 是着匿于算法上的实现，以弊法的不断改进来提升重构的遵瘦和精瘦，从而安现重构技术在 生产中的实川性。三维重构的主要步骤魁；点曲线曲面一一三维实体，难点在于如 嚣稳藏趣瑟，因为现实中的翅 本麴表疆势巷都楚照残潮篷瓣爨橡成，困戴麴嚣艇梅成效象在 很大程度上影响着实体重构的质齄。目前对于曲面的重构，一般有咀f 几种主要方案。 、鏊予三边域趋嚣戆霆秘方粲 其基本思路是将待处理晌原始数据作为一个艇体考虑首先根据数据的局部微分几何特 征；提取其特征线( 如尖角、f i l 率极值等) ，并以这些特征线为基础构成初始的三角网格，然后 薅涮羹簿翻鹣l l 壹壶按麴率鹣燮仡壤琵疆翻三霸鄹格中实现强格麓纲分，这楼最终菇列蕊三 角剖分网格县有在曲率变化平缓的地方稀疏，在曲率变化剧烈的地方密集的特点，最后运用 因为在盛际检测过程中被测物体和采集醍各都会存在一定的运动干扰。 。4 东南大学硕士学位论文 三角b e z i e r 曲面在网格的基础上构造光滑曲面。另外还有一种不同的思路是首先将所有的 刑值点都考虑到三角网格中去，建立一个密集的初始三角网格，由于太多的数据点将造成过 _ 人的计算开销，因此必须对网格进行精简，精简的算法往往也是基于对曲面型值点的曲率1 古 计精简过后的网格成为多边形网格，必须重新进行三角化。 2 、基丁二四边域参数曲面的重构方案 这类方法的应用对象是汽：1 _ = 、飞机、轮船等曲面零件其曲面特点既不像单独的二次曲 面那样简单，也不像人面模刑那样毫无规律。由于采用了通用的c a d 软件的曲面表示方法， 它成为到目前为i l 二研究得最多的一类曲面重构方法，其中义以b 样条和n u r b s 曲面最多。 在反求t 程中，型值点数据具有大规模、散乱的特点，其b 样条曲面的拟合有其自身特点 因而，在b 样条曲面拟合中，需研究的首要问题是单矩形域内曲面的散乱数据点的曲面 拟合问题扫：众多的研究中，w e i y i nm a 利jpkr l l t h 的工作较具代表性他们首先根据边界构 造个初始曲面，然后将刑值点投影到这个初始曲面上，接着根据投影位置算出其参数分布， 从而解次散乱数据的参数分配问题根据这一型值点参数分配拟合出一张新的n u r b s 曲面， 然后再对型值点参数进行优化，使所拟台曲面离给定型值点误差晟小。 针对n 【j r b s 曲面重构不适合于大规模散乱数据点的特点，cb r a d l e y 和gwv i c k e r 等 提出一种先压缩后拟合的两步方案，首先用函数方法，如s h e p a r d 插值法等构造插值于测量 点的曲而的数学模型，然厉在曲面上构造拓扑矩形网格，再采用n u r b s 方法拟台成最终重 构曲面。1 9 9 6 年，他们又提 【j 另外一种称为o r t h o g o n a icr o s ss e c t i o n ( o c s ) 的方法，首先对 每块测量数据进行三角剖分，得到几张插值于测量点的基于三角平面片的曲面模型，然后用 三组正交的等问隔的平行平而与上述曲面求交，在各个截而线内去除各曲面块内交线的重叠 部分，求山各条交线的交点，即得到所谓o c s 模型然后利剧根据曲面网格建立曲面的方法 构造曲面。 3 、以多面体方式来描述曲而物体 1 9 9 4 年，华盛顿大学的hu g l mh o p p e 通过研究大规模散乱测量数据的曲面重构问题完 成其学位沦文，并在许多l = | j 物l 发表其研究成果他的方法分为三个主要步骡： j ) 初始曲面估m ；n ；t 川s r f l a c ee s t 岫a f j o n ) 利用函数方法构造一张插值于测量点的曲面，接着确定一个函数来估计测量点到此曲而 的距离，然后采用一种轮廓线抽取算法( m a r c hc u b ) 来提取曲面。 2 ) 网格优化( m e s ho 州m j z a t l o n ) 以第一步的初始网格为起点，该步的目的在于减少三角形数目，并提高曲面的逼近精度 他采用能嚣法来完成这项一作首先定义一个能量函数以表示逼近精度与网格中所舍协点数 目的关系，然后优化这一幽数，使得在满足精度条件下：仃点数最少( 优化的变量为网格中的 点数、点z 间的联接关系及位置) 。 3 ) 分段光滑曲面片( p i e c e w j s es m o o t hs l l r f a c e0 p t i m i z a t i o n ) 通过一种分段细分的方法米将曲面的尖角特征构造出来，以提高曲面的逼近精度其曲 面的表达形式为以三角平而片为基础的多面体。由于整个过程是自动进行，因此使用十分简 单、方便。但其表达形式不为人多数c a d 软件支持，必须在此基础上，生成n u r b s 表面， 才能进行后续处理另外，这种方法不能精确地表示二次规则曲线曲面( 如球体、圆拄等) 。 由于三维重构属于j j 义计算机c a d 技术的范畴，大多数的c a d 软件中的曲面构造方 法均基于此。目前，国际市场上最有影响的c a d 软件有：c a t i a 、p r o e n g i n e e r 、u g 、 e u c l l d 等，这些国外的软件1 1 l 据了c a d 软件市场的7 0 以上的份额。经过各种检测手段 获得的点云数据通常都是敞乱海垲数据，上述的c a d 软仆都无法对海量杂乱数据直接进行 处理。因此，必须首先对散乱海量数据进行预处理得到有序点云后，才能使用上述软件实现 三维重构，这已成为重构技术的瓶颈问题，制约了逆向二r = 程及机械制造业的发展。 东南大学硕十学位论文 1 3 本课题采用的方法 由于结构光投影法鼎有检测过程完全非接触、数据空间分辨率高、一次性瞬间投影即可 获取三维被测物体表面信息等特点且成本低，便于实际应用，从而具有较高研究价值和发 展前景，因此本课题把基丁而结构光投影法的条纹边界编码检测法作为实现三维物体形状检 测与重构的研究方向。 本论文：陶主要研究而结构光投影法中的条纹边界编码检测法，并在此基础上利用上述的 重构方法对获得的数据点进行二维重构，以实现整个三维检测与重构的系统。 1 4 本课题的研究目的与意义 由前面的分析可知结构光投影检测技术是目前国内外研究的重点技术，有着重要的研究 价值，其成果可直接用于生产自动化、机器人视觉、c a d 、医学等应用领域，在自动控制 硼究领域也是必不可少的一个方面。本课题所研究的基于条纹边界编码的结构光投影三角检 测法是一种新的结构光投影检洲技术。本课题的研究目的是分析该方法的理论依据，并实际 创建个基丁凌理论模型的检测系统，通过软件上的校正以实现该系统的检测精度的提高。 希望通过本课题的研究，能寻找到一条更加快捷有效的三维物体表面形状检测与重构的途 径，为三维空间物体形状检测与重构技术的进一步发展和其它相关课题的研究提供依据。 尔南大学硕士学位论文 第二章基本原理与总体架构 在编码结构光检测系统| l | 勺研究中，对于结构光编码的选取或是基于时间的编码或是基于 空间的编码，然而这两种编码方式各有其优缺点，相对而言，基于空间编码模型匹配特征容 易选取、匹配计算模型简单，而基_ 丁二时间编码模型的检测适应性强。如何将上述两种编码模 型的优点进行整合，设计一种匹配计算模型简单且检测适应强的检测模型已成为目前研究的 重点。基1 二时空编码模型的条纹边界编码检测法正是在上述的基础上衍生而得。 为了整合基于空间编码模删与基于时问编码模型，人们针对其各自实现条件数学抽象出 “反射不变性( r e 门e c t i v i t yf n v a r i a b i l i t y ) ”、“空间一致性( s p a t i a lc 0 1 1 e r e n c e ) ”和“时间一 致性( t e p o r a ic o h e r e n c e ) ”i 二大假设( a s s i l m p t i o n ) ，井在此基础上提出“时空一致性 ( s d a c e - t i m ec o h e r e n c e ) ”假设。 满足上述三大假设的场景应该具有1 f 列特性： 在绝大多数时间点上，采集设备上相邻像素点对于投影光的反射性能一致。( 反射 不变性) 在绝大多数时间点上，采集设备上相邻像素点所反应的是物体同一表面的特性。( 空 间致性) 在绝大多数时间段中，所投影的不同的光模式在所采集的图像组中存在一致的规律 性。( 时间一致性) 在这样的场景中，如果我们将一个模式随时间变化的光投影到被测物体上，并采集一定 时间内相对应的反射图像则该组图像描述了该物体在采集视点上的各点光变化的轨迹。这 相当于在一个新的三维空间( 视点平面+ 时间) 中建立一个物体模型( 见图2 1 ) 。根据三角 法通用模溅，就可以将该编码三维体模型从时空编码检测空间转换到被检测场景的真实三维 空间中，得到所需的实际三维物体即得被测物体表面深度信息。 所以在上述三条假设的基础上，我们提出基于时空编码的“时空一致性”假设：在检测 场景中，物体表面各点反射性能相同，且在时间和空间尺度上其邻域的特性保持一致。满足 该假设的检测场景可以使j _ 基丁时空的编码光进行检测，相对而言一般检测场景都满足该假 i 殳。 幽2 一l 检测空间的三维模型 7 东南大学硕士学位论文 2 1 基本原理 在一般的结构光三角投影法t p 只需要在被测物体表面投射单一的编码光编码光的模 式仅仅采川黑白条纹相间的方式在获得的畸变图像中提取出黑条纹或者是自条纹，并对其 进行细化获取单像素的线条，线条上的每个像素均对应着物体表面的某个点。利用三角法的 通用模型即可将获得的像素点转化为物体表面的数据点，并计算出相应的三维坐标。在整 个检测过程中，编码的单一化导致了无法抑制因物体表面变化剧烈或是外界环境光所引入的 干扰，同时条纹细化以及在坐标转换的过稗中对于条纹级数的判定所带来的误差较大，因此 影响了整个系统的检测精度。尽管后来的研究者在确定条纹级数等方而进行了许多改进j ， 但从本质上石简单光栅绷码投影模型的检测精度改进的空间比较有限。 为了避免条纹细化的影响，我们可以选取条纹的边界上的点进行坐标转换，而为了判定 边界的级数，我们对每个边界进行编码使其唯一化以便确认，另外为了抗干扰，我们采州投 射多幅不同编码模式光的方法通过最后的边界整合来实现系统的鲁棒性同时多幅编码光 可以使得边界的编码有了更多的选择空间可以在物体上投射更多的边界同时还能保证这些 边界的编码n 排一化。这就是条纹边界编码光的一些基本思路下面将详细阐述。 基于时空编码的条纹边界编f l ；弓光检测法是采用n ( 本课题中n = 4 ) 幅不同模式的编码光 在时间序列l 依次投射至物体表而并依次捕获n 幅畸变图像。每一幅编码模式均由等宽但 并1 f 依次相问的黑白条纹壹成( 笛宽是为了使四幅图像上的对应边界能够重合在一起，以便 边界褴台降低干扰，非依次棚田是为了保证边界编码的唯一化，以便自动进行级数标定) ， 黑条纹编码为0 ，白条纹编码为l ，在时间顺序上四幅模式中的相应位置的条纹编码从0 0 0 0 到1 1 1 l 。每幅模式中黑白条纹的边界编码则为叭，白黑条纹问的边界编码为1 0 ，因此四幅 模式中的条纹边界在时间顺序r 的编码从o o o 0 0 0 0 0 到1 1 1 1 1 1 l l ，这个编码即为该方法中的 条纹边界编码，而四幅图中相同位置的边界在时间顺序上构成的即是最终匹配的边界。为了 保证四幅模式存在一定的逻辑关系( 在后而介绍) ，需要对条纹及边界进行筛选，因此在n = 4 的悄况下，最终能够获得的条纹数为l ii 条，条纹边界数为il o 条。由于四幅编码光模式之 间存在特定的逻辑关系，田此捕获的畸变图像之间也存在着同样的关系，某一幅图像中某个 位置产生的干扰可以由其他i 到像相同的位置得到补偿，从而增强了系统抑制干扰的能力，同 时由于采州畸变条纹边界上的点米获取物体表面的数据点，避免了条纹细化所带来的误差。 在坐标转换的过程中，司以根据条纹边界的编码自动获取条纹的级数以及相应边界的位置。 但由于每个模式中的条纹爿非依次相间，因此在投射的编码光中会产生相同颜色条纹之问的 边界在捕获的畸变图像上是不可见的，这样的边界我们称之为g h o s t 边界。不可见边界的存 在会直接影响到数据点的获取，从而无法更逼真的重构出物体的表而，为了解决这个问题， 需要在编码l 做些研究，以便丁在对畸变图像进行匹配的时候可以识别出这些不可见边 界。 在满足“时空一致性”假i ：! 的检测场景中，基于对检测环境晟等预估和投影模式的一定 抗干涉性的考虑，为实现物体表面形状的检测，对投影模式提出以下设计要求，如表2 1 所 不。 表2 一j 时空编码的设计要求 l 孢l珊 由1 + 在。剐f _ i ：i 与时间上都要满足一致性，所以在对采集图像进行匹配时 检测图像信息 各像索点要；| = | i 在时间序列中的多个相同位置点组台形成可以参与匹配评 估的特征久培且要求同一采集图像中的像素点至少在某个方向与其它 单方向无天联 像素之问不存在相互关联。其邻域像素采集误差不会影响其本身的匹配。 这样才能保证投影模式具有一定的抗干扰性2 。 投影二值化投影基本元素为黑白色块。其原因有： 2 至少是存采集幽像平面某个力向。1 ，的抗干扰忡。 实鞴i 系统中，i j 以采用正交分割的力法实现整个采集 例像1 r 面的抗r 扰。 8 东南大学硕士学位论文 只投影黑白色块可以增大物体反射图像中特征矢量问的跳变便于图像 处理。 只投影黑闩色块可以抑制物体表面纹理的影响，提高检测抗干扰性。 只投影黑白色块可以简化图像处理数学模型提高检测速度。 为了在给定帧数的图像中，提取出更多的检测信息，也为了提高检测编 码的冗余度增强检测抗干扰性，要求在编码上尽量使用基于原有信息 检测编码空间 的绸合编码以使检测编码空间最大化。这里我们使用条纹边界编码，因 为n 个条纹有n 1 条边界，这样在相同的采集图像帧组中就可以提取出 最人化 更多的信息。而且由于条纹是有宽度的，而条纹边界则是无宽度的，其 更符合二角法理想数学模型的要求，避免了图像腐蚀与细化等繁杂的处 理。 2 2 编码分析 从数学的角度，在多帧幽像中相同条纹的编码按时间方向进行组合可以将多帧条纹映 射到状态编码空间中( 见图2 2 ) 。则投影条纹编码的设计问题转换为在一个编码空问中不 同投影条纹的状态之间的有向跳变的排列。要求解一个符合要求的状态有向跳变的排列，应 先求出整个状态有向跳变的排列的集合。为了简化推导先考虑状态的无向跳变即求解该 编码状态空间的幂集的排列集。 图2 2 从投影条纹到状态编码空间的映射关系 1 、编码条纹无向跳变的排列代数描述 为了确定状态无向跳变序列空间，给数学推导和编码计算提供理论支持，先从排列代数 的角度对该问题进行描述。表2 2 为排列代数形式的条纹编码设计算法。该描述的优点在于 对不同长度的帧绢提供了一个统一的设计算法，并且该算法可以转化为二进制语言，为条纹 编码的计算实现指出的理论方向。 表2 2 用排列代数描述的条纹绷码设计算法 2 、编码条纹无向跳变的图跄描述 3 存这样的排列方法中，由于两个状态中有l 位相同则会在某帧图像中出现“不可见边界”问题。该问题 的解决方法见下一章。 9 东南人学硕士学位论文 除了上述的排列代数撒述，文献f 9 1 还提出基于图论的数学描述。它将各状态描述为二维 例中的结点状态跳变即实际的条纹边界编码则为结点问的边缘( b o u n d a r y ) ，确 定条纹边界编码序列问题便转揿为图中符台条什的最大路径的求解问题。图2 - 3 说明在状态 空间中编码可表示为结点间的路径。该描述的优点在于其比较直观，在帧数比较少时可以采 用人 j 的方法进行求解。但当帧数增加时，该描述则比较繁琐，并且难于直接用计算的方法 进行求解。 图2 3 状态编码空间的l 到论求解 3 、编码条纹序列的理论约球 上述算法所生成的是状态空间中所有排列的集合。根据实际投影检测的要求，应对所生 成的状态跳变排列即编码条纹序列提出一定的理论约束，如表格2 3 所示。按照该理论 约束对丁所生成的排列进行筛选，就能得到理论上有效的条纹编码。 表2 3 编码条纹序列的理论约束 l 蛩e 蠲省置_ 一 - 1 7 m 在所有帧中，某个条纹的编码必须跳变一次。因为从采集视点上看，在所有 编码时变 帧中没有变化的像素被认为是物体固有纹理所造成的。比如在4 帧投影时， 0 0 0 0 或1 1 1i 编码则会与物体固有纹理的反射相混淆。 在编码中，难免山现某帧时，条纹间没有跳变的现象。比如在4 帧投影时， 不可见边界 易判断 条纹1 0 1 0 干0 0 0 l 在第2 帧时就没有跳变。从采集视点上看，该条纹边界不 存在( 或不可见) 。不可见边界在编码序列中应易于判断。 错误效廊 条纹编码麻有利t 。将检测中的错误扩大，以便能够在检测时及时发现，丢弃 扩火 该帧进行重新采集。 分布合理 条纹编码中的宽度和跳变分布应台理，利于投影实现和采集。 问 空 碍 ， 醐，糍 ， ， ， ， 一 一 一 、 、 、 东南大学硕士学位论文 4 、本课题所采用的编码序列 根据l 二述的结论，该编码序列的求解过程可以抽象为三个独立的数学问题，即：求解集 台的幂集( 所有子集的集台) 、求解集合中元素的所有排列和对固定排列进行数学筛选。在 所有的序列中，按照上述的约束条件并经过实验筛选后。得到可以用来进行投影的条纹序列。 豳2 4 为本文所采用的投影条纹编码序列4 。 器3 1 器瓣：嚣：2 0 1 器：器3 ；2 黜 a ：2 ：j 3 器3 3 1 3 船；8 ： 器i 器8 韶 ；2 8 3 2 3 ：3 ：船；0 1 ： ；器3 0 1 0 ；器a a l ：2 船0 1 器3 器器 船 3 0 1 ：j 船嚣：嚣 ? 8 ；2 ；器8 器8 器：3 7 ：o j 8 0 1 3 ：勰d ：；：3 8 0 1 j 2 ；g ：粥2 ； 3 3 3 帮 3 3 3 1 3 ：8 3 2 j 1 2 8 船 糯；：器2 3 8 3 3 ：3 糯 8 图2 4 本文所采用的编码序列 2 3 模型分析 l 、c c d 摄像头成像原理分析 在分析面结构光投影三角洲鼙法的数学模型之前，首先简单介绍一下c c d 摄像头的成 像原理。为了消除色差等影响，c c d 摄像头是由许多片薄凸透镜组成的。根据光学理论可 知，凸透镜细可以等效为一个独立的凸透镜，所以摄像头可以看作无色差的凸透镜。 如果川，表示凸透镜( 或等效凸透镜) 的焦距，蜀、岛分别表示物距和像距表示凸 透镜的放人倍数，则有： 删= 三 ( 2 - 1 ) s q 弄 妄十去2 亭 协z ， s is 2 j 在一阶近似的条件下，摄像头所成的像可以看作三维物体在成像平面上的透视投影。景 物、焦距与成像平面的关系如i 到2 5 所示。 2 、投影光线路简图 投影光线经三维物体表面形状凋制后位置会发生变化，图2 6 反映了投影光线凋制前后 的位置变化关系。 假设与】，轴夹角为鼠的第f 次条纹边界( 中心条纹两侧的边界分别为1 、2 5 5 次条纹) 投向被测物体，在无畸变的情况r 在r 轴上的投影位置为s ，但由于受被测物体形 状的调制落在被测物体表面的r 点处。从z 轴方向观测可得r 点的位置信息蚱，一 m 娃7 1 点向r 轴的投影坐标。出倒2 6 可以得出r 点的高度而与其在y 轴上投影坐标一m 的关系为： 4 这只是可行的投影条纹编码序列中的一种。 东南大学硕士学位论文 兰型型二墨：三， c t 9 8 j | o s lz 观测 l ， 幽2 6 投影光线调制前后位置变化简图 ( 2 - 3 ) 3 、数学模型的建立 条纹边界编码光测量法三维检测系统的几何原理与三角测量法相同，如图2 7 所示其 中三维空间坐标系代表整个系统所处的空间位置，二维观测坐标系则代表c c d 摄像头的成 像平面。 图2 7 几何原理图 假设在靠近光轴的附近，可以把成像系统看成线性移不变的，基于这种假设，我们将对 系统进行详细分析，找出三维空间坐标系( ，l ，z ) 与二维观测坐标系( x ，