（计算机应用技术专业论文）不规则扁平粒状物表面平整度识别与分选方法的研究.pdf

苏州大学学位论文使用授权声明 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即：学位论文著作权归属苏州大学。本学位论文电子文档的内容和纸 质论文的内容相一致。苏州大学有权向国家图书馆、中国社科院文献 信息情报中心、中国科学技术信息研究所( 含万方数据电子出版社) 、 中国学术期刊( 光盘版) 电子杂志社送交本学位论文的复印件和电子 文档，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段 保存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数 据库进行检索。 涉密论文口 本学位论文属 在年一月解密后适用本规定。 非涉密论文口 论文作者签名：婆茎丝 一e l 导师签名：施e 1 用上述常用的特征值很难表征包含三维信息的平整度。 本文利用机器视觉技术对不规则扁平粒状物表面平整度的提取、表征进行了深 入的研究，设计了一种自动识别、分选这类物体表面平整度的方法，目的在于解决 现有技术对表面平整度特征难以获取、分选困难的问题。本文的主要研究内容如下： ( 1 ) 深入研究了三维视觉技术，通过比较各种三维视觉技术的特点、性能和适 用的场合，针对本课题的特点，提出了一种将双目立体视觉技术应用于不规则扁平 粒状物表面平整度分选的方法。 ( 2 ) 对摄像机成像模型进行研究，分析了透镜实际的畸变情况，为了使畸变模 型更符合真实情况，在透镜畸变模型中引入三阶径向畸变项和切向畸变项。根据不 规则扁平粒状物图像的特点，深入研究图像分割策略、匹配代价以及最终视差图计 算等环节，提出了一种改进的基于图像分割的立体匹配算法。 ( 3 ) 进一步优化立体匹配算法，同时采用c u d a ( 计算统一设备架构) 技术实现 c p u 和g p u 协同工作，从而大大缩短了该算法的运行时间。 ( 4 ) 分析与平整度相关的若干特征值，并利用三维信息通过大量实验得出最佳 平整度分选特征值，同时也验证本文方案适用于解决不规则扁平粒状物表面平整度 的自动化分选问题。 关键词：不规则扁平粒状物，平整度，三维重建，立体匹配，计算统一设备架构 作者：沈文超 指导教师：孙涌 a b s t r a c tr e s e a r c ho i lr e c o g n i z i n ga n ds e p a r a t i n gm e t h o df o rt h es u r f a c ef l a t n e s so fi r r e g u l a r - g r a n u l a ro b j e c t s a b s t r a c t i nr e c e n ty e a r s ，m a c h i n ev i s i o nt e c h n o l o g yh a sb e e ni n c r e a s i n g l yu s e di nt h ef i e l do f a g r i c u l t u r a lp r o d u c tt e s t i n g a tp r e s e n t ，a p p l e ，m a n g oa n do t h e rf r u i t sa n dv e g e t a b l e sc a n b es u c c e s s f u l l ys o r t e db ys i z e ，c o l o r , a s p e c tr a t i oa n do t h e rc h a r a c t e r i s t i c s h o w e v e r , d u e t o s l i g h t l yi r r e g u l a rs u r f a c e ，s m a l ls i z e ，l i t t l e s u r f a c ei n f o r m a t i o na n dt h ei r r e g u l a r c o n t o u r , i t sd i f f i c u l tt oc h a r a c t e r i z et h ei r r e g u l a r - g r a n u l a ro b j e c t s s u r f a c ef l a t n e s sw h i c h c o n t a i n st h r e e d i m e n s i o n a li n f o r m a t i o n a i m e dt or e s o l v et h ed i f f i c u l tp r o b l e mo fo b t a i n i n ga n ds e p a r a t i n gt h es u r f a c e f l a t n e s so fi r r e g u l a r - g r a n u l a ro b j e c t s ，t h i st h e s i sf o c u s e do nt h es u r f a c ef l a t n e s s e x t r a c t i o no ft h ei r r e g u l a r - g r a n u l a ro b j e c t s ，a n dd e s i g n e da l la u t o m a t i cm e t h o df o r i d e n t i f i c a t i o na n ds o r t i n gt h e s eo b j e c t sb yi t ss u r f a c ef l a t n e s s t h em a i nw o r ko ft h i s t h e s i si sa sf o l l o w s ： ( 1 ) a n a l y z e d t h et h r e e d i m e n s i o n a lv i s i o n t e c h n o l o g y a n d c o m p a r e d t h e c h a r a c t e r i s t i ca n dp e r f o r m a n c eo fv a r i o u st h r e e d i m e n s i o n a lv i s i o nt e c h n o l o g i e s e s p e c i a l l y , f o rt h i ss u b j e c t ，am e t h o df o rs u r f a c ef l a t n e s ss o r t i n gw h i c hu s e db i n o c u l a r s t e r e ov i s i o nt e c h n o l o g yi sp r o p o s e d ( 2 ) r e s e a r c ho nt h ec a m e r am o d e lt oa n a l y z et h ea c t u a ll e n sa b e r r a t i o n ，i n t r o d u c e d t h e t h i r d - o r d e rr a d i a ll e n sd i s t o r t i o na n dt a n g e n t i a ld i s t o r t i o ni t e m si n t ot h e l e n s d i s t o r t i o nm o d e l w h i c hr e n d e rt h ed i s t o r t i o nm o d e lm o r ec o n s i s t e n tw i t l lr e a l i t y a c c o r d i n gt oc h a r a c t e r i s t i c so ft h ei r r e g u l a r - g r a n u l a ro b j e c t s ，b a s e do nt h ei m p r o v e m e n t o ft h ei m a g es e g m e n t a t i o ns t r a t e g y , t h ec a l c u l a t i o no fm a t c h i n gc o s t ，g l o b a le v a l u a t i o n f u n c t i o na n dt h ec a l c u l a t i o no ft h ef i n a ld i s p a r i t ym a p ，p r o p o s e da ni m p r o v e di m a g e s e g m e n t a t i o n - b a s e ds t e r e om a t c h i n ga l g o r i t h m ( 3 ) o p t i m i z e da n di m p r o v e dt h es t e r e om a t c h i n ga l g o r i t h m ，m a d eu s eo f t h ep o w e ro f g p ut oa c c e l e r a t e t h ep r o c e s st h r o u g ht h et e c h n o l o g yo fc u d a ( u n i f i e dc o m p u t i n ga r c h i t e c t u r e ) s oi tc a ng r e a t l yr e d u c et h er u n n i n gt i m e ( 4 ) a n a l y z e ds e v e r a le i g e n v a l u e sw h i c hh a v ear e l a t i o n s h i pw i t ht h ef l a t n e s s 1 i r e s e a r c ho nr e c o g n i z i n ga n ds e p a r a t i n gm e t h o df o rt h es u r f a c ef l a t n e s so f i r r e g u l a r - g r a n u l a ro b j e c t s a b s t r a c t t h ea p p r o p r i a t ee i g e n v a l u e sw e r ed e t e r m i n e dt h r o u g hal a r g en u m b e ro fe x p e r i m e n t s t h er e s u l t ss h o wt h a tt h em e t h o dt h i st h e s i sp r o p o s e di se f f e c t i v et os o l v et h es u r f a c e f l a t n e s sa u t o m a t e d s o r t i n gp r o b l e m k e yw o r d s ：i r r e g u l a r - g r a n u l a ro b j e c t s ，s u r f a c ef l a t n e s s ，t h r e e - d i m e n s i o n a li n f o r m a t i o n r e c o n s t r u c t i n g ，s t e r e om a t c h i n g ，c u d a w r i t t e nb y ：s h e nw e n c h a o s u p e r v i s e db y ：s u ny o n g 目录 第一章绪论1 1 1 课题的背景及研究意义一1 1 2 国内外研究现状一2 1 2 1 国外研究现状2 1 2 2 国内研究现状3 1 3 本文的主要研究内容5 1 4 本文各章内容安排一6 第二章三维信息重建及处理的相关技术8 2 1 三维视觉概述8 2 1 1 主动视觉8 2 1 2 被动视觉9 2 2 双目立体视觉1o 2 2 1 双目立体视觉原理1 0 2 2 2 双目立体视觉技术的实现1 1 2 3 图形处理器通用计算技术17 2 3 1c u d a 概j 盎1 7 2 3 2c u d a 的编程模型19 2 4 本章小节2 0 第三章表面三维信息的重建方法研究2 1 3 1 摄像机标定2 l 3 1 1 透镜畸变2 1 3 1 2 立体标定2 3 3 2 图像预处理2 6 3 3 立体校正2 8 3 4 一种改进的基于图像分割的立体匹配算法2 9 3 4 1 图像分割3 0 3 4 2 初始匹配3 3 3 4 3 平面拟合3 5 3 4 4 计算最终视差图3 6 3 5 基于c u d a 改进的立体匹配算法3 7 3 6 本章小节4 0 第四章表面平整度辨析方法的实现4 1 4 1 采集系统结构设计4 1 4 2 表面信息重建实验4 3 4 3 表征表面平整度的特征值4 6 4 4 特征值选取的实验4 7 4 5 本章小节4 8 第五章总结与展望4 9 5 1 论文研究成果4 9 5 2 尚待研究的问题5 0 参考文献51 攻读学位期间公开发表的论文及参与的科研项目5 6 致谢5 7 不规则扁平粒状物表面平整度识别与分选方法的研究 第一章绪论 第一章绪论 本章介绍了课题的背景及研究意义，接着论述了机器视觉技术在农产品检测领 域的研究现状，最后提出本文的主要工作以及结构安排。 1 1 课题的背景及研究意义 机器视觉是- f - j 涉及神经生理学、心理物理学、人工智能、图像处理、统计学 等多个领域的交叉学科【1 1 。机器视觉系统是指通过图像采集产品获取目标图像并传 送给专用的图像处理系统，然后利用处理系统进行各种运算处理。机器视觉具有 非接触、自动化程度高等特点。系统与被观测的对象无接触，因此对被观测物体 无损伤。其观测对象广泛，可以应用于可疑爆炸物检测、在生化、辐射条件下的作 业等不便于人类直接观测的情况，此外，对于人类视觉无法观测的红外、微波等也 能进行观测。同时，其观测结果客观，可长时间工作、可靠性高。 由于上述优点，机器视觉被广泛地应用于以下领域【2 】： ( 1 ) 工业化自动化生产方面的应用。例如各类p c b 印刷电路板的组装技术、设 备、自动焊接等。 ( 2 ) 视觉导航系统方面的应用。例如自动驾驶车辆、无人机，巡航导弹制导系 统等。 ( 3 ) 检验、监视方面的应用。例如邮政自动化分拣、医学辅助诊断等。 随着半导体行业技术水平的飞速提升，机器视觉技术开始在农产品检测领域得到 应用。目前，苹果、芒果等果蔬已能成功地通过大小、颜色等常用的特征值进行分选 3 1 1 4 1 5 】【6 1 。针对小麦、玉米等谷物也提出了根据大小、长度、宽度、面积、尺寸比等特 征值进行分选的方法【7 】【8 1 。然而，西瓜子等不规则扁平粒状物表面平整度的实用化分 捡方法目前尚处于研究阶段。 不规则扁平粒状物是日常生活中常见的一种物体，如西瓜子、玉米种、葵花籽 等物体等。这类物体外形看似简单，但实际上要实现自动化分选却相当困难。以西 瓜子为例，由于瓜子表面为略带弧度的曲面，且体积小，外形不规则，因此较体积 较大、外形近似球体的苹果、芒果等果蔬的识别分选问题更具难度。而谷物品质检 第一章绪论不规则扁平粒状物表面平整度识别与分选方法的研究 测重在检测谷物的品质，对平整度是否符合规则没有甚为严格的要求，因此对求解 精度的要求不高，故谷物品质检测的方法也不适用于不规则扁平粒状物。而且这类 物体又不像工业零件那样存在规律性，因此常规的物理方法和间接测量方法并不能 很好地对其进行辨析分选。 对于此类物体，平整度是其核心特征度之一，也是研究的难点。依据西瓜子表 面平整度的不同，可以将瓜子分为弯翘瓜子和正常形态瓜子。在正常形态瓜子中又 存在烂瓜子、黑瓜子、白片瓜子、白皮瓜子、花斑瓜子、半瓣头瓜子等不合格瓜子。 这些类型的不合格瓜子可以通过表面花纹连通度、黑色区域覆盖度、直方图灰度分 布差异等加以分选9 】【1 0 1 。相对于这些类型的不合格瓜子，占不合格瓜子相当比例的 弯翘瓜子的辨析与分选在所有类型的西瓜子的辨析分选问题中是最困难的部分。 当前尚无合适的不规则扁平粒状物表面平整度自动检测方法，完全由手工完成 分选工作，这种分选方式受主观因素影响大，效率较低。因此研究针对不规则扁平 粒状物进行在线自动分选的方法，能够大大改善上述情况，对解决西瓜子、玉米、 黄瓜、花生、辣椒等物体的质量检测均具有指导意义。而且，该方法经过适当改动 就可应用于电容、集成电路、电池等微小物体的质量检测、表面状态检测等领域。 电子技术、计算机软硬件技术的飞速发展使得利用机器视觉技术进行不规则扁 平粒状物的自动分选成为可能。如果这种自动分选设备研制成功并投入生产，将会 大大提高劳动生产率，从而加速农产品产业化进程，对发展现代农业、推动生产力 的进步具有积极地作用。 本文研究的目的是针对不规则扁平粒状物的分选工作的现状，利用机器视觉技 术，根据不规则扁平粒状物的特点，实现对其平整度的提取及辨析，为开发出能实 平粒状 善将其 奠定基 不规则扁平粒状物表面平整度识别与分选方法的研究 第一章绪论 心理物理学、人工智能、图像处理、统计学等领域已有的成果，提出了个较为完 善的视觉理论框架【l l ，对机器视觉的研究和发展方向产生了深远的影响。随着半导 体行业自动化水平的飞速提升，促进了机器视觉系统的实用化研究。 机器视觉技术在农产品检测领域的研究与应用始于2 0 世纪7 0 年代。1 9 8 2 年， p a v l i d i st t l 2 1 提出了结构分析法和外形轮廓曲线检测法2 种形状识别方法。1 9 8 7 年， s a p i r s t e i nhd t 8 】等根据大小和谷粒长度、宽度、投影面积、尺寸比等形状特征来分 辨不同类的谷物种子。他们使用了多种多元统计方法，并通过试验证明能够正确地 识别大麦、小麦、燕麦和黑麦。 随着机器视觉技术的不断发展，其在农产品检测领域的应用也在不断拓展。1 9 8 9 年，c a s a d y 1 3 1 等提出沿主轴的对称参数鉴别玉米籽粒周边区域的损伤的方法，试验结 果表明该方法对于完好籽粒和损伤籽粒的识别均达n 8 8 。随后，z a y a s l l 4 】等运用图 像处理技术，提出一种根据玉米粒形的差别来识别完好籽粒和破损籽粒的方法。该方 法用一系列形态学参数来描述玉米籽粒的形状。试验结果表明：该方法对破损籽粒的 识别率达到1 0 0 ，对于完好籽粒的识别率为9 8 。 1 9 9 3 年，l i a ok t 5 】等利用机器视觉技术开发出根据谷物粒型轮廓判别损伤的系 统。该系统通过人工神经网络建立破损籽粒和完好籽粒不同网络模型，来判别谷物 的损伤。试验结果表明：该系统对完好籽粒的识别率达到9 9 ，对损伤籽粒的识别 率为9 6 。 2 0 0 4 年，c a t a l t e p ez t l 5 1 等于以小麦图像的像素直方图为特征使用多个学习算法区 分虫害和非虫害的小麦种子。 近年来，国外的学者将基于机器视觉的农产品检测技术与机器人技术相结合，提 出了一系列农产品自动收获机器人方案1 6 】【1 刀。 1 2 2 国内研究现状 国内对机器视觉技术的研究起步较晚，在2 0 世纪9 0 年代以后才开始将该技术应用 到农产品检测领域。1 9 9 5 年，王丰元【1 8 】等研究了检测玉米种子几何特征参数的图像二 值化处理、图像平滑、灰度统计算法，并通过试验加以验证。同一年，宋韬【1 9 1 论述了 轮廓形态特征参数选择的形态学原理，提出了霉变玉米粒表面的随机分形模型，并研 究了区域轮廓曲线角点的检测算法，实现了两接触粒的分割。 第一章绪论 不规则扁平粒状物表面平整度识别与分选方法的研究 9 0 年代后期，中国农业大学汪懋华院士带领的课题组历时五年时间，根据苹果 光学反射特性成功研制了苹果自动分级机电一体化集成系纠3 1 。该系统有较高的坏 损检出率，且能有效地消除果梗区和花萼区对坏损区域判别的影响，采用的检测方 法具有较强的鲁棒性。该系统已基本能够投入实际生产。 1 9 9 8 年，王江枫【4 】等利用机器视觉技术提出了芒果重量及果面坏损检测的方 法。该方法可较精确地确定目标图像区域，建立了芒果重量与其投影图像的相互关 系。试验结果表明：该方法对芒果果重分级准确率超过9 0 ，果面坏损分级准确率 超过7 6 。 1 9 9 9 年，应义斌【2 0 】等提出一种黄花梨果形的机器视觉识别方法。该方法利用机 器视觉采集黄花梨图像，研究了不规则果品的形状描述方法，提出在黄花梨的分级 过程中采用傅立叶变换与傅立叶反变换对来描述果形，并开发了基于人工神经网络 的果形识别软件。该果形识别方法的准确率达到9 0 。 随着机器视觉技术在农产品检测方面的应用越来越广泛，苹果、芒果等农产品 的品质检测的效率均得到了提高，国内有更多学者投入到相关研究中。2 0 0 0 年，黄 星奕【2 1 1 等用机器视觉技术实现大米胚芽损伤的自动识别，提出以饱和度作为特征值 进行胚芽和胚乳的识别，建立了一个神经网络分类器，从胚芽米图像中提取米粒的 物理特性作为分类器的输入进行训练，实现了针对大米留胚率的自动检测，其结果 与人工检测吻合率超过8 8 。 2 0 0 3 年，中国农业大学和北京大学成功研制出谷物品质检测系统，提出了一系 列针对谷物进行分选和评测的方法【2 2 】。该系统利用图像技术代替人工检测进行大米 的评测工作，根据优质稻谷分级质量指标中整精米率、垩白粒率、垩白度和粒型等 指标对稻谷品质特性做定性描述。 4 不规则扁平粒状物表面平整度识别与分选方法的研究第一章绪论 表面平整度方面的研究，故不能够对弯翘瓜子进行辨析、分选。 1 3 本文的主要研究内容 目前尚无合适的不规则扁平粒状物表面平整度自动检测、分选方法。对于此类 物体，平整度是其核心特征度之一，也是研究的难点。 本文以弯翘瓜子作为主要研究对象，设计了一种自动识别、分选不规则扁平粒 状物表面平整度的方法。本文的主要研究内容如下： ( 1 ) 研究了各种三维视觉技术的特点，着重分析比较了被动视觉中阴影恢复形 状法、纹理恢复形状法、光度立体学方法、双目立体视觉法等多种三维视觉方法的 性能和使用场合。根据课题的特点，选择双目立体视觉方法进行瓜子可视表面的三 维信息重构。 ( 2 ) 对摄像机成像模型进行研究，分析了透镜实际的畸变情况，为了使畸变模 型更符合真实情况，在透镜畸变模型中引入透镜的三阶径向畸变项和切向畸变项。 为了满足后续算法处理准确度及精度要求，根据实际采集的瓜子图像情况，选取了 高斯滤波法及直方图均衡法对图像进行预处理。为了提高立体匹配的效率和准确 性，接着利用标定结果对预处理后的瓜子图像进行立体校正处理。 ( 3 ) 根据不规则扁平粒状物图像的特点，对图像分割策略及过程、匹配代价的 计算、全局评价函数以及最终视差图的计算这些环节进行了改进，提出一种改进的 基于分割的立体匹配算法，通过空间分割、颜色分割、初始匹配、平面拟合，进行 插值求精计算出视差图，并进行了瓜子表面重建对算法加以验证。针对瓜子图像匹 配运算时间较长的问题，将算法进一步优化，并利用c u d a 技术将算法在g p u 上 实现，大大缩短了运行时间。 ( 4 ) 在分析了影响视觉系统精度的因素基础上设计了合理的系统结构。研究分 析了与高度相关以及与面积相关的两类特征值，利用瓜子表面的三维信息，通过大 量实验确定以瓜子在x o z 、y o z 两个平面的投影面积作为平整度分选的依据。实验 结果表明：该方案适用于解决不规则扁平粒状物表面平整度的辨析分选问题。 综上所述，本文的不规则扁平粒状物分选算法模型如图1 1 所示，其中( a ) 为算法 的总体流程。该算法共分为图像采集、获取三维信息、分选三个部分，其流程分别如 图1 1 中( b ) 、( c ) 、( d ) 所示。 第一章绪论 至塑型旦兰垫鉴塑耋亘! 鳖壁望型皇坌垄查鲨箜! ! 型 _ _ _ _ 一一 ( a ) 总流程 1 4 本文各章内容安排 ( b ) 图像采集部分流程 获 取 = 。 维 信 息 鼢 逞篓箩n 望 豸赢鬲 色彩分割 工 初始匹配 工 平面拟合 l 坚些l ( c ) 获取三维信息部分流程 ( d ) 分选部分流程 图1 1 本文的分选算法模型 全文共分为6 章，各章的主要内容安排如下： 第一章为绪论。介绍了课题的背景及研究意义、国内外的研究现状、本文的主 要工作以及本文的结构安排。 6 不规则扁甲粒状物表面平整度识别与分选方法的研究第一章绪论 第二章主要对三维信息重建及处理的相关技术进行了研究。首先通过分析比较 多种三维视觉方法，并根据课题的特点，采用双目立体视觉方法重建不规则扁平粒 状物的三维信息。然后，介绍了双目立体视觉的原理和技术的实现，以及图像处理 器的通用计算技术。 第三章主要研究了利用双目立体视觉重建不规则扁平粒状物表面三维信息的 方法。首先进行摄像机立体标定，接着对采集到的瓜子图像进行预处理，然后利用 标定结果对图像进行立体校正处理。根据瓜子图像的特点，提出一种改进的基于分 割的立体匹配方法。针对匹配运算时间较长的问题，将算法进一步优化改进，利用 c u d a 技术将算法在g p u 上实现，从而在保证匹配精度的前提下，大大缩短了匹 配算法的运行时间，为完成后续的任务奠定了基础。 第四章研究了不规则扁平粒状物表面三维信息重建方法的系统应用以及表面 平整度特征值的选取。首先分析了影响视觉系统精度的因素，设计了合理的系统结 构。然后，通过西瓜子表面的重建结果显示了本文三维重建方法的有效性。最后， 依据重建出的三维信息，通过大量实验确定了能够表征不规则扁平粒状物表面平整 度的特征值。实验结果证明了本文提出的分选方法适用于解决不规则扁平粒状物表 面平整度的辨析分选问题，为开发不规则扁平粒状物表面平整度自动检测系统打下 了基础。 第五章为总结与展望。对本文所做的主要工作进行了总结，并指出了存在的不 足以及在今后的研究工作中要继续深入的环节。 第二章三维信息重建及处理的相关技术 第二章三维信息重建 三维视觉技术以获得物体的深度信息为 类。本章中首先研究分析了各种方法各自的 采用双目立体视觉技术进行三维信息的重建 理和内容。最后，介绍了图形处理器通用计算技术。 2 1 三维视觉概述 三维视觉技术以获得物体的深度信息为目标，可分为主动视觉和被动视觉两大 类。 2 1 1 主动视觉 主动视觉通常采用结构光照明，通过采集携带了三维表面信息的光场信息的场景 图像进行三维重建。主动视觉法主要可以分为主动三角测距法、干涉测量、飞行时间 法等。 ( 1 ) 主动三角测距法 主动三角测距法主要是利用能量发射器、接收器以及被测物体表面之间的三角 关系来获得被测物体表面的三维信息。该方法适用于扫描表面变化平缓的物体。 ( 2 ) 干涉测量 干涉测量是具有较高精度、高分辨率的测量方法之一。干涉测量又包括阴影莫尔 法和全息干涉法。 阴影莫尔法由m e a d o w s 和t a l ( a s a k i 提出，它将光栅放在被测物体上面，用光 源透过光栅照在物体上，同时透过光栅观察物体可看到一系列莫尔条纹，它们是物体 表面的等高线。该方法的缺点是需要搭建复杂的相移机构，且测量速度较慢。 全息干涉测量【2 7 】主要用于粗糙表面的测量，它的分辨率可达波长量级，精度也较 高。但是该方法的测量范围很小，且对于全息底片的分辨率具有很高的要求，对处理 过程的要求也比较严格。 ( 3 ) 飞行时间法 飞行时间法是仿照动物依靠超声波获取前进方向的景物信息的原理而发展起来 8 不规则扁平粒状物表面平整度识别与分选方法的研究第二章三维信息重建及处理的相关技术 的技术。飞行时间法利用波源发射光波测量信号，通过计算发射时间与波信号被待测 物体反射回来的时间差决定至被测物体之间的距离，根据发射波和接收波的相位变 化，可得到待测物的轮廓深度。这一方法的特点是在大范围内仍可保持较高的精度， 但测量速度慢、设备造价昂贵。 2 1 2 被动视觉 被动视觉是指不向场景中的物体发射任何可控光线，而直接拍摄场景图像进行 三维信息的重建计算。 被动视觉的优点在于设备简单，相对于主动三角测距法、干涉测量、飞行时间法 等方法，图像采集装置成本低廉，基本不受待测物体所处位置、环境的限制，同时也 不受待测物体体积、形状的限制。作为图像采集来源的摄像机利用简单的透视投影原 理，只需保证采集到的图像能清晰地反映物体轮廓便能进行三维重建。 在被动视觉中，依据视点( 输入图像数目) 的不同，可以将基于图像的三维重构 分为单目视觉、双目视觉和多目视觉。 单目视觉是从一个视点获得图像进而进行三维重构，主要包括由阴影恢复形状算 法【2 引、由纹理恢复形状算法等【2 9 1 。由阴影恢复形状算法就是在一定的约束条件下利 用图像中物体的明暗变化计算物体表面的相对高度，其对照明、物体的材质等有一定 的要求，其原理简单，但是实际应用存在较多的困难。由纹理恢复形状算法利用物体 表面上的纹理恢复出表面的形状。该方法需要预先掌握纹理元的尺寸、形状、相互关 系，要求纹理元素需具有统计的特性，不适用于无纹理物体或纹理不符合条件的物体。 双目视觉原理类似于人类视觉成像原理，是利用两个不同视点所得到的图像对进 行运算处理，重构出物体表面的深度。双目立体视觉【3 0 1 的性能良好，系统组建方便、 灵活性高，且对环境适应性较强，其最大的限制在于对应点的匹配求解问题：由于待 测物体受纹理、光照、图像质量等因素的影响，两幅图像中的对应点求解问题并无一 种通用且效果较好的匹配方法，对于不同环境，不同要求下的物体的测量往往需要研 究新的算法。 多目视觉指通过多个视点获得多幅图像来进行三维重构，常用的方法包括：光度 立体法【3 l 】，轮廓恢复形状方法【3 2 】。光度立体法是在一定的光照条件下，利用多幅光 照图像重建物体的三维表面形态。该方法较易实现，在光照条件能够控制的环境下， 9 2 2 双目立体视觉 2 2 1 双目立体视觉原理 双目立体视觉模拟人类视觉系统获取景物的方式，由不同位置的两台摄像机或者 由一台摄像机经过移动或旋转拍摄同一幅场景，根据两幅图像中对应点的成像视差来 获得该点的三维信息。双目立体视觉系统的数学模型如图2 1 所示，它由两台完全相 同的摄像机构成，图像平面位于一个平面上的两台摄像机的坐标轴互相平行，删 重合。摄像机的光轴删方向上的间距为基线距离b 。假设坐标系原点与左透镜中 心重合，场景中坐标为( x ，y ，z ) 的点尸在左右图像中的投影点分别为c 1 和g ，p 在两台 摄像机上的对应像点分别为异、e ，而、x ，为异和只到各自光轴的位移。两台摄像 机的有效焦距均为f ，极线距离为b 。 1 0 理的相关技术 x x t 一= zf 工一b x r zf ( 2 2 ) 式， ( 2 1 ) ( 2 2 ) j b z = ( 2 3 ) x l x r 在标定得到摄像机有效焦距f n 极线距离曰的情况下，如果匹配出某点在左右图 像上的对应点，通过上述公式即可求出此点的三维坐标。 2 2 2 双目立体视觉技术的实现 双目立体视觉的研究由以下几部分组成【3 3 】：图像采集、摄像机标定、立体匹配 及三维重建。下面依次介绍各个部分的实现方法和技术特点： ( 1 ) 图像采集 图像是立体视觉的处理对象，图像采集就是通过不同位置的两台摄像机或者由 一台摄像机经过移动或旋转获取三维物体的二维图像。图像采集要考虑光照情况、 摄像机性能以及物体自身特点等因素的影响，以便于后续计算处理。 ( 2 ) 摄像机标定 摄像机通过透镜将三维场景投影n - 维图像平面上，该投影变换可以用摄像机成 像模型来描述。该模型决定了图像点和被测物体表面对应点之间位置的映射关系。该 模型的参数称为摄像机参数，这些参数必须由实验和计算来确定。摄像机标定就是求 第二章三维信息重建及处理的相关技术不规则扁平粒状物表面平整度识别与分选方法的研究 解摄像机的内外部参数的过程。精确的标定过程可以提高三维重建的准确性和精度。 因此，摄像机标定是双目立体视觉研究中的重要工作之一。 根据摄像机参数的性质可以分为内部参数和外部参数： ( 1 ) 内部参数描述与摄像机本身性质有关的内部光学和几何特性，主要包括： 主点坐标( ，) 。主点坐标( ，) 理论上位于图像中心处。但是摄像机在装 配过程中可能出现c c d 芯片与摄像机光轴并不严格垂直的情况。因此在实际情况 中，主点不一定在图像中心处，其位置需要通过标定求得。 有效焦距哦、口，。有效焦距哎、口，是“轴和1 l ，轴的尺度因子，q = f d x ， 口，= 厂d y ，其中出和砂分别为水平方向和垂直方向的像元间距。厂为物理焦距， 单位为t r i m ，而有效焦距的单位为像素。 倾斜因子c 。倾斜因子c 是甜轴和v 轴的不垂直因子。c 是一个极小量，一般 情况下都认为等于零。 畸变参数。包括径向畸变和切向畸变的参数。 ( 2 ) 外部参数描述了摄像机坐标系与世界坐标系的关系，包括3 x 3 的旋转矩阵 r 和3 x l 的平移向量t o 旋转矩阵尺为矩阵r 、r ，、r 的乘积，色、灭y 、足分别 表示绕x 、y 、z 坐标轴二维旋转角度为口、7 的旋转矩阵。 j 1oo i 足= 10 c o s c ts i n c ri ( 2 4 ) 【- 0 一s i n c tc o s 口j ic o s 0 - s i n ei b 2 1 0l0 i ( 2 5 ) ls i n f l 0 c o s ei f c o s ) ,s i n ) , 0i 足= j _ s i n ) c o s ) 0i ( 2 6 ) l oo l j l - j t = l t j ( 2 7 ) 双目视觉立体系统通过摄像机获取三维物体的二维图像的投影过程经过了不 同坐标系间的变换。主要包括世界坐标系、摄像机坐标系、物理坐标系、像素坐标 系4 个坐标系，4 个坐标系的关系如图2 2 所示。物体从空间坐标变换到计算机图 1 2 理的相关技术 由摄像机 x = ( ，u - u o ) d 。x ( 2 8 ) 【y = ( v v o ) 方 、7 i = 瓣羽； 亿9 ， 第二章三维信息重建及处理的相关技术不规则扁平粒状物表面平整度识别与分选方法的研究 ；= 1 一 _ 0 “o 傲 一 1 0 _ v o 砂 oo1 ( 2 1 0 ) 摄像机坐标系： 定义摄像机坐标系q 五e 乏，摄像机光心定义为坐标系原点q ，鼍轴与k 轴 分别平行于物理坐标系中的x 轴与y 轴，乙为摄像机的光轴，且垂直于图像平面， 图像的原点d 为光轴与图像平面的交点。 世界坐标系 世界坐标系是客观世界的绝对坐标。在实际应用中，由于摄像机可安放于任何 位置，常常选择世界坐标系作为基准坐标系来描述摄像机在环境中的位置，并用它 来描述环境中物体的位置。世界坐标系q l 匕z w 的刻度单位属于物理单位，空间 中任意一点尸在世界坐标系与摄像机坐标系下的坐标存在如下关系 t 儿 z c 1 = 鲫 h y 。 乙 l = m 1 y 。 乙 l ( 2 1 1 ) 其中，r 为3 3 正交单位矩阵，f 为三维平移向量，0 = ( 0 ，0 ，0 ) ，m 是4 4 矩阵。 针孔模型是是一种常用的摄像机模型，简单实用。它能够比较准确地反映摄像机 成像的物理过程，因此适用于大多数通用镜头。该模型的成像关系是线性的，并不考 虑实际成像过程中存在的镜头畸变，因此相对于非线性模型精确性稍差。 空间中任何一点m 在图像上的投影位置可近似表示光心0 和m 的连线o m 与 图像平面的交点朋，如图2 3 所示。其比例关系如( 2 1 2 ) 式： 1 4 不规则扁i f 粒状物表面甲整度识别与分选方法的研究 第二章三维信息重建及处理的相关技术 ( 2 1 2 ) 其中，( x ，) ，) 为m 在图像坐标系下的坐标；( x c ，y 。，z 。) 为空间点m 在摄像机坐标系下 的坐标，厂为摄像机的焦距。 设【x ，y ，l 】r 为聊点在图像坐标系下的齐次坐标， t ，虬，乙，1 7 为空间点m 在摄像 机坐标系下的齐次坐标，则上述透视投影关系可表示为： * 1 00 o l f 00 01 0l j t y c z 。 1 ( 2 1 3 ) 其中，s 为比例因子，将( 2 1 1 ) 式和( 2 1 2 ) 式代入上式，可得点在世界坐标系的 坐标与其相应的投影点在计算机图像坐标系中坐标的关系： h 忖 1 一 i ，0 u o 出 1 o 万v 0 001 雎。0 t l00 10l l j = 雕冲q k y w z w 1 y 。 乙 1 = m l m 2 x 。= m 3 x 。 ( 2 1 4 ) 其中，q = f d x 、6 t , y = f d y 为有效焦距，心为3 4 投影变换矩阵，m 包含 了摄像机的内部参数，( 0v o ) 为图像中心点坐标，鸠包含了摄像机的外部参数，r 是3 x 3 旋转矩阵，f 是三维平移向量。 ( 3 ) 立体匹配 型 模像 成 村仃像摄bz 丁 害3互 图 c c 睦 乙乙 ， 以舭 = = x y ，、l 第二章三维信息重建及处理的相关技术不规则扁甲粒状物表面平整度识别与分选方法的研究 立体匹配是将同一空间点在两幅图像中的对应点之间建立对应关系，并计算出匹 配点的视差值从而生成深度图的过程。立体匹配是双目立体视觉中的核心过程，也是 其中最困难的部分。立体匹配涉及的问题众多，算法相对比较复杂，被公认为一个病 态的问题。当三维场景被映射为二维图像时，同一场景在不同视点下的图像会有很大 差异，而且场景中的诸多变化因素，如光照情况、景物间存在遮挡、景物形状的畸变 等都会对图像产生影响。 立体匹配可以分为局部匹配算法和全局匹配算法。局部匹配算法【3 4 】【3 5 】【3 6 1 ，也就 是以窗口为基础的匹配，其优点是计算复杂度低，但是存在着很大的局限性：窗口 的大小对匹配结果有相当大的影响，需要全面考虑进行取舍。当窗口取值较大时， 无纹理区域中出现的误匹配较少但是图像的边缘特征变得很模糊；而当窗口取较小 的值时，在不连续区域附近能得到较好的结果，但是误匹配显著增加。局部匹配算 法误匹配较多因而不适用于匹配准确性要求较高的场合。全局匹配算法利用了图像 的全局约束信息，它假设视差图是平滑的，通过构造一个包含数据误差、光滑程度 以及遮挡在内的能量函数，将对应点的匹配问题转化为寻找能量函数全局最优解的 优化问题。全局匹配算法包括动态规划算法【3 7 1 、图割算法【3 引、置信度传播算法( b e l i e f p r o p a g a t i o n ) 1 3 9 1 等。 动态规划算法是在左右图像对应扫描线上寻找视差空间中的最小匹配代价路径 的过程，其忽略了行间视差约束，算法复杂度不高，但由于仅在一维条件下达到最优， 因此容易受到局部噪声的影响造成误匹配。 图割算法和置信度传播算法是全局匹配中性能较好的算法，能够获得很高的匹配 准确性，但是和基于窗口的局部匹配算法相比，计算复杂度较高。 ( 4 ) 三维重建 双目立体视觉的目的是重建景物可视表面的完整信息。经过立体匹配，便得到了 景物的深度图，然后可以通过三角计算原理恢复景物可视表面的三维信息。 影响重建的三维信息精度的因素主要有摄像机标定误差、量化误差、匹配精度等。 因此要设计一个精确的双目立体视觉系统，必须综合考虑多方面的因素，减小每个环 节的误差，以保证最后的重建结果具有较高的精度。 1 6 不规则扁平粒状物表面平整度识别与分选方法的研究第二章三维信息重建及处理的