（生物物理学专业论文）结构光乳房三维测量系统的研究.pdf

南开大学学位论文使用授权书 根据南开大学关于研究生学位论文收藏和利用管理办法，我校的博士、硕士学位 获得者均须向南开大学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在 著作权法规定范围内的学位论文使用权，即：( 1 ) 学位获得者必须按规定提交学位论文 ( 包括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论 文，并编入南开大学博硕士学位论文全文数据库：( 2 ) 为教学和科研目的，学校可以将 公开的学位论文作为资料在图抒馆等场所提供校内师生阅读，在校园网上提供论文目录检 索、文摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开大学向 教育部指定单位提交公开的学位论文；( 4 ) 学位论文作者授权学校向中国科技信息研究所和 中国学术期刊( 光盘) 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文 数据库，通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。 论文电子版提交至校图书馆网站：h t t p ：2 0 2 1 1 3 2 0 1 6 1 ：8 0 0 1 i n d e x h t m 。 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答 辩；提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。 作者暨授权人签字： 毖达堂 2 0 1 0 年6 月2 日 南开大学研究生学位论文作者信息 论文题目结构光乳房三维测量系统的研究 姓名张达光 j 学号l 2 1 2 0 0 7 0 1 3 1 j 答辩日期i2 0 1 0 年5 月2 4 日 论文类别 博士口学历硕士囤硕士专业学位口高校教师口同等学力硕士口 院系所物理科学学院i专业i生物物理学 联系电话 138 2 0 7 018 4 5 i e m a i l a u r o r a t ju g m a i l c o r n 通信地址( 邮编) ：天津市南开区卫津路9 4 号南开人学第五教学楼1 1 9 室( 3 0 0 0 7 1 ) 备注：无i 是否批准为非公开论文i否 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆，非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 嗍9 耋| 7伽4m 1m 8 胛1脚y 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所 取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包 含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所 涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本 学位论文原创性声明的法律责任由本人承担。 学位论文作者签名：蓝达迸2 0 1 0 年6 月2 日 非公开学位论文标注说明 根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申 请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本 说明为空白。 论文题目 申请密级 口限制( 2 年)口秘密( 1 0 年)口机密( 2 0 年) 保密期限 2 0 年月日至2 0年月日 审批表编号批准日期 2 0 年月日 限制2 年( 最长2 年，可少于2 年) 秘密1 0 年( 最长5 年，可少于5 年) 机密2 0 年( 最长1 0 年，可少于1 0 年) 摘要 摘要 采用外科手术方法彻底切除乳腺肿瘤是治疗乳腺癌这种高发恶性肿瘤的重 要方法之一，当前有着大量且广泛的临床应用。随之而来的乳腺癌根治术后的 乳房再造手术的需求在不断的增加。而且人们对形体美的追求日益强烈，因此 当前乳房整形美容手术日益增多。乳房的三维形态数据对于乳腺癌根治术后的 乳房再造手术和各种乳房整形美容手术均有着重要意义，可以用于辅助手术方 案的设计以及术后效果的评价。 当前临床上主要采用直尺和卷尺等长度测量工具或体积模具来测量乳房的 体积和形态，这些测量方法存在诸多固有的缺陷，主要包括：接触式测量方法 导致测量时乳房形变，无法获得真实和准确的乳房形态和体积数据；手动测量 方法，测量精度低，测量速度慢，稳定性差；无法获得乳房的整体三维形态数 据等。 因此我们将结构光三维测量技术引入对乳房形态的测量，开发了一套结构 光乳房三维测量装置系统，用于对乳房的三维形态数据进行非接触、快速和精 确的测量。整个测量装置系统的结构简单，使用方便，成本低廉。 文中主要完成的工作包括： ( 1 ) 构建了结构光乳房三维测量系统的硬件体系和软件体系，分析了从被测物二 维平面图像到三维坐标数据的解算过程 ( 2 ) 设计了编码结构光图案和结构光图案投射系统，制作了结构光图案投射装置 模型 ( 3 ) 完成了用来采集图像的摄像机和镜头的选型，开发编写了摄像机操控程序和 摄像机图像采集程序 ( 4 ) 开发编写了对采集到图像进行多步图像处理和分析的软件程序，实现了三维 数据的获得和显示 关键词：结构光，乳房三维测量，图像采集，图像处理 一 a b s t r a c t s u r g i c a lr e s e c t i o ni so n eo ft h em o s ti m p o r t a n ta n dw i d e l vu s e d c l i n i c a lt r e a t m e n t sf o rt h eb r e a s tc a n c e rw h i c hi s ak i n do fm a l i g n a n t t u m o ro f h i g h i n c i d e n c e n o w a d a y s t h e d e m a n d f o rb r e a s t r e c o n s t r u c t i o na f t e r s u r g i c a l r e s e c t i o no fb r e a s t c a n c e ri n c r e a s e s s i g n i f i c a n t l y a n dt h en u m b e ro fb r e a s tp l a s t i c s u r g e r ya l s og r o w s r a p i d l yd u et ot h ei n c r e a s i n g l yi n t e n s ep u r s u i to fc h a r m i n gb o d yf i g u r e t h et h r e e d i m e n s i o n a ls h a p ed a t ao ft h eb r e a s ti so f g r e a ts i g n i f i c a n c e i nb o t hb r e a s tr e c o n s t r u c t i o na f t e r s u r g i c a lr e s e c t i o no fb r e a s tc a n c e r a n db r e a s tp l a s t i c s u r g e r y ，t h a tc a nb eu s e df o rs u r g e r yd e s i g na n d s u r g e r yr e s u l te v a l u a t i o n t h eu s eo fr u l e ra n dv o l u m em o l dt om e a s u r eb r e a s t p r o f i l ea n d v o l u m ei st h ec o m m o nc l i n i c a lw a yo fb r e a s tm e a s u r e m e n t t h i sm e t h o d h a ss o m ei n h e r e n td e f e c t s ，i n c l u d ec o n t a c tm e a s u r e m e n tw h i c hc a n n o t a c q u i r e t h ev a l i d p r o f i l e a n dv o l u m e d a t eo fb r e a s t h a n d w o r k m e a s u r e m e n tw i t hl o wa c c u r a c ya n d s p e e d ，t h ei n t e g r a l3dd a t eo f b r e a s ti su n a v a i l a b l e t h e r e f o r ew ei n t r o d u c e d s t r u c t u r e d l i g h tt h r e e d i m e n s i o n a l m e a s u r e m e n t t e c h n i q u e f o r m e a s u r i n g b r e a s t s h a p e a n dt h e m e a s u r e m e n ts y s t e mw h i c hc a n a c q u i r e3dp r o f i l eo fb r e a s tw i t h n o n 。c o n t a c t ，f a s ta n da c c u r a t em e a s u r e m e n tw a s d e v e l o p e d t h i s m e a s u r e m e n ts y s t e mh a sf e a t u r e so fs i m p l e s t r u c t u r e ，e a s yt ou s ea n d l o wc o s t t h em a i nw o r kc o m p l e t e di nt h i sd i s s e r t a t i o ni n c l u d e 1 ) t h eh 2 l r d w a r ea n ds o f t w a r ea r c h i t e c t u r eo fs t r u c t u r e d l i g h t3 dm e a s u r e m e n t s y s t e m f o rb r e a s tw e r ec o n s t r u c t e d t h ed a t a c a l c u l a t i n gp r o c e s s f r o mt w o d i m e n s i o n a li m a g et o t h r e e d i m e n s i o n a lc o o r d i n a t e so f t h em e a s u r e do b je c tw a sa n a l y z e d 2 ) c o d e ds t r u c t u r e dl i g h tp a t t e r na n ds t r u c t u r e d l i g h tp r o j e c t i o n i i a b s t r a c t s y s t e mw e r ed e s i g n e d t h em o d e lo fs t r u c t u r e dl i g h tp r o j e c t i o ns y s t e mw a s m a d e 3 ) c a m e r a sa n dl e n sf o ri m a g ea c q u i s i t i o nw e r es e l e c t e d p r o g r a mo fc a m e r a c o n t r o la n di m a g ea c q u i s i t i o nw a sd e v e l o p e da n dc o d e d 4 ) m u l t i s t e pi m a g ep r o c e s s i n g a n d a n a l y s i s s o f t w a r ew a s p r o g r a m m e d c a l c u l a t i n ga n dd i s p l a yf o rt h r e e d i m e n s i o n a ld a t ao fm e a s u r e d o b j e c tw a sa c h i e v e d k e yw o r d s ：s t r u c t u r e dl i g h t ，3 d m e a s u r e m e n tf o rb r e a s t ， i m a g ea c q u i s i t i o n ，i m a g ep r o c e s s i l l 目录 目录 第一章绪论1 第一节研究背景及意义1 第二节乳房的生理结构特点及其三维形态测量的难点1 第三节理想化的乳房三维形态和体积测量系统2 第四节现有的对乳房体积和形态的测量方法3 第二章结构光乳房三维形态测量系统的建立5 第一节三维测量方法概述5 第二节结构光三维测量方法5 2 2 1 结构光三维测量方法的基本原理及其分类5 2 2 2 面结构光图案编码方法7 第三节相关课题的研究现状1o 2 3 1 辅助标记双目立体视觉方法测量动态人体形态。1 0 2 3 2 计算机辅助投射条纹的乳房三维形态测量1 l 第四节测量系统的基本结构和组成l3 第五节三维坐标数据的解算方法14 第三章结构光投射装置系统18 第一节结构光投射图案1 8 第二节结构光投射装置系统构成18 第三节结构光投射装置系统各组成部分19 第四节投射装置系统模型和实验效果2 0 第四章图像采集装置系统2 2 第一节摄像机性能参数2 2 第二节数字摄像机的选型2 3 i 、， 目录 第三节摄像机镜头的选型2 6 第五章结构光乳房三维测量系统的软件设计2 9 第一节软件系统的概述及功能模块2 9 第二节摄像机的控制和图像数据的采集31 第三节获得图像的处理和分析3 3 第四节三维数据的显示41 第六章总结与展望4 3 参考文献4 5 致谢4 7 v 第一章绪论 第一章绪论 第一节研究背景及意义 乳腺癌是一种常见的恶性肿瘤，近年来在我国的发病率也明显上升，一直 占据着女性恶性肿瘤的第一位或第二位。采用外科手术方法彻底切除乳腺肿瘤 是治疗乳腺肿瘤的重要临床方法之一，当前有着大量且广泛的临床应用。目前 采用乳腺癌外科切除术治疗癌症的目的已经从传统的重点切除肿瘤，转变为在 控制肿瘤的同时保持或恢复患者乳房的完整性，提供给患者尽可能好的生活质 量【。乳腺癌根治术后乳房再造手术在彻底切除了肿瘤后重新塑造了新的乳房， 已成为乳腺癌治疗的重要一部分，近几年来越来越受到医生和患者关注和欢迎。 随着国民经济的快速发展和物质生活水平的迅速提高，人们对形体美的追 求日益强烈，乳房作为女性的第二性征器官，是形成人体曲线美和体现女性魅 力的重要结构，所以当前与乳房有关的整形美容手术日渐增多1 2 圳。 乳房的三维形态数据对于乳腺癌根治术后的乳房再造手术和各种乳房整形 美容手术有着重要意义，可以用于辅助手术方案的设计以及术后效果的评价。 此外，对乳房的三维形态进行测量也可以用于对正常人群的乳房形貌调查，对 研究乳房的生长发育状况和美学规律起到重要作用【4 j 。 因此对于乳房的三维形态进行准确和快速的测量显得极为重要，能实现这 样功能的一套测量装置系统将会有着极其广阔的实用价值。 第二节乳房的生理结构特点及其三维形态测量的难点 由于乳房本身生理结构的特殊性，所以对乳房三维形态和体积的测量存在 许多难点5 1 。 首先，乳房组织是由软组织组成的，弹性很大并且十分敏感，其形态会随 着体位的改变而改变，在发生接触或受到刺激时，尤其是被按压后，非常容易 改变原有自然状态下的形状，其体积也会随之发生改变。其次，乳房有相对滑 动性，其位于前胸壁的相对位置会随着呼吸而发生移动，这种随人体呼吸发生 第一章绪论 的位置和形态的变化会对准确测量乳房三维形态带来影响。而且，乳房上部没 有明显的边界，所以对于乳房上界一直无法做出明确地界定。同时因为乳房与 其下方的胸大肌均为软组织，乳房的底面也同样难以界定。胸大肌隆起的程度 同样会影响乳房形态和外观大小，而从体表难以区分观测到的乳房隆起是否包 含胸大肌的隆起，所以从体表难以严格区分出乳房组织。 上述因素导致乳房形态和体积的测量具有很大的难度，因此需要一种非接 触、高速和精确的测量方法，从而避免测量时的接触和测量过程中的呼吸运动 导致结果的偏差，这样才能获得自然状态下有价值的准确测量结果。如果要准 确获得乳房组织的体积数据，则需要能够“穿透体表的测量技术，将乳房组 织与其他组织区分开来。 第三节理想化的乳房三维形态和体积测量系统 鉴于乳房的生理结构特点，对于开发乳房三维形态和体积测量系统，理想 化的情况下测量系统应同时具有以下性能和特点。 ( 1 ) 非接触式测量方法，用以排除接触、按压引起的乳房形态改变对测量结果真 实性和有效性的影响； ( 2 ) 采集测量所需数据的速度要快，从而减少被测者保持身体静止和屏气的时 间，尽量降低身体微小移动和呼吸运动对测量的影响； ( 3 ) 可进行乳房的全景三维测量，对于乳房体型过大、存在明显侧突或显著下垂 的情况仍可以准确测量，不存在测量“盲区”； ( 4 ) 具有较高的测量精度和准确度，一般线性测量项目和体积测量结果分别要达 毫米级和毫升级的测量灵敏度，才能满足乳房整形外科的临床要求； ( 5 ) 可以通过人工辅助界定出乳房边界，从而能将乳房与其周围的其它软组织区 分开。对于乳房组织的体积的测量要能够透过皮肤，获取体表下的组织数据， 并能够将乳房组织与其他组织严格区分开来； ( 6 ) 测量结果的数据可以方便的显示、存储、传输和再次分析处理，从而使结果 直观易用且便于数据信息的存储和管理，以及方便后续的研究分析； ( 7 ) 系统的集成化程度和自动化程度高，操作简单方便，适应能力强，可在日常 室内环境下稳定运行； 2 第一章绪论 ( 8 ) 测量装置的制造、维护和使用成本相对低廉，这样一来测量使用的费用较低， 利于推广应用； 第四节现有的对乳房体积和形态的测量方法 当前对于乳房的形态和体积的测量主要有如下几种方法： ( 1 ) 利用直尺、卷尺、卡尺等传统的测量工具进行测量，主要是测量一些特定位 置和标记处的尺寸，例如：乳房基底周径、基底横径和凸度等，从而实现对乳 房三维形态的描述和量化，同时通过经验公式推算乳房的体积。 此方法至今仍在临床上有广泛的应用，是主要的测量方法之一，其优点是 工具简单，操作便捷，成本低，其缺点是采用了接触式测量方法，准确度低， 手工操作，速度慢，十分依赖于医生的技术和经验，而且测量不能直接得到三 维形态和体积数据。 ( 2 ) 乳房体积模具测量方法，从二十世纪5 0 年代开始研制出现了多种乳房体积 测量仪，并且得到了广泛应用，其基本原理均是利用水或空气进行体积置换的 阿基米德原理，具有代表性的就是排水法测量。这类方法具有先天性的缺陷， 因为它是接触式测量方法，测量时会对乳房产生压迫，无法准确得到自然状态 下乳房的三维形态数据，测量只能得到乳房体积数据，而且测量精度低，速度 慢。 ( 3 ) 三维超声测量法，此方法存在测量时超声探头与乳房接触导致乳房形变的问 题，这样以来就无法测得准确数据，而且此方法测量速度慢，精度不高，重复 性较差。 ( 4 ) 利用m r j 测量乳房三维形态，此方法可以得到高精度的乳房三维形态数据， 而且可以有效的将乳房组织与其他组织严格区分，精确得到乳房组织的体积。 但是此方法得到的是被测者仰卧状态下乳房的三维形态数据，进行m 刚测量需 要的时间较长，而且需要对核磁成像的数据进行二次分析处理，分析计算程序 十分复杂，m 刚设备的购置、维护和使用费用较高，操作复杂，检测费用较高， 所以当前此种方法很难得到普遍推广。 ( 5 ) 利用c t 数据三维重建技术进行乳房体积测量【6 j ，此技术方法也可以将乳房 组织与其他软组织区分从而精确得n - l 房组织的体积，但是测量速度慢，数据 复杂，所 充分考虑到乳房三维形态测量的特殊性，仔细分析当前各种乳房三维形态 和体积测量方法的优缺点，我们设计将结构光三维测量技术引入到对乳房三维 形态的测量，设计制作一套结构光三维测量装置，用于对乳房的三维形态数据 进行非接触、快速和精确的测量。测量得到的三维形态数据用于乳腺癌根治术 后的乳房再造手术的手术方案设计和术后效果的评价。在保证测量的精确度和 测量速度的前提下，做到使测量装置系统的结构简单，使用方便，成本较低， 从而保证其能够得到广泛的应用。 4 第二章结构光乳房三维形态测量系统的建立 第二章结构光乳房三维形态测量系统的建立 第一节三维测量方法概述 三维测量方法可以分为接触式测量方法和非接触式测量方法两个大类，其 中非接触式测量方法又可以分为光学非接触式测量方法和利用声波、高频电磁 波等进行测量的非接触式测量方法，而光学非接触式测量方法根据其测量原理 可分为飞行时问法、双目立体视觉法、结构光测量法、莫尔云纹法和相位测量 法等【7 - 8 1 。 对目标被测物体的表面轮廓进行测量，获取被测物的三维形态数据，早期 采用的方法是接触式测量方法，代表性的应用是三维坐标测量机( c m m ， c o o r d i n a t em e a s u r e m e n tm a c h i n e ) ，其对目标物体进行测量时需要通过探针逐点 接触被测物体表面，记录各接触点对应于测量机的三个固定坐标轴的坐标数据， 从而获得被测物的三维数据。这种测量方法虽然可以实现高精度的测量，但是 由于采用接触式测量方法，因而无法测量柔软和易形变的物体，也不适用于具 有测量探头不能触及表面的物体的测量。此外，三维坐标测量机的测量速度受 到机械运动系统和控制系统的限制，测量速度较慢，测量结果的精度很大程度 上决定于使用的探头的分布情况和区域密度。这些都严重限制了其应用和发展， 虽然有实际的工业应用和产品，但已不是研究的热点和未来的发展方向。 随着光电检测技术、计算机技术和信息技术的飞速发展，各种光学非接触 式三维测量方法得到了极大的发展和应用，并且测量速度和测量精确度均不断 提高。在高速在线检测、质量控制、机器机器人视觉、反求工程( i 迮) 、计算 机辅助设计( c a d ) 、自动加工和控制以及医疗诊断等领域均有日益广泛和重要 的应用【9 1 0 1 。其中结构光三维测量方法具有量程大，精度高，实时性强和主动受 控等优点，是相关的研究的热点，此技术也得到了快速发展和广泛的应用。引。 第二节结构光三维测量方法 2 2 1 结构光三维测量方法的基本原理及其分类 射器向被 经被测物 电传感器 理计算得 光点式结 构光测量方法、光线式结构光测量方法和面结构光测量方法。 ( 1 ) 光点式结构光测量方法： 向被测物表面投射一个光点，用摄像机采集被测物图像，利用三角法原理 即可解算得到被测物表面此光点处的三维数据。由于只投射一个光点，无需投 射图案和采集图像之间匹配点的对应识别过程，因此方法简单，精度很高，但 是对整个被测物体进行三维测量，需要利用一定的机械位移装置带动光点投射 装置对被测物形成二维面扫描，即获得每个扫描点的三维位置信息，此方法需 要精密的机械移位系统的引入，而且测量速度低，测量需要的时间随着被测物 体的增大而急剧增加，难以完成实时测量。 其基本结构示意图如下： 图2 1 光点式结构光三维测量方法示意图 ( 2 ) 光线式结构光测量方法： 用线状光条代替光点，这样可一次测量线上各点的三维位置数据，因此只 需要进行一维扫描就可以获得被测物体表面的全部三维数据。下图是其基本结 构示意图，线结构光测量方法仍需要精密的移位或旋转机构实现投射线条的扫 描，用摄像机获取每步移位或旋转投射线条后的图像，不能实现实时高速测量。 6 图2 2 光线式结构光三维测量方法示意图 ( 3 ) 面结构光测量方法： 即将二维平面结构光图案投射到被测物体表面上，在另外的角度上利用摄 像机拍摄结构光图案投射到被测物上后的图像，分析处理采集到的图像，确定 投射图案和采集图像之间的对应匹配点，利用几何三角法即可解算获得被测物 的三维形态数据。面结构光三维测量方法的结构示意图如下，这种方法不需要 进行扫描过程就可以实现对整个被测物体的三维轮廓测量，量程大，测量速度 高，是现在结构光三维测量技术的主要的研究方向和广泛采用的方法。 图2 3 面结构光三维测量方法示意图 2 2 2 面结构光图案编码方法 采用面结构光三维测量方法时，解算出三维数据的关键是能否准确识别出 获取的图像中的图案和投射的结构光图案之间各点的一一对应关系，即精确判 7 第二章结构光乳房三维形态测量系统的建立 断出匹配点是该方法的关键技术。所以很多研究人员在面结构光图案编码方面 做了大量的研究和实验，提出了多种结构光图案编码方式和方法【l 孓1 4 j 。可以分 为时间编码方式，直接编码方式和邻域空间编码方式等几大类。 时间编码方式主要是依时序向被测物投射多幅结构光图案，同时依次采集 这些投射结构光图案后被测物的图像，将采集的图像序列组合起来进行解码， 这样以来采样计算点就有了自己的以灰度值或颜色信息为元素的一组编码值， 从而解决投射图案和采集图像的匹配问题。此类方法设计和解析编码快捷，解 码错误率低，测量精度较高，但是需要对被测物投射和采集多幅图像，不能实 现快速实时测量，下图为采用时间编码方式的两组结构光投射图案。 图2 4 采用时间编码方式的结构光投射图案 直接编码就是通过灰度值或颜色值等可被摄像机采集的信息直接编码各个 采样点，使每个采样点均有特异性的灰度值或色彩值，从而实现了投射图案和 采集到的图像之间采样点的匹配。此类方法可以只投射并采集一幅图像，实现 快速动态测量，但是当前很难实现较高的分辨率，误码率也较高。下图为利用 灰度值渐变实现编码的直接编码结构光图案。 8 图2 5 采用直接编码方式的结构光投射图案 而邻域空间编码方法是通过采样点自身和周围像素点的灰度值或颜色值作 为信息元素进行编码的，对匹配点的识别不仅要依靠其自身的灰度值和色彩信 息等，还要依靠其周边像素点的信息，这种方法的编码设计和解码算法复杂， 但是编码方式多样，可实现较高的分辨率，同时可以只投射和采集一幅图像来 完成测量，实现快速动态测量。下图为两幅采用邻域空间编码方式的结构光图 案。 毯瓣囊l 灌l 懈# 啦蛳瓣* 一毫 瓣疆霉l 藩l 黧：畿嚣鐾： 濯l 麓瓣嚣l ：i = ： = 霎乏嚣鬣 嚣i 嚣器凄： 糍 粒嚣霹翻 6 i 戆i i l l 翟l 臻鬟i 霍薹 翟：警三：嚣： 霪i 寥l l 孽l i i i i 釜鬻霪 t t # 懒_ 鞠i i | 辫i l l 盟：麓= i i i i z 滋誓 i l l 嘲嘲t1 6 - i l - l i i - b 鼍i i 嚣鬈：皇 器：誊糕= 一曩罐轴嬲槲 l l i f t 瓣羹 i i i i i 羧一 i ”b l “1 8 i 器： l 薯l i g 零疆 图2 6 采用邻域空间编码方式的结构光投射图案 上面所述的三种结构光编码方法是根据编码的基本原理对现有的编码方法 进行的分类，当然研究人员提出和使用的编码方法层出不穷，有的也是其中两 种或多种方法的集合。最终目的就是更加高效和准确的实现采集图像中图案和 投射的结构光图案之间各点的匹配对应，从而准确解算出被测物的三维数据。 9 一 2 3 1 辅助标记双目立体视觉方法测量动态人体形态 南开大学现代光学研究所的光电信息技术科学实验室在光学三维测量方面 进行过大量相关研究，侧重于研究对动态物体的三维轮廓的测量，提出并实现 了彩色二维编码测量动态物体三维轮廓的方法【1 5 。1 6 1 。他们采用双目立体视觉的 基本测量原理，利用红绿蓝3 种颜色的正方形阵列附着在被测物体表面构成二 维特征编码，借此编码来解决在两个不同方向上获取的两幅图像上特征点匹配 的问题，从而实现通过两个摄像机获取的影像进行运动物体三维轮廓的测量。 利用人眼的双目视觉原理来获取物体三维信息的过程中最大的困难是找到 物体上的匹配点，一般情况下是以被测物体上的一些特征点作为匹配点，通过 计算机图像处理和分析来寻找这些特征点，所以以往此方法多用于对简单几何 体的测量。在他们的研究中，为了解决这个匹配问题，主动向被测物体上附着 了用来识别的特征点，用彩色的小正方形阵列上每个小正方形及其周边正方形 的颜色信息构成编码，对每个小正方形的四个顶点标记编码，从而实现对这些 顶点的特征匹配，再利用双目立体视觉的基本解析方法即获得了被测物的三维 轮廓信息。 由于人体表面相对比较圆滑，不易识别出太多的特征匹配点，所以不适合 采用传统的双目立体视觉进行测量，而这种方法解决了这个问题，使测量变得 更加容易且准确。而且由于这种二维编码是附着在被测物体表面的，随被测物 一起运动，因此这种方法相比于投射结构光图案和投影光栅的测量方法比较容 易实现跟踪测量。 他们提出的方法比较适合利用双目立体视觉基本方法对人体这种表面平滑 且缺少特征匹配点的物体的三维测量，采用色彩进行编码，使测量可以在常规 照明条件下进行，且由于采用编码标记附着在被测物表面的方法，就具有了易 于实现测量运动物体的先天优势。但是存在的最大局限性也正是这种标记方法， 将编码标记图案附着于被测物表面将需要附着过程，且会与被测物发生接触， 从而改变被测物的表面的属性，因而不适用于绝对意义上的非接触测量和快速 测量。 1 0 第二章结构光乳房三维形态测餐系统的建立 2 3 2 计算机辅助投射条纹的乳房三维形态测量 南方医科大学南方医院整形外科和解放军军械工程学院机械制造教研室在 乳房三维形貌的测量方面开展了大量的合作研究，取得了一定的成果，提出并 开发出了一套非接触测量乳房三维轮廓的系统，名为“计算机辅助投射条纹乳 房三维形态测量系统( c o m p u t e r - a i d e dp r o j e c t i n gf r i n g em e a s u r i n g3 一ds y s t e m ， c a p f m s ) 1 7 - 1 8 l 。此系统的基本原理和方法为：首先将由计算机程序模拟生成 的光强呈正弦分布的条纹通过投影仪投射到被测物体表面，然后利用与投影仪 相距一定距离且成一定角度的c c d 摄像机拍摄被测物体表面的条纹图像，也就 是记录被测物体表面各点的光强值。由于物体表面存在凹凸现象，采集到的图 像是经过调制后的条纹图案，再对采集到的条纹进行相位解算，最后利用几何 投影关系计算出被测物表面各采样点的相对高度值。 计算各采样点的高度信息的过程中的关键也是要对各采样点进行标记编 码，即确定条纹上各采样点在投射的正弦条纹图像和摄像机采集到的图像上的 对应关系，因为计算各个采样点的相对高度数值要依据该点的相位真值。他们 设计的系统采用了四部相移方法来解算相位真值，即将投射的正弦条纹每次移 动丌2 的相位值，四次的相位移动值分别为0 、丌2 、和3 丌2 ，用c c d 摄像 机拍摄每次相移后投射到被测物体上的条纹图像，再解算各个采样点的相位真 值，进而获得各个采样点的相对高度数据。此装置系统的结构示意图如下。 图2 7 计算机辅助投射条纹乳房三维形态测量系统结构示意图 于接触而导致的 整个系统的结构相对简单，主要由投影正弦条纹的投影仪，采集图像的 c c d 摄像机和镜头，以及进行系统控制、数据分析计算、显示和存储的计算机 组成； 系统的集成化和自动化程度比较高，测量过程的各步工作均由软件系统 执行和管理，需要人工干预的操作很少，使用简便； 测量的结果为数字化的数据信息，存储于计算机中，方便图像显示、存 储、分析和传输； 此测量系统的制造成本相对低廉，使用和维护的消耗很少，有利于推广 应用； 这套测量系统也存在一定的不足和局限性： 测量系统采用了四步相移法来获得采样点的相位值，进而计算采样点的 相对高度信息，因而需要向被测物体投射四幅正弦条纹图案，同时摄像机分别 拍摄下这四幅图像用来计算被测物的三维轮廓。由于受限于投影仪投射图像的 切换速度、c c d 摄像机的开闭速度和两者的协同控制问题，测量不能达到很高 的速度，这就会存在患者身体微笑移动和呼吸运动对测量结果产生影响的问题； 测量时需要采集到高质量的投射条纹图像，此测量系统只能在暗室中进 行图像采集，使此系统的应用受到了限制，同时暗室环境也会影响被测患者的 精神状态，影响测量装置的操控，因此不利于系统的广泛应用； 测量系统只采用了一台投影仪和一台摄像机在正对患者的方向进行测 量，对于乳房明显侧突或显著下垂，这种单一正面测量无法获取完整的乳房三 维形态数据，即存在条纹投射和图像拍摄的“盲区”； 由于使用了光学非接触三维测量技术，只能获得乳房表面的形态数据， 无法获取内部结构信息。 南方医科大学的研究人员使用此套测量系统仅对人体模型的乳房进行过一 系列测量，获得了模型的三维数据，并与传统的排水法进行了比较，验证了这 种的方法的可行性【2 7 1 。他们使用c 语言在v c 开发平台上编写了相移条纹的产 生、摄像机控制、采集图像的分析处理和三维数据解算的程序，但是其三维数 1 2 第四节测量系统的基本结构和组成 结构光三维测量方法具有非接触测量，测量快速、精度高等优点，而且结 构简单，易于实现，自动化程度高。其特点十分适合乳房三维形态测量的要求， 因此我们设计和试制一套结构光乳房三维测量系统，用来对乳房的三维形态数 据进行非接触、快速和精确的测量。其结构示意图如下。 、一、。 j 魏mj ，。? 一 般硼- ， i ，- 【拥 ，?。，& 7 7 i ，一。j ，? ，t 。j ，r ，渺 ， ji i ，i ，。? 。ji n 4警飞4 。 3 持绚龙投射嚣 盖承和軎钳 图2 8 结构光乳房三维测量系统结构示意图 系统设计使用面结构光测量方法，向被测物投射竖直平行单色条纹，使用 特殊联通标记编码条纹，采用单色数字摄像机采集图像，自行编写软件程序实 现摄像机的控制，图像的采集、传输和处理，三维数据的解算，被测物三维形 第二章结构光乳房三维形态测量系统的建立 态的显示等功能。考虑到实际应用时测量系统会遇到乳房明显侧突或显著下垂 的情况，这样单一正面测量无法获取完整的乳房三维形态数据，所以设计使用 三组结构光投射和图像采集装置，从三个不同位置进行测量，将测量得到的数 据进行拼接，获得完整的乳房三维形态，从而有效避免测量“盲区”的出现。 第五节三维坐标数据的解算方法 在此将摄像机和镜头组成的成像系统简化为针孔摄像机模型( p i n h o l e m o d e l ) ，即物上所有点发出的光线均通过摄像机镜头的投影中心到达摄像机的传 感器芯片上对应的像点。将结构光投射器投射的条纹结构光抽象化为由一点出 射，建立一个以摄像机镜头投影中心为原点的左手空间坐标系，如下图所示。 r 么勤。 i 彳了留，l z t i7 心、 一 帕耽翅l 一 3r 肆| - 岁z 一，一，一 图2 9 三维坐标数据解算的系统结构图 其中o c c d 指摄像机镜头的投影中心，是整个坐标系的原点；o p r o 是条纹结 构光的投射源点；o p r o 和o c c d 的连线方向为x 轴方向；坐标系原点所在的与摄 像机传感器芯片平行的平面内与x 轴垂直的方向为y 轴方向；与x 轴和y 轴确 定平面垂直的方向为z 轴方向。 解算被测物的三维坐标主要利用是“三角法”原理，即利用采样点在结构 光图案中的位置和通过镜头在摄像机传感器芯片上成像点的位置的几何位置关 系进行解算。我们假定一个被测物表面上的需解算三维坐标的采样点c ，在摄像 机传感器芯片的像点为c7 ，此时即存在由条纹结构光投射源点o p r o 发出到c 点，以及由c 点发出的通过镜头投影中心0 c c d 到达c7 点的主光线，这种成像 1 4 第二章结构光乳房三维形态测量系统的建立 r 不o k z b - 、 一， ad o 口 g 、 ， 图2 1 0 采样点投射和成像光路在) z 平面上的投影图 图中a 为条纹结构光的投射源点o p r o 在x 轴上的投影点，k l 和k 2 。分别表 示a c 、c b 的斜率，即指对应角的正切值，l 表示a b 间的距离，d 指摄像机镜 头投影中心到摄像机传感器芯片的距离( 即镜头投影中心至c c d 或c m o s 的距 离) 。过c 点做x 轴的垂线交x 轴于d 点，所以c 点的z 轴坐标即为c d7 的 长度，c 点的x 坐标值即为b d7 长度。 根据图中的位置关系可以得出下列计算式： z ：c d ，：生堕， k l + k 2 ， x ：b d ，：型 k 2 。 ( 2 1 ) ( 2 2 ) ( 2 3 ) 式( 2 3 ) 中的n 。指摄像机传感器芯片( c c d 或c n o s ) 在x 方向上的像素 点个数，w 指摄像机传感器芯片( c c d 或c n o s ) 的x 方向上的实际宽度，x i 指c7 点的像素坐标( 以摄像机传感器芯片左上角为起点) 。式( 2 1 ) 和式( 2 3 ) 一 川 毒t r 第二章结构光乳房三维形态测量系统的建立 中的w 、n 。、d 和l 均为系统的固定参数，可以通过测量和标定得到。k l 是c 点 投射光线和x y 平面的夹角，而点c 是某条纹中心线上的采样点，所以k l 是点c 所在条纹的投射斜率，可通过对采集到的图像分析条纹编码获得。 因此，要解算得到目标采样点的三维坐标值，只需确定几个系统固定参数， 获取目标采样点在图像上的像素坐标位置以及此点所在条纹的投射斜率即可实 现。 同理可以分析计算c 点的结构光投射和摄像机采集成像光路在y z 平面上的 投影图。 cz ji ，、 一 d o 8 ， t 、， c 7 图2 1 1 采样点投射和成像光路在y z 平面上的投影图 根据几何位置关系可以得到如下计算式： 】，：b d ：c d k 2 j ， c d = c d = z ( 2 4 ) ( 2 5 ) ( 2 6 ) 式( 2 6 ) 中的n y 指摄像机传感器芯片( c c d 或c n o s ) 在y 方向上的像素 点个数，h 指摄像机传感器芯片( c c d 或c n o s ) 的y 方向上的实际宽度，y i 指c7 点的像素坐标( 以摄像机传感器芯片左上角为起点) 。 1 6 第二章结构光乳房三维形态测量系统的建立 因此，从摄像机的传感器芯片参数中查出w 和h 的值，并通过测量和标定 得到d 和l 这两个系统参数，而后通过处理和分析采集到的目标图像得到采样点 的像素坐标和所在条纹的投射斜率k ，即可计算出在这个坐标系中采样点的三维 坐标，集合所有采样点的三维坐标数据，就可以得到被测物的三维形态信息。 集合式( 2 1 ) 至式( 2 6 ) 可以得到采样点的三维坐标计算式为： z ：生! 兰垒， k l + k 2 。 1 7 ( 2 7 ) ( 2 8 ) ( 2 9 ) 杰q = y 2 七 三k 三b i l x y 杰虬 = r2 七 第三章结构光投射装置系统 第三章结构光投射装置系统 第一节结构光投射图案 测量系统设计采用面结构光测量方法，结构光图案设计为竖直平行的等间 距单色亮条纹，条纹的编码方法采用利用特征标记进行编码的方法，特征标记 为水平的联通标记。解码方法为首先识别出采集得到的图像上带有特征标记的 条纹( 此条纹编码值已知，条纹斜率k 为已测定的系统参数) ，而后依据条纹位置 顺序推算得到其余条纹的编码值。使用的结构光条纹图案如下图所示。 图3 1 结构光条纹图案示意图 第二节结构光投射装置系统构成 大多数情况下，采用面结构光测量方法的测量系统都是用成品投影仪作为 结构光投射装置，这样可以通过计算机软件设计和生成所需结构光图案，同时 控制图案的投射时间和投射图案的切换，而且投影仪的投摄效果也比较理想， 作为一个整体装置也便于集成到系统当中。但是我们的测量系统设计使用单一 固定的结构光图案，只需投射一幅结构光图案到被测物上，无需图像的切换， 而且投射图案为简单的单色平行条纹结构，如果使用投影仪进行图案投射，不 能充分利用投影仪的功能和特点，因此我们放弃使用成品投影仪，以较低的成 本自行试制了一套投射装置，实现目标图案的投射。 1 8 第三章结构光投射装置系统 整个结构光投射装置由下图所示的几部分组成。 ，1 照明光源 扩束 图案 投射 j 小孔 j ( 固体激光器) v