（控制理论与控制工程专业论文）用于腹腔镜手术机器人立体视觉系统的研究与实现.pdf

摘要 摘要 以腔镜技术为代表的微创外科的形成与发展是现代医学领域最重要的进步 之一。然而，随着微创外科领域的拓展，常规腔镜技术自身的局限性也显露出 来。其中，观看二维图像和由助手控制内窥镜的工作方式，使外科医生失去了 视觉深度感和对术野的直观平衡控制力，从而削弱了外科医生眼的功能，增加 了手术风险和医生手术工作强度。 针对目前腹腔镜手术中存在的缺乏立体视觉的问题，本文在分析研究大量 相关技术和文献的基础上，对腹腔镜手术机器人立体视觉系统涉及的软、硬件 系统组成、摄像机图像畸变校正、彩色内窥镜图像处理和图像校准四个关键问 题进行了研究。主要工作内容如下： 1 设计并组建了用于腹腔镜手术机器人的立体视觉硬件系统。该系统利用 双眼视差原理，实现了手术3 维场景的实时显示功能。其配合微创手术机器人 系统工作，为解决腹腔镜手术中外科医生缺乏立体视觉导致误操作的问题作了 有益探索。 2 针对内窥镜图像存在畸变的问题，进行了摄像机标定和畸变校正的研究， 并提出了该问题的解决办法。自制标定模板，利用基于2 d 单应矩阵的摄像机标 定法对双目内窥镜各个摄像机进行标定，标定出内窥镜的内外参数，并根据内 参数中的畸变系数对内窥镜原图像进行畸变校正。 3 对双目内窥镜彩色图像进行滤波、图像增强、去高光、边缘检测、几何 变换等图像处理，实现了对内窥镜彩色图像预处理和手动调整图像质量的功能。 4 对立体视觉显示单元进行图像校准。通过简单的校准操作就可获取良好 的立体显示效果。 关键词：双目内窥镜立体视觉摄像机标定图像校准 a b s t r a c t a b s t r a c t t h ed e v e l o p m e n to ft h em i n i m a l l yi n v a s i v es u r g e r y ( m i s ) e s p e c i a l l yw i t ht h e e n d o s c o p i ct e c h n o l o g i e si st h em a i na c h i e v e m e n ti n t h em o d e mm e d i c a ls c i e n c e h o w e v e r , a l o n g w i mt h ew i d e n i n ga r e ao fm i s ，t h el i m i t a t i o n so ft h et r a d i t i o n a le l l - d o s c o p i ct e c h n o l o g i e sb e c o m ee x p o s e d s u r g e o n sm a yl o s et h ed e p t hp e r c e p t i o na n d t h eb a l a n c e dc o n t r o la b i l i t yf o rt h eo p e r a t i v ef i e l d ，w h i c hw i l li n c r e a s et h er i s k sa n d t h es u r g e o n sf a t i g u ei nt h es u r g e r y a c c o r d i n gt ot h ep r o b l e mo fl a c k i n gs t e r e ov i s i o ni nt h ee n d o s c o p es u r g e r y , t h i s t h e s i ss t u d i e st h eb a s i cp r o b l e m si nt h ee n d o s c o p es u r g i c a lr o b o ts y s t e mb a s e do nt h e a n a l y s i sa n dr e s e a r c ho fm a n yt e c h n i q u e sa n dl i t e r a t u r e sc o n c e r n e d ，s u c ha st h ed e - s i g no fh a r d w a r ea n ds o f t w a r es y s t e m s ，c a n l e r ac a l i b r a t i o n ，d i s t o r t i o nc o r r e c t i o n , c o l o ri m a g ep r o c e s s i n g , a n di m a g er e c t i f i c a t i o n i t sm a i nw o r ka r el i s t e da sf o l l o w s ： 1 t h eh a r d w a r ea n ds o f t w a r es y s t e m so fs t e r e ov i s i o nf o re n d o s c o p es u r g i c a lr o b o t a r ed e s i g n e da n di m p l e m e n t e db a s e do nt h eb i n o c u l a rp a r a l l a x t h i ss y s t e mc a r l p r o v i d er e a l t i m e 3 do p e r a t i v ef i e l df o rs u r g e o n s ，w h i c hi sab e n e f i c i a l e x p l o r a t i o nt o o v e r c o m et h ed i s a d v a n t a g e so fl a c k i n gs t e r e ov i s i o ni nt h e e n d o s c o p es u r g e r y 2 t oe l i m i n a t ei m a g ed i s t o r t i o n ，am e t h o df o rd i s t o r t i o nc o r r e c t i o ni sp r o p o s e d f i r s t ，t h ei n t r i n s i cp a r a m e t e r so fe n d o s c o p ea r ec a l i b r a t e db ym e a n so fc a m e r a c a l i b r a t i o nb a s e do n2 dh o m o g r a p h y s e c o n d l y , t h ed i s t o r t i o nc o e f f i c i e n t so ft h e i n t r i n s i cp a r a m e t e r sa r eu t i l i z e dt oc o r r e c tt h ei m a g ed i s t o r t i o n 3 s o m em o d e mi m a g ep r o c e s s i n gm e t h o d sa r ee m p l o y e dt oa c h i e v et h ed e m a n d s o fb i n o c u l a re n d o s c o p ec o l o ri m a g e su s e df o re n d o s c o p es u r g e r yr o b o ts y s t e m ， i n c l u d i n gi m a g ef i l t e r i n g ，i m a g ee n h a n c e m e n t ，e d g ed e t e c t i o na n d s of o r t h 4 a f t e rr e c t i f y i n gt h ei m a g e sf o rt h eu n i to fs t e r e ov i s i o ns y s t e m ，t h es u r g e o n sc a n o b t a i ne x c e l l e n ts t e r e od i s p l a yr e s u l t st h r o u g hr e c t i f i c a t i o no p e r a t i o n s k e yw o r d s ：b i n o c u l a re n d o s c o p e ，s t e r e ov i s i o n ，c a m e r ac a l i b r a t i o n ，i m a g er e c t i f i c a - t i o n i i 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体， 均己在文中以明确方式标明。本学位论文原创性声明的法律责任由本 人承担。 学位论文作者签名：业z 誓杉 1 - 日 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本； 学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、 数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位 论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门 或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下， 学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：姘t 0 纠年，月日 f 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年月日 各密级的最长保密年限及书写格式规定如下： yyl_w_wnh_y，n”*一v。，r一_一_“h_j_-w“h 部5 年( 最长5 年，可少于5 年) 密- k l o 年( 最长l o 年，可少于1 0 年) 密2 0 年( 最长2 0 年，可少于2 0 年) 南开大学学位论文电子版授权使用协议 ( 请将此协议书装订于论文首页) 论文系本人在 南开大学工作和学习期间创作完成的作品，并已通过论文答辩。 本人系本作品的唯一作者( 第一作者) ，即著作权人。现本人同意将本作品收 录于“南开大学博硕士学位论文全文数据库 。本人承诺：已提交的学位论文电子 版与印刷版论文的内容一致，如因不同而引起学术声誉上的损失由本人自负。 本人完全了解直珏太堂图盘焦差王堡在! 焦履堂僮诠塞的鳘理办洼滏! 同意 南开大学图书馆在下述范围内免费使用本人作品的电子版： 本作品呈交当年，在校园网上提供论文目录检索、文摘浏览以及论文全文部分 浏览服务( 论文前1 6 页) 。公开级学位论文全文电子版于提交1 年后，在校园网上允 许读者浏览并下载全文。 注：本协议书对于“非公开学位论文”在保密期限过后同样适用。 院系所名称： 作者签名： 学号： 日期：年月日 第一章绪论 第一章绪论 第一节引言 腹腔镜外科作为微创外科的主体，对妇科、普通外科、泌尿外科、肝胆外 科等是一场真正的技术革命。至今，它已经历了1 0 0 多年的发展历史【l 】。回顾其 发展历程，大致可以划分为三个时代：诊断腹腔镜，手术腹腔镜和现代腹腔镜 时代。其中，现代腹腔镜时代始于1 9 8 7 年，法国里昂医生m o u r e t 在一位妇女身 上完成了世界上第一例电视腹腔镜胆囊切除术。随着腔镜手术技术的不断成熟， 在原有的腔镜手术如胆囊切除、阑尾切除、疝修补等广泛开展的基础上，腹腔 镜外科手术正在涉及更为复杂的手术领域，如肝叶切除、脾切除、肾切除，肠 癌切除及消化道重建、乳腺癌切除以及甲状腺手术等。1 9 9 4 年，机器人手臂被 首次用于腹腔镜手术u j ，是腹腔镜手术机器人发展历史的里程碑。 目前，医疗机器人技术的研究已经成为国际机器人领域的前沿研究热点之 一，其中医疗外科机器人的研究最为突出。c o m p u t e rm o t i o n 公司于1 9 9 6 年，根 据所研制的a e s o p 系列机器人，开发出功能强大的视觉系统，推出了z e u s 机 器人系统。1 9 9 8 年底，美国i n t u i t i v es u r g i c a l 公司推出d av i n c i 外科手术机器人 系统。目前，z e u s 和d av i n c i 机器人手术系统均已获得f d a ( f o o da n dd r u g a d m i n i s t r a t i o n ) 的认证，并许可在美国正式出售。 d av i n c i 外科手术机器人系统已经在3 3 个以上不同的国家得到使用，截止 2 0 0 8 年第一季度，全球已安装了8 5 0 台，其中美国6 0 0 多台；全球超过4 0 0 家 医院拥有该系统；东亚地区已安装了4 1 台该系统，其中中国大陆和香港占有5 台。研究表明，利用机器人手术的患者康复时间只有传统手术的一半。目前， 单在美国就有超过1 5 个州的2 8 家医疗机构用d av i n c i 系统开展心脏、消化系统、 泌尿科等外科手术。 由于中国至今还没有自主研发的机器人辅助腹腔镜手术系统，而国外的相 关产品价格昂贵( d av i n c i 外科手术机器人系统价值2 0 0 0 多万元) ，这与我国医 院现有医疗条件、购买力以及病人的经济承受能力均不相适应，所以研究和开 发国产医疗外科手术机器人系统十分必要，也有着很广阔的市场和应用空间。 第一章绪论 2 0 0 7 年5 月，在“国家8 6 3 计划支持下，南开大学机器人与信息自动化研究 所与天津大学机械工程学院开展微创手术机器人关键技术与系统集成研究。该 项目将要研制腹腔镜胆囊切除手术机器人，独立完成机器人整体机械设计与制 造、控制系统的设计与调试和搭建立体视觉系统。 安全、有效的腔镜手术在很大程度上依赖于科技的进步，清楚且稳定的图 像是腔镜手术最基本的保证【2 】【3 1 。腹腔镜手术所用到的手术器械主要包括腹腔镜、 二氧化碳气腹机、高频电刀、微创手术器械、冲洗设备等。其中的内窥镜显示 系统是最重要的器械之一，它的图像质量好坏直接关系到手术能否顺利地进行。 普通内窥镜视觉系统提供医生观察的是平面图像，不利于医生在手术中判断病 变器官的空间正确位置。而且医生由日常的立体视觉转为平面图像下的操作， 必须经过严格的训练和较长时间的经验积累才能进行手术。立体内窥镜视觉系 统却弥补了这一不足，利用双目立体视觉效应，采用立体显示技术使医生观察 到立体手术视野。这样医生只要加以短期的培训便可以熟悉腹腔镜外科的操作， 此外，还可以进行更为复杂的手术。 本文所研究的腹腔镜立体视觉系统能满足外科医生在手术中对于腹腔场景 实时立体显示的要求。手术机器人可为外科医生提供三维放大的术野图像，并 在医生操作台上提供了内窥镜位置调整踏板，恢复了外科医生对术野的自主平 稳控制力。另外，手术机器人使外科医生不再站在手术床旁，而是坐在舒适的 椅子上，通过立体视觉系统观察实时立体术野，操作着按人体工学设计的“手 柄”来完成手术。降低了术者的疲劳度，减少了因缺乏图像深度信息而可能产 生的误操作几率，从而提高了手术的安全性。 本腹腔镜立体视觉系统结构简单、可靠性强、实时立体效果明显，将会很 大地提高医疗机器人手术水平，推动国内腹腔镜手术机器人技术的发展和满足 市场需求。 第二节腹腔镜手术机器人的发展历程 1 2 1 国内外发展现状 目前，对医疗机器人的研究主要集中在外科领域，包括神经外科、心脏修 复、胆囊摘除、人工关节置换、整形外科、泌尿科和无损诊疗等。1 9 9 2 年美国 2 第一章绪论 i n t e g r a t e ds u r g i c a ls y s t e m s 公司推出了r o b o d o c 珊外科机器人系统 4 1 ，它是在 传统工业机器人技术基础上开发而成的，可以完成髋骨替换、修复和膝关节置 换等技术。该公司还开发了o r t h o d o c t m 图像处理系统，根据c t 图片进行3 d 建模和手术规划，为手术提供所有需要的数据，帮助医生完成监控和虚拟手术。 2 0 世纪9 0 年代，美国c o m p u t e * m o t i o a 公司研制成功的a e s o p 系统、 z e u s 啪遥操作机器人外科手术系统。a e s o p ( a u t m m t t c x le n d o s c o p es 咖t o p t h m li x e , , i t i o n i n $ ) 即自动定位内镜系统，由机械手、操作臂和电脑语音识别系 统组成p j 。其中，机械手具有7 个自由度，用于代替助手医生进行控镜、定位。 术前录入手术者的语音命令，提前与机器人进行语言交流术中a e s o p 只识别 手术者的语言命令，不受手术室周围环境的干涉，提高了操作的安全性。2 0 0 0 年1 月9 日，美国i n t u i t i v e s u r g i c a l 公司成功开发出d a v m d 遥操作外科手术机 器人系统，它是目前为数不多的商品化的实用技术之一。系统主要包括医生控 制平台、多功能手术床、各种手术器械和图像处理立体显示单元，如图1 1 所示。 医生可以在控制台上通过主手操作机器人动作通过脚踏板来控制内窥镜视觉 系统。多功能床包括2 个机器人手臂和一个内窥镜夹持手臂。d a v m c i 系统可以 为医生提供与开放式手术一样的直觉控制、运动范围与组织处理能力，系统可 以自动纠错，避免由于手臂颤抖导致的误操作。 ；螽- 嗣f l 羹嘲 图1 1d a 、_ r m c i 外科手术机器人系统 除此之外，国外还有一些比较成功的研究成果，比如德国z e i s s 公司的脑 神经显微外科机器人系统m k m s m n ，日本i m m i 公司的神经外科机器人系统 鸶壹一 第一章绪论 n e t r o m a t e ，瑞士l e i c a 公司的神经外科手术机器人系统w i l d m 6 9 5 等。 随着手术机器人外科设备的发展及应用，加上远程通讯“高速宽带 技术 的发展，研究人员提出了远程外科的设想，即进行远距离由计算机协助的手术 操作。2 0 0 1 年9 月，在美国纽约的外科医师看电视屏幕操纵机械手，远距遥控 位于法国斯特拉斯堡医院手术室里的机器人为一位6 8 岁的患者成功进行了腹腔 镜胆囊切除手术。这次命名为“林德伯格手术”的成功意味着：随着现代远程 通讯技术和智能化工程技术的发展，世界上任何一个角落的患者欲得到世界上 任何一位顶尖专家亲自操作的手术治疗的梦想将成为可能。 在国内，最早开展外科手术机器人方面研究工作的是北京航空航天大学。 19 9 7 年开始，北京航空航天大学机器人研究所开展了机器人辅助立体定向神经 外科手术的研究。由北京航空航天大学、清华大学和解放军海军总医院合作开 发的机器人辅助无框架脑外科立体定向手术系统，开创了国内自主开发外科手 术机器人的先河【6 】，并相继开发了一系列神经外科手术机器人系统。2 0 0 1 年， 北京航空航天大学、海军总医院同清华大学共同研制了无框架定向神经外科计 算机辅助外科手术系统。该系统中通过引入虚拟现实技术增加了手术规划精度， 同时提高了手术的安全性。2 0 0 5 年1 2 月2 0 日，北京海军总医院神经外科大夫 借助第五代神经外科手术机器人，通过互联网，成功地为远在延安的脑出血病 人进行了手术。 此外，南开大学机器人与信息自动化研究所自1 9 9 3 年开始进行微操作机器 人系统的研发，于1 9 9 6 年开发出我国第一台微操作机器人样机。该系统将显微 视觉技术、高精度位移控制、多自由度轨迹规划及软件技术进行了集成，利用 此样机成功完成了大豆染色体的切割。进一步，在第一台样机的基础上，经过 结构及系统的改进，研究所又相继完成了n k t ym r 系列样机，该系统具有作 业空间大、操作精度高、显微图像实时处理等特点。在2 0 0 0 年使用该系统进行 生物工程转基因实验，对直径约1 0 1 m a 、厚约5 岬的牛肺细胞( 贴壁细胞) 进行 转基因注射，培养7 2 小时后被转移基因正常表达，整个实验获得成功。2 0 0 2 年 天津大学、南开大学与天津医院合作研制成功机器人辅助显微外科系统( r o b o t i c a s s i s t a n tm i c r o s u r g e r ys y s t e m ，简称r a m s ) 7 1 ，系统如图1 2 所示。该系统可以 消除医生操作时的抖动，具有良好的超低速运动特性，能用来完成长时间稳定 夹持微细血管、神经束等手术操作。 哈尔滨工业大学围绕机器人辅助骨科手术，介入微创手术和康复治疗等领 4 第一章绪论 域，对生物机电系统一体化建模，人体器官，组织生物力学建模，人体行为、结 构、功能分析，医疗机器人机构设计，微创手术器械设计，医学影像融合和3 d 重建，图像标定、定位和导航技术等进行了深入的研究。 2 0 0 4 年，天津大学研制成功主从遥操作显微外科手术机器人“妙手”系统 ( m i c r o h a n d ) i s o 该系统可以实现显微血管的缝合，成功地对兔子的腿部l m m 静 脉和颈部3 m m 动脉进行了血管吻合手术。此外，该系统可以实现远程操作。 圈1 2 机器人辅助显徽外科系统 国内在腹腔镜微创手术机器人方面率先开展研究工作的是天津大学 9 1 。2 0 0 4 年，天津大学与法国巴黎第六大学( 巴黎机器人实验室) 合作研制出徽创手术机 器人m c 2 e 系统。该机构可直接安装在人体上方。具有机构整体精简、体积小、 重量轻的特点，并有力感觉装置，可以精确地检测工具末端所受的力。其从操 作手具有4 + 1 个自由度( d 昭m o f f r e e d o m ，d o f ) ，包括姿态调整机构的3 d o f ， 工具进出移动的1 d o f ，将工具末端开合的1 d o f 。姿态调整机构关节三轴交于 腹部表皮进入点，使工具对人体的伤害降到了最低限度，井为工具末端提供最 大操作灵活区域，运行稳定可靠，并可实现工具替换。该系统已通过了猪心脏 的动物实验研究。 国内在微创手术机器人系统临床应用方面，2 0 0 4 年深圳人民医院利用美国 z e u s 系统，成功完成国内首例远程机器人胆囊全切外科手术；2 0 0 7 年解放军 总医院心血管外科成功地运用机器人“d av i n c i ”，成功地为一名女患者实施了 不开胸的心脏手术。 第一章绪论 如果说微创外科是人们将光电技术、生物工程技术和材料科学等现代高科 技成果融于传统的外科手术技巧之中的成功典范，手术机器人则是现代远程信 息技术和智能化工程技术与微创外科手术结合的精美之作。展望未来，手术机 器人将要掀起继微创外科以来的又一次新技术革命浪潮，微创外科的2 1 世纪将 是手术机器人的世纪。 1 2 2 机器人辅助腹腔镜手术的优势与存在的问题 机器人辅助腹腔镜手术最大的优点是能够消除外科医师在手术操作中手部 不同程度的颤抖，从而使得手术解剖更加精细和平稳。这对于高精度的手术， 如心脏和脑部手术以及长时间的复杂手术显得尤其重要。尽管称为机器人手术， 但操作意图和指令是由医师发出的。外科操作以腹腔镜技术为基础，与传统的 内窥镜手术相比，手术机器人显现出了很多优势，如表1 1 所示。手术机器人在 内镜手术中的介入将手术者的思维与图像达到最大限度的统一，具有智能化特 点，使得“术者有所想，视野有所动 ；并且持镜操作臂能完全代替持镜助手 的工作，并能提供更加清晰、稳定的图像。这将极大地缓解术者的疲劳，提高 其工作效率和手术的安全性，也使扩大手术探查范围、临床开展更为精确、复 杂的手术变得容易可行【10 1 。此外，远程通讯技术的广泛应用，机器人远程手术 的开展，促进了国内外的学术交流与合作，加强了落后与发达地区的联系；进 一步解放了生产力，可以更加合理地分配劳动资源，有利于全球医疗资源共享。 表1 1 手术机器人和传统内镜手术系统的比较 僻 ；、 项目机器人辅助手术系统传统内镜手术i ，i 图像三维或二维二维 自由度 6 、7 4 动作传递比例1 ：1 1 0 ：1 或更高 1 ：1 术中主动引导能力有无 控镜 操作臂助手医生 操作环境舒适、方便不舒适，易疲劳 动作过滤装置有无 操作能力精细、稳定 一般 6 第一章绪论 传统腹腔镜手术是在两维图像上进行的，而机器人系统的一大优点在于它 利用最先进的三维成像系统进行手术，并且它可以使手术目标放大1 0 到1 5 倍， 这使得医生在控制平台看到的是一个有深度的术野，从而保证手术更加精细、 精确。但是同一切新技术一样，手术机器人在初始阶段也有很多不足之处： 1 设备昂贵( d av i n c i 机器人系统价格2 0 0 0 多万) ； 2 使用手术机器人的医师必须经过特殊训练，即使操作程度熟练的医生也 要有个学习过程； 3 操作系统不够完善。目前的手术机器人主要针对心外科手术设计，并且 操作柄常会受到机械系统的限制，不够灵活，特别在腹部等外科手术中进行较 大范围的牵引操作时，操作臂经常会超出下限而必须重新设定。 此外，目前的手术机器人中，触觉反馈等技术还不够完善，术中可能会发 生操作臂的碰撞，误伤组织等问题。腹腔镜镜头的清洗，腹腔镜立体显示单元 与器械精密易损，环节繁多，大大增加了手术医生对器械的依赖性，丧失了立 体视觉、变成了平面视觉。 第三节本文的主要研究工作与研究意义 本文的主要研究工作是设计与搭建腹腔镜手术机器人立体视觉系统的软硬 件系统，并对其涉及的摄像机标定、图像畸变校正和图像校准等关键问题进行 研究。主要工作如下： 1 设计和搭建腹腔镜手术立体视觉系统的硬件平台。该系统包括三个部分： 双目内窥镜及其附属设备、图像服务器、立体显示单元。 2 摄像机标定与内窥镜图像畸变校正。自制标定模板，通过用双目内窥镜 获取不同角度的目标板2 维图片，利用基于2 d 单应矩阵的摄像机标定方法标定 出双内窥镜的内外摄像机参数，并根据标定出的内参数进行图像畸变校正。 3 内窥镜彩色图像实时图像处理，立体显示单元图像校准。对双目内窥镜 获取的实时图像进行图像滤波、图像增强、去高光等处理。对立体显示单元的 双路图像进行图像校准，主要包括白平衡调整、图像中心点校准和立体显示单 元位置调整。 本文成功设计与组建了用于腹腔镜手术机器人的立体视觉系统，为外科医 生提供实时三维腹腔手术场景，克服了传统腹腔镜平面图像给医生带来的手术 第一章绪论 障碍。医生通过控制台可以调整内窥镜在病人腹腔内的位置，以获取适当观察 角度，避免由于观察位置不当导致的头疼、呕吐和疲劳现象。本文中所述的立 体视觉系统具有功能完善的图像处理系统和立体显示单元位置调整功能，保证 为医生提供实时三维手术场景，减少医生因缺乏“深度信息导致的误操作， 提高医生工作效率。另外，本文的腹腔镜立体视觉系统结构简单、可靠性强、 实时立体效果明显，将会很大地提高医疗机器人手术水平，推动国内腹腔镜手 术机器人技术的发展和市场普及。 第四节论文各章内容安排 论文结构安排如下： 第一章主要介绍了论文选题背景、研究意义、国内外发展现状、论文主要 研究内容和各章内容安排。 第二章讨论了腹腔镜立体视觉系统的软、硬件系统设计，以及各个部分的 组成和结构原理。 第三章研究了摄像机标定和内窥镜图像畸变校正算法。根据本文视觉系统 特点，提出一种新的图像中心点计算方法。使用基于2 d 单应矩阵的标定方法， 得出了准确的摄像机内、外参数，并根据内参数进行内窥镜图像进行畸变校正。 第四章主要研究了对双目内窥镜彩色图像进行图像滤波、图像增强、去高 光和边缘检测等图像处理原理和实现。 第五章内容是立体显示图像校准研究，主要包括立体显示单元双显示器图 像中心点校准，调整白平衡和立体显示单元调整三方面内容。 第六章对本文的研究内容进行了总结，并对下一步研究工作做出了展望。 8 第二章腹腔镜手术机器人立体视觉系统组成 第二章腹腔镜手术机器人立体视觉系统设计 本章主要完成了腹腔镜手术立体视觉系统的软、硬件系统的设计。腹腔镜 手术立体视觉系统是腹腔镜手术机器人的视觉部分，相当于将人的眼睛通过小 口植入人的腹腔，为外科手术医生提供立体术野( 在下面章节中，将腹腔镜手术 机器人立体视觉系统简称为立体视觉系统) 。 由于腹腔镜手术立体视觉系统的应用环境特殊性，所以所研究开发的立体 视觉系统至少要符合以下5 个条件： 1 立体视觉显示的实时性； 2 系统结构合理、性能可靠； 3 体积适中，不宜过大； 4 立体效果稳定，不容易使观察者疲劳； 5 易于消毒，适用于无菌环境。 吲像服务器 图2 1 腹腔镜手术机器人立体视觉系统 9 第二章腹腔镜手术机器人立体视觉系统组成 第一节立体视觉系统工作原理与组成 2 1 1 人类视觉的生理学基础 眼球是视觉系统的感受器官，外界的光线信息进入眼球后由它将光信号转 变为电信号再传输到脑中。正常的人都是用双眼来辨认三维空间的物体。立体 视觉是双眼单视三级功能 1 l 】( 同时感觉，融合感觉，立体感觉) 中的最高级视功 能，它的形成是由于左右眼之间有一定的距离，即瞳距( 成年人约6 5 m m ) ，因此 两眼是从稍有不同的两个角度去观察物体的，又因为几何光学的投影原理，离 观察者不同距离的像点落在左右两眼视网膜上不是在相同的位置上。这种两眼 视网膜上的位置差就被称为双眼视差，简称视差。人之所以能有深度感知，就 因为有了这个视差，再经大脑加工而形成的。 如图2 2 所示，a 、b 为距离双眼不同远近的两个物体，a l 、b l 分别为a 、 b 在左眼网膜上的相应位置，a r 、b r 为其在右眼网膜上的位置，a l b l a r b r 就是视差。 图2 2 双眼视差示意图 b 图2 3 为人类立体视觉的原理图。对同一个场景，两眼得到稍有差别的视图。 左视区的信息，送到两眼视网膜的右侧。在视交叉处，左眼的一半神经纤维交 叉到大脑的右半球，左眼另一半神经纤维不交叉，直接到大脑的左半球。这样， 两眼得到的左视区的所有信息，都送到右半球。 1 0 第二章膜腔镜手术机器人立体视觉系统组成 图2 3 人类立体视觉原理圈 其实使人类眼中的二维图像产生出一个三维实体的感觉的方式有很多种， 其中还包括运动参照，明暗对比，颜色深浅等。例如，当我们看一张照片，其 中颜色深浅和背景事物的模糊。都能够让人产生出照片中影响为立体的感觉。 但我们通过双眼观察世界时最基本的成像原理便是上述的双眼视差。 2 1 2 内窥镜手术立体视觉的实现 立体成像的方式主要由光源、采集器和景物三者的相互位置和运动情况所 决定。最简单的是单目成像，即用一个c c d 摄像头在人体内部腔体一个固定位 置对场景取图像。此时有关人体内腔的立体信息是隐含在所成像的几何形变、 明暗度( 阴影) 、纹理、表面轮廓等因素中【l 。如果用两个c c d 摄像头各在一个 位置对同一场景取像，则就是双耳成像。此时两幅图像间所产生的视差可用来 帮助求取c c d 镜头和内腔表面之间的距离。双且立体成像技术根据左右两幅图 像是否同时显示，分为时间并行显示技术和分时多路显示技术，本文所涉及的 是双目时间并行显示技术。 本文腹腔镜手术立体视觉系统则是利用视差原理设计和工作的。在系统中， 双目内窥镜相当于人的双眼，实时获取有视差的两路图像，通过图像服务器传 送至立体显示单元左右职显示屏。双显示屏的图像通过立体显示单元的光路系 统，可以将实时视差图像分别映射至外科手术医生的左右眼，然后通过医生的 第二章腹腔镜手术机器人立体视觉系统组成 大脑合成立体视觉，产生场景的深度信息。 本文中的立体视觉系统的流程，主要经过以下三个步骤： 1 得到两个分离的左右内窥镜摄取的图像； 2 图像服务器实时处理双路内窥镜图像，使其符合立体显示单元的要求； 3 立体显示单元中的双显示器分别显示两路内窥镜视差图像，观察者通过 立体显示单元观察窗进行立体场景观察。 图2 4 为腹腔镜手术机器人立体视觉系统的工作流程图： l 亡圆傍l _ j 靠r r n - 啦 l 圳像r 红l l u 卜一 图 f 立 像 体 服 显 示 - 右c c 。巨 器 l 单 i 硼像尸 元 图2 4 立体视觉系统工作流程图 第二节立体视觉系统硬件组成 机器人辅助腹腔镜手术系统一般包括三个部分：( 1 ) 手术操作台；( 2 ) 机械 手；( 3 ) 光导纤维内窥镜。目前技术最成熟、临床使用最多的医疗机器人是美国 i n t u i t i v es u r g i c a l 推出的d av i n c i 外科手术机器人。该机器人系统由三个基本部 分组成，即一个控制台、一个装配双光源双三晶片摄像机的成像车和一个装有 机械臂的可移动操作车。外科医生坐在控制台前，头靠在视野框上，双眼接受 来自不同摄像机的完整图像，共同合成术野的三维立体图。医生双手控制操作 杆，手部动作传达到机械臂尖端，完成手术操作【1 引。 腹腔镜立体视觉系统作为腹腔镜手术机器人的视觉部分，为外科手术医生 提供实时的腹腔立体场景，使医生在操作台通过观察立体视觉系统末端就可以 获取如同“开腔”临场手术的效果。本文的立体视觉系统克服了传统腹腔镜技 术平面成像带来的手术视野中组织器官相对解剖位置、手术器械移动方向及与 组织位置关系不清的问题。这些问题给腹腔镜技术不熟练的医师造成了相当大 的麻烦。 本文研究开发的机器人辅助腹腔镜手术立体视觉系统硬件主要包括：内窥 第二章腹腔镜手术机器人立体视觉系统组成 镜视频采集部分( 双目内窥镜) 、图像服务器和立体显示单元。其中，图像服务 器主要完成图像预处理、摄像机标定、畸变校正等工作。 2 2 1 双目内窥镜 8 0 年代后期，随着医学电子内窥镜技术走向成熟，围绕医学电子内窥镜的 图像处理研究工作蓬勃发展起来。从近几年电子内窥镜的发展趋势来看，一套 完整的医学电子内窥镜系统不仅包括高质量的图像采集、视频处理及显示子系 统，还包括对电子内窥镜图像的处理、分析、传输和数据库管理子系统，以方 便医务人员的会诊、治疗、培训及对病案的管理。 目前内窥镜已发展成为一个完整的体系，按其发展及成像构造分类，大体 上可以分为3 大类：硬管式内镜、光学显微( 软管式) 内镜、超声与电子内镜。 按其功能分类，有分别用于消化道、呼吸系统、腹膜腔、胆道、泌尿科、妇科、 血管、关节腔的内窥镜。本文中的双目内窥镜属于用于腹腔的电子内窥镜，目 前国内腹腔镜一般为单目，立体腹腔镜国内外早已应用，但其价格昂贵，使用 不便，难以推广。 如下图2 5 所示，本腹腔镜手术立体视觉系统中的双目内窥镜头端由双影像 通路、双光源组成。两个型号相同的c c d 摄像机同时采集头端输入的视频流或 静态图像，经过镜头、导光成像光线、目镜和摄像机组成的光路，在c c d 图像 传感器上成像。从而将在同一光源下、不同视角的两幅图像同时送入图形采集 卡。经本系统的立体显示单元在l c d 显示器上，观察者通过立体显示单元的观 察窗获得立体视觉效果。 本文中的双目内窥镜基本设备：( 1 ) 双内窥镜：由柱形晶片组合而成的硬管 镜，是观察腹腔的“眼睛”。( 2 ) 摄像机控制器。( 3 ) 冷光源：用于为视野提供 光源，目前常用的冷光源有卤素灯和氙灯两种，卤素灯照明好，价格低廉。氙 气照明更好，寿命长，可达7 0 0 小时，但价格相对较耐1 4 】。本文中双目内窥镜 选择使用氙气冷光源双路光纤照明。 双目内窥镜摄像头内部结构如下图所示： 第二章腹腔镜手术机器人立体视觉系统组成 图2 5 双目内窥镜摄像头内部结构示意图 图中，5 保护片，6 物镜，7 光纤，8 转镜，9 进光组件，1 0 转向棱镜，1 1 光 栏，1 2 目镜，1 3 保护片，1 4 小镜头，1 5 靶面。 图2 6 摄像机对模型 图中两只型号、参数完全相同的摄像机组成“摄像机对”，并相对于x 轴对 称摆放，光学通路沿z 轴的正向延伸，摄像机对在三维坐标系中的】，坐标相同， 即摄像机对在x z 平面上延z 轴平行设置并相互对称于x 轴。t 是两台摄像机 之间的距离，更准确地表示为光学透镜中心点的位置差。通过调节t ，可在不同 的观察点，获取同一景物存在视差的两幅不同图像。以为摄像机到目标区的距 1 4 第二章腹腔镜手术机器人立体视觉系统组成 离。在该模型中，由于电子内窥镜的特点，决定了必须采用较小的t 值和较宽的 观察视野角度。t 是调整立体视觉效果最重要的参数，以越大相应地视差值就越 大，立体景深感就越强。具体到内窥镜头端时，t 将会很小，但不会影响到立体 视觉的表现力。因为当观察距离摄像机镜头很近的物体时，获得较强的立体感 需要的f 值很小。 本文双目内窥镜性能指标： 双路影像通路、双路光纤氙气冷光源照明； 焦距2 0 m m 一2 5 m m ； 透镜中心点位置差t ：5 m m ；c c c d 尺寸1 3 英寸； 内窥镜直径1 0 m m ，管身长3 1 9 m m ； 工作视角3 0 0 ； 内窥镜景深2 0 m m 一1 2 0 m m ； 摄像机选择使用c y m o1 1 5 6 型内窥镜摄像机，该摄像机前端提供白平 衡、工作模式选择、消摩尔条纹等基本操作，摄像机后端提供双复合视频输出 端口和双s _ _ v i d e o 输出端口，因为内窥镜为双目，所以双摄像机连接内窥镜， 双摄像机s - v i d e o 输出端口将实时视差信号传送至图像服务器图像采集卡。 本文中的双目内窥镜选择使用r x g 1 型医用内窥镜氙灯冷光源，为内窥 镜临床使用时提供照明使用。 图2 7 双目内窥镜整体设备示意图 千 第二章腹腔镜手术机器人立体视觉系统组成 2 2 2 图像服务器 图28 双目内窥镜系统 罔2 9 双目内窥镜末端 图像服务器是双目内窥镜与立体显示单元的中间桥梁。图像服务器完成对 双目内窥镜实时视频流的采集和标准输出；同时为了立体显示单元获取良好的 内窥镜图像和立体效果，图像服务器还要实时完成摄像机标定、畸变校正和图 像处理等工作，所以要求图像服务器具有双图像采集卡和高速的数据处理能力。 本文中的图像服务器使用符合一定性能要求的组装p c 机。其主板要支持安装取 图像采集卡。图像采集卡具备s 端于，并和摄像机控制器相连，用于实时采集 双日内窥镜输出的视频信号；同时p c 机显卡要支持双屏幕显示。图像服务器用 于完成对双目内窥镜视频流的实时采集，选择输出图像至内存，在内存中对内 第二章腹腔镜手术机器人立体视觉系统组成 窥镜图像进行处理。基本的处理包括图像的几何变换、边缘检测、平滑、去高 光、图像增强、白平衡、测光区域选取等。另外为了解决摄像机图像畸变问题， 在图像服务器中进行摄像机标定，使用标定出的摄像机内参数对图像进行径向 畸变校正，从而获得高质量立体效果。校正过的两路实时图像分别传送至立体 显示单元的左右显示器的显示屏。 图像服务器硬件组成： c p u ：i n t e l ( r ) c o r e ( t m ) 2d u oc p ue 8 3 0 02 8 3 g h z ； 图像采集卡：双d h4 1 0 图像采集卡： 显卡：n v i d i ag e f o r c e9 6 0 0g t ： 内存：1 g 。 图像服务器软件系统： 操作系统：w i n d o w s ； 开发软件：v i s u a ls t u d i o2 0 0 8 、o p e n c v1 0 ： 图像开发包：d h c g c a r ds d k 软件开发包。 图像服务器主要功能为图像采集、处理、图像校正和立体图像匹配等工作， 为立体显示单元提供实时高质量视差场景图像。图2 9 为图像服务器软件工作流 程示意图。 开始( 初始化指定设备，申请资源) 妙 参数设置( 视频采集窗口，源路、制式、数据格式等) | i 采集图像到屏幕( 采集、停 采集图像到内存( 采集、停 止、读取、存储、图像处 止、读取、存储等) 理、畸变校正等) u 结束( 释放其资源) 图2 9 腹腔镜立体视觉系统软件流程图 第二章腹腔镜手术机器人立体视觉系统组成 2 2 3 立体显示单元 目前市场上有很多种立体显示末端设备，比较成熟的主要有：双色眼镜、 偏振光眼镜、快门眼镜、被动式投影仪、立体显示器、头盔立体显示设备等。 实现立体成像也有多种方案，如补色分像法，变视距分像法，偏振光分像法， 时差分像法，全息成像法等。各类立体显示末端设备工作原理如下： 1 双色眼镜：在这种模式下，在屏幕上显示的图像将先由驱动程序进行颜 色过滤。渲染给左眼的场景会被过滤掉红色光，渲染给右眼的场景将被过滤掉 青色光( 红色光的补色光，绿光加蓝光) 。然后观察者使用一个双色眼镜，这样 左眼只能看见左眼图像，右眼只能看见右眼图像，物体正确的色彩将由大脑合 成。这是成本最低的方案，但一般只适合观看无色线框的场景，对于它的显示 场景，由于失去了颜色的信息可能会造成观看者的不适。 2 快门眼镜：这种模式下，驱动程序将交替的渲染左右眼的图像，例如第 一帧为左眼图像，那么下一帧就为右眼的图像，再下一帧再渲染左眼的图像， 依次交替渲染。然后观测者将使用一幅快门眼镜。快门眼镜通过有线或者无线 的方式与显卡和显示器同步，当显示器上显示左眼图像时，眼镜打开左镜片的 快门，同时闭右镜片的快门；当显示器上显示右眼图像时，眼镜打开右镜片的 快门同时关闭左镜片的快门。看不见的某只眼的图像将由大脑根据视觉暂存效 应保留为刚才画面的印象，只要在此范围内的任何人带上立体眼镜都能够观看 到立体图影像。但是这种方法将降低图像的一半亮度，并且要求显示器和眼镜 快门的刷新速度都达到一定的频率，否则会造成观看者的不适。 3 被动同步的立体投影设备：这种模式下，驱动程序将同时渲染左右眼的 图像，并通过特殊的硬件输出和同步。一般是使用具有双