（电路与系统专业论文）眼底图像配准与特征提取.pdf

拙塞奎通厶堂亟堂僮论塞 虫塞擅至 中文摘要 摘要：本文的工作是“眼底图像处理系统”的重要组成部分。眼底循环障碍疾病 以及全身性疾病导致的眼底改变均可以不同程度地显征于视网膜和脉络膜。因此， 眼底检查不仅对眼科疾病，而且对其他系统及全身性疾病的诊断也有着重要的意 义。“眼底图像处理系统”可以为眼科医生提供全面准确的眼底信息，并能够辅助 医生诊断和定位病灶。本文的工作主要集中在三个方面： 图像校正：本文根据眼球的解割学和生理学特征建立了适于医学可视化的眼 底数学模型，并且分析了眼底成像技术某些先验知识，提出了一种新的系统校正 法消除眼底图像的几何畸变，从而得到了几何矫正后的图像同时，本文还针对 配准后的图像存在灰度差异这一现象，利用灰度调整法和灰度渐变法进行了灰度 矫正，消除了配准后的眼底图像灰度不均匀的现象。其中，灰度调整法主要用于 消除周围减光、光斑等等由成像造成的灰度畸变，用于单幅图像的调整。而灰度 渐变法主要用于消除图像拼接时，由于接缝处两幅图像灰度差造成的灰度畸变， 用于图像配准拼接后 图像配准；本文在研究了诸多现有基于灰度的图像配准方法后，发现基于相 位相关的方法因其具有配准精度高，运算量较小等优点。但是相位相关方法具有 运算耗时比较大和灰度敏感这两个缺陷。所以，本文改进相位相关算法，针对灰 度变化明显的眼底图像提出一种行之有效的边缘检测相位相关算法该方法针对 眼底图像的特点克服灰度敏感缺陷，而且还减少了眼底配准的耗时。试验结果表 明，此方法对于眼底图像的配准有很高的精度和成功率 视神经盘的提取：本文针对视盘边缘的特点，将一种称为s 曲l 【e 的动态边缘 模型( a c 虹v ec 0 n t 0 幡m o d e l ) 应用于视盘检测。由于s 髓l 【e 在轮廓检测的过程中 能够保证得到封闭的轮廓，并且对图像噪声和对比度不敏感，所以在处理局部间 断的眼底轮廓时达到比较满意的检测结果( 视盘边界) 。 关键词：眼底图像、图像配准、动态轮廓模型、图像分割、图像校正 分类号：t p 3 9 1 4 1 a b s t r a c t a 聃t i 认c r f 啪d i l sa b n o 舯a l i t i 鹤u s e db yo c u l 缸锄ds y s t c m i cd i s e a s 啪b c s h o w ni nf e t i 舱觚dc h o r o i d t h e 陀f o 旭，t l l ee x 锄i i l a l i o no ft h ea m d u si sa na p p l i c a b l e t li nd i 础s i n ga l l dm o i i i t o d n gb 0 曲e y ed i a s 髓柚dw h o l cb o d yc o n d i 石o i l s w i t l i t l l ed e v c l o p m 蹦to fd i g i t a ii m a g ep r 蝴i n gt e c b l i i q u e s o 叩1 p 删删d e df u n d 惜 i 枷萨p s s i n g ( c a f i p ) s y s t e m 锄b el n i l i 刹t ol l c l po p h n l a l m o l 晒吼鲫缸狮 1 0 c a t i 锄dd i a 鲫i s m yn 戚si sas i 鲥矗伽l tp a r to fc a f i p 夥s t e l 鸭蚰d 蝴p 酣 o f t l l r e ek l 孤他ip a r t s 1 i m _ 伊鼬础妇t i o n ：b a s e d 纰p h y s i o l 晒c a la n d 蛐咖m i c a lc k 啷删s t i 璐私 w e l l 酗蜘c 砸o rk w i e d g eo ft h ec y e b a l l ，a v ds y 咖m 撕c 吼g c c t i 矗c a l i m e i t l o dw 鹬p i q ) 0 s e d 蕾oc 伽他nt i 坼霉毒o m 面cd i 懿丽o n h 砌t i o i i g r a ya d j 邺加1 e i i t m e t 量脚a i l d 卿娜i m c t b l o d w m 肿) p o 刚t o 腑撕母t l l c 卿i e v e i 幽舶 册l l s o db y 训【i l 嘲ri l l 珊n i 成瞄伽a n do d g c 舯yl e v e id i 珏舶啪o e 阳s p e c t i v e i y 2 i m - 妒r e 咖t m o n ：加r d i i i gl ot h ec h 蛐慨e f i s t i 鹳o fr 娟1 1 8 lf 岫d u si m a g ，伽e 球 v c lm c t h o do f 托g i s 删b i s c do np b 嗣瞅“如玎d 蚯佃w 私p i d p o s c d t h i sm e t i - o d t a l 瞄a d m a g co f o 鲥cd i 鼯t 0m a 妯咖i m a g 髓m e l y m 髓嗍j h i l ee d g ed 渤c l i w 嬲卿i i e d t o 黜锨t h e e d g eo f a b 咖删v 豳s a n d 矧觚伪j n o r d 盯t o f a i t h e p f e c i s i o no fr 嚼蛐旧t t l i sm c t h o da l s o0 1 ，e 他咖嚣t h eg 珥y - s 伽画t i v e 蛳c i e n c yi n p h a s “- 棚e 蜥枞a n d t h ee x p 响撇t 删协s h t b a t t h e 雠i b o dn o t o n l y a i l ，釉。鹤t b e 删s i o no f r e g i 鼬哪i o nb i na l d l l o 铭恤伽恤p l e 】【i t y 托m 舡k a b l y 3 胁钿nd e 协c t j o n ：b a s e d c b 舳蚓【e f i s t i 馏o ff i l n d 懈i 枷a g ，m ea 甜v e ( h 埔。叫 m e t h o dw 部蛳v e d 姐du s e dt od 邸o c tt b e0 p t i cd i 辩i nt h e t i 彻l 鼬d u s a n d b t 躲m o f i l 3 l o ws s m v i t y t o t h e i a n d l o w 咖嘲o f f i m d u s i l a g e s ，t h e 鲫d t w a s 鞠t i 甜h c t 0 哆 l 皿y w o r d s ：f u n d h i l a g 部，h n a g e 黜洒s 昀舶n ，a c t i v ec 组曲叫( s n a k c ) ，b m g e s e 剑惦n t a t i o i i ，h n a g c 酬f i c a t i c l a s s n o ：1 1 p 3 9 1 4 1 致谢 本论文的工作是在我的导师陈后金教授的悉心指导下完成的。恩师如父，陈 后金教授严谨的科研态度和科学的工作方法给了我极大的帮助和影响。在此衷心 感谢三年来陈后金老师对我的关心和指导。 在论文课题的研究过程中，感谢侯建军、郝晓莉、胡健、薛健、高海林老师 给予的热情指导、帮助和支持。还要感谢北京市眼科研究所和同仁医院的徐亮、 王荣光等教授们为我的研究提供了大量的眼底图像资料同时还要感谢于江波、 李居朋、自立波等研究室的各位同学的热心帮助和支持l 感谢国家电工电子教学基地信号与系统教研室的全体老师，他她们都在课题 的研究过程中给我耐心细致的指导蔺祥字、刘志佳、马庆龙、崔晓明等同学与 我共度了这两年半美好的同窗时光，感谢他们与我在科研学习上真诚的探讨交流， 在生活上的真切关照。 在实验室工作及撰写论文期间，胡晓娜等同学对我论文的研究工作也给予了 热情帮助在此向他们表达我的感激之情。 另外也感谢家人，他们的理解和支持使我能够在学校专心完成我的学业 l 第一章绪论 在人类从外界接受的各种信息中，约有8 0 以上的信息来自于视觉。所以眼 睛是人体最重要的感觉器官。眼底( 视网膜) 视神经是大脑向外延伸的部分，是 重要的视觉器官，所以眼底疾病往往造成视力减退或永久丧失。另外，眼底循环 障碍疾病以及全身性疾病导致的眼底改变均可以不同程度地显征于视网膜和脉络 膜。因为眼底能用检眼镜、眼底照相机等仪器壹接看到，也能利用上述仪器和采 集设备配合进行图像采集，借此可对某些全身疾病提供早期诊断或预后判断因 此，提供一个眼底图像处理系统，对眼底图像进行质量改善、特征突出、特征提 取、图像拼接、图像测量、图像辅助分析，最终为医生提供患者眼底完整的、高 质量的眼底图像和辅助分析数据，将有助于医生对眼底疾病或全身疾病更方便、 更准确地诊断和定位病灶因此眼底检查对于眼科疾病和全身疾病的研究及诊断 有着重要的价值。例如用于诊断糖尿病视网膜病变、高血压视网膜病变【l l 等 近年来，先进的计算机图像处理技术已被用于眼底图像的处理和分析，为迅 速、准确、客观的分折眼底图像提供一个现代化的科学手段。早在1 9 7 4 年利用计 算机图像处理技术进行眼底图像的处理和分析已有报道闭，髓之不断发展的自动眼 底图像分析诊断系统已广泛引起了各国众多研究者的兴趣。可以预测，计算机眼 底图像处理技术即将成为眼底检查主要手段。因此眼底图像的处理具有重要的脑 床实用价值。它也将成为眼科教学的有效辅助手段 1 1眼底的解剖结构 图1 1 7 如图l l 所示，正常的眼底的主要解剖结构有视乳头、黄斑、视神经盘和视网 膜血管系统等等。视乳头是视神经穿过眼球壁的部分，由视神经纤维构成，一般 呈橘红色。视乳头中央有一凹陷，为视神经纤维汇合处，称为视神经盘( o 叫cd i ) 视乳头易反光，在是观察眼底图像最明显的标志。黄斑位于眼球后极部中央，富 含感光色素上皮细胞，视觉最敏感的部位。黄斑为后极部最暗的区域，呈红色或 红褐色，近似圆形黄斑的中央也有一个很小的凹陷，称为中心凹，为视觉最敏 锐处，在眼底检查时可反射光线，而形成极小的光亮点。视网膜血管系统包括视 网膜中央动、静脉和睫状体视网膜动、静脉，分别发出多级分支供应视网膜的营 养。在眼底图像处理中，视网膜血管系统是评估处理效果的重要指标之一，也是 诊断糖尿病视网膜病变、高血压视网膜病变等疾病需要测量的重要参数之一 1 2眼底成像系统的缺陷 近年来，高科技技术不断发展，电脑化自动化的检查手段不断创新，尤其是 眼底荧光血管造影技术和眼底照相机等等影像仪器广泛应用临床，使临床医生对 眼底疾病的观察研究日益深化，疾病诊断的正确率和治疗的成功率都有较大程度 的提高。但是国内外现有的影像仪器由于固有的或设计上的原因，都存在着若干 缺陷，表现在眼底图像上有以下几个方面：图像的退化；图像发生几何畸变；图 像发生灰度畸变；以及相对于整个眼底，图像包含区域的局限性 1 2 1 图像的退化 图像在形成、传输和存储过程中，由于眼底成像系统，摄影设备的不完善， 都会造成图像质量的下降，典型表现为图像模糊失真、有噪声、图像对比度不够 高等等。引起图像退化的原因很多：成像设备中光学系统的像差和绕射，成像设 备与患者眼球之间的相对运动等等 1 2 2 图像灰度畸变 镜头成像中存在着灰度畸变( 辐射量畸变) ，主要包括周围减光、光斑和传 感器系统引起的黑斑等。周围减光现象是在使用镜头的成像设备中，图像的周围 呈现比中心部位偏暗的现象。理想的镜头成像时，与光轴所成的角度为。的点上 的光量和中心比较，按c o s 4o 的比例减少光斑是由于成像物体表面的镜面反射所 引起高亮度区。由于眼底成像时必须有外界光源。在视网膜较平滑处，如视乳头 8 等位置就会由于类似镜面反射而特别明亮。而且，荧光造影时，由于荧光素经血 管壁外渗，使得灰度畸变更为严重。 1 2 3图像几何畸变 所谓几何畸变，指的就是图像因从斜的方向拍照而产生的远近感的畸变( 透 视失真) ；或者成像系统本身具有非线形性而产生的扭曲像差( 枕形、桶型失真) ； 或者扫描镜的速度不均匀而引起的畸变。更重要的是，在眼底成像系统中，由于 眼底位于三维曲面上，而且照相机位于近距离成像，产生的透视失真是比较严重 的。因此在图像处理中，几何畸变，尤其是透视畸变的矫正是非常重要的处理。 1 2 4单次成像视野局限性 如前所述，由于高分辨率眼底单帧图像可观测视野有限，为了获得完全的眼 底图像，需要对同一眼球需要从多个角度拍摄多张图片，然后将多幅图像拼接起 来，以便于眼底的全部或者大部分的分析处理，并形成对眼底的整体认识临床 上多使用图像配准技术将这些图片拼接在一起 图像配准是对不同时间、不同视点或者不同成像模式的两幅或者多幅图像， 通过建立图像像素对应关系，进行相应的空间变换处理，转换到同一参考坐标下 完成图像的拼接目前的图像配准算法大致可以分为基于图像特征和基于灰度的 图像配准两大类 1 3 本文所做的工作 鉴于前面所提出的眼底成像系统的缺陷以及临床需要，本文提出了若干具有 针对性的算法，完成了从眼底图像矫正、眼底图像配准和拼接以及眼底视神经盘 的提取等等一系列的连贯工作，为临床提供了真实的眼底可视化环境，并为o d ( 咖u t e ra i d e dd i a g s 呦系统提供了良好的开发基础。 1 3 1眼底图像的矫正 本文根据眼球的解剖学和生理学特征建立了适于医学可视化的眼底数学模 型，并且分析了眼底成像技术某些先验知识，根据畸变产生的原因提出了一种新 的系统校正法消除眼底图像的几何畸变。该算法借助透视变换把观测到的畸变图 9 像的位置给予矫正，再通过双线形插值法获得实际亮度，从而得到了几何矫证后 的图像。 同时，本文还针对配准后的图像存在灰度差异这一现象，进行了灰度矫正， 消除了配准后的眼底图像灰度不均匀的现象。 1 3 2眼底图像的配准和拼接 目前的图像配准算法大致可以分为基于图像特征和基于灰度的图像配准两大 类。基于灰度的图像配准方法在配准全过程中使用图像的全部灰度信息，使用最 灵活，具有精度高的优点，是人们最感兴趣和最重视的研究方法在诸多现有基 于灰度的图像配准方法中，基于相位相关的方法因其具有配准精度高，运算量较 小等优点而得到了广泛的关注但是相位相关方法具有运算耗时比较大和灰度敏 感这两个缺陷。 本文改进相位相关算法，针对灰度变化明显的眼底图像提出一种行之有效的 边缘检测相位相关算法。该方法针对眼底图像的特点克服灰度敏感缺陷，而且还 减少了眼底配准的耗时试验结果表明，此方法对于眼底图像的配准有很高的精 度和成功率 1 3 3 视神经盘的提取 在眼底诊断中，视神经盘一直是眼科医生诊断和判断病情的一项重要依据。 近代研究表明，在观测眼底视神经的各项指标中，神经盘沿面子最能反映视神经 轴突的数量，因而盘沿面积的测定在青光眼的研究中受到了极大的重视。随着研 究的深入，又有人发现盘沿面积直接与视盘面积的大小有关。图像区域的面积实 际上就是某一封闭曲线内图像的像素个数，因而，面积计算的关键是区域的界定 问题。 针对视盘边缘的特点，我发现一种称为s m k e 的动态边缘模型( a 硝v ec o n 幻 m 0 d e l ) 在处理局部间断的轮廓时常常能够得到较好的整体效果。由于s 豫l ( c 在轮 廓检测的过程中能够保证得到封闭的轮廓，并且对图像噪声和对比度不敏感，所 以我将其应用于视盘检测，达到比较满意的检测结果( 视盘边界) 1 0 2 第二章眼底图像畸变的校正 眼底检查不仅对眼科疾病，而且对其它系统及全身性疾病的诊断也有着重要 意义，因此眼底图像的处理具有重要的临床实用价值。本章主要讨论眼底图像的 灰度校正和几何校正。其中灰度校正包括依赖于位置的辐射量畸变，以及对于多 幅图像之间灰度差的调整由于光照不均匀和照射角度的不同，因而灰度畸变是 不可避免的，进行灰度校正是必要的。几何校正包括图像因从不同角度拍摄而产 生的远近感的畸变。由于眼底成椭球型，眼底图像是椭球型曲面向平面的投影， 因此成像中几何畸变是不可避免的，并且成像区域越远离黄斑区，几何畸变越大 事实上，几何畸变会严重影响图像配准拼接工作的准确性，所以在拼接之前确定 成像区在眼底的位置并进行几何校正是必要的作者校正了眼底图像的灰度和几 何畸变，为临床医生提供了真实准确的眼底信息，为疾病的诊断、激光治疗、手 术定位等临床诊断和治疗提供了有益的帮助 2 1灰度校正 镜头成像中存在着灰度畸变，主要包括周围减光、光斑等等。周围减光现象 是在使用镜头的成像设备中，图像的周围呈现比中心部分偏暗的现象。理想的镜 头成像时，与光轴所成的角度为。的点上的光量与中心比较按一。的比例减少。 光斑是指由于成像物体表面的镜面反射所引起高亮度区 这样，在进行图像拼接时，重叠的区域可能在某一幅图像上位于中央，而在 另一幅图像上却位于边缘，或者由于非线形的光照，造成眼底的统一位置，在不 同图像中灰度差别较大要么导致图像拼接失败，要么拼接处存在着灰度信息的 阶梯骤变。因此进行图像拼接之前，应该根据要拼接图像进行灰度畸变校正。 由于这种图像退化的原因与普通的加性或者乘性噪声不同，所以利用常规的 图像滤波方法的效果不是很理想。在这里我提出两种简单而又有效的解决方法。 灰度调整法和灰度渐变法。灰度调整法主要用于消除周围减光，光斑等等由成像 造成的灰度畸变，用于单幅图像的调整。而灰度渐变法主要用于消除图像拼接时， 由于接缝处两幅图像灰度差造成的灰度畸变，用于图像配准拼接后。 2 1 1灰度调整法 眼底图像记为i r m n ，首先计算每一行和每一列图像的平均灰度，记为： c = c i i x n ，r = l ：i m x i ， 其中： f ，2 壶善p n ，2 专善如 ( 2 j ) 如果图像在某一行( 列) 的平均灰度偏大，令其在位于该行( 列) 上的全部 像素点的灰度级减去该点超出平均灰度的部分；反之，若在某一行( 列) 的平均 灰度偏小，则加上灰度的偏差，使图像平滑从而达到消除灰度畸变的目的这种 灰度畸变技术可用公式表达为： p 日= p 一l 2 ( q 竹) + t e ( 2 2 ) 其中。c 为整个图像的平均灰度，即 口= 击岛 ( 2 3 ) m n 急总” 系数t 是平滑调整参数，t 值越大，畸变高频成分校正的幅度越大，得到的图 像也就越平滑，t 值越小，畸变校正的幅度也就越小这里t 的值一般取为1 由公式可以看出，这个校正算法不必考虑光轴的位置以及图像上任意一点与 光轴的夹角角度。由于这个算法对各种辐射模型( 不同的e 角) 的校正公式是统 一的，因此大大简化了算法的复杂度，提高了运算效率。 2 1 2灰度渐变法 其中两幅眼底图像记为i i i 一“，1 2 r m “，设l k 和r k 分别为拼接后第k 幅 图像的最左端和最右端( 即处于两幅图像的接缝处) ，则令e k 为 段( i ) = k 瓴，i 卜b l o k + l ，i ) ( 2 4 ) 式中e “i ) 为两幅图像交界处的色差，图像拼接的目标是降低两幅图像交界处 的色差e “i ) ，以实现无缝拼接。一种简单的方法是在一定范围内对两幅图像进行 线形的色差调整，每幅图像作n 列的色差调整。可以将e “i ) 进行2 n 等分： e “i ) = 甄( i ) ( 2 n ) ( 2 5 ) 再将色差平均分配到两幅图像相邻的2 n 范围上，即色差为 k ( f b ，i ) = k ( r k j ，i ) 一 一j ) e 砸) k l l + j ，i ) = k + l ( 1 k + l + j ，i ) + 一j ) e k ( i ) ( 2 6 ) 其中( j = 0 ，1 ，2 n ) 。对于待拼接图像进行上述的处理，最终就可以实 现图像的无缝拼接。 1 2 2 2 几何校正 本节讨论的几何校正包括图像因从不同角度拍摄而产生的远近感的畸变，即 透视失真。由于眼底成椭球型，眼底图像是椭球型曲面向平面的投影，因此成像 中几何畸变是不可避免的，并且成像区域越远离黄斑区，几何畸变越大。 照相机所获取的是2 d 图像，而眼球是一个椭球体，成像过程中已经将眼底 3 d 信息进行了畸变。并且为了保证眼球的完整性( 即无创检查) ，也不能在成像 中设置附加定位装置帮助校正畸变，所以本节借助眼底的数学模型，进行校正 2 2 1 眼底的数学模型 眼底的主要解剖结构有视乳头、黄斑和视网膜血管系统视乳头是视神经穿 过眼球壁的部分，由视神经纤维构成，一般呈椭圆形。黄斑位于眼球后极部中央， 富含感光色素上皮细胞，呈近似圆形。黄斑区的中央也有一个很小的凹陷，称为 中心凹，为视觉最敏锐处，在眼底检查时可反射光线，而形成极小的光亮点视 网膜血管系统包括视网膜中央动、静脉和睫状体视网膜动、静脉，分别发出多级 分支供应视网膜的营养在眼底图像处理中，视网膜血管系统是评估处理效果的 重要指标之一 根据视觉生理原理，眼球的汇聚调节系统将视物成像后汇聚到黄斑区( 中心 凹) ，因此把通过瞳孔中央和中心凹的直线称为视轴。由于人的眼球是可活动的， 因此视轴也随着视线而改变在本节提出的数学模型中，根据视轴同时穿过眼球 前后极的中心，因此将眼底前后向坐标轴建立为与视轴重合正常的眼球呈前后 径略长的近似椭球体由于成像的限制，我们无法通过眼球瞳孔看到眼球前半部 的内侧面，因此我们只考虑椭球面的后半部，可得三维眼底曲面的方程为； 、i 刀z 厂 、 嗲 劁、 义j 图2 1 x ( 2 7 ) 其中r i 、r 2 、d 为b 超检查给出的患者眼球内壁的横向、纵向和前后向三个 径向测量值，对于同一个患者来说是恒定的常数。定义眼球中心位于坐标原点， 眼球水平径向为x 轴，垂直为y 轴，前后径向为z 周，因此黄斑区中心的坐标是 ( o ，o ，r 3 ) ( 如图2 i 所示) 2 2 2几何畸变的校正 几何畸变校正的方法一般可以分为两大类：系统校正法和基于参考点的校正 法系统校正是利用引起几何畸变原因的信息，系统地校正几何畸变这种方法 需要取得引起几何畸变原因的参数正确测量值基于参考点的校正应用于同时具 有无畸变图像和有畸变图像的场合首先在有畸变图像中取若干特征点，然后再 无畸变图像中找出与之相对应的若干点。通过某些准则，如最小二乘法或者最小 均方误差等。根据两组参考点的位置对应关系找出无畸变的坐标系和畸变的坐标 系之问的变换式，进行几何变换。 由于基于参考点的校正法的准确性依赖于参考点之间的对应关系，而且参考 点的选取具有人为因素，因此这种校正的精度常常比较低。当有多幅畸变图像需 要几何校正时，时问消耗是相当可观的，而且校正的精确度也值得怀疑。本文在 分析眼底成像技术某些先验知识的基础上，采用了系统校正法消除眼底图像的几 何变换。 对于包含眼底不同区域的多幅图像，除了眼底后极部中心区域( 黄斑区) 的图像 是在正方向拍摄的之外，其它的都是从斜方向拍摄的，因此存在着几何畸变。我 们借助于计算机图形学中的透视投影原理对其作几何校正。一般认为观察到的图 像是三维物体( 如眼底) 在某一视点下的透视投影的相。如果能够找到某幅图像 拍摄时的真实视点并建立其透视投影变换，那么畸变图像就可以快速精确地得到 校正。 对于眼底成像的过程，我们有以下约定： ( 1 ) 用户坐标系( x ，y ，z ) 与公式( 2 6 ) 的设置一致，坐标原点位于眼球 中心。 ( 2 ) 引入观察坐标系( ) 【0 ，y o ，z d ) ，坐标原点与视点重叠。约定把位于瞳 孔中心e o 。的视点称为正视点。 ( 3 ) 对每一幅观察图像建立一个观察坐标系( x i ，y i ，z i ) ( i = l ，2 ，n ) ， 坐标原点为拍摄该图像时的视点，也就是说位于眼球的椭球曲面，在瞳孔中心附 1 4 近移动，如图2 2 所示 ( 4 ) 所有视点的坐标值以用户坐标系为参照，z 轴( i = l ，2 ，n ) 穿过 瞳孔，z d 穿过瞳孔中心e 0 。 ( 5 ) 在拍摄第i 幅图像时，如果眼底照相机的运动与在( x j ，y j ，露) ( i = l ， 2 ，n ) 点的坐标系运动完全一致，那么将得到没有畸变的图像。而事实上不 是如此。 j 厂 _ 、 r ! 鹭 旷一1 萝 一孔 由前面建立的眼底数学模型可知，黄斑中心凹位于眼底的中心，即椭球面与z 轴相交处如果某一幅眼底图像中不包含黄斑区，或者黄斑中凹不在图像的中心 ( 简称形心) ，那么这幅图像就是从斜的方向拍摄的，就存在着几何畸变。根据 前面的约定，我们提出图像几何畸变的一种新的系统校正法，其步骤为： ( 1 ) 找出黄斑中心凹位于中心的眼底图像( 临床实际操作中总能找到这样的 或者类似的图像) ，由于它是从正视点拍摄的，因此不存在几何畸变。根据黄斑 中心凹坐标( o ，o ，r 3 ) ，在用户坐标系中定位该图像。该图像可记为f 0 。 ( 2 ) 对于图像f j ( i - l ，2 ，n ) ，测量其形心与黄斑中心凹的偏移，并 以此确定f l 的方位。 ( 3 ) 由于f j 形心的空间位置在眼球的椭球曲面上，可由( 2 6 ) 式计算形心在 用户坐标系下的坐标( 】【i ，y i ，露) ( i = l ，2 ，n ) ( 4 ) 设通过点( x i ，y i ，z i ) 的法线的延长线与椭球曲面相交于点c i ，则e i 正是与图像f j 对应的视点，其坐标记为( 】【i ，y i ，z i ) 。 ( 5 ) 由e i 正确得到的图像是不应该有几何畸变的。对于我们实际观察到的畸 变图像，可由e i 确定的变换矩阵t 用下式来校正f i t i f i 2 f i ( 2 8 ) 其中t i 是第i 个视点的透视变换矩阵，f i 是观察图像f i 坐标的校正位置。按 照惯例，f i 和f i 均用齐次坐标表示。根据透视变换的原理，对于坐标为( x i ，y i ， z i ) 的视点e i ，其变换矩阵t i 的形式为： r = 一y t | v x v t o o x i z i i h ，i y 。| u y i v 。 h i o x ! | u | 一y f u l 一z l | u t “ 其中q = 护而，虬= 而r 2 2 3 灰度重采样 ( 2 9 ) 失真图像经过几何校正后，会出现两种情况。一种是校正后的坐标( x i ，y i ) 刚好落在原来失真得图像网格点( x i ，y j ) 上，则校正后图像中点( x i ，y j ) 的灰 度值就用失真图像中点( ，j ，y ) 的灰度来代替。另一种情况是校正后的坐标点( x i ， y ；) 不是刚好落在原来是真图像的某个网格点上。此时，需要利用重采样方法来 确定校正图像中像素点( x j ，y j ) 的灰度值。重采样的像素灰度值是根据周围像 素的灰度值按照一定的权函数内插得到的 下面介绍常用的几种插值方法：最邻近像素法、双线形插值法以及双三次卷 积法。 i ，最邻近像素法： 最邻近像素法是直接取输出点位置最近的灰度值为该点的灰度作为采样值， 即最邻近像素法的计算公式为： g r = g ( i m ( x + o 5 ) ，矾舢5 ) ) ( 2 1 0 ) 最邻近像素法算法最简单，计算速度快，而且能不破坏原是图像的灰度信息。 但是其几何精度较差，最大可达像素级。 、双线性插值法s 双线性内插法利用四个邻点在两个方向上做线性内插，用线性逼近的方法得到 最终的校正图像。 g t2 ( 1 - u ) ( 1 - v 挎幽，j o ) + l l ( 1 - v ) g ( i 矿l ，j o ) + ( 1 - u ) v 双i o ，j o + 1 ) + u v g ( i o + l j o + 1 ) ( 2 1 1 ) 其中u ，v ( o ，1 ) ，可以认为是经校正前的像素映射回校正后的坐标系内， 像素值的小数部分。即u = i 0 一i 呱i o ) ，v = j o i n t ( i o ) 双线性插值法利用周围四个像素的灰度值，精度较好，但是存在分辨率降低 的问题。 、双三次卷积法： 1 6 双三次卷积实质上是利用一个三次多项式来近似理论上的最佳插值函数 s i n “x ) ，即s i 眦( x ) = s i n ( 兀x ) ( n x ) 。 从而利用输出点( i ，j ) 最邻近的1 6 个点，使用双三次多项式逼近的方法得 到输出点。其计算式为 其中， g = g ( 南， ) g 编+ l ，矗) g ( 岛+ 2 ， ) g ( 毛+ 3 ) 断以，) = g ( j ，) 矽( l ，) ( 2 1 2 ) i - oj 神 其中，式中： 嘲= 谯淤t b 白 w 3 3 = w o 【3 ) w o ，3 ) 矽= 职。彤i 彤2 彤3 彤2 降i 2 阡 g 编，元+ 1 ) g ( 矗+ 1 ，五+ 1 ) g ( 矗+ 2 ， + 1 ) g ( 毛+ 2 ， + 1 ) g ( 毛，厶+ 2 ) g ( 毛+ l ，矗+ 2 ) 弛+ 2 + 2 ) g ( + 3 ，五+ 2 ) w “2w 喃婀慨) 即按照式( 2 1 2 ) ，可以得到： 在x 方向： w o d = w ( 1 + x ) = 一x + 2 f 一x 3 w ( x i ) z w ( x ) = l 一2 f + f w o 【2 ) = w ( 1 一x ) = x + 妒一妒 w g 3 ) = w q 一x ) = 一f + 矿 在y 方向： w o ，o ) = w ( 1 + y ) = 一y + 2 y z 一圹 w 0 1 ) = w ( y ) = l 一2 广+ 广 ) = w ( 1 一y ) = y + 广一广 w o ，3 ) = w ( 2 一y ) = 一广+ 广 1 7 g ( ， + 3 ) g ( f o + l ，矗+ 3 ) 暑( 乇+ 2 ， + 3 ) g ( 乇+ 3 ，五+ 3 ) ( 2 1 3 ) ( 2 1 4 ) ( 2 1 5 ) ( 2 1 6 ) 利用上述的双三次卷积函数重采样能够保持灰度的连续性和保留高频信息， 对图像的细微细节保持良好。其中误差仅为双线性插值法的l ，3 ，但是其计算工作 量大。 2 3 本章小结 本章根据眼球的解剖学和生理学特征建立了适于医学可视化的眼底数学模 型，并且分析了眼底成像技术某些先验知识，根据畸变产生的原因提出了一种新 的系统校正法消除眼底图像的几何畸变。该算法借助透视变换把观测到的畸变图 像的位置给予矫正，再通过灰度重采样法( 最邻近像素法，双线形插值法或者双 三次卷积法) 获得实际亮度，从而得到了几何矫正后的图像。 同时，本章还针对配准后的图像存在灰度差异这一现象，进行了灰度矫正 消除了配准后的眼底图像灰度不均匀的现象为临床医生提供了真实准确的眼底 信息，为疾病的诊断、激光治疗、手术定位等临床诊断和治疗提供了有益的帮助 1 8 e 塞銮亟厶堂亟翌位论塞蒸三童匿底罾盈艘匿蕉塑搓接 3 第三章眼底图像的配准和拼接 眼底循环障碍疾病以及全身性疾病导致的眼底改变均可以不同程度地显征于 视网膜和脉络膜。因此，眼底检查不仅对眼科疾病，而且对其他系统及全身性疾 病的诊断也有着重要的意义。因为眼底能用检眼镜、眼底照相机等仪器直接看到， 也能利用上述仪器和采集设备配合进行图像采集，借此可对某些全身疾病提供早 期诊断或预后判断。因此，提供一个眼底图像处理系统，对眼底图像进彳亍质量改 善、特征突出、特征提取、图像拼接、图像测量、图像辅助分析，最终为医生提 供患者眼底完整的、高质量的眼底图像和辅助分析数据，将有助于医生对眼底疾 病或全身疾病更方便、更准确地诊断和定位病灶，并可以为临床医生提供全面的 眼底信息，因此眼底图像的处理具有重要的临床实用价值。 但是由于高分辨率眼底单帧图像可观测视野有限，为了获得完全的眼底图像， 就需要从多个角度对同一眼球拍摄多张图片，然后将这些图片拼接在一起，扩大 眼科医生的观测范围，为跟科医生提供全面完整的眼底图像信息。临床上多使用 图像配准技术将这些图片拼接在起。 本章首先简单介绍了图像配准的基本概念，然后介绍了目前应用于医学领域 的图像配准的基本研究方法。为了便于读者理解，本章还介绍了图像配准的数学 模型，以及图像配准的一些手段。然后重点介绍了医学图像领域人们最感兴趣和 最重视的研究方法一基于灰度的图象配准的方法它使用最灵活，在配准全过 程中使用图像的全部灰度信息，飞速发展的计算机硬件技术( 尤其是大容量的内 存) 使得这种方法进入临床实际应用。这种算法可以实现自动的配准。 在众多基于灰度的图像配准方法中，基于相位相关的方法引起了广泛的关注， 因为它配准精度很高，运算量相对较少。在本章最后，作者在基于相位相关图像 配准方法的基础上，根据眼底图像的特征，提出了一种针对眼底图像配准行之有 效的边缘检测相位相关算法。该方法先利用互相关方法对两幅图像进行粗略的配 准，找到一个配准的坐标集。然后利用眼底丰富的血管信息，使用配准精度较高 的相位相关方法对坐标集内的点进行精细的配准，提高了配准的精度，降低了配 准的消耗时间，并且克服了相位相关图像配准对于灰度敏感的缺点。实验证明， 改进后的算法不仅提高了眼底图片的配准成功率和配准精度，而且还减少了眼底 配准的时间。 3 1图像配准的基础 1 9 北塞銮亟厶翌亟堂位监塞蓥三童腿底国篮殴配准垂! 搓接 3 1 1 图像配准的基本概念 图像配准( i | l l a g e r e g i s n a t i ) 是指同一目标的两幅( 或者两幅以上) 的图像 在空间位置上的对准。图像配准的技术过程，称为图像匹配( i l i l a g cm a t c l l i n g ) ， 或者i 虱像相关( h n a g ec 骶l a l i o n ) 。图像配准应用十分广泛，例如图像融合、目 标识别、医学图像分析、机器人视觉、虚拟现实技术、航空航天、地理信息系统、 图像镶嵌技术等等领域。图像配准涉及许多相关领域知识，如图像预处理、图像 采样、图像分割、特征提取等等，并且将计算机视觉、多维信号处理和数值计算 方法等等紧密结合在一起。 图像配准可以分为半自动配准和全自动配准。半自动配准是以人机交互的 方式提取特征( 如角点等) ，然后利用计算机对图像进行特征匹配、交换和重采 样。全自动配准是直接利用计算机完成图像配准工作，不需要用户参与，其大致 采用基于灰度的全自动配准。常用的基于灰度的图像配准方法有：空间相关法【3 、 不变矩法、频域相关法1 3 2 j 等等。基于灰度的图像配准方法虽然对于灰度变化以及 噪声比较敏感，但是具有配准精度高的优点 3 1 2医学图像配准的基本研究方法 i 基于外部特征的图像配准方法 外部特征是成像时固定在患者身体上的标记物，不同成像时灌入不同的显影 物质使得标记物在所有图像模态中均能清楚可视和精确检测。这种方法的所求参 数可用联立方程组直接计算得到，但它无法实现图像的回溯式配准，标记物的固 定对人体是侵入性的( 非侵入性的标记物固定法的精确度要差得多) 这种方法的配准变换被限制为刚性变换，临床上常使用的基于立体框架的配 准方法精度最高这时用螺丝旋人头骨将其固定在患者的外颅表面，可作为其他 配准算法评估的金标准， 。基于内部特征的图像配准方法 内部特征是一些有限的可明显识别的点集，标记点可以是解剖点( 一般由用 户识别出) ，也可以是几何点( 如局部曲率极值、隅角，一般自动识别) 。这种 方法主要求解刚体或仿射变换，如果标记点数目足够多，也能用来更复杂的非刚 体变换。识别出来的标志点集与原始图像信息量相比是稀疏的，这样参数优化相 对比较快。 基于分割的图像配准方法 内部特征是可分割出的解剖结构线( 面) ，这类方法可以是基于刚体模型的， 也可以是基于形变模型的，这种方法的最大缺点是配准精度受限于分割步骤的精 度，除了分割阶段，整个算法可以做到全自动化，分割阶段经常也是半自动实现 的。 基于刚体模型的配准方法是目前临床应用中最常用的方法，主要应用在同一 患者的图像配准。最著名的是p e i i 瑚r i 设计的。头和帽”算法，其关键是头部的 c t 、m r 和p e t 图像中皮肤表面的分割，因为这种分割比较容易实现，且算法的 计算复杂性相对比较低，继而出现了很多自动化分割步骤和提高优化求解的改良 算法。另一个著名的算法是1 9 8 8 年b o r 妒f o m 设计的快速斜面配准算法，它是通 过距离变换的方法配准解剖结构的二迸制图像。 2 d 形变曲线是。蛇”( s l 【e ) 或有源轮廓，3 d 形变模型是“网”，应用在 同一患者的图像配准以及患者图像和图谱之问的配准。形变模型的数据结构用样 条表示除了分割步骤外，配准算法可以做到全自动，最适合寻找图像闻局部的 弯曲变换，而不太适合寻找全局的刚体或仿射变换配准优化准则是局部定义和 计算的，变形受到施加在分割出的曲线和表面上的弹性约束，变形过程是迭代进 行的，每一次的形变是很小的。首先在一个图像中定义一个模板模型，然后这个 模板逐渐变形到与第二个图像中分割出的结构匹配形变模型的缺点是，形变模 型需要一个很好的初始位置才能完全收敛；其次如果靶结构与模板结构相差较大 时。模板局部变形的稳定性将会无法预测。 基于体素相似性的图像配准方法 这类方法直接对图像灰度操作，不需要预先的图像分割，可进一步分为两种 截然不同的方法第一种是将图像灰度内容简约成典型的矢量和标量集然后对 这些矢量和标量进行配准，第二种是在配准的全过程中始终使用全部图像灰度内 容。 基于体素特胜的配准方法是人们最感兴趣和最重视的研究方法使用最灵活。 在配准全过程中使用图像的全部灰度信息。其相当大的计算消耗限制了其临床应 用。随着临床上对精确的回朔式图像配准的需要增长，飞速发展的计算机硬件技 术( 尤其是大容量的内存) 使得这种方法进人临床实际应用，但是还未应用在有时间 限制的计算机辅助手术中2 d l 3 d 配准这种方法主要应用在头部3 d 图像的全局 刚体或仿射配准，几乎所有的算法都是自动的 目前常见的基于体素特性的配准方法有： ( 1 ) 互相关法，( 2 ) 基于傅立叶域的互相关法和相位相关法，( 3 ) 灰度比 的方差最小化法，( 4 ) 在段内的灰度值方差最小化法，( 5 ) 差分图像的直方图 熵最小化法，( 6 ) 直方图聚类和直方图离差最小化法等等。 韭塞銮煎占堂亟堂焦论奎燕三童照盛围篮数星壅塑赞接 3 1 3图像配准的一般模型 图像配准可定义为两相邻图像之间的空目j 变换和灰度变换，即先将一个图像 像素的坐标x = ( x ，y ) 映射到一个新的坐标系中的某坐标x = ( x ，y ) ， 再对其像素进行重采样( 在2 2 - 3 中介绍过) 图像配准要求相邻图像之日j 有一部 分在逻辑上是相同的，即相邻的图像有一部分反映了同一目标区域，这一点是实 现图像配准的基本条件。如果确定了相邻图像代表同一场景目标的所有像素之问 的坐标关系，采用相应的处理算法，即可实现图像配准 假设两幅图像q q ，r 和g ：q q l r 其中q ，和q 是图像f 和 g 的定义域，q f 和q 是它们的值域不失一般性，假定图像f 为参考图像，则图 像f 和g 之间的配准就成了g 经过空间变换和灰度变换与f 匹配的过程 如果s 和1 分别为标识图像的空间变换和灰度变换，g 表示图像g 经过变换后 的图像： g = i 【g ( s q ，a 1 ) ) oi 】 ( 3 1 ) 式中p o ，q qr 且q ；s 慨a ) ，d ，和0 1 分别表示空问变换和灰度变 换的参数集合记a 为图像变换中所有参数组成的集合，即a = a 。u “i ， 设向量g 和f 为： g = ( g ：q eo f ) ( 3 2 ) f = ( f ( q ) ：q q f ) 1 ( 3 3 ) 则它们之间的相似度函数e 可以表示为： e ( n ) = r ( g ，1 ) ( 3 4 ) 式中，i ( ，) 表示两图像之间的相似性量度( 如距离量度) 一般的，空间 变换和灰度变换是非线性变换。 图像g 和f 的配准问题就是对图像g 傲空间变换和灰度变换，得到图像g ，使 得变换后的图像g 和图像f 之间的相似度准则e 达到最大或者最小 一般地，空间变换要求两幅图像具有相同的分辨率。一般以高分辨率图像为 参考图像，先对高分辨率图像进行抽样，使其分辨率与待配准图像的分辨率保持 一致；再进行空间变换和灰度交换；最后对配准后的图像进行插值，是分辨率与 原始参考图像的分辨率保持一致。 3 1 4 图像的几何变换 由于在本章图像配准中需要用到图像的几何变换：图像的平移、旋转和缩放 所以就利用本节的篇幅来介绍图像的几何变换的基础知识。 移、旋转和缩放的基础知识，以及刚体变换、仿射变换，投影变换和非线性变换 图像的平移就是将图像中所有的点按照指定的平移量作水平、垂直方向的移 ： = 睢辫 s ， 图像的旋转要比平移复杂些，图像的旋转一般是以图像的中心为原点。图像 上的点( x o ，y o ) 经过旋转。角度后坐标变成( x l ，y 1 ) ，其关系也可用矩阵表示 阱吊警矧 6 ， 原图像中的点( 】【o ，y o ) 经缩放后坐标变为( x l ，y 1 ) ，其关系也