（检测技术与自动化装置专业论文）超声图像三维显示系统的研究与开发——图像预处理与分割.pdf

摘要 摘要 超声毽 像是人们获得不透光物体内部声学特性分布最直观的方法。三维显示技术通过对二维序列图 像的重构，能在计算机屏幕上形象逼真地显示人体器官和组织的立体视图，使医生能够更充分地了解病 灶的性质及其与周围组织的三维结构关系，从而更方便直观地做出i 临床诊断。 本文首先综述国内外三维超声成像技术发展，总结了基于二维图像序列的超声图像三维重建与显示 系统的有关技术，包括二维图像预处理、二维图像分割与边缘提取、基于轮廓线匹配和拼接的三维表面 重建以及基于o p e n g l 的三维真实感显示。进一步的图像处理与显示实验表明，图像预处理和分割对三 维重建与显示至关重要。 在此基础上，本文重点对图像预处理和分割这一关键环节做了较为深入的研究。归纳阐述了适于b 超图像的预处理方法( 如图像增强、滤波去噪等) ，并针对不同的组织区域采取有针对性的处理方法与 步骤，以使目标区域的特征更加明显；结合医学图像处理的基本技术与常用方法，在总结并分析已往工 作的基础上，将二维分割扩展到三维分割，从多个方面对基于空间邻域的最大类间方差法( o t s u 法) 做了深入的实验与分析；最后。对坐标系转换后的序列图像分割重建进行了探讨，得到了一些有益的结 论。实验证明，该方法对b 超序列图像的区域分割取得了良好的效果，有利于后续的三维重建显示。 最后，对研究工作进行了总结并对以后的改进工作提出了建议。 关键字：超声图像图像分割三维分割空问邻域三维重建 东南人学硕士学位论文 a b s t r a c t u l t r a s o n o s c o p yi st h em o s ti n t u i t i o n a lm e t h o dt oo b t a i ni n t e r i o ra c o u s t i cc h a r a c t e r i s t i co fa n o b j e c t t h r o u g hr e c o n s t r u c t i n g2 di m a g e ss e q u e n c e ，t h e3 dr e c o n s t r u c t i o nc a nd i s p l a y s t e r e ov i e w o fb o d yo r g a nr e a l i s t i c a l l yo nc o m p u t e rs c r e e n ，w h i c hc a nh e l pd o c t o r sk n o wt h ef o c u sq u a l 耐a n dt h e 3 ds t r u c t u r ea l la r o u n dt om a k ee x a c tc l i n i c a ld i a g n o s ec o n v e n i e n t i y i nt h i sp a p e r , w i t ha no v e r v i e wo fd e v e l o p m e n t so f3 du l t r a s o n i ci m a g i n g ，t h et e c h n i q u eo f3 d r e c o n s t r u c t i o na n dd i s p l a ys y s t e mw h i c hb a s e do n2 du l t r a s o n i ci m a g es e q u e n c eh a sb e e n s u m m a r i z e d ，i n c l u d i n g2 di m a g ep r o c e s s i n g 。i m a g es e g m e n t a t i o na n de d g ee x t r a c t i n g ，s u r f a c e r e c o n s t r u c t i o nt h r o u g hm a t c h i n ga n dc e n c a t e n a t i o nb e t w e e nc o n t o u rl i n e s ，a n d3 dr e a l i s t i cd i s p l a y u s i n go p e n g lp r o g r a m m i n g t h ef a r t h e rr e s e a r c h e sa n de x p e r i m e n t ss h o wt h a t i m a g ep r o c e s s i n g a n ds e g m e n t a t i o na r ev i t a lt o3 dr e c o n s t r u c t i o na n dd i s p l a y b a s e do nr e s u l t sa n dc o n c l u s i o n sa b o v e ，m u c hm o r ea t t e n t i o nh a sb e e np a i dt ot h ei m a g e s e g m e n t a t i o n ，w h i c hi st h ek e yl i n ka n di m p o r t a n tt e c h n i q u eo fi m a g ep r o c e s s i n g t h ea l g o d t h m sf o r b - t y p eu l t r a s o n i ci m a g ep r o c e s s i n g ，s u c ha si m a g ee n h a n c e m e n ta n dt i f f e r i n g ，h a v eb e e ns t u d i e d ， a p p r o p r i a t em e t h o d sa n ds t e p sa r ep r o p o s e df o rd i f f e r e n tb l o o dv e s s e la n dt i s s u ea r e a st om a k et h e c h a r a c t e ro fo b j e c ta r e a sm o r ed i s t i n c t w i t he x p o u n d i n gb a s i ct y p i c a lm e t h o d sa n ds u m m a r i z i n g f o r m e rw o r k ，am o d i f i e do t s um e t h o da n da l g o r i t h mf o r3 di m a g es e g m e n t a t i o na r ep r o p o s e d w h i c h a r ed e v e l o p e df r o m2 di m a g es e g m e n t a t i o na n dh a v eb e e ne x p e r i m e n t e di nm a n yf a c e t s i na d d i t i o n 。 t h ei m a g es e g m e n t a t i o na n dr e c o n s t r u c t i o na f t e rc o n v e r s i o no fc o o r d i n a t e so fi m a g es e q u e n c eh a v e b e e nb r i e f l yi n v e s t i g a t e d t h er e s u l t sa r es a t i s f y i n ga n da r ep r o p i t i o u st o3 dr e c o n s t r u c t i o n f i n a l l y , ac o n c l u s i o no ft h i sp a p e ri sp r e s e n t e d f o l l o w e db ys o m es u g g e s t i o n so nf u r t h e r r e s e a r c hw o r k k c ? w o r d s ： u l t r a s o n i ci m a g e s i m a g es e g m e n t a t i o n 3 di m a g es e g m e n t a t i o n d i m e n s i o n a ln e i g h b o r h o o d 3 dr e c o n s t r u c t i o n - 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进彳亍的研究工作及取锝的研究成果。尽我 所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 刁孙 研究生签名：兰望! ! 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和 电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内 容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的 全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名：呈猃导师签名： 期：沁力6 第一章引言 第一章引言 现代医学离不开医学影像信息的支持，在各种医学成像方法的临床应用中，超声成像技术以其独特 的优势深得医学界的推崇。与其他成像技术( 如计算机断层扫描c t ，核磁共振成像m r i ) 相比，超声 成像具有实时性好、对患者无电离辐射损伤、低成本等优点，在l 临床诊断与治疗规划中发挥了重要作用。 与此同时，随着图象处理与医学显示技术的发展，人体组织与器官的三维重建技术冈其能够提供复杂物 体与复杂过程的二维信息，显示直观，交互便捷，已成为h j 户与开发部门关注的焦点。 1 1 三维超声成像技术的发展与意义 传统中医学诊断四字诀“望、闻、问、切”是以“望”为先；西医诊断的最基本手段“视、触、叩、 听”是以“视”为先。这些通过人眼直接观察所获取的信息，可以看作是最早的被利用的医学盈像。 近三十年来，随着医学影像技术的飞速发展和广泛应用，显像技术逐渐丰富，研究范围越来越广， 在影像学的许多分支领域均有空前的突破，使得临床影像学发生了显著的变化。七十年代，计算机x 射线断层造影术( c t ，c o m p u t e r i z e dt o m o g r a p h y ) 在医学i 临床的成功应用，使得对人体疑难病症的无创 检查成为现实，开创了影像医学的新纪元；八十年代，磁共振成像( m ，m a g n e t i cr e s o l 3 a i l c ei m a g i n g ) 、 超声成像( u l t r a s o u n di m a g i n g ) 等影像技术也逐渐发展成熟并得到广泛的应用，大大提高了医疗诊断的 水平；如今，核医学成像( 如p e t 、s p e c t 等) 也成为新兴的成像诊断技术”j 。 在这现代四大医学影像技术中，医学超声成像技术以其特有的优势在临床上得到了广泛的应用。首 先，它是一种非侵入无创检查的方法。对于病人来说，即使反复暴露在标准能量的超声波之下，也是安 全的。也就是说与x 射线c t 扫描和核磁共振相比，超声成像对人体没有辐射。其次，超声成像速 度快，具有实时性的特点。而核磁共振、x 射线、c t 扫描获取数据的时间长，存在比较复杂的后处理 过程，因此成像速度慢。再者，超声成像系统设备比较简单，成本较低，操作方便，易于推广使用。因 此。超声成像技术广泛应用于临床诊断和治疗中，它在人体内部组织器官的定量分析、实时监控和治疗 规划等方面都具有极大的潜力。 1 1 1 传统的二维b 超成像系统闭圈 在目前的影像医疗诊断中。主要是通过观察一组= 维切片图像去发现病变体，往往需要借助医生的 经验来判定。至于准确的确定病变体的空间位置、大小、几何形状及与周围生物组织的空同关系，仅通 过观察二维切片图像是很难实现的。因此，利用计算机图象处理技术对二维切片图像进行分析和处理， 实现对人体器官、软组织和病变体的分割提取、三维重建与显示，可以辅助医生对病变体及其它感兴趣 的区域进行定性甚至定量的分析，可以大大提高医疗诊断的准确性和可靠性。此外，它在医疗教学、手 术规划、手术仿真及各种医学研究中也能起重要的辅助作用。 图1 1 二维b 超成像系统结构图 超声成像技术是利用超声仪器的探头向人体内发射超声波，并接收由体内组织返回的回波信号，根 据回波信号所携带的有关人体内部组织的信息，进行检测、放大和处理，然后显示成像的技术。b 超的 显示方式采用亮度调制方式来显示回波信号的强弱，回波幅度大则亮度强，幅度小则亮度弱。b 型超声 - l - 东南夫学硕十学位论文 的探头所发射和接收的超声波方向按一定规则扫查某平面，所显示的即为该平面的二维截面图像，传统 的二维b 超成像系统的原理及结构如图1 1 所示。 超声诊断是利用超声的物理特性和人体器官组织声学性质上的差异，以波形、曲线或图像的形式显 示和记录超卢波，借以进行疾病诊断的检查方法。医学超声诊断是广泛应用于临床的主要诊断方法之一， 按照发展历程和使_ 【 j 频率，可以将其种类概括为a 型超声、b 犁超声、d 型超声、介入性超声等。其 中，目前使用最，1 的是b 型超卢检查( 简称b 超) ，即我们所说的超声显像法。这是因为超声显像设 备虽然不能形成c t 图像或m r i 图像那样的高分辨率的图像，但它具有很多优点，如价格低廉、可以 获得器官的任意断面图像、可实时地观察运动器官的活动情况、对人体的软组织具有高度的分辨能力、 成像快、操作简单、诊断及时、无稍苦与危险、无射线辐射、属于非损伤性检查等等。正是因为如此， 超声成像技术在医学界得到了广泛的应用，由此也推动了人们利用计算机技术和信息处理技术处理和分 析医学超声图像的研究进程。 b 超对心、腹部和盆部器官的检查应用较多，如对肝、胆、胰腺、脾、肾、膀胱、前列腺、肾上腺、 子宫、眼、甲状腺及乳腺等的检查及对妊娠的诊断都有相当的价值。b 超诊断本身也有一定的限制，例 如由于超声的物理性质，使b 超对骨髂、肺和胃肠的检查受到限制。此外，由于声像图所显示的是器 官和组织声阻抗差的改变，缺少特异性，所以对病变性质的判断有时需要与其它影像学及相应临床资料 综合分析。当病变过小( 直径在0 5 c m 左右) 或声阻抗差不大时，超声波不能发生反射，此时病变也难 以在声像图上显示出来。此外，超声设备的性能检查人员的技术与经验也会影响诊断的结果。尽管如此， 超声成像技术仍以其独特的优点而广泛应用于临床医学诊断中。 7 0 年代以来，医学超声技术的不断革新，推动了超声诊断广泛而深入的发展，多元超声换能器技 术、灰阶成像技术、数字扫描变换技术、数字声束形成器和相干图形形成器等新技术的开发应用是促进 b 型超声成像诊断技术发展的源动力。但随着临床应用的深入。人们发现二维平面上的超声图像诊断技 术有着明显的不足。传统的b 型超声成像系统允许操作人员移动超声探头来观察感兴趣的物体结构， 然而它只能提供人体某一断面的二维图像，不能够提供立体的生物结构。医生必须根据自己的经验对多 幅二维图像在大脑中进行合成，以理解其三维解剖结构。这一过程需要长时间的训练和相当的熟练程度， 对医生提出了很高的要求，也使某些方面的诊断有一定的局限性。 与此同时，人体组织与器官的三维超声重建技术已逐步成为医学临床诊断与治疗规划的有效工具， 其基础理论涉及到信号处理、图像处理、计算机视觉等领域。随着图像处理与显示技术的发展，三维超 声重建技术在现代临床医学中所起的作用也越来越大。相应的超声成像技术被称为三维超声成像。 1 1 2 超声图像三维显示系统 与传统的二维超声成像相比，三维超声成像具有以下明显的优势 4 1 ； ( 1 ) 图像显示直观 医生可以在屏幕上直观地看到脏器的解剖结构，还可以利用计算机图形学方法从不同角度显示脏器 的切面或整体。这将有助丁二医生更全面地了解病情，对提高疾病诊断的准确性有重要价值。 ( 2 ) 在医学教学和手术规划方面有广泛的应用 通过人机交互的方式，医生可以从不同的角度观察脏器的解剖结构与疾病状况，并在计算机上研究 手术规划，完成模拟手术等。同时，三维超声成像也为医学教学提供了极好的手段和方法。 ( 3 ) 可以进行医学诊断参数的精确测量 很多医学参数。诸如心室容积、心内膜面积等是心血管疾病诊断的重要依据。只有基于脏器的三维 结构信息，这些参数才能获得准确的定量结果 ( 4 ) 准确定位病变组织 三维超声成像可以向医生提供肿瘤( 尤其是肝、肾等器官) 在体内的空问位置及其三维形态，从而 为进行体外超声治疗和超声导向介入性治疗手术提供依据。这将有利于避免在治疗中损伤正常组织。 ( 5 ) 可以缩短医生诊断需要的时间 2 第一章引言 二维诊断中。医生需要长时间检查人体器官以便在大脑中形成病变器官的三维形态。三维检查只需 短短几分钟就可采集到足够的数据，重构出很好的病变器官的三维形态，大大减少了诊断所需要的时间。 ( 6 ) 缩短数据采集时间 成功的三维超卢成像系统在很短时间里就可采集到足够的数据，并存入计算机。医生可以通过计算 机存储的图像进行诊断，而不必要在病人身上反复用一维探头扫查，从而缩短了检查诊断的时间。 由于以上原因，三维超声成像一直是超声诊断技术研究的前沿课题，也是医疗科技领域的热点之一。 在过去的几十年中，国内外研究人员对该领域进行了大量的研究与探索。三维超声成像的概念最初由 b a u n 和g r e e w o o d 在1 9 6 1 年提出，他们在采集一系列平行的人体器官_ 二维超声截面的基础上，用叠加 的方式得到了器官的三维图像。在这之后，很多人专家学者继续这方面的研究工作，试验了各种方法， 也逐步将研究成果转化到真正的临床应用中。 在超声三维显示系统的成像设备与配套的医学图象处理软件方面，西方发达国家已远远超过了我 国，国外的一些著名医学成像设备制造商，如g e 、p h i l i p s 、西门子都相继推出了采用三维容积探头的 高档超声成像诊断系统，并能够完成连续的准静态三维显示，如腹部胎儿的面部、肢体显示。此外，比 较成熟的医学图象处理软件包还包括美国宾州大学开发的3 d v i e w n i x 系统、美国生物动力学研究中 心( b i o d y n a m i e sr e s e a r c hu n i t ) 开发的a n a l y s e 系统，德国汉堡大学开发的v o x e lm a n 系统等。这 些系统在功能上各有长短，但都是在u n i x 工作站上开发，软硬件设备价格昂贵，使用并不是很方便。 目前，国内一些单位也在积极开展三维超声重建系统的分析研究工作，并取得了相当的成果。在系 统研发方面，国内的研究人员也在进行探索1 “。例如，浙江大学汪元美、吕维雪等在重建三维图像的研 究中取得了一定成果；西安交通大学宋志坚、程敬之等将取得的心脏断层图像，利用三次参数样条方法 对其进行插值，实现了左心室的三维显示；陆平等应用经食道超声探头对心脏进行三维重建，取得了较 好的效果。另外，一些大的医疗单位引进了国外的成套系统，并开展临床诊断应用研究。 三维超声成像在临床上有广泛的应用前景。例如，在妇产科中对胎儿作三维成像有助于早期发现胎 儿先天性畸形。又如，血管三维超声成像可以提供血管内血栓、血管壁剥离等病变的直观形态、精确位 置和尺寸，从而提高诊断的准确率。 总之，三维超声成像的优越性及其在临床上广泛的应用前景，使之成为近年来医学超声工程界研究 的热点。随着三维成像技术的日益成熟，它必将在l 临j 来上获得愈来愈广泛的应用。 1 2 课题相关研究领域的发展现状 三维超声成像是在二维超声基础上发展起来的超声成像新技术，因此，它的研究主要包括超声数据 采集、数据分析、数据显示等几部分。另外，与大多数医学三维成像的过程类似，三维超声成像的关键 技术包括图像分割、三维重构、图像显示等，只是在三维超声成像的每一个环节中都有它特殊的问题与 解决方法。随着相关学科的发展，三维超声成像在这些研究领域都取得了令人瞩目的成就。 1 2 1 超声图像的采集 目前，三维超声成像系统大多是在二维成像的基础上完成的，即在采集一系列二维图像的基础上重 组出三维图像。图像数据的采集是三维超声成像的第一步，也是十分关键的一步，采集的二维图像的好 坏将直接影响三维图像的质量。 超声图像采集的扫查方式主要有两种p j ： ( 1 ) 机械驱动扫查( m e c h a n i c a l l yd r i v e ns c a n n i n g ) ：将探头固定于机械装置上，由计算机控制电 动步进马达，带动探头作某种拟定形式的运动。其中常见的形式有三种，分别为平行扫查、扇形扫查和 旋转扫查。在机械驱动扫查中，探头按预先设定的逻辑轨迹运动，获得一系列排列有序的二维图像。 ( 2 ) 空间定位自由扫查( f r e e - h a n ds c a n n i n g ) ：简称自由扫查，由与探头连接的电磁场( 或声场) 发生器、空间位置感应器( 接收器) 和微处理器三部分组成。自由扫查操作起来较为灵活方便，可对较 3 - 东南大学硕士学位论文 大范嗣内进行复合扫查。例如对肝脏的整体扫查。 三维超声诊断仪容积扫查探头也有两种，一种是机械驱动式，即在探头内由- - , b 的机械马达驱动一 组扇形排列的晶片( 即一个二维探头) 作扇形摆动，自动采集三维数据；另一种为三维电子相控阵探头， 它是由晶片排列成阵元( 例如1 2 8 1 2 8 阵元) 构成。容积扫查探头采集图像时无须移动探头，使用方 便，但采集的数据库较小，不适用于一次性大范围扫查采样。 在三维超声成像中，数据采集的难点主要有以下三点： ( 1 ) 有些脏器( 如心脏) 在体外探查时只能通过有限大小的声窗将超声波射入体内，这样就不容易 采集到有规则地平行排列的二维图像。 ( 2 ) 医生在对病人检查的过程中需要不停地移动探头，从不同角度获取二维图像，这就需要有一套 定位系统能跟踪超声探头的空间位置与指向。 ( 3 ) 为了避免由于病人呼吸、心跳等原因引起的伪像或失真，数据采集的时间还应尽可能短。 1 2 2 超声图像的处理 作为医学数字图像处理技术的一个分支，超声图像处理技术的研究内容包括很多方面，主要有：图 像增强、图像滤波、图像分割及边缘轮廓提取等。另外还包括其他的一些内容，如图像配准和融合以及 伪彩色处理技术和纹理分析等。只有对采集的图像数据进行处理，才能完成图像的定量分析、精密测 量、三维显示，并在二维成像基础上发展三维成像。 目前，超声成像虽然有很多优点，如低成本、无辐射、简便，但受到成像设备等因素的制约，超声 图像具有灰度级对比度低等缺点，成像质量相对较差，特别是在某些局部细节上没有明显的灰度差别， 使得计算机处理较为困难。图像增强便是为了改善图像的外观，使之更适合于机器的分析处理，其实质 是有选择地加强图像中的某些信息，同时抑制另一些信息，以增加图像的“可读性”。 另外，由于器官或组织结构的不均匀性，一些微小的结构不能为超声所分辨，加上声波信号的干涉 现象，在超声图像中形成了特有的斑纹噪声，它大大降低了超声图像的质量。斑纹噪声在器官或组织边 缘处的作用严重影响了分辨结果，使得对图像细节的识别与分析更加困难。为了改善图像质量，需要用 i 蛩像滤波算法来抑制斑纹噪卢。随着超声成像技术的发展，图像滤波方法越来越受到人们的重视，大量 的自适应滤波算法的研究，以及其他超声成像相关技术的研究，又大大促进了超声图像处理技术的发展 及应用。超声图像的滤波算法正朝着自适应、并行、快速和高效的方向发展，这就需要对超声的图像特 征及滤波算法进行更深入彻底地研究。 图像分割是图像处理与图像分析中的一个经典问题，即把图像中具有特殊涵义的不同区域分开来， 这些互不相交的每一个区域都满足特定区域的一致性。图像分割技术发展至今，已针对各种具体问题提 出了不同的分割算法，如灰度阈值分割法、边缘检测分割法、区域跟踪分割法等，也进行了深入的研究， 取得了很好的效果。但是由于图像分割问题所面向领域的特殊性，至今尚未得到圆满的、具有普适性的 解决方法。 图像分害q 和边缘轮廓提取是进行三维重建与显示的基础，分割的效果和轮廓的精度直接影响到三维 重建后模型的精确性，分割和边缘轮廓提取可以帮助医生将感兴趣的物体( 病变组织等) 提取出来，使 得医生能够对病变组织进行定性和定量的分析，从而提高医生诊断的准确性和科学性。 1 2 3 超声图像的三维重建问婀 医学图像三维重建是研究由各种医疗成像设备获取的二维图像序列构建组织或器官的三维几何模 型，并在计算机屏幕上“真实”绘制与显示。超声图像的三维重建技术是其的一个研究分支，可以归于 医学三维数据场的可视化问题。其目的是使被检查的结构显示为三维效果立体图像，从而获得比二维图 像更多的诊断信息。三维效果图像可以在三维空间中任意移动、旋转、缩放，可以从任何角度来观察三 维效果立体图像，从而观察各组织结构或血管树的空间位置关系。 在超声图像数据采集完成之后，三维重建实际上就是一个软件处理的过程，主要包括重建算法和 - 4 第一章引言 编程实现两个方面。目前图像三维重建的方法主要有两大类： ( 1 ) 表面绘制法：通过几何单元拼接拟合物体表面来描述物体的三维结构。它是基于二维图像边缘或 轮廓线提取，并借助计算机图形学技术及硬件实现的。该算法所成的图像分辨率高，生成速度快，而且 可以快速灵活地进行旋转和变换光照效果。它适用于绘制表面特征分明的组织和器官，但对形状特征不 明显、有亮度变化特性的软组织、精细组织或器官的三维显示，常常效果不佳。另外，表面绘制方法不 能保留数据的完整性，其物体仅显示为一个空壳，表面里面没有东西，不能提供结构体的内部信息。 ( 2 ) 体绘制法：直接应用视觉原理，将体素投影到显示平面，经过体数据重新采样，通过对体素灰度 值的处理，最终锝到具有三维半透明效果的图像。体绘制方法通常不要求对被显示物做精确的分割，面 是对体数据场中每个体素分别进行处理。因此，对于形状特征模糊不清的组织和器官进行三维显示时， 适合采用体绘制方法，但它的运算速度不高。而且算法的运算量太大，很难满足实际应用中交互操作的 需要，因此表面绘制仍是目前的主流算法。 三维重建最终的研究目标应该是动态三维成像。例如，动态三维超声心动图像能够让医生观察到 心脏跳动过程中的空间位置、解剖结构，正常和非正常组织的空间关系，血液循环情况等，这使医生能 够更方便地诊断先天性间隔缺损、房室瓣关闭不全等疾病。同时三维超声心动图像也使医生有条件对左 心室容积、射血分数等重要的心功能参数进行精确测量。这就需要进一步完善二维切片图像的三维重建 理论及进一步提高重建速度，改善显示效果，扩大应用领域。 近几年来，随着电子学与计算机技术的发展，三维超声成像领域的研究工作取得了长足的进步。 但是要把它作为临床的常规检查工具来用还有待进一步的研究和实践。从工程实现的角度上看，大幅度 提高图像三维重建与显示的速度是必须要解决的问题。对于临床应用来说，除了要求工程人员尽可能设 计易于操作的计算机界面外，医务人员也需要努力完成从习惯r 观察二维平面图像到适应三维图像操作 的转变。 1 3 课题工作与论文内容 本课题基于b 超诊断系统与p c 微机平台，对于由b 超诊断系统获得的源图像，通过v c + + 6 0 及 o p e n g l 语言的系统编程，将二维图像处理与三维曲面的重建与显示结合起来，开发p c 平台下的超声 图像三维显示系统；并在此系统平台上，进行三维图像处理与重建的深入研究，完善并探索更合适的处 理方法，力求将纵、横两个方向上的二维序列切片图像还原为具有真实感的三维图形，并取得满意显示 效果。本课题是国家“2 l l ”工程资助项目“现代超声检测技术与医用超声诊断系统”的一部分，力求 建立行之有效的医学超声图像三维重建的理论和算法，为三维超声成像系统走向实用化奠定基础。 课题中所采用的三维超声成像装置是“基于p c 微机的线阵b 超诊断系统”，如图1 - 2 所示，其由 一台便携式的二维b 超仪，一块系统接口卡和一套微机组成，超声探头扫查得到的二维超声图像，通 过超声三维重建系统处理，最终直观真实地显示出来。该系统将b 超诊断议的部分功能转移到微机上 来完成，利用微机丰富的软硬件资源及通信能力，大大提高了超声诊断仪的性能。系统提供的图像采集 功能使得能够在p c 上直接得到b 超数字图像，而系统的大容量的图像存贮功能则能获得b 超的序列 图像。借助p c 平台提供的丰富硬件资源，我们可以实现超声图像的三维重建与显示。 舞 图l _ 2 三维超声成像系统结构图 作为课题组的成员，本人参加了基于二维超声图像序列的三维重建与显示系统软件部分的研究与开 发工作，包括系统平台的搭建、序列图像预处理与分割的编程设计以及三维表面重建、图像的真实感显 5 东南大学硕士学位论文 示等部分的优化改进。在此过程中，本人深感图像分割对整个系统的重要性，因此重点对图像序列的预 处理与分割进行了重点与深入的研究。本论文的核心工作也将围绕图像预处理与分割及其对后续三维重 建显示的效果影响来展开： l 、对于由b 超诊断系统获得的源图像，通过v c + + 6 0 及o p e t 啦l 语言的系统编程，将二维图像处 理与三维曲面的重建与显示结合起来，开发p c 平台下的超声图像三维显示系统；并在此系统平台上， 对阻像的二维与三维分割技术进行了深入研究，完善并探索更合适的处理方法，以期在三维重建后取得 满意显示效果。 2 、优化完善适合于b 超图像的处理算法，从一系列二维切片数据中得到尽可能逼真的三维表示。 由于b 超图像往往分辨率、对比度低，细节显示能力不足，因此上述工作都具有一定难度。尤其在图 像分割环节，对于任意方向的二维图像切片，首先需要辨识血管的数目及切片方向，对于横向与纵向的 血管切片图像，分别进行正确的分割。这不仅要考虑层阃轮廓线的形状相似性，还要充分利用序列图像 层间对应边缘处灰度的相似性与相关性。 论文各章豹内容筒述如下： 第二章主要介绍了超声图像三维显示系统的总体设计方案。讨论了程序流程，展开了技术路线，给 出了框架结构，划分了系统功能模块；并对一些三维重建与显示的一些方法进行了研究。针对超声图像 的特性，对轮廓重建的原理和轮廓线之问拼接的方法进行了研究，给出了合适的三维重建方法；另外， 对介绍了o p e n g l 的关键技术及其实现。 第三章论述了对二维超声图像的预处理技术。主要包括图像增强、滤波去噪等图像处理的基本内容。 对各种方法的优劣与适用性进行了详细讨论与大量的实验与分析，从中甄选出对于超声图像实用有效的 方法；并针对不同血管组织采取不同的处理方法，使得图像处理环节的针对性更强。 第四、五章对图像的分割技术做了详细的分析与探讨，是本篇的重点。第四章对一些经典的或已 在某些医学图像中使用的分割方法作了比较全面的分析、比较与总结。在总结已有方法的基础上，对最 大类间方羞法进行了深入的研究，并将二维分割扩展到三维分割；第五章从多个方面进行了比较、实验 与分析，并提出了自己的看法；另外也探讨了转换坐标后的重建方式。实验表明，基于三维序列图像空 问邻域平均灰度的最大类间方差法，能够较好地实现了肝脏超声图像的分割。 第六章对整篇论文的基本工作、创新点以及应用价值等方面进行了总结与展望，并对需要进一步研 究和探索的问题与方向提出了自己的看法。 - 6 - 第二章超声图像的三维显示 2 1 概述 第二章超声图像的三维显示 按照处理过程，医学超声图像的三维显示可以大致分为二维图像的预处理、二维序列图像的分割、 序列图像的三维重建及真实感显示。其中，前二部分处理是为= 维处理和显示提供图像区域分割数据， 对最终的显示效果具有重要的影响。本章将主要从各部分处理的方法与算法、步骤与流程、处理结果等 方面对整个处理过程进行介绍。由于图像预处理和图像分割将在后续章节中重点讨论，所以本章对这二 部分仅做简略的讨论，而更多地讨论三维重建及真实感显示。 在系统地总结已有的研究与开发成果的基础上，对更多的超声图像进行了实验，通过结果对比和分 析，进一步探讨了有关处理的方法和算法，分析了它们对于不同原始图像数据的适应性，为本文重点研 究二维图像预处理和图像分割提供了基础。 与此同时，还对原系统编程实现进行了改进，改善了程序的结构，优化了编程代码，进一步提高系 统性能。本系统软件是以m i c r o s o f t 公司的w i n d o w s 2 0 0 0 为平台，采用c + + 语言，在v i s u a lc h 七0 开发平 台上进行开发的。三维显示采用o p e n g l 技术。微机系统c p u 为p e n t i u mi v 系列( 频率为2 4 g h z ) ，系统 内存容量是l g 。 v i s u a lc + + 是m i c r o s o f t 公司推出的功能最强大、最复杂、最完善的程序集成开发环境之一，在编程能 力和方便性等方面都达到了高水平。用它可以很好地满足和实现三维重建可视化系统对用户交互界面的 设计需要，实现医学超声图像三维重建系统的总体设计。 d i b 是d e v i c e - i n d e p e n d e n t b i t m a p ( 设备无关位图) 的缩写，任何运行w i n d o w s 的计算机都可以处理 d i b ，它通常以b m p 文件的形式被保存在磁盘中或者作为资源保存在e x e 文件和d l l 文件中。此d i b 函 数库具有对d i b 图像操作的一系列基本功能，包括绘制d i b 对象、创建d i b 对象调色板、计算d i b 图像像 素起始位置、计算d i b 图像的高度和宽度、计算d i b 调色板大小和颜色数目以及对d i b 图像的读取和保 存功能。 o p e n g l 独立于硬件设备、窗口系统和操作系统，实际上是一个图形与硬件的接口，包括1 2 0 多个 图形函数，可以利用这些函数建立三维模型和三维实时交互。o p e n g l 方便地提供了光照、消隐、变换 等操作函数，能帮助程序员完成高效地图形绘制工作。用o p e n g l 编写的程序结构类似于其它语言编写 的程序，由于o p e n g l 是一个图形函数库，因此在编写程序时只需要调用这些函数即可。 由于编程的改进与优化是针对以往工作中的不足，同时也比较具体和繁琐，所以在本章中就不对程 序设计和开发工作做详细讨论了。 2 2 系统结构与模块 医学超声图像三维重建系统是由输入的b 超序列图像经过预处理、图像分割等图像处理操作后， 提取出待重建物体的边缘轮廓线，利用二维轮廓线构造出三维形体，进而对重建的几何模型进行渲染得 到真实感图像，并进行缩放、旋转等操作系统的主要功能模块描述如下。 1 原始数据 原始的图像数据是由b 超仪采集到的二维b 超序列图像。重建系统读取该图像序列，转换成标准 的r g b 数组存储在计算机内存中。然后对输入的图像进行变形，将其尺寸缩放到统一的大小 2 图像处理 b 超图像处理包括预处理和图像分割两部分。 ( 1 ) 图像预处理包括图像增强和滤波去噪等内容 7 东南大学硕j 学位论文 在医学超声图像的获取过稃中，由于b 超诊断设备中备电子器件的随机扰动及周围环境的影响， 使图像多少含有噪声和失真，影响了后续的分析和处理。因此需要进行滤波处理以滤除噪声，增强图像 特征。超卢图像质量不高的另一个原因是图像对比度低，因此采用图像增强技术来有目的地强调图像的 整体或局部特性。改善图像的视觉效果。 ( 2 ) 图像分割 图像分割是三维重建过程中关键的步，分割的目的是从图像中提取出感兴趣的区域，分割的质量 直接影响到绘制图像的视觉效果。本文采用了一种基于最人类间方差法的三维分割方法，实现了超卢图 像的自动分割。 3 三维显示 ( 1 ) 三维物体表面重建 采用由二维轮廓线重构三维形体的切片级方法， 进行三维物体表面重建。切片级重建的输入是一组平 行的平面轮廓，因此首先提取出经图像处理后的待重 建物体的边缘轮廓线，将其转换为凸多边形，然后利 用轮廓匹配的思想，将相邻切片轮廓分成相似的和不 相似的两部分，再分别根据不同的准则和目标函数用 三角面片连接对应的轮廓部分。 ( 2 ) 重建图像真实感显示 使用o p e n g l 进行重建结果的显示，通过选择合 理的外部光源位置及光的属性，设定或改变组织颜色， 使得物体的质地、结构和纹理等特征更好地被反映出 来。 4 交互操作 在完成了所有基本功能的基础上，进行人机界面 设计，力求操作的方便( 例如设置了根据鼠标的指向 进行图像旋转，设计了缩放操作等) ，为用户提供良好 的可视化应用开发环境和友好的用户交互界面。 基于以上各章节的讨论和系统功能模块的划分， 图2 1 给出了b 超图像三维重建系统程序流程图。 2 3 图像处理流程与技术实现 读入序列图像，转换成标准的r g b 数组i 对输入的图像进行变形，i 将图像的尺寸缩放到统一的大小l 匪回 匹堕固 将轮廓线转换为凸多边形 基于轮廓匹配的表面重构 真实感显示、几何操作 图2 1 三维显示系统的流程图 根据课题的内容和任务，研究对象是由基于p c 微机的b 超诊断系统获取的超声序列图像。首先， 在理论上对b 超图像处理算法( 图像增强、噪声抑制、图像分割等) 进行研究，旨在总结出一套切实有 效的超声图像处理方法。这其中，图像分割技术又是重中之重。在此基础上，进行序列图像的三维重建， 实现从b 超原始序列图像的采集到最终目标区的三维效果显示。图像处理流程与技术路线如图2 - 2 所示。 下面就各部分的技术实现进行说明与效果演示。 8 第二章超声图像的三维显示 2 3 1 图像预处理 图2 2 图像处理流程与技术路线 由于受到b 超的成像机理与硬件设备本身的限制，b 超图像的质量总是不尽人意的，主要表现为动 态范围较小、对比度不高，且存在一定的噪声，为了提高图像质量、改善图像外观，以及为后续的处理 工作提供便利并打下基础，先对其进行预处理。包括图像增强、滤波去噪等，使之更适合于人眼的观察 判断或机器的分析处理，其实质是有选择地加强图像中某些信息而抑制掉另一些信息以增加图像的“可 读性，i “j 。图像预处理主要包括了图像直方图显示、灰度均衡、灰度拉伸以及滤波去噪等方法。针对b 超图像的特殊性，本文研究采用了有效合适的处理手段，力求使处理后的图像去除杂质、突出特征，更 适合于人眼的视觉特性。具体方法在第三章有详细的阐述 2 3 2 图像分割 图像分割是图像处理中相当重要的环节，分割结果的好坏会直接影响后续的三维重建的效果。实 验表明，即使是某一幅图像上细微的区域特征差异，在重建时扩展到序列图像中，也会造成较明显的不 同。 典型的b 超图像具有相当宽度的模糊边界区域，特别是b 超图像所特有的s p e c k l e 噪声以及生物组织 本身特性使得在b 超图像内部几乎处处存在灰度梯度( 边缘) 。因而，采用普通的图像分割处理算法不会 取得好的效果，必须有针对性的加以改进。 一方面，对于本课题中将涉及到的人体肝脏b 超图像，大体上主要由肝内部组织、肝内部血管及肝 隔膜三部分组成，当进行区域分割工作时，主要的目标要将这几部分很好的分割出来，为后续的工作打 下基础。处理算法可以基于双阈值的图像分割，将图像分为三个部分，以不同的灰度值显示出来。 另一方面，由于生物组织自身的特点( 例如肝脏组织颗粒比较大) ，采用一般的处理算法将造成大 量的伪边界，将使后续工作无法顺利进行。因此本文在探讨最大类问方差法的基础上，研究并提出了基 于空间邻域的三维分割方法，并取得了良好的分割效果。作为课题的重点分析对象，图像分割的内容将 在第四、五章详细加以阐述。 2 3 3 轮廓边缘提取 在对序列图像经过预处理和分割后，就可以进入三维重建的环节。由于切片级表面重建的输入是一 组平行的平面轮廓，要使重建方法恢复体数据中所蕴涵的物体结构，首先必须提取出每个断层上的物体 轮廓。这就需要对图像进行边缘轮廓提取。 轮廓提取的目的是获得图像的外部轮廓特征，在必要的情况下应用一定的方法表达轮廓，为图像的 形状分析做准备。前面我们已经得到了b 超图像的阈值分割结果，现在要做的就是对图像中感兴趣或 是特定要求的区域进行轮廓提取，为后续的三维形体重构工作做准备。 - 9 - 东南人学硕士学位论文 二值罔像的轮廓提取算法其实非常简单，就是掏空内部点：如果原图中有点为黑且它的8 个相邻 点都是黑色时，则认为该点是内部点，需要将该点删除。联系到数学形态学的内容，可以看到，这实际 上相当于用一个九个点的结构元素对原图像进行腐蚀，再用原图像减去腐蚀图像。 2 3 4 去毛刺 经过轮廓提取后，由于图像本身的复杂性等因素，通常有时候会产生带毛刺的结果图像。为了消除 毛刺，这里采用了一种基f 击中击不中运算的算法。 举带书书 囝中黑点表示击中元素，白点丧示击不中元素 图2 3 去毛刺算法的结构对 这种算法采用了如图2 - 3 所示的四个结构对来对原轮廓图像进行击中，击不中运算。只要其中有一 个结构元素击中原轮廓图像，那么就将对应于结构元素中心点的原轮廓图像上的点作为毛刺点去除掉。 对于一个封闭的轮廓图像，可以多次运用此算法对原图像进行去毛刺操作，由此可以去掉比较长( 不止 一个像素长) 的毛刺，对图像的其他部分不会产生影响，结果将处于稳定状态。 图2 - 4 是以5 0 幅序列图像中具有血管分支代表性的第2 5 幅图像为例，进行图像处理各环节操作后 的结果图。图( a ) 为原始图像：图( b ) 为进行图像预处理后的图像，可看出经过图像增强与滤波，像 素点的灰度更显著，一些无效噪声区域的灰度值与特征区域相比也进一步拉大；图( c ) 为经过分割处 理后的图像，采用了双阈值分割后，血管区域、肝隔膜区域以及背景区域泾渭分明，非常容易区分；图 ( d ) 为轮廓提取后的图像，这是