计算机图形学在医学图像中的应用.

1、计算机图形学课程设计 题目名称：计算机图形学在医学图像中的应用班级：学号：姓名：计算机图形学在医学图像中的应用摘 要该文通过医学应用和研究领域几个有代表性的例子引入了计算机图形图像相关技术在医学中的应用,同时简单介绍了这些相关技术的概念、意义和发展。对医学虚拟现实系统进行了技术内涵的分解与应用外延的划分, 医学虚拟现实按表现形式可以分为参数化虚拟现实和增强现实, 按设施的使用方式又可以分为交互式视景虚拟系统和交互式沉浸虚拟系统。对系统的构成诸要素、要件及过程做了简要描述和分析。对国外虚拟医学的研究进行了分析和评价, 涵盖了该领域的基本概念、基本理论和进展。虚拟医学系统的产生和相关理论的兴起形成

2、了虚拟医学, 并使虚拟医学系统化理论系统化和软硬件系列化。关键词：虚拟医学系统；计算机图形图像技术；VTK；可视化；三维重建；虚拟内窥镜技术一 医学应用背景简介11 诊断111 基于医学影像信息的三维视图1895年, 伦琴发现了X射线, 医学影像技术从此得到发展。利用仪器设备获得人体有关部位的断层影像, 这一方法给医生对病情诊断带来了革命性的飞跃。随着相应技术和研究的发展, 先后有了计算机断层扫描成像技术(CT)、螺旋 CT技术、磁共振成像技术(MRI)、正电子放射断层成像技术(PET)等。医生可以通过对医学影像设备获得的照片分析病因。然而, 因为照片都是二维的,分析起来对医生的想象力和经验要

3、求都很高,而且对病灶的判断也不很直观。另一方面, 这些照片通常是通过胶片的形式储存, 对影像数据的管理和充分利用都十分不方便。为了弥补这些不足,引入了信息处理技术, 主要包括从这些二维图像信息中重构出三维模型直接在计算机显示设备中显示出来, 让医生通过三维的角度来观察感兴趣的部位。若需要, 还可将数据按一定的数据库模式存储起来建立相应的图像资料库供建立医疗档案使用。这样不仅可以让医生看到生动而且具体的三维图形,直观地查找病灶,同时也对影像信息进行了充分利用1。1.1.2 虚拟内窥镜技术内窥镜技术也是医学诊断中的一种重要手段。诊断时,通过向病人体内插入内窥探头,利用光纤的导光性,将探头所及部位的

4、情形传导并显示出来。虽然这一技术给疾病的诊疗带来了方便,但在实施过程中对病人造成很大的痛苦,也不便于医生的操作。引入计算机图形图像技术以后,通过对病人有关部位影像信息的提取和三维重建,构建出虚拟的人体器官图形,并能像真正的内窥镜一样在其中漫游, 甚至有更强的操控性。这样不仅没有给病人带来插入探头的痛苦, 同时还可以置身于探头不能到达的人体部位。这种通过三维重构图形来得到内窥镜效果的方法便叫做虚拟内窥镜技术(Virtual Endoscope , VE)2。虚拟内窥镜技术是随着计算机技术、计算机图形学、计算机图像处理尤其是虚拟现实等学科的发展而逐步形成的一种独特的医学图像处理技术。1.2 数字人

5、研究1.2.1 简介 数字人研究是基于人体真实切片图像数据,通过计算机技术, 进行人体组成及功能研究的一个新领域, 是信息技术与医学等学科相互结合的前沿性交叉课题。1989年美国就开启了这一项目的先河,由美国国立医学图书馆(National Library of Medicine,NLM )提出，称之为可视人计划(Visible Human Project VHP )。1994年和1995年由Colorado大学首次完成了男女人体断面数据的采集,其中包括CT图像、MRI图像和切片图像,为后续的虚拟人体三维重建工作奠定了基础3。我国于2001开始数字人的研究, 从数据采集技术开始,到数据的分类和

6、共享以及数据的可视化研究都已获得了较快进展。作为数字人研究的重要组成部分,信息技术担当着重要的角色, 从图形图像技术到虚拟现实技术,从数据存储技术到网络通讯技术,都需要进行大量的研究和开发工作。1 .2.2 科学意义21世纪被认为是以人为中心的科技得到充分发展的世纪。数字人研究的科学意义在于将人体结构数字化与可视化,建立起能够为计算机处理的数学模型, 使计算机的定量分析计算和精确模拟成为可能。随着信息获取和处理技术的进步、数据采集精度的提高,将在越来越广泛和精确程度上模拟人体的功能和行为, 这将为多学科研究与应用提供基础。有效利用人的信息, 开发多层次需求,将成为许多高新技术产业发展的关键因素

7、。数字化虚拟人体模型的建立, 具有广泛的应用前景,可用于医学、航天航空、国防、汽车、建筑、家具、服装、影视、广告制作、体育运动等与人直接相关的领域。1.2.3 发展方向随着信息技术、虚拟仿真技术和医学研究的深入, 数字人的研究将经历数字化可视人,数字化物理人，数字化生理人，数字化智能人四个阶段。这将对人类了解和掌握自身带来飞跃性进展。二 计算机图形图像相关技术计算机图形图像技术是这些领域研究进展的关键环节, 需要广大计算机图形图像技术研究者在这些方面进行相应的攻关。以下介绍一些相关的计算机图形图像方面的技术：2 .1 图像分割技术通过各种方法获得的人体断层图片中包含了很多不同的人体组织图像,

8、比如在一张人体胸段面的图片中就包含肺部、心脏、食道、脊椎、肋骨等组织和结构的图像成分。具体说, 图像分割就是指将图像中具有特殊涵义的不同区域区分开来,这些区域是互相不交叉的, 每一个区域都满足特定区域的一致性。医学图像分割就是将图像分割技术运用于医学影像中,提取影像中的不同组织和结构成分，甚至是病灶区域。医学图像分割是正常组织和病变组织的三维重建、定量分析等后续操作的基础。然而，现在的医学图像分割技术仍未达到要求，一方面由于自动分割不能满足分割的要求，往往采用医生介入的半自动分割方法，另一方面针对现在的数字人研究需要更好的基于彩色图像的分割技术。2.2、三维重建技术这里说的三维重建是指基于三维

9、数据场的几何三维建模，还包括相应的模型处理技术。作为可视化技术的一个重要组成部分，三维重建技术一直是计算机图形学领域研究的课题。简单地说,三维重建就是从三维数据场中，利用重建算法构建出需要的图形的三维表示，这为进一步的可视化提供了三维模型。三维重建在医学可视化、虚拟内窥镜、虚拟手术、数字人解剖中都有关键性作用, 可以说没有三维重建构造出来的三维模型就失去了医学可视化的意义。三维数据场的获得有很多途径, 在医学中就是连续的二维断层影像图片或者实体的切片照片，前者通过医学影像设备获得，后者通过对人体标本的高精度切割获得。有了三维数据场后,更关键的技术是获得三维重建的方法。目前，三维重建的方法主要分

10、为面绘制(Surface Rendering )和体绘制 ( Volume Rendering)4。2.2.1 面绘制面绘制就是在三维数据场中, 提取出某种物体或组织的表面构成, 并用一系列连续的平面片(三角形片、平面多边形片等)近似地表示该表面(这种近似的方式类似于用正八十面体表示球面)。面绘制得到的是观察者感兴趣部位的表面，例如，在头部连续的二维断层影像中通过计算就可以绘制出颅骨的三维表面模型。面绘制根据构建表面方法的不同又可分为基于轮廓的表面绘制方法和基于体素的表面绘制方法。基于轮廓的表面绘制就是将每一层二维图像中预先得到的组织轮廓拼接起来, 最终获得组织的三维表面模型。基于轮廓的表面绘

11、制在处理存在多重轮廓、 分叉、孔洞等情况时较为复杂, 特别是在重建复杂组织器官如大脑时, 轮廓形状复杂, 处理起来很困难。面绘制一般一次仅获得一种组织的三维表面模型。2.2.2 体绘制面绘制通过得到大量平面片来近似表示重建物体的表面，是一种间接获得三维数据场、三维视觉信息的方法。而体绘制是直接利用三维数据场的信息,将整个三维数据场投影出来，达到三维的视觉效果。目前有三类体绘制方法：光线投射法、投影成像法和频域变换法。光线投射法是从屏幕上的像素出发，发出的光线穿过数据场，每条光线穿过数据场时进行采样和颜色累计，得到相关像素的颜色，直至形成最后的可视图。该方法成像质量好，但速度慢。投影成像法是沿某

12、个投影方向将数据场中的体元逐个投影到屏幕上，屏幕上的每个像素将所获得的体元影响进行累积计算以得到它的颜色，直至形成最后的可视图。该方法的成像速度快,但难以进行光照计算，成像质量较差。频域变换法是利用傅里叶变换将三维的数据场空间转化为三维的频域空间, 并由频域空间的二维切片获得三维数据场空间的可视图。体绘制法将数据场中的多种物质在一个可视图中显示，揭示它们的相互关系。但图像难免比较模糊, 且由于遮挡关系,离视点较远的部分不易被观察和分析。2 .3 数据压缩简化技术2 .3 .1 数据压缩随着医学影像数据库和相应网络系统的建立，如何有效地解决影像图片数据存储和传送的问题成为了关键。CT、MRI等设

13、备扫描获得的断层图片的数据量是非常大的,若直接进行储存, 那么长期下来对存储介质的需求是巨大的, 而更为麻烦的是在对这些图片数据进行网络传输时, 占用的网络资源是惊人的。因此，图片压缩技术的运用就非常必要。从信息量的保持程度上可将压缩方式分为无损压缩(或无失真压缩)和有损压缩两种。鉴于医学影像的特殊用途，在医学上常采用无损压缩。在提高压缩比的同时，人们还在研究医学影像数据的渐进传输，以及感兴趣区域的优先传输等面向网络通信的编码技术。2 .3 .2 模型简化在三维重建技术的面绘制方法中, 一般是用大量三角片构成的三角片网络来近似重构模型的表面, 不同数目的三角片表示效果如图1，图2所示。过去，因

14、为绘制数据量的巨大,使得三维重建的绘制和控制一直无法在PC机中得到应用,往往要通过大型的图形工作站来实现。随着现代计算机硬件技术的进步, PC 系统的图形处理单元(GPU)也获得性能上的提高, 但要增加三维绘制的实时性还得在简化绘制量上加以改进。减少图形的绘制量将很大程度地提高图形显示及操控的灵敏度。一般直接由三维重建算法获得三角片网络都存在数据冗余，或者，在一些细节性要求不高的区域没有必要使用和其它细节性要求较高的区域同等密度的三角片数量，这就为三角片网络的简化提供了切入点。模型简化技术仍然是很有价值的研究课题,随着研究的深入,其它相关的简化技术已开始介入。三 医学虚拟现实系统分解与划分的界

15、定虚拟现实(VR:Virtual Reality)技术，其原理是使用超高速计算机将客观世界的数字化模型转化为不同形态的光点与声波, 并以适当的方式加以混合, 营造成一个逼真的、具有视、听、触、嗅等多种感知的虚拟环境, 用户可以通过其自然技能使用各种传感设备, 同虚拟环境中的实体相互作用的一种技术。该技术“力求部分地或全部地用计算机合成的人工环境代替现实世界的真实环境”。这一定义在医学应用中引伸出了两个课题:：如何求得尽可能逼真的医学环境；可以根据需要取其部分功能或全部功能。前者重在科学技术解决的范畴, 后者重在方法论解决的范畴。VR按表现形式分为参数化虚拟现实和增强现实(AR:Augmente

16、d Reality)； 按设施的使用方式又可以分为交互式视景虚拟系统和交互式沉浸虚系统, 这两种分解其目标都是力求实现。世界各国已研制出不同的医学虚拟现实系统, 这些系统的设施、原理、功能, 有同有异, 但都遵循的划分原则：取其部分功能或侧重某些功能或全部功能。四 医学虚拟现实系统的分解医学 VR系统按表现形式分为参数化VR系统和AR系统。参数化VR 即计算机对信息进行存取、运算、经过数模转换、图像重建后形成的人体或组织器官的解剖图像及代谢图像。医学VR 数据来源为：计算机 (辅助的)断层摄影术(CT或CAT)，磁共振成像(MRI)，超声，生理学功能成像(PET， 正电子发射断层扫描仪；SPE

17、CT，单光子发射计算机断层摄影术)，以及雷达定位等, 然后用计算机图像技绘制和建模将这些数据显示为三维虚拟人体或人体器官以致能被检查和处，AR是将计算机产生的虚拟图形融合到使用者所看到的真实世界景像中, 重要的是可从虚拟模型中获得额外的信息，即把预先获取的或预先计算好的数据和视频影像附在真实成像环境上。VR强调感官效果上的完全沉浸感, 而AR仅利用虚拟信息对真实环境进行增强，并不改变用户身处真实环境的客观感受。4.1 参数化VR举例4.1.1虚拟耳窥镜(Virtual Otoscopy)美国Boston Surgical Planning Labraory建立了一种虚拟耳窥镜系统, 以三维形式

18、显示耳的解剖结构来模拟传统内窥镜对内耳的检查过程。首先对耳朵的CT 和MRI系列切片图像进行自动或人工分割，分离或勾勒出耳朵的内部构造；然后进行三维重建把这些分割出来的器官对象分别组成一个个3D整体耳模型显示在计算机屏幕上。医生只需凝视计算机屏幕, 便可以方便地操作“虚拟内窥镜”来穿越人体内部结构复杂的区域，保证对病变部位准确定位，或利用虚拟内窥镜和真实内窥镜图像之间的相似性实施图像配准，然后借助特殊软件的识别和处理来产生一幅多重透视图，达到位置跟踪的目的，实现对复杂病区的确切治疗。4.2 AR系统（分定位式和移动式）举例4.2.1 XarTrax 系统5它通过激光投影的方式在病人头部设定和显

19、示预先计划好的手术路径, 该路径在导航仪的帮助下自动与病人人体配准。AR采用了一些与虚拟现实技术相同的硬件技术, 但两者的区别在于：VR是用软件模拟的虚拟世界代替真实世界; AR则是在真实世界的背景中加入补充的虚拟信息。AR是指能够给用户的感官添加虚拟信息的计算器显视设备。对AR的研究大致都致力于“视透”(see- through)装置的开发，这种装置通常戴在用户的头上，在用户的视野中添加图形和文字信息(当然也可以是其它的感觉形式)。其主要成分由显示器、追踪系统、图形计算机和增强现实系统软件组成。完善的AR系统包括具有GPS定位功能的可佩带式计算机、有视线捕捉功能的摄像镜头、透明的头盔式或耳机

20、式显示终端, 以及能够跟踪和判断用户转头方向的陀螺仪。最关键的要求是要准确无误地将叠加的图形与使用者的视野环境相匹配, 最重要的技术就是要在合适的时间和地点获得合适的信息, 这种透视器必须能够将虚拟信息与真实信息交织在一起。由于头盔会给医生带来额外负担, 使用不便6，新发展的显示技术还有手持式显示(handheld display)和投影显示(Projection display)，前者用手持的液晶平板来显示基于穿透式的增强信息, 外科医生可以通过实时叠加在患者身上的内脏超声波扫描图像得到类似X光片的视觉效果,后者则直接将虚拟物体投影到真实物体上进行增7。AR技术在医疗成像（如计算机辅助外科手

21、术(CAS： Computer aided surgery) 和基于图像的外科手术导航(IGS: Image guided surgery) )8中的应用将会象 Windows操作系统一样得到大规模的应用, 成为具有全球性意义的技术。4.3 虚拟医学系统按设施的使用方式又可分为交互式视景虚拟系统和交互式沉浸虚拟系统。前者的设施是以一定视距的视屏(可以是电脑视频以及特制和定制的各种界面)为操作界面, 重在虚拟对象的视觉逼真性上；而后者以零距离置身于视频场景中, 要求有实时三觉仿真(视觉、听觉、触觉) 系统的支持。4.3.1 交互式视景虚拟系统-虚拟心脏举例由新西兰奥克兰大学Physiome计划研

22、制的仿真心脏, 在电脑屏幕上不停的跳动, 从围绕心脏的各种精细的血管网络, 到单个细胞中的特定蛋白成分一应俱全。给它一个扰动它会加速；打乱它的平衡, 它会剧烈跳动, 失去控制。这个心脏的外部形状是通过对狗心脏的数千个极薄的切片进行分析而确定的, 然后这些测量结果被数字化, 送入计算机。每个切片中的细胞和肌肉的三维排列根据显微检查确定, 将所有信息集成在一个名为 CMISS 的程序里, 这些信息被添加到计算机的几何数据中。然后, 将器官的复杂结构和功能转化为数以千记的数学方程和几百万个数据点进行表达, 在计算机中进行编程和仿真。虚拟心脏是在计算机屏幕上对器官形式和功能的结合(该计划还对循环系统、

23、胰腺、膀胱和肾脏进行了建模尝试)9。类似的仿真器官表明, 研究人员的视线可以深入到人体内部, 亲眼看到不同的人体器官是如何独立地或共同地应对药物作用的, 亲眼目睹它们面对疾病和伤害时的反应程序,也可以进行手术处置, 预判实施效果及可行性方案选择。这种视觉仿真系统可按需要特制各种屏幕。如CAVE技术, 该技术结合了高分辨率、高图片质量、大屏幕投影并且是带有完全沉浸式输出技术的大视景。此外还有桌面显示屏等。4.3.2 交互式沉浸虚拟系统多种感官体验需动用除计算机外的数字设备。视觉仿真系统, 由头盔显示器 (HMD) 组成, 主要包括双目显示镜和跟踪系统。双目显示镜是两个液晶电视小屏幕, 可显示不断

24、变化的三维立体图像。跟踪系统则跟踪用户眼睛的注视方向并确定注视方向与虚拟场景的关系位置。头盔显示器连接用户的眼睛、大脑和计算机创造虚拟世界的传输装置, 将信号不断输入计算机, 计算机随之生成不断更新的图像。听觉仿真系统, 主要由立体声受话器组成, 该系统将用户的耳朵、大脑与计算机创造的虚拟世界联系在一起。计算机通过复制现实世界中的各种声音, 创造出“全语音声响” 并模仿声音的方向、频率、强弱的变化, 使“耳朵能帮助眼睛寻找目标”，大大增加了视觉图像的真实性。头盔显示器有视觉和听觉的双重功能。触觉仿真系统, 主要是指数据手套、数据服和脚踏板等传感装置。这些装置使人体所有的关节部位都附着有位置传感

25、器和触觉反馈器, 使人与虚拟对象接触和交互作用时产生的真实的对接触物的力感和质感(产生重力场似的感受以及引力、斥力)。如数据手套上的传感器可随时测定手指的位置和移动轨迹, 能报告手指的位置和角度, 提供一个自然的人机界面。气动系统能传达外形、纹理和边缘信息, 通常结合数据手套一起使用, 通过动态地在手套气袋内填充空气来传达触摸虚拟对象的感觉。在10中, 戴上头盔显示器就可以在虚拟人体上随意游动, 触摸、摘取器官。五 VTK5.1 VTK的基本功能VTK是一套进行数据可视化的通用的开发工具包,并不是专门针对医学影像领域的。VTK的主要功能是进行图像处理、计算机图形学和科学计算可视化,尤其是三维重

26、建功能(如面绘制和体绘制能力及其强大的图像处理能力)。VTK的核心用C+语言开发源代码, 支持JAVA,TCL/TK, PYTHON语言, 支持WINDOWS,UNIX 等操作系统, 可以实现纹理和体以及众多计算几何的各种方法。VTK将图形图像和可视化领域内常用的算法封装成类库, 用户在可视化开发过程中不必考虑具体的细节问题, 给开发和研究人员带来极大的方便。5.2 VTK 三维重构框架结构VTK包括两个基本部分,框架结构如4所示。首先,建立一个数据流水线(Datapipeline)来处理数据，Sources Filters和Mappers连接起来;其次, 建立适当的目标图形来演示数据。六 三

27、维重构可视化系统6.1 系统模型系统以VTK为基本的技术构架, 以管道模式设计数据流程。在模块设计时充分考虑可扩展性。分若干子模块,分别独立设计、编码：DICOM数据读取子模块、组织分割子模块、裁切管理子模块、虚拟内窥镜子模块、三维重构子模块、伪彩管理子模块、三视图切片管理子模块、框架管理模块、三维影像工作站模块的结构如图5所示。模块之间通过数据管道进行有序连接。6. 2 三维重构系统管理模型三维重构在整个系统中处于核心地位, 调用和管理三维图像处理中的其它处理过程。模块调用关系如图6所示。七 虚拟内窥镜及系统的实现三维可视化系统的核心任务是图像三维重建，但是整个系统要基于虚拟内窥镜技术表现出

28、来。利用虚拟内窥镜技术可以更逼真、更方便地把重建的三维图像展示在用户面前。用户可以透过屏幕,通过移动、旋转或裁切图像达到从不同视觉观察人体内部组织结构的目的。在医学图像的三维可视化系统中占有重要的作用, 是目前研究的热点问题。7.1 虚拟内窥镜技术将通过CT和MRI获得的二维断层图像进行三维重建，从而显示出身体内部结构，然后再用虚拟现实的手段虚拟内窥镜技术，医生通过鼠标对其进行各种操作, 如平移、旋转、参数设定，在三维内部空腔进行漫游,模拟传统内窥镜的各种行为。虚拟内窥镜显示的人体肾脏器官的三维图片如图7所示。 7.2 系统的实现7.2.1 开发环境本系统开发语言为VC + +，在Micro

29、soft Visual C + +开发环境下利用可视化工具包VTK进行开发。7. 2.2 导航交互现存的导航主要有以下几种方法。7. 2. 2. 1 手动导航用户直接随意调整摄像头, 通过鼠标的推拉镜头可以看到内表面想看到的任何东西,给用户最大自由度。7. 2. 2. 2 引导导航能够根据用户定义的路径调整摄像头，便于效果的重现。而且可以把路径具体地绘制在场景当中,给人以直观的表示。7. 2. 2. 3 自动导航自动的路径生成,能全自动生成导航路径,标出管道内壁的中心线,快速地显示出路径。目前系统中主要实现了前面两种导航的方式，对于第3 种导航的方式, 需要研究杂质去除，多分支、 路径平滑等关

30、键技术，是一个非常有发展潜力的导航方式,正在进一步研究中。7. 2. 3、系统的操作界面系统的操作界面如图8 所示。载入后，将CT图片显示在计算机界面上，如图8(a)和图8( b)。可通过点击“镜头”按钮来进行移动图像，从各个角度进行观察组织结构是否发生病变。点击“裁切”按钮, 可对图像裁切, 然后通过放大图像进行观察, 帮助做出正确的诊断。八 总结和展望计算机图形图像技术为单调的二维医学影像增添了更具可视化效果的三维模型，有效地利用了影像信息，不仅给医生诊断带来了便利，也为医学可视化的发展奠定了基础, 在此基础之上可以进行例如虚拟内窥镜、虚拟手术、甚至更具挑战的数字化人体工程。但在这些技术上

31、仍有许多需要改进和更新的地方，仍需要研究者们不懈地投入其中。上世纪末兴起的虚拟现实技术(Virtual Reality, VR)是现代信息技术的集大成者，它融合了数字图像处理、计算机图形学、多媒体技术、传感器技术等多个信息技术分支。VR也在医学领域得到广泛应用，可以说, 从简单地利用计算机图形图像技术发展到利用V技术是一种必然。参考文献1田捷, 包尚联,周明全. 医学影像处理与分析M.北京:电子工业出版社, 2009，26（3）：225-2282高新波, 郭佑民.医学影像处理、分析和可视化技术J.中国现代临床医学,2009，21（4）：22-283钟世镇. 数字人医学研究有关的新技术J .中国处方药, 2009，5（4）：341-3554钟世镇. 数字化虚拟人体的科学意义及应用前景J .第一军医大学学报, 2009，11（2）：197-2145顾力栩. 计算机辅助手术的发展状况和展望J.中国医疗器械信息, 2009，22（4）：59-646Birkfellner W, et al. A head- mounted Operating bincular for augmented reality visualization in medicine-Design and initial evaluation. IEEE Transaction on medical imaging