（信号与信息处理专业论文）基于GPU加速的医学图像3D实时绘制技术.pdf

摘要 摘要 医学图像三维可视化技术是目前的一个研究热点问题，也是一个多学科交叉 的研究领域和计算机图形学和图像处理技术在生物医学工程中的重要应用。它涉 及的相关知识有数字图像处理、计算机图形学以及医学领域应用背景知识等。 本文研究的主要内容是：针对当前医学图像三维可视化计算量太大，在传统 c p u 计算平台很难实时运算进行交互式显示的问题。考虑到可视化算法高度的并 行性，采用现有的显卡g p u 强大的并行流处理能力来进行加速计算，从而达到可 视化技术的交互式执行。本文研究和在g p u 上实现了几种绘制方法：三维纹理代 理几何体绘制算法，g p us h a d e r 光线跟踪算法，g p u 几何s h a d e r 上等值面提取 算法，改善了现有常用方法在c p u 平台上存在的无法实时交互性显示的缺点。 本文的创新点和独立工作主要体现在以下几个方面： 1 研究和总结了医学影像处理与分析中的医学图像的预处理技术、医学图像 的三维可视化技术和g p u 硬件平台及其通用编程技术的各个特点。实现了常用的 绘制算法，使其能更加灵活的进行绘制，不同的绘制效果对应不同的g p us h a d e r 特效文件，算法在统一的软件框架下进行了实现。 2 研究和实现了基于g p u 加速的三维纹理代理几何体方法，该方法是光线 跟踪思想的一个针对g p u 硬件的实现改进。将体数据以三维纹理方式存入显存， 采用带纹理坐标的代理几何体对体数据进行采样，使用a l p h a 混合进行颜色合成。 3 研究和针对g p u 硬件特点，改进并利用p i x e ls h a d e r 实现了光线跟踪算法， 该方法在像素s h a d e r 的运算里面生成光线，并且通过固定采样率在当前光线位置 对体数据进行采样，然后将光线沿方向延伸，直到光线穿出体数据。通过不同的 s h a d e r 特效的实现来产生不同效果，能产生透明，等值面，体光照等特效。 4 改进了经典的m a r c h i n gc u b e 等值面提取的实现方法，用了最新的g p u 几 何s h a d e r 进行实现，每一个体素的三角形边的可能的拓扑信息用一个纹理来进行 保存，通过纹理采样来进行三角形边信息的查询。用e m i t v e r t e xs h a d e r 函数来进行 顶点和三角形的实时生成和渲染。该实现方法解决了c p u 实现版本无法交互式实 时生成等值面片的问题。 关键词：医学图像三维可视化，g p u 编程，光线跟踪，体绘制，m a r c h i n gc u b e a b s t r a c t a b s t r a c t m e d i c a li m a g e3 dv i s u a l i z a t i o ni st h eo n eo fp o p u l a rr e s e a r c hp r o j e c t s ，i tc o v e r s m a n ys u b j e c t ss u c ha sc o m p u t e rg r a p h i c s ，i m a g ep r o c e s sa n dm e d i c a lk n o w l e d g e ，a n di t i sm a i n l yc o n s t i t u t e db yt h ep r e - p r o c e s s i n go f m e d i c a li m a g e t h ep r i m ec o n t e n t so ft h i st h e s i sa r e3 dv i s u a l i z a t i o no fm e d i c a li m a g e sn e e d s m u c hc o m p u t a t i o n , i nt r a d i t i o n a lp l a t f o r m s ，c p ui su s e dt oc o m p u t ea n dh a r dt oa c h i e v e r e a l - t i m ed i s p l a y i nt h i sp a p e r , w em a k ed e e pr e s e a r c h e so ns e v e r a lv i s u a l i z a t i o n m e t h o d so ng p ui n c l u d i n g ：3 dt e x t u r ea l g o r i t h mb a s e do np r o x yg e o m e t r i e s ； r a y - t r a c i n ga l g o r i t h mo ng p us h a d e f ：m a r c h i n gc u b ea l g o r i t h mi m p l e m e n t e db yg p u g e o m e t r ys h a d e r t h e s em e t h o d ss o l v es o m ed i s a d v a n t a g e so nc u r r e n tc p uv e r s i o n i m p l e m e n t a t i o n s t h ek e yw o r ka n di n n o v a t i o n so ft h i st h e s i sm a i n l yi n c l u d e ： 1 r e s e a r c ho ft h ea c t u a l i t yo ft h ep r e - p r o c e s s i n go fm e d i c a li m a g e , i m a g e3 d v i s u a l i z a t i o na n dt h eb a c k g r o u n da n dp r o g r a m m i n gm e t h o do fg p u i m p l e m e n t e d v i s u a l i z a t i o nm e t h o d st om a k ei tm o r ef l e x i b l et or e n d e r , d i f f e r e n ts h a d e rf i l e sm a k e d i f f e r e n tr e n d e r i n ge f f e c t s 2 r e s e a r c ha n di m p l e m e n tt h r e ed i m e n s i o n a lt e x t u r ea l g o r i t h mb a s e do np r o x y g e o m e t r yr e n d e r i n g t h i sa l g o r i t h ml o a d sm e d i c a lv o l u m ed a t a 勰t h r e ed i m e n s i o n a l t e x t u r ei nt h ev i d e om e m o r y , a n ds a m p l ev o l u m ed a t ab yd i s p l a y i n gp r o x yg e o m e t r i e s w i t ht e x t u r ec o o r d i n a t e sa n du s i n ga l p h ab l e n d i n gt oc o m p o s i t et h eo u t p u tc o l o n 3 r e s e a r c ht h ei m p l e m e n t a t i o no fr a y - t r a c i n ga l g o r i t h mo ng p us h a d e r s t h i s m e t h o dc o m p u t e se a c hr a yd i r e c t i o na n dp o s i t i o no ne a c hp i x e ls h a d e rc o r e ，a n dr e s i z e s s t e p sb ys p e c i f i e ds a m p l er a t e s ，a n ds a m p l ev o l u m ed a t ao nc u r r e n tr a yp o s i t i o n ，t h e n s t e pf o r w a r du n t i lr a yo v e rv o l u m ed a t a 4 r e s e a r c hc l a s s i cm a r c h i n gc u b ea l g o r i t h mf o ri s o - s u r f a c ee x t r a c t i o na n du s e n e w e s tg p ug e o m e t r ys h a d e rt oi m p l e m e n ti t i tc a ng e n e r a t ei s o - s u r f a c er e a l t i m e k e y w o r d s ：m e d i c a li m a g e3 dv i s u a l i z a t i o n , g p up r o g r a m m i n g , r a yt r a c i n g , v o l u m e r e n d e r i n g ，m a r c h i n gc u b e i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 袭馏 日期：力缈7 年5 月? 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：；长鲰导师签名： 日期：z 钞夕年s 月3 e t 第一章绪论 第一章绪论 本论文首先表述下本课题的背景知识与内容，所谓医学图像3 d 可视化技术， 其本质就是医用图片的三维直观显示技术。本章将重点阐述什么是医用图片三维 显示技术，医用图片三维显示技术的概况，医用图片三维显示技术的应用。然后 会介绍本课题的研究内容和研究重点。研究内容包括：医用图片的预处理，医用 图像的三维显示成像技术，目前的问题，以及如何用基于显卡g p u 来进行加速可 视化的算法和实现方法。同时本文会给出文章的主要工作以及文章结构。 1 1技术背景和技术概况 二十一世纪是健康的世纪，人民群众越来越注意自身的健康，同时这样促进了 医学事业的发展和推动了医学科技的发展。医学科技的发展，里面有一个很重要 的技术，就是如何利用计算机来辅助医生进行诊断和治疗。人们常用的c t 断层扫 描，核磁成像等等，其实都是利用了计算机来重构成像，生成二维切片图像。以 前的医生，都是用二维切片进行分析疾病，来诊断病情。其实，这样显然是很不 直观的。需要很有经验的医生，而且出错率和诊断效率也很低。这个时候，计算 机技术的进一步发展给了这个问题一个很好的解决途径：用计算机来生成三维图 像，让医生来进行直观诊断。他们可以看到病变的地方和组织间的关系，而且是 直观的三维的方式。这个给诊断事业带来革命性的突破。这就是基于医用切片图 像的三维显示成像技术的由来。 我们在这里给出一个更加精确的定义：所谓的医用图像的三维成像可视化技 术，就是对x 射线，c t 或者核磁m r i 等医学切片图像进行分析和处理，然后构 造相应的三维几何模型，然后显示的过程。这个方法能将人们所看不到的被表面 遮挡的人体内部组织来用直观的方式三维立体真实成像出来。该技术具有很多意 义：他能辅助医生进行诊断，而且能进一步扩展，进行虚拟手术，教育等高级功 能。而本论文研究的核心内容，就是医用图像的三维成像可视化技术。 电子科技大学硕士学位论文 1 2医用图像的三维成像可视化技术的研究内容 现在就来谈谈该技术的研究内容。其实，本文在上面也说过，相比传统的医 疗诊断的来说，其实医用图像的三维成像可视化算非常新的研究领域。而它的研 究，跟传统医用图像成像技术，传统光学成像技术，传统图形学技术等都不太相 同。它是一个典型的理论与实践相结合的研究领域，研究者们必须既要明白医学 图像自身的特点和成像的基本原理，也要明白医生对于辅助诊断的需要，并且需 要精通计算机图形学、计算机图像学、编程技术、虚拟现实技术，数据通信技术 等等。所包含的研究内容有：如何得到医学图像数据、如何对图像数据进行预处 理、如何对处理后的数据进行三维成像和显示、如何进行交互式控制和虚拟手术 等等。下面来简单介绍这些方面和内容。 1 如何获得切片图像：在医用领域，切片图像包含人体内部信息，所以用传 统的光成像技术是不可能的。有专门的医用设备：x 光成像器、c t 成像器、核磁 共振成像器等等。成像方法一般是利用射线穿透人体，通过人体四周的感应器来 进行接收，通过借大规模线性方程组，从接收矩阵计算出人体投射密度矩阵，即 为人体切片密度图片。由于这个技术涉及到复制的电磁学、材料学、机械学等， 以及需要很高的精度，而目前国内该类设备技术在世界相比较还有较大差距。目 前大多数重点医院都是采用国外设备，比如通用电气、西门子等厂商的设备。 2 如何对图像数据进行预处理：医学图像和普通图像比较，有类似和独特不 同的地方。相同的是都是图像数据，很多处理方法可以借鉴普通图像的图像处理 方法进行处理。但医学图像有自身的一些特点。由于成像原理不同，所以，医学 图像会显得会不太清晰，会有一定的模糊性和存在相应的图像噪声。这会对重构 后的三维影像产生影响。并且会进一步影响医生对病人疾病的诊断。同时，有时 候，医生需要对特定部分进行特殊显示，这就需要我们对图像进行分割，提取出 感兴趣的区域。本文在第二章将会说明医学图像预处理的基本步骤。 3 如何对处理后的数据进行三维成像和显示：本文上面已经指出，目前来说， 成像仪器产生的都是二维断层图像的切片序列。这些切片记录了人体内部信息。 但单纯的二维切片很难直观的表示三维信息，医生需要用经验和想象去进行诊断。 这样说很不效率的。三维成像恰恰针对和解决了这个问题，里面有两种常用方法： 基于面的绘制方法，以及还有一种就是直接基于切片序列体数据的体绘制方法。 基于面的绘制方法的最大的特点是需要软件对二维医学图像序列构成的三维体数 据进行三维的等值面片元重建，从而生成所表示体数据的等值面曲面表示，并且 一2 第一章绪论 再用光照模型来计算并且绘制三维的图像。直接基于体数据的体绘制方法则是采 用体绘制光照模型直接从三维体数据中绘制出各类体素元物理量的一个光学属性 分布情况。其中基于面的绘制方法计算得到的三维面片模型可能具有大量的三角 面片，为了能够实现交互操作和实时处理，我们可采用一种叫做模型简化的后处 理技术对三维面片模型进行同构简化，从而减少模型的面片数，而保持视觉效果 的相对一致。因此模型简化也是医学影像处理和分析的一个重要研究内容。这些 方法本质都是利用二维的切片序列，来生成三维的图像。具体方法将会在接下来 的几个章节中说明和实现。 4 如何进行交互式控制和虚拟手术技术：交互式控制对于快速辅助诊断非常 重要。试想，如果医生观看一个三维图像的时候，每次调整视角或者进行属性改 变的时候都需要等待很长时间的话，势必会大大影响其诊断效率和速度。而虚拟 手术技术在医生的教育和培训方面非常重要。新的医生在练习手术的时候在虚拟 平台上进行，然后练习熟练后再进行真实实习，这样会大大降低手术的风险和提 高学习手术的速度。 1 3医学图像3 d 可视化研究所存在的问题 前文详细介绍了医学图像三维成像可视化技术。之前，该技术一般在计算机 c p u ( 中央处理器) 平台上进行实现。医学图像三维可视化技术核心算法，例如 面绘制技术的m a r c h i n gc u b e 算法，体绘制技术的光线跟踪算法等等，这些算法的 一个共有特点就是，需要大量的计算时间。以m a r c h i n gc u b e 为例，一个标准的 5 1 2 5 1 2 x5 1 2 大小的体数据，里面具有上亿个体素，而每个体素里面等值面片元 的计算，需要大量的数值计算，查表计算等。这些计算对于c p u 的计算能力来说， 每次计算都需要大量的时间，计算时间远远大于实时时间( o 1 s 以下) 对于实时 要求，很多时候应用都需要在高端的小型机以上的平台并行处理才可以勉强达到 实时性。而这样平台的价格成本是非常高的。 同时，其实大家都可以注意当前的计算机硬件技术的发展，家用电脑p c 由于 电子游戏娱乐的发展，推动其显卡的发展。以前的显卡核心g p u 只是作为单纯的 图形协处理器。但是由于后来显示计算核心g p u 运算能力越来越强，并且可编程 性越来越强，并且在数值并行计算远远超过了c p u 的计算能力。人们发现这方面 可以加以利用，所以提出了g p g p u ( 通用g p u 计算) 的概念，也就是应用g p u 的计算能力在非标准图形计算的方面。 3 电子科技大学硕士学位论文 本文针对c p u 计算能力的限制和医学图像可视化巨大的计算量，利用g p u 强大的数值计算能力对可视化算法进行加速，使其能实时运行。但是，由于g p u 和c p u 的编程模型具有很大差异，在g p u 上编程往往是c p u 编程难度的好几倍， 所以如何在g p u 上进行可视化算法的实现，是本文研究的重点，也是本文研究的 难点。本文在前人研究的基础上，对此问题进行深入研究和实现。具体方法在本 文第四章到第六章进行详细说明。 1 4国内外研究现状 1 4 1基于g p u 加速的医学图像3 d 可视化技术研究现状 当代计算机技术日新月异，c p u 发展速度以摩尔定律飞速发展，而g p u 的发 展更是以远超摩尔定律的速度进行发展。这种发展不仅仅是体现在g p u 运行速度， g p u 的运算核心，g p u 的内存带宽上，更随着游戏、工程等可视化需求进行功能 的飞速发展。过去的g p u ，只是简单的固定图形流水线，并不具备可编程能力。 而新一代图形处理器g p u ，具有了强大的可编程能力，可编程模块包括以下三个： 顶点编程着色器( v e r t e xs h a d e r ) 、几何编程着色器( g e o m e t r ys h a d e r ) 、像素编程 着色器( p i x e ls h a d e r ) ，在未来的d i r e c t ? ( 1 1 中，还会加入实时镶嵌技术的h u l l s h a d e r 和d o r m i ns h a d e r ，以及加入支持g p g p u 的c o m p u t es h a d e r 等等技术。这 些技术使g p u 具有了强大的可编程能力。g p u 这个单词，最早是在1 9 9 9 年的时 候由目前的图形硬件巨头n v i d i a 公司提出来的。目前市场是被两大巨头n v i d i a 和a m d 公司占领。关于g p u 发展的历史和g p u 硬件的特点，本文将在第三章进 行详细的说明和描述。 传统的医学图像可视化是在c p u 上执行的，本文的项目软件也提供了c p u 可 视化显示的功能模块。但是由于c p u 计算能力有限，很难实时对医学图像进行3 d 体绘制，而g p u 具有强大的流计算能力，所以基于g p u 加速度体渲染技术越来 越受到相关研究人员的重视。 1 4 2体数据可视化研究现状 我们将有关体绘制算法的研究通过该算法的实现平台来进行分类。实现平台 分为c p u 、g p u ，或者专用的硬件。本文主要是在g p u 上实现体数据可视化，所 以在g p u 上的算法实现研究将是重点。 c p u 上的光线跟踪研究：o p e n r t 这个项目是一个开源项目。它实现了一个基 4 第一章绪论 于c p u 运算平台的光线跟踪系统。虽然这个系统是基于c p u 上执行，但是由于这 个系统做了很好的场景管理系统，剔除了大量不需要渲染的场景物件，只渲染可 见的物件。对于一般规模的场景，该系统能够快速渲染。并且该系统在实现上针 对具体的c p u 平台进行了高度优化，所以获得了相当高的性能。还有一些人做出 了另外方面的相应研究，这种方法并不针对单个光线，而是针对层次性的光束来 进行快速的光线投射渲染【7 】。需要总结的是，无论场景进行如何的优化，由于c p u 平台天然的串行性，要获得大能力的实时渲染，需要多个c p u 并行运算，大大增 加了成本。 g p u 上的光线跟踪：上文已经说明了g p u 强大的计算能力，很多科学家也在 这方面进行了详尽的研究和探索。最初的探索是利用g p u 显卡的硬件特点，将体 数据以三维纹理的方式进行存放，然后利用显卡硬件绘制特点：绘制时候硬件采 样和插值体数据【l 】，这种方法充分利用了g p u 显卡的特点，相比c p u 显示而言， 大大提高了显示效率。后来，这种方法进行了扩展【2 】，在g p u 硬件上实现了快速 交互式的针对医学图像应用的体数据重构技术以及快速的体绘制技术。后来，有 科学家对光线投射算法针对g p u 平台进行了改进，最终相比以前的显示效果，提 高了很多【3 】。后来可编程g p u 的出现，科学家们开始思考如何用图形可编程语言 更加高效的实现体绘制效果。 有人基于图形硬件g p u 将硬件模型表述成一个数据流处理单元模型，并且基 于该模型将光线投射算法抽象成流处理算法进行并行处理，并且在g p u 硬件上进 行标准实现 4 1 【5 】。这个算法有一个缺点，非常消耗g p u 显示存储器资源。本文刚 才说过，为了提高光线与场景的求交速度，对于c p u 提出了很多的加速结构。很 多这种加速结构其实已经被引入到g p u 的渲染上。类似体数据描述的体素结构是 在基于g p u 光线跟踪算法中第一个被使用的加速结构，这种结构无论是在构造或 是在遍历上都非常的简单，也很容易在g p u 平台上进行实现。思想就是将体素保 存到纹理，纹理的纹素就是体素单元数据。但是需要说明的是，最初的实现方法 同c p u 实现最终的效率相比还要差些。还有一种结构就是多维度树结构，这种场 景组织方式非常有效，但是在g p u 上实现具有一些困难，因为g p u 的计算单元 没有堆栈，所以却缺少实现这个树的遍历的堆栈结构。但是通过研究人员的不懈 研究，提出了一种解决方案，并且进行实现，最终性能效率相当耐。 后来，研究人员p w c e l l 【4 】和c a 一8 】等人几乎同时提出来第一个由g p u 实现的 光线跟踪算法的算法思想和实现框架。这个方法极大程度上利用了g p u 的并行流 处理能力。但是这两人有着不同的实现思路和运行效率。光线跟踪步骤将会在本 5 电子科技大学硕士学位论文 文后面进行详细阐述。这里进行简单的说明。里面包含了光线生成、采样或者求 交、交互生成新光线，渲染输出。c a r r 只是把图形运算单元g p u 作为光线与模型 面片进行求交的运算单元，而其他步骤则还是在通用的c p u 计算单元上进行，这 样的效率并不高。而前者却创造性的将所有的光线跟踪内核都建立在g p u 之上， 包括视线产生系统，遍历系统，求交系统和着色系统。这种方法其实本质体现了 一种平衡的思想。其实很容易看出，这两种方法的不同之处在于，前者能够消除 因为c p u 与g p u 之间的频繁的数据传输而带来的损失，但这种方法的缺点是会 使g p u 大量处于空闲阶段。单纯利用g p u 进行求交运算反而能获得更好的g p u 使用率，因为光线能在c p u 上进行灵活处理，比如提前成光束统一处理，这样传 送到g p u 进行计算就已经进行极度优化。而另一种方法会造成c p u 和g p u 之间 数据传输以及g p u 计算效率性能的损失。后来，有人提出了在g p u 上的一个b v h 包围体场景管理的实现【1 0 1 ，通过把它同均匀体素场景和k d t r e e 场景比较之后，发 现b v h 包围体场景管理具有最好的性能。 专用硬件上的光线跟踪( r p u ，光线跟踪处理单元) ：有人设计了一个特殊的 硬件架构，这种硬件架构针对光线跟踪进行特殊的优化。他们在f p g a 上进行了 实现。这种芯片能够进行对一个非常大的一个动态的场景数据进行高性能高效果 的光线跟踪运算。这个硬件是能编程的，被称为光线处理单元r p ufr a yp r o c e s s i n g u n i t1 【l l 】。由于该硬件的针对性，该硬件性能以及超过了多核心c p u 的代码实现。 不过需要注意到是，该技术尚未成熟，还在继续研究当中。 1 5本文的主要工作和论文结构 本文基于四川省华西医科大学脑外科的一个实际需求项目计算机辅助可视化 和虚拟手术系统进行开展。该系统实现了医学图像的读入，图像的预处理，o p e n g l 实现的基于面绘制的图像序列可视化技术，基于c p u 和g p u 实现的光线跟踪体 绘制技术等。该课题需要多领域的、跨专业的学科知识，而且需要结合医学专家 的指导，并涉及人机交互的问题，该课题主要研究内容包括医学影像数据的获取、 医学影像数据的处理、医学图像的三维可视化以及基于g p u 加速的算法研究和实 现等工作。其中，本论文关注的是医学影像数据的3 d 交互式可视化以及基于g p u 流处理加速实时处理算法的研究。由于是需求驱动的，所以如何使得医学领域的 专家和计算机有机的结合起来也是该课题的具有特色的问题。目前本文主要针对 该系统存在c p u 平台计算速度慢，利用g p u 来对可视化进行各类可视化算法实 6 第一章绪论 现。 本文的创新点和独立工作主要体现在以下几个方面： 1 研究和总结了医学影像处理和分析中的医学图像的预处理技术、虚拟可视 化中的实时渲染技术的发展和存在的问题： 2 改进了体绘制方法，解决了传统体绘制方法利用c p u 进行光线追踪，无 法达到实时性的缺点，利用g p u 进行体绘制加速。并且提出了两种方法，一种基 于3 d 纹理代理几何体的方法，一种利用g p u 光线追踪算法。并且通过g p u 和 c p u 运行效率对比试验。用结果证明了该方法的优点。 3 讨论了传统m a r c h i n gc u b d l 2 1 方法用g p ug e o m e t r ys h a d e r 进行实现的方 法和流程。 。 4 构造了通用医学图像3 d 可视化通用系统框架，医学图像读入，图像处理 滤波，面绘制，基于c p u 体绘制，基于g p u 加速体绘制的方法都进行了集成。 并且框架对未来的新算法具有方便的可扩展性。实验结果证实了该方法的优点。 本文的主要内容安排如下： 第一章即本章，叙述了本文研究背景知识和概述。 第二章详细研究了医学图像可视化技术的算法背景以及研究背景，介绍几种 医学图像3 d 可视化算法以及实现方法，分析和总结了它们的优点和不足。 第三章简要讨论和介绍了了现在g p u 硬件框架和可编程特性。 第四章开始为本论文最重要的章节，详细的推导和讨论了基于g p u 加速的3 d 纹理代理几何体算法，并且介绍了可视化光照模型及其算法实现。 第五章首先根据光线跟踪物理背景来推导光线跟踪算法数学公式，然后根据 g p u 的硬件特点，描述了g p u 上的编程方法，介绍了基于光线跟踪的g p u 加速 的体绘制算法的实现方法，以及基于光线投射等值面体光照算法理论和实现。 第六章详细介绍了等值面生成绘制的算法思想，以及基于g p u 几何s h a d e r 的实时面重构加速绘制技术的实现。 第七章对全文进行总结，并且对未来的拓展工作进行展望。 ，7 电子科技大学硕士学位论文 第二章医学图像3 d 可视化技术的研究 在这一章，本文将从医用图像三维成像可视化技术各个步骤详细介绍这个技 术的各方面的理论基础和常用的研究方法。本文在第一章已经简单说过，医用图 像三维成像可视化就是根据二维的医学设备生成的一系列切片图像的序列，然后 通过一系列相关的算法( 计算机图像学，计算机图形学，模式识别等领域算法) 来生成最终的三维模型( 需要说明的是，在体绘制中，并不显式生成模型，而是 通过光线跟踪隐式生成可视化模型) ，并且利用生成的三维模型来进行实时快速的 渲染成像和方便于医生诊断的交互式控制和操作，例如选择某一部分、旋转、放 大、重设参数等等。该技术里面牵涉到的各个小步骤有：二维医用切片图像序列 数据的采集和存储、二维医用切片图像序列数据的读入和图像预处理、二维医用 切片图像序列数据到三维医用体数据的转化、基于体数据的体元的定值等值面生 成技术( 一般用于面绘制算法) 、等值面多边形合并优化减低面片数目技术( 用于 面绘制算法) 、等值面三维实时渲染技术( 用于面绘制算法) 、基于医用图像序列 体数据的光线追踪体绘制技术、基于当前显卡硬件特点的三维代理几何体的体绘 制技术等。所有这些步骤的核心和原理就是体数据成像技术和计算机图形图像学 在医学辅助诊断领域的各类应用。 首先本文来介绍传统的医用图像三维成像可视化技术的各方面流程细节： 1 二维医用图像序列数据源的采集步骤。在第一章中已经进行简单介绍，采 集的步骤一般是通过x 光、c t 、m r i 核磁共振等医学成像仪器来进行相应图像序 列的采集和存放，存放为通用的d i c o m 数字格式图像文件，可供计算机进行数字 化读入和处理。 2 二维医用图像序列数据的计算机读入：由于二维医用图像序列数据是一种 特殊的图像文件，这种图像数据不仅仅需要包含图像位图数据，而且需要保存每 张图片的图片序列号，病人的姓名、性别等病人信息，还需要保存一些设备相关， 疾病相关的信息。所以这种图像一般是按照d i c o m 通用医用图像数据格式来进行 相应的保存。这种格式的特点就是以类似标签t a g 的形式来标记数据并且存储数 据，使用起来也非常简单，我们在计算机里面实现读入只要通过打开文件，读入 需求中需要的特定的标签信息和相关内容，就能获得相应标签下的所需要的数据。 3 二维医用图像序列数据读入后的预处理：针对读入后的医用图像预处理工 一8 第二章医学图像3 d 可视化技术的研究 作可以为类似等值面生成算法或者光线追踪算法的效率优化和效果优化提供相应 的预计算准备。例如：基于移动立方体的等值面生成算法需要遍历每一个体素， 并对体素上每一个顶点的灰度进行比较操作。这样的效率是很低的，因为很多无 用的背景体素也被进行了处理，其实可以通过四叉树场景管理数据结构来表示每 一个体素的层次结构，这样每一层上面的等值面操作就有遍历每一个体元变成了 只遍历有等值面多边形的体素，对于有很多无关数据( 比如很大背景) 的图像而 言，效率能提高很多。另外一个用处是，m r i 医用图像相对c t 医用图像来说存在 图像质量噪声较大，轮廓不太清楚的特点。如果直接进行可视化操作的话，算法 会变得不稳定，可视化得到的三维模型将会出现大量毛刺和噪声，从而影响显示 效果。为了使重构效果变得理想，可以通过预处理二维图像，首先进行除噪操作， 本文将会在接下来的篇幅进预处理进行详细描述。 4 二维医用图像序列数据的体数据生成：对于一般应用而言，这个步骤比较 简单，只是将各个面的对应像素进行简单顺序按层累积即可。但对于一些对显示 效果要求较高的情况，可以通过线性插值的方式增加切面图像数目的方式来提高 医用图像体数据的分辨率和生成三维模型的平滑程度。但需要注意的是，插值方 法的运行已经提高分辨率后的模型处理会很大程度上降低效率。 5 基于医用图像体数据的定值等值面生成：三维体数据的成像可视化显示目 前流行的有两种方法：针对等值面的面绘制技术和直接针对体数据的体绘制技术。 在以前g p u 运算能力不强，并且是固定流水线的时候，针对等值面的面绘制技术 是传统方法所经常采用的。因为当时的计算机系统提供的图形加速g p u 设备和常 用的图形库a p i ，而且三维模型基本都是用顶点和这些顶点所构成的三角形面片来 进行描述和直接渲染的。对于体数据而言，我们可以通过生成可以用现有图形学 技术能够直接描述和渲染格式的中间数据( 体数据的等值面) ，然后利用现成图形 库( 如o p e n g l 或者d i r e c t x ) 和图形设备对生成的等值面来进行显示。这种技术 的实质就是将医用图像体数据转换为定值等值面多边形网格，然后用现成方法对 多边形网格进行绘制。等值面的生成过去是在c p u 平台进行实现，生成等值面往 往需要很长时间，本文的一个研究点就是利用g p u 几何s h a d e r 进行实现，具体 方法请看本文第六章。 6 生成后的定值等值面中几何多边形面片的优化：虽然上一个步骤可以直接 对生成的多边形进行渲染显示，但是对于普通的等值面片重构操作来说，每一次 计算生成的多边形数目是非常庞大的( 一个5 1 2 5 1 2 2 5 6 的人体头部体元数据， 取值5 0 时，可以生成大概上百万个多边形，而市面上流行显卡能够比较流畅进行 一q 电子科技大学硕士学位论文 实时渲染的数量级是十万个多边形) 所以，如果要想进行流畅的实时等值面渲染 的话，需要进行多边形优化，即在尽可能不影响显示效果的前提下，减少等值面 的多边形数目【1 4 】。目前有多个算法来进行这个操作，并且已经比较成熟。该步骤 不在本文的研究范畴。 7 针对定值等值面的三维实时渲染：可以利用现有的三维图形编程库，例如 o p e n g l 、m i c r o s o f td i r e c t x 等都可以很方便很高效的对生成的等值面面片模型进 行高速的实时渲染。需要注意到的是，在对实时性要求比较高的场合，提高实时 渲染效率是非常必要的，这里面就涉及到场景管理和隐面裁减【1 3 】等高级算法。例 如八叉树场景管理、b s p 场景管理等等。 8 对于直接针对体数据的体绘制技术，特点是可以直接对医用图像体数据进 行成像和渲染，换句话说，体绘制技术其本质是不用生成中间数据，是直接通过 光线追踪算法对每一个像素进行计算光线强度值。体绘制技术的核心思想和人眼 看物体是一致的，都是从视点投射光线，然后根据最后光线的内容来决定看到的 颜色结果。需要注意到的是，这种技术的不足就是，传统的通用的图形加速设备 g p u 无法用固定流水线进行硬件渲染，实现上需要一定的编程技巧。但是如果用 c p u 进行实现和用来计算的话计算量很大，而c p u 计算能力有限，很难实现实时 渲染。而现在大多数方法利用g p u 进行加速运算，g p u 加速涉及复杂的加速算法 和实现技巧，这也是本文讨论的重点方面，后文中将做详细讨论。 重构流程如下： 面绘制算法 图2 - 1 面绘制算法 1 0 第二章医学图像3 d 可视化技术的研究 传统基于c p u 光线跟踪的体绘制算法 图2 - 2 传统基于c p u 光线跟踪的体绘制算法 2 1医用图像序列三维成像显示可视化技术详细流程 2 1 1医用图像序列数据源的采集、读入与预处理 现在，我们来详细谈谈医用图像序列数据源的采集、读入与预处理的详细过 程。我们去医院进行检查就应该有所了解，医院里面一般采用c t 机，m r i 核磁机 来扫描人体，从而获得人体相关需要的切片组织的图像序列。我们第一章简单说 过，这种成像的本质就是生成人体器官切片二维的密度分布图。由于二维医用图 像本质是等距正方形像素集合，向z 方向累积就是立方体体素集合。这种结构的 本质就是规则的体数据的结构【l5 1 。 医用图像三维成像可视化技术是研究由各种医疗成像设备获取的二维图像序 列构建组织或器官的三维几何模型，并在计算机屏幕上“真实 绘制与显示。下 面就来简单介绍一下常用的医学成像设备的成像原理。医用图像可由c t 机、m r i 机等医用影像成像设备，这些医用成像设备的基本原理都是类似的【l7 1 ，他们的成 像原理是从多个方向射出具有传统性的射线，穿过人体，然后经过人体器官吸收， 从另一个方向接收射线强度，然后根据每个距离点接收射线强度的矩阵和每个距 离点发射光强度的矩阵来反过来算人体内部切片物理属性( 比如密度) 的分布【16 1 。 这个二维分布实质就是成像图片。从切片分辨率说来，c t 图像分辨率最好。一般 为5 1 2 5 1 2 或1 0 2 4 1 0 2 4 。序列之间的间距一般为2 - - 5 m m 。而核磁共振图像m r l 分辨率就要稍微差些，一般为2 5 6 * 2 5 6 ，序列之间的间距为2 l o m m 。由于科技 的进步，目前分辨率都在逐年提高。 医学图像一般是以d i c o m e l 8 】图像格式来进行存储，d i c o m 是一个医学图像 电子科技大学硕士学位论文 的国际标准。在这个标准中详细定义了医学图像及其包括其图像、病人信息、设 备信息等一系列相关信息的存放格式和数据的交换方法，利用这个国际标准，人 们可以在医学图像切片序列成像设备上建立一套图像输入输出的标准，这样就让 生成的医用图片序列是基于标准兼容的。在本文软件系统中，根据其格式标准， 可以很容易实现d i c o m 对象详细格式以及读取的实现。从格式上看，d i c o m 的 核心信息由四大类：病人信息、检验信息、图片序列信息、图像位图信息。信息 采用标准的标签式语言进行存放。每一个信息内元素结构如下： 1 组标签：为一个1 6 位整数，代表了元素所属组的标签。 2 元素标签：也为一个1 6 位整数，代表了元素本身的标签。 3 元素长度：为一个3 2 位整数 4 数据信息：元素长度这么多字节的二进制数据。 对应本文项目中每一个用到的d i c o m 标准的元素都定义了一个组标签和 元素标签。比如说： 病人名字( p a t i e n tn a m e ) ：组标签o x 0 0 1 0 ，元素标签0 x 0 0 1 0 病人i d ( p a t i e n ti d ) ：组标签0 x 0 0 1 0 ，元素标签0 x 0 0 2 0 对于一个元素，我们可以对其进行如下c + + 实现 s t r u c tc d i c o m e l e m s h o r ti n tm _ g r o u pt a g , s h o r ti n tr e _ e l e m e n t _ t a g ， c h a rm _ v r 4 ， i n tml e n g t h , c h a r 木m _ p d a t a ) ； 对于数据的读取，软件图像读入模块只需要比较所需要的元素的标签，然后 读入相应数据段就可以了。下面是用本项目软件读出的一张m r i 医用图像序列的 某张切片的演示范例： 1 2 第二章医学捌缘3 d 可规化技术的研究 目2 - 3 读 的m r i 荻度斟像 叵铡 通过图2 - 3 可以看出，在医学设备成像的过程巾，由于局部微小扰动不可避免 的会产生图像噪声，导致图像质量下降。如果直接进行重构的话，算法变得不稳 定，重构的3 d 模型会出现大量噪声毛刺，影响显示效果。为了使莺构效果变得理 想，通过预处理2 d 图像，进行除噪操作。预处理的目的就是对其进行滤波或平滑， 以实现抑制噪声，增强图像特征，提高信噪比。根据滤波空间的不同，可以把滤 波分为实平面上的滤波和复平面上的滤波。在本文项日所开发的三维重建系统巾， 采用实平面上的滤波方法进行处理。 在本系统中，项目对图像预处理的要求有两条：( 1 ) 堆大限度地保持图像信息 小受损失，尽量强化描述图像的重要信息( 如轮廓等) ：f 2 ) 尽可能多地滤除噪声， 使图像清晰。住软件中的除噪功能菜单如图2 - 4 。 图2 4 图像预处珲滤波操作菜单 根据数字图像处理技术，常用的预处理算法有以下几种： 1 运个像素领域均值滤波方法：这种方法最简l 直。这种方法的基本思想就是 对于刚像q ，的每一个像素，取一个毗它为中心的区域，用这个区域内再个像素灰 电子科技大学硕士学位论文 度的加权平均值取代该像素的灰度值，这就是像素领域均值滤波方法。对于 ( 2 m + 1 ) x ( 2 n + 1 ) 领域的滤波后像素灰度值g ( x , y ) 为：( f ( x , y ) 为原图像x , y 坐标 灰度) mnmn g ( 而夕) = w ，x f ( x + u ，y 州睨，= 1 一一m 一一n 兵中一一脚”- ( 2 - 1 ) 这种处理方法可以通过简单的线性平均将图像噪声的影响效果减小，但同时 也影响了有用的像素信息，最大的缺点就是造成图像的边缘轮廓变得模糊。通过 数字图像处理原理知道，均值滤波器实质上就是一个低通滤波器，会减弱高频的 噪声信号。但是轮廓信号本质也是一个高频信号，所以轮廓信号的能量会被低通 滤波器削弱。均值滤波器的特点就是窗口越大，平滑能力就越强，同时表现出来 的副作用就是图像也越模糊。噪声的消除程度和图像原有图像的模糊程度皆与均 值的领域窗口的大小成正比，因此并不是领域窗口越大越好。在实际应用中常用 的有3 x 3 和5 x 5 两种大小的领域窗口。而3 x 3 的领域窗口又根据采样点与中心点 的关系可分为4 邻域采样窗口和8 邻域采样窗口。本文开发的系统中提供了下所 示的三种平滑窗口，如图2 5 。 磅2 i o 2 o 2 o 2 l o 2 图2 - 5 滤波平滑窗口 2 逐个像素领域中值滤波法：这种方法也是一种数字图像中常用的方法。由 于逐个像素领域均值滤波方法在消除图片噪声的同时会将图像中的一些重要的轮 廓等高频细节模糊掉。如果我们既要消除噪声又要保持图像