（模式识别与智能系统专业论文）ShearWarp体绘制算法研究.pdf

中文摘要 本文主要研究核磁共振医学断层图像的三维体绘制算法。m r 图像三维可视 化是目前研究的一个热点问题。因此对磁共振图像三维可视化的研究，具有重要 的学术意义和应用价值。 s h e a r - w a r p 算法是目前公认的最快的体绘制软件算法，所以本文的主要对 s h e a r - w a r p 算法进行了深入的研究和探讨。 首先，本文完成了从常用断层图片格式( b m p ) 到s h e a r - w a r p 算法输入体数 据格式( d 姐) 的转化。这一转化的实现使得s h e a r - w a r p 算法更加完整。 另外，由于s h e a r - w a r p 算法中在对重采样点计算不透明时，会因为缺乏深 度信息而造成细节信息丢失。针对这一问题本文提出了两种改进的方法。 第一种方法是提前计算体素不透明查询表的算法改进思路。该改进算法的核 心思想是要提前建立一张各个体素的不透明度查询表。在这个表中存有每个体素 在不同视线方向情况下的不透明度值。在这个计算过程中依据不同的视线方向加 入了深度信息。这样在计算重采样点的不透明度时，只需要查询该表中相关体素 点不透明度的值，再进行合成计算即可。 由于上述改进方法较为复杂，所以本文根据原算法中利用双线性插值计算重 采样点不透明这一特点，提出了第二种改进方法。该方法的思路是在原有双线性 插值的基础上加入了相邻切片中沿视线方向相关体素的不透明度信息。也即用三 维线性插值代替了双线性插值。这样就可以在计算过程中加入深度信息。使得最 终的体绘制结果在绘制速度可以接受的前提下提高了图像的质量。 最后，本文对体绘制算法并行的可行性和必要性进行了探讨，并对并行体绘 制方法进行了一定的理论研究。 本文主要对s h e a r - w a r p 体绘制算法进行了深入的研究，并针对该算法中深 度信息丢失这一问题提出了两种改进方法。另外还对体绘制的必然发展趋势一 并行体绘制进行了理论上的探讨。 关键词：体绘制，m r i ，s h e a r - w a r p ，不透明度，双线性插值。 a b s t r a c t t h em a i nr e s e a r c ho ft h i st h e s i si s3 dd i r e c tv o l u m er e n d e r i n go fm r i m r i m a g e sa l en o ww i d e l yu s e di nm a n yf i e l d s r e s e a r c h i n go n3 dd i r e c tv o l u m e r e n d e r i n go f m r i h a ss i g n i f i c a n c ei np r a c t i c e s h e a r - w a r pa l g o r i t h mi sc o n s i d e r e da st h ef a s t e s ts o f t w a r ef o r3 dd i r e c tv o l u m e r e n d e r i n g s ot h i st h e s i sm a i n l yr e s e a r c ho nt h i sa l g o r i t h m f i r s t l y , t h i st h e s i sh a ss u c c e s s f u l l yc h a n g e dt h em r s l i c ei m a g e sw h o s ef o r m a ti s b m pt oa no v e r a l lf i l ew h o s ef o r m a ti sd e n t h i sc o n v e r s i o nm a k e st h es h e a r - w a r p a l g o r i t h mm o r ec o m p l e t e l gb e c a u s et h es l i c ei m a g e so fm ra r eo r e ns a v e da st h e f o r m a to f b m p b u tt h ei n p u td a t ao ft h i ss h e a r - w a r pa l g o r i t h r ni sao v e r a l lf i l ew i t l l t h ef o r m a to fd e n s oi nt h i st h e s i sw ed e s i g nap r o g r a mt oc h a n g et h eo r i g i n a ls l i c e d a t at oaw h o l ef i l e ，w h i c hc a nb eu s e db yt h es h e a r - w a r pa l g o r i t h ma st h ei n p u td a t a d i r e c t l y s e c o n d l y , f o rs o m er e a s o nt h i sa l g o r i t h mw i l ll o s es o m ed e t a i l e di n f o r m a t i o no f t h eo r i g i n a lv o l u m ed a t a t h i sm a k e st h ef i n a li m a g ei sn o tv e r yc l e a r i no r d e rt o a v o i dl o s i n gd e p t hi n f o r m a t i o n , t h i st h e s i sp r o p o s e st w om e t h o d st oi m p r o v et h i s a l g o r i t h m t h ef i r s ti st od e s i g nal o o k u pt a b l et ol o o kf o rt h eo p a c i t yo ft h ev o x e l s i nt h i s t a b l eo n ev o x e lw i l lh a v ed i f f e r e n to p a c i t yw h i c hi sc l a s s i f i e db yd i f f e r e n ts h e a ra n g l e t h a ti st os a yt h eo p a c i t yo f o n ev o x e li sn o to n l yb a s e do ni t s e l f b u ta l s oc o n t a i nt h e i n f o r m a t i o no f t h ev o x e l w h i c hh a sr e l a t i o n s h i pw 铂1i ta l o n gt h ed i r e c t i o no f s i g h t l i n e w h e nc o m p u t i n gt h eo p a c i t yo fo n er e s a m p l i n gp o i n to n l yn e e d st ol o o ku pi nt h i s t a b l ea c c o r d i n gt oc u r r e n ts h e a ra n g l e b e c a u s et h ea b o v e i m p r o v e dm e t h o di sc o m p l i c a t e d ，w ed e s i g n e da n o t h e rs i m p l e m e t h o dt og e tt h ei m p r o v e de f f e c t i nt h eo r i g i n a ls h e a r - w a r pa l g o r i t h m ，i tu s e s b i l i n e a ri n t e r p o l a t i o nt og e tt h eo p a c i t yo ft h er e s a m p l i n gp o i n t s t h en e wa l g o r i t h m u s e st r i - l i n e a ri n t e r p o l a t i o nt oi n s t e a do fb i l i n e a ri n t e r p o l a t i o n ，b e c a u s et h i st r i - l i n e a r i n t e r p o l a t i o nc a na d dd e p t hi n f o r m a t i o ni nt h eo p a c i t yo ft h er e s a m p l i n gp o i n t s t h i s s i m p l ei m p r o v e dm e t h o dh a sg o t t e ne f f e c t i v ee f f e c t f i n a l l y , t h i st h e s i sh a sd os o m er e s e a r c ha b o u tp a r a l l e lv o l u m er e n d e r i n g k e yw o r d s ：v o l u m er e n d e r i n g ；m r i ；s h e a r - w a r p ；o p a c i t y ；b i l i n e a ri n t e r p o l a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得鑫生盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：乃善咏 签字日期：沙p 6 年f 月# 日 学位论文版权使用授权书 本学位论文作者完全了解墨生盘堂有关保留、使用学位论文的规定。 特授权鑫洼盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：乃亲沫 签字1 3 期：狮6 年f 月fe l 导师签名： 签字日期： 一年，月日 第一章前言 1 1 三维可视化技术概述 第一章前言 德国科学家伦琴在发明了x 射线，之后计算机断层成像( c o m p u t e d t o m o g r a p h y , c t ) 、核磁共振成像( m a g n e t i cr e s o n a n c ei m a g i n g ，m r ) 、超声波成 像( u l t r a s o n o g r a p h y , u s ) 等先进的医学成像技术得以产生、发展。随着这些先 进的影像技术应用于医学临床，使得人们可以得到人体及其内部器官的二维数字 断层图像序列。但是二维断层图像只是表达某一截面的解剖信息，在医学治疗过 程中，仅由二维断层图像上某些解剖部位进行简单的坐标叠加，不能准确的得到 三维影像，这就会造成病变部位的定位的失真与变形。因此，为了提高医疗诊断 和治疗的准确性，需将二维断层图像序列转变成为具有直观立体效果的图像，以 展现人体器官的三维结构与形态，从而提供若干用传统手段无法获得的解剖结构 信息，并为进一步模拟操作提供视觉交互手段。医学图像三维重建与可视化技术 就是基于这一要求而提出的。它是医学影像处理与分析技术的一个重要分支。 随着可视化技术的不断发展，已经逐渐形成了一个新的研究领域科学计 算可视化( v i s u a l i z a t i o ni ns c i e n t i f i cc o m p u t i n g ) ，它涉及了计算机图形学、图像 处理等多个不同的科学计算领域。科学计算可视化就是运用计算机图形学和图像 处理技术，将科学计算过程及计算结果的数据转化为图形及图像在屏幕上显示出 来并进行交互处理的理论、方法和技术。这一科研领域一直是国际上医学图像处 理领域的研究热点【”。 实际上，随着计算机相关技术的发展，科学计算可视化的含义已经大大扩展， 它不仅包括科学计算数据的可视化，而且包括工程计算数据的可视化【2 】。但是用 于医疗领域的计算机断层扫描( c t ) 数据及核磁共振( m r j ) 数据的可视化是 目前最活跃的研究领域之一。本文目的是研究医学断层图像三维可视化的方法， 使得在保证得到的三维图像的质量和速度的前提下能够应用于临床的实际环境， 即建立可以实用的医学图像三维可视化系统。通过三维可视化方法将二维断层图 像序列能够转变成具有直观立体效果的图像，展现人体器官的三维结构与形态， 从而提供若干用传统手段无法获得的解剖结构信息。另外，对于促进图像处理和 可视化技术的发展和应用也将起到一定的推动作用。 第一章前言 1 2 医学图像可视化 医学图像三维可视化技术的研究是可视化研究的一个重要方向，也是推动可 视化发展的一个重要因素。它通过将一系列二维图像重构出三维形体，直观的显 示给医生或研究人员。医学图像三维可视化技术除了用于辅助医疗诊断外，也是 外科手术操作方案演练、体内手术引导、机器人外科手术、手术仪器试制与分析、 医学教学与训练、远程医疗、远程手术等诸多医学课题的基础环节，因此开展该 课题研究具有十分重大的意义。现代化的医疗设备提供了大量的医学图像，它们 是可视化研究的重要数据来源。医学图像可视化研究围绕着这些图像，研究内容 非常广泛，包括图像的分割、三维医学图像的重建等。三维医学图像的分割是指 对由二维断层图像“堆”成的体数据的分割标注，使得在随后的重建中可以赋予 不同的器官组织以不同的颜色值和透明度。三维医学图像重建是指从三维的图像 中提取三维对象的信息，它使得用户能够直观的看到三维对象的组织结构，并且 加强图像中原有的各种细节。本论文主要通过对医学三维图像重建的研究，高效 的实现医学图像的三维可视化。 计算机体视化及医学体数据三维重建技术的研究是伴随着影像技术和计算 机软硬件技术的发展而发展起来的。7 0 年代，由于受当时计算机断层扫描技术 发展水平的限制，切片的厚度和切片之间的间距都很大，因此早期的研究工作主 要集中在轮廓连接的表面重建。这一时期，三维重建的基本思想已初步建立起来， 但由于当时计算机的存储量还比较小，c p u 的运算速度比较慢，因此处理大容 量的多层医学图像显得力不从心，而且图像显示质量比较低。 8 0 年代是三维体视化技术迅速发展的年代。在这十年中，各种影像技术不 断出现，如核磁共振成像、超声、正电子辐射断层摄像( p e t ) 和单电子辐射断 层摄像( s p e c t ) 等影像技术逐渐成熟，他们能产生高分辨率低噪声的三维图像。 此外，计算机的性能大幅提高，计算机图形学技术也不断成熟，这些都极大的促 进了体数据三维可视化技术的发展。在这一时期，研究人员提出了大量优秀的算 法，使三维显示的速度和显示质量都取得了巨大提高【3 l 。 9 0 年代三维重建技术逐渐趋向实用化，相继出现了一些成熟的产品，临床 应用越来越广泛。三维医学图像较之二维图像有着无可比拟的优势，它可以为医 生提供直观、清晰的器官和组织的三维结构信息，辅助医生准确、科学的确定病 变体的空间位置、大小、几何形状以及与周围组织之间的空间关系，这些使得三 维医学图像在医疗诊断、手术规划与模拟、放射治疗、医学教学和研究中发挥重 要作用。目前，国外三维重建技术的研究正朝着与临床应用结合，与虚拟现实技 术结合以及专用三维显示硬件等几个方向发展。国内在这方面的研究始于9 0 年 2 第一章前言 代，目前己经有了一些产品，但由于三维重建技术的研究成本高，周期长，而且 在医学方面上的应用要求非常高，这些都制约了该领域在国内的发展。因此，开 展三维重建方面的研究，具有重要意义。 1 2 1 医学体数据的特点 医学体数据实际上是通过医学成像设备扫描得到的生物组织、器官的数字化 图像【4 】。最常用的医学体数据是m r i 和c t 数据。一般来说，m r i 或c t 设备最 终输出的数据是被测物体的平行截面灰度图像序列。医学体数据具有一些区别于 其他可视化数据对象的特点。 首先，不同的医学成像设备输出的体数据中，体素强度与组织成分的对应关 系是不同的，这与成像原理直接相关。即便是同一种成像设备输出的数据，由于 成像参数选择的不同，组织之间的对比度关系也会不同。例如，c t 数据中，一 般来说骨骼的成像强度值高，而软组织的成像强度低，软组织之间的对比度也较 低；而在m r i 数据中，皮质、骨骼等钙化组织和一些致密的胶元组织有较低的 成像强度，软组织和体液则有较强的成像强度。所以，医学体数据呈现出复杂性 和多样性，这直接影响着可视化方法的选择和算法参数的设定。 其次，医学体数据通常是包含噪声的。这些噪声一方面来自于成像设备，另 一方面来自于成像对象自身。在病理诊断应用中，可以通过预处理降噪。 再者，医学体数据规模往往巨大，庞大的数据不但要占用很大的存储空间， 而且可视化计算量也十分可观，对于计算机来讲是相当沉重的负担。使得计算速 度成为医学体数据三维可视化最为突出的问题。正是医学体数据的这一特点使得 并行计算成为一个必然趋势。 由于本文的主要工作是针对m r i 的三维重建，所以只简单介绍一下m r i 图 像数据的特点。 核磁共振( n u c l e a rm a g n e t i cr e s o n a n c e ，n m r ) 是一种核物理现象，由美国 斯坦福大学b l o c h 和哈佛大学p u r c e l l 于1 9 4 6 年分别在两地同时发现的，两人因 此获得了1 9 5 2 年的诺贝尔物理学奖。在2 0 世纪5 0 年代至7 0 年代，n m r 主要 用于化学分析。2 0 世纪7 0 年代，这一技术才与医学诊断联系起来，l a u t e r b u r 于1 9 7 3 年发表了核磁共振成像( n u c l e a rm a g n e t i cr e s o n a n c ei m a g i n g ，n m r i ) ， 使核磁共振不仅用于物理学和化学，也应用于临床医学领域。此后，为了与放射 性核磁检查相区别，改称为磁共振成像( m a g n e t i cr e s o n a n c ei m a g i n g ，m r i ) 。 在此期间，磁共振成像得到了迅猛发展，在机器制造、设备性能、成像方法、临 床应用和造影剂使用等方面己日趋完善，目前已成为影像诊断学方面不可缺少的 临床检查手段【5 1 1 6 l 。 3 第一章前言 磁共振成像是利用原子核在磁场内共振所产生信号经重建成像的一种成像 技术。m r i 有t l ( 自旋一晶格弛豫时间) 、t 2 ( 自旋自旋弛豫时间) 和自旋核密 度( p ) 等几个参数哆人体不同器官的正常组织与病理组织的t 1 是相对固定的， 而且它们之间有一定的差别，t 2 也是如此( 表i - 1 ) ；同时不同组织有不同的密 度，以及不同的t l 和t 2 ( 表1 2 ) ，这种组织间弛豫时间上的差别，是m r i 的 成像基础。m r i 参数中，t 1 和t 2 尤为重要，因此，获得选定层面中各组织的 t 1 ( 或t 2 ) 值，就可获得该层面中包括各种组织影像的图像。在本文中使用的 m r i 图像主要为脑部断层图像。表1 1 显示了正常在人脑通过m r i 成像时的t 1 和t 2 值。 组织 t lt 2 胼胝体 3 8 08 0 桥脑 4 4 57 5 延髓 4 7 5 1 0 0 小脑 5 8 59 0 大脑 6 0 01 0 0 脑脊液 1 1 5 51 4 5 头皮 2 3 56 0 骨髓 3 2 08 0 表l - i 正常颅脑的t l 与1 r 2 值( n b ) 常用的磁共振图像有t 1 加权像，t 2 加权像和质子密度( p r o t o n d e n s i t y ，p d ) 加权像嘲，正常人体组织在三种不同权重方法下，显示不同影像密度特点。以人 体头部为例，如图1 1 所示。 ( a ) t i 图像( b ) i 2 图像( c ) p d 图像 图l - i 常用的磁共振图像 从上图可以明显看出采用不同的权重方式，得到的断层图像有较为明显的区 别。这也反映出核磁共振成像的一个特点。所以对于利用m r i 图像重建出的三 4 第一章前言 位效果如何将核磁共振设备成像时的所选取的参数有直接关系。表l - 2 更为明显 的表示出了这种对应关系。 权重方式骨肌肉脂肪空气水血液脑脊髓 t 1 黑黑灰白黑黑黑黑 t 2 黑灰灰白 黑 白白白 质子密度 黑黑灰白黑 黑灰黑灰黑灰 表l - 2 人体组织不同权重下的密度特点 由于m r i 二维数字图像具有相同的空间分辨率，像素亮度值与物质成分也 有一致的对应关系。像素的亮度与组织的横向磁化强度成正比。m r i 医学体数 据不仅能够反映组织器官的特征，并为进一步表现其解剖结构提供了可能性。所 以本文采用m i u 图像作为原始图像进行三维重建。 1 2 2 医学体数据可视化基本流程 三维数据场可视化的研究对象一般为空间离散的三维数据，尽管空间数据的 类型各不相同，数据发布及连接关系差别很大，但可视化的基本流程是一样的。 各种医学图像三维可视化的方法几乎具有相同的处理步骤：事先采集到的一片片 断层图像( c t 、m i l l 等) ，需完成从医学图像格式( 如d i c o m ) 到便于计算机 处理的图像格式转换接下来为增加信噪比或消除医学图像伪迹，对每一片图像 进行滤波。对体数据三维方向采样率如果一致则成为各向同性。若不一致则需采 用插值算法，使体数据的表达各向同性。其流程【9 】如下图1 2 所示： 图1 2 医学图像三维可视化基本流程 第一章前言 从上图可以看出医学图像的三维可视化可以主要分为以下几个步骤： ( 1 )原始数据的获取。将事先得到的断层图像( m r i ) 从医学图像格式 ( d i c o m ) 转化为便于计算机处理的图像格式。 ( 2 )数据预处理。包括图像变形纠正、图像滤波和体数据生成以及其他预处 理步骤。这一步操作的目的是增加信噪比或消除医学图像中的伪迹。从 而配合以后的步骤从原始数据中建立有效数据集。 ( 3 )层间图像插补。由于在扫描过程中可能对一些关键部位的扫描层间距比 较小，造成断层图像整体的层间距不一致。这就需要采取插补算法使得 体数据的表达各项同性。 ( 4 )数据分析。包括相关特征的提取、多种数据融合及标注说明等。以便于 决定要采取的重建方式。 ( 5 ) 利用确定的重建方式进行三维重建的计算。 ( 6 ) 合成最终的三维图像。 1 3 医学图像三维可视化发展现状及存在问题 1 3 1 国内外研究现状 三维可视化技术始于2 0 世纪7 0 年代，并在近几年得到长足的发展。目前， 哈佛大学、斯坦福大学、科罗拉多大学、华盛顿大学、德国汉堡大学、日本、澳 大利亚、新加坡以及国内某些高校都在进行医学图像三维可视化研究，已经有了 许多出色的算法。在实际运用方面，美国、加拿大和日本等主要发达国家都已经 有了很多医学成像设备和医学图像处理软件1o 】【】【1 2 】。国外已有的三维医学影像 处理的商品化系统，其中独立的系统有，如加拿大的a l l e g r o 系统，它可以根据 用户需要，与不同厂家的c t 扫描设备或核磁共振仪相连接；美国通用电气公司 ( g e ) 的a w 4 0 ，可以对断层扫描序列图像进行完整的容积重建及分析。有的 则是这类医疗设备的一个组成部分，如以色列爱尔新特公司( e l s c i n t u d ) ，g e 出产的螺旋c t 扫描设备均附有基于图形工作站的医学影像可视化系统，在获得 c t 和m r i 的序列扫描图像后，该系统可以沿三个正交方向逐帧显示序列图像， 可以用不同方法构造三维形体，可以对三维图像由外而内按层剥离或做任意位置 的剖切以观看内部结构，也可以进行平移、缩放、旋转等操作。另外，还有美国 s t a r d e n t 计算机公司推出的a v s 系统，美国俄亥俄超级计算机中心开发的a p e 系 统，德国达姆斯达特f h g - a g d 研究中心开发的v i s a - v i s 系统等。 但是这些国外的成果和产品大多都是在图形工作站上完成的，由于需要强大 6 第一章前言 的硬件支持导致了高昂的价格，所以限制了它们在我国的应用。随着现在p c 机 的广泛应用，就很自然希望把这些工作能够在廉价的p c 机上来完成，在我国， 清华大学，浙江大学和中科院自动化研究所等单位都长期致力于这方面的研究， 并已经初见成果。 国内在医学图像三维重建及可视化研究方面【”】，浙江大学、清华大学、东 南大学、大连理工大学、中科院自动化所等均做了大量研究，开发了一些实验系 统，国内企业的一些三维医学影像处理系统，此外，国内目前尚无成熟的商用系 统。因此，开展这方面的研究，具有重要的理论意义及广阔的应用前景。 1 3 2 存在的问题 医学体数据三维可视化方法分为两大类：表面绘制方法和体绘制方法表面 绘制方法的主要优点是计算量小，运行速度快，可以实现实时显示，但必须通过 图像分割，由于目前缺少准确有效的分割方法，导致生成图像的保真性较差。目 前己有许多科研人员在从事这方面的研究，但至今还没出现一种可靠的分割分类 方法适用于任何数据。由于分割是一个不适定性问题，不可能存在一种全自动的 分割方法把分割问题彻底解决好，人工干预是不可避免的。体绘制方法通常不要 求做精确的分割，而是对体数据场中的每个体素分别进行处理，合成具有三维效 果的图像。因此，体绘制方法对噪声有一定的韧性，适合于对形状特征模糊不清 的组织和器官进行三维可视化。此外，体绘制方法中不透明度的引入大大增强了 数据整体显示效果。 然而，由于体绘制方法要处理大量的数据，很难实现图像的实时显示。例如 美国国立医学图书馆实施了一项可视人体的项目( v i s i b l eh u m a np r o j e c t ，v h p ) ， 该项目具体由科罗拉多大学实施，对人体进行了大规模的扫描和数据采集，所得 的数据共5 6 g b ，称为v i s i b l eh u m a n 共享的数据集。如此庞大的数据量就对体 绘制算法的速度和质量提出了很高的要求。因此，改进软件算法，提高绘制速度， 成为体绘制方法研究中的核心课题。 解决这一课题主要可以从以下三个方面入手： 第一，在医学体数据三维可视化技术的发展过程中，计算机硬件水平始终是 一个关键的制约因素。尽管计算机速度、内存容量以及其他图像加速设备的发展 日新月异，但是面对庞大的医学体数据，可视化速度始终难尽人意。所以提高计 算机的硬件配置将有利于提高体绘制的速度。 第二，在医学体数据三维可视化过程中，要研究采用尽可能快的重建算法。 以此来提高重建的算法和效果。 第三，大规模科学和工程计算问题对计算机的速度提出了非常高的要求。在 7 第一章前言 图像处理方面，大规模的地形匹配、神经网络计算及其它计算量大的任务都需要 计算机具有强大的计算性能。近年来，微处理器性能不断提高，高速局域网不断 发展，可以利用相对廉价的微机通过高速局域网构建高性能的并行机群计算系 统。与传统的超级计算机相比，并行机群计算系统具有较高的性价比和良好的可 扩展性，可以满足不同规模的大型计算问题。 医学体数据三维可视化算法性能主要是从绘制速度和生成三维图像的质量 这两方面来评价的。绘制速度一般是以绘制一组体数据所消耗的计算时间或每秒 钟显示帧的数目作为定量衡量指标的。而生成图像的质量却难以定量评价。准确 的说，三维可视化生成的图像不是自然图像，而是通过计算机合成的，合成过程 中的参数是用户根据视觉需要选取和调整的，所以对于图像质量很难找到一个明 确的、切实有效的衡量指标。目前主要的标准是人的视觉感受，这虽然是一个主 观的评价标准，无法定量表示，具有很大模糊性，但却有其合理性，因此也是最 常采用的标准。 一般来说，图像的质量越好，精确度越高，则绘制时间越长，事实上，不同 在评价一种算法的性能时不能完全脱离其适用环境，提高算法性能应当是根据应 用的具体需求，在图像质量与绘制速度间进行折衷，在保证一定质量的前提下尽 可能的提高绘制速度，或者在达到一定速度的基础上尽可能的改善图像质量。 1 4 论文主要工作及内容安排 本文主要研究体绘制算法来实现三维重建。由于s h e a r - w a r p 算法是目前公 认的最快的体绘制算法，所以本文的主要工作是对该算法进行了较为深入的研 究，提出了一些新的算法思想，取得了较好的效果。概括起来，本文的主要工作 有： ( 1 ) 完成了从常用断层图片格式( b m p ) 到s h e a r - w a r p 算法输入体数据格式 ( d e n ) 的转化。这一转化的实现使得s h e a r - w a r p 算法更加完整。因为 通常医学断层图像都是以b m p 等常用格式存储，而这种格式的切片无法 作为s h e a r - w a r p 算法的数据输入。所以，本文设计了这种数据格式转换 程序，这就使得常用的医学切片可以顺利作为s h e a r - w a r p 算法的输入原 始数据。 ( 2 ) 提出了一种提前计算合成不透明查询表的s h e a r - w a r p 算法改进思路。针 对s h e a r - w a r p 算法中在对重采样点计算不透明时，由于缺乏深度信息而 造成细节信息丢失的问题，提出了一种改进算法。在体绘制进行之前， 对切片中的每个体素根据不同的视线方向计算不透明度，形成一张体素 第一章前言 不透明度查询表。在这个表中每个体素对应不同的错切角度有不同的不 透明度值。在这个提前计算过程中，根据视线的方向给每个体素的不透 明度计算加入了深度信息，使得得到的本切片中体素的不透明度与相邻 切片中沿视线相关体素的不透明度建立关系。然后依据不同的错切角度 建立一张体素不透明度的查询表。这样在沿视线方向进行不透明度合成 时即可查询该表中当前错切角度下的相关体素的不透明度的值，再进行 不透明度合成即可。 ( 3 )对计算重采样点不透明度时使用的双线形插值算法进行了改进，用三维 线性插值代替了双线性插值，这样就可以在计算过程中加入深度信息， 提高了最终绘制三维图像的质量。由于在( 2 ) 中提出的改进方法较为复 杂，所以根据原算法中利用双线性插值计算重采样点不透明这一特点， 在原有双线性插值的基础上加入了相邻切片中沿视线方向相关体素的不 透明度信息。即将双线性插值改进为三维线性插值。经过这一改进，使 得最终的体绘制结果在绘制速度可以接受的前提下提高了图像的质量。 ( 4 )针对大数据量体绘制的要求，研究体绘制算法的并行实现，已经成为一 种必然的趋势。所以本文对体绘制算法的并行实现也进行了初步探讨。 本论文内容共分为五章。具体章节安排如下： 第一章针对医学图像的特点引出研究体绘制的重要意义。并简单介绍当前 三维重建技术的发展现状以及存在的问题。并对本论文的主要工作 进行了概要总结。 第二章 对体绘制算法进行了较为详细的介绍。包括当前体绘制研究的现状、 具体的研究方法分类以及体绘制算法一般的研究流程等。本章是对 体绘制算法的综述，为下一章的s h e a r - w a r p 算法介绍作了铺垫。 第三章对s h e a r - w a r p 算法进行了深入的研究和探讨。完成了该算法中输入 数据格式的转换，并针对该算法中细节信息丢失这一缺点提出了两 种改进方法，并取得了一定的效果。 第四章本章对并行体绘制算法的总体构架、主要指标等进行了介绍。探讨 了进行并行绘制的必要性和可行性。为下一步研究大量体数据绘制 作了相应的理论研究。 第五章总结与展望。总结了本论文的主要工作并对下一步的研究方向提出 了意见。 9 第二章体绘制算法概述 第二章体绘制算法概述 对于三维数据场0 4 , 1 5 ，根据图像表达的方式，其成像方法通常可分为面绘制 方法( s u r f a c ef i t i n g ) 、体绘制方法( d i r e c tv o l u m er e n d e r i n g ) 两大类。面绘制的 基本思想是首先提取感兴趣物体的表面信息，把体数据转换为由一系列多边形表 面片拟合的等表面( i s o s u r f a c e ) 。然后再用面绘制算法根据光照、明暗模型进行 消隐和渲染得到三维的显示图像。这种算法处理的数据通常是整个体数据的一部 分，并且可以借助传统计算机图形学多边形绘制技术及图形硬件加速，所以它的 绘制速度比较快，可以使用普通的p c 机的硬件绘制功能实现交互式绘制。但是 由于这种方法需要对体数据进行两分类，即判别每一个体素是否在当前绘制的面 上。因此处理复杂的、边界模糊的人体组织时，经常出现分类上的错误，从而造 成虚假的面显示或在显示而上产生空洞。并且面绘制方法不能保留数据的完整 性，重建出的是物体的表面，没有内部信息。为了避免上述问题，人们提出了体 绘制的概念。 体绘制方法免去了面绘制中构造几何多边形等表面的中间过程，采用直接对 所有的体数据进行明暗处理的方法，进而合成为具有三维效果的图像。体绘制算 法的优点是无需进行分割即可直接进行绘制，有利于保留三维医学图像的细节信 息，增强整体的绘制效果。但是缺点是需要对所有的体素进行处理，并且借助硬 件加速十分有限。这就加大了计算开销，限制了图像的绘制速度。 另外近年来医学成像设备的物理分辨率不断提高，例如，m r i 的成像分辨 率可以达到o 2 微米，这使得数据的规模大幅增加，也意味着对可视化的速度有 了更高的要求。因此，改进软件算法，在一定的硬件水平上提高绘制的速度已经 成为体绘制方法研究的核心问题。 2 1 体绘制方法分类 体绘制技术一般可分为间接体绘制法( i n d i r e c tv o l u m er e n d e r i n g ) 和直接体 绘制法( d i r e c tv o l u m er e n d e r i n g ) l l 。 使用间接体绘制法，首先对整个体数据进行等值表面分割定义，接着用各种 几何元拟和表面，最后绘制出所有的几何元。在医学图像可视化中常用的几何原 有体素级大小的平面多边形、多边形网格、三角片等。代表性的间接体绘制方法 是等值面法。该方法主要适用于在体数据中显示等值面。其特点是计算量大，但 1 0 第二章体绘制算法概述 可以用来显示高质量的图像。典型的等值面算法是移动立方体法( m a r c h i n g c u b e s ) ，它把原始体数据的体素逐个进行处理，把物体边界体素转换为很细密的 便于计算机图形硬件绘制的多边形网格。边界表面的拓扑结构由上下相邻断层的 8 个体素确定的逻辑立方体来限制。当给定一个门限值，逻辑立方体体内的具体 位置由8 个体素的灰度值插值来确定。移动立方体等值面连接方式上存在二义性 问题，可能会造成等值面连接的错误。对等值面连接问题的进一步研究引出了其 他改进算法，如分解立方体( d i v i d i n gc u b e s ) 、m a r c h i n gt e t r a h e d r a 方法1 1 ”。 直接体绘制法把体素当作基本元。认为体素是一种本身既可发光又可吸收光 线的半透明物质，体绘制时根据体素的灰度值对每一体素赋予不透明度值( 阻光 度，o p a c i t y ) 和颜色值，再根据各体素的灰度梯度及光照模型( 如p h o n e 模型) 计 算出各体素的光照强度，然后将投射到图像平面上同一像素点的各体素的不透明 度值和颜色值综合在一起，形成最终的三维图像。这种算法产生的图像，可以包 括每一个细节，具有图像质量高，便于并行处理等优点。被广泛应用于医学断层 图像的三维重建等领域。 本文主要是针对直接体绘制算法进行研究。因为直接体绘制是一种重要的可 视化方法。它不使用中间面的几何数据，而是直接将体数据按一定的采样和映射 规则合成，具有更丰富的表现力。与基于多边形的面绘制相比，体绘制具有数据 类型特殊、存储量大、绘制方法多样、计算强度高等特点。所以本文中所指的体 绘制未经说明都是值得直接体绘制。 体绘制算法可根据所用的投影策略不同加以分类f l 引，分为以对象空间为序 ( o b j e c t o r d e r ) 的算法一正向算法又称为体素投影法和以图像空间为序( i m a g e o r d e r ) 的算法逆向算法又称为光线投射法。前者是以对象空间为序的算法 遍历整个体数据空间的体素，并投射体素到像屏。后者是以图像空间为序的算法 从成像屏的每个象素出发投射光线如体数据空间，沿光线累加体素值，直到射线 离开体数据空间或者累加至给定阻光值为止。从一般来说，体素投影法绘制的速 度比光线投射法快。 2 1 1 以图像空间为序的体绘制算法 以图像空间为序的绘制方法是从屏幕上的每一像素点出发，根据设定的视点 方向，发出一条射线，这条射线穿过三维数据场的体素矩阵，沿这条射线选择k 个等距采样点，由距离某一采样点最近的8 个体素的颜色值及不透明度值做三维 线性插值，求出该采样点的不透明度值及颜色值。在求出该条射线上所有采样点 的颜色值及不透明度值以后，可以采用由后到前或由前到后的两种不同的方法将 每一采样点的颜色及不透明度进行合成，从而计算出屏幕上该像素点的颜色和不 第二章体绘制算法概述 透明度的值。 因为这种算法按视线的方向对像素点的光亮度进行计算，所以又被称为向后 投射算法。又因为光线的方向恰好与视线方向相反，则这种算法可以很方便的使 用提前光线结束加速技术( 在2 4 节加速技术中作详细介绍) ，并且可以利用模 板加快重采样速度。但是这种方法有两个缺点：一是因为视线的方向是可以任意 改变的，所以算法不会按照数据的原始存储顺序对数据进行存取。这样，光线投 射算法就要耗费大量的时间去计算采样点的位置和在内存中的存贮位置。这一问 题在其他算法使用了基于数据存储格式的加速技术后，显得更加明显。另一个缺 点是，算法存取数据的次序与原始数据存储次序的不一致，会导致操作系统在算 法执行期间很难利用某些内存管理的加速技术。这无疑增加了操作系统内存管理 的开销，延缓了算法的执行速度。 2 1 2 以对象空间为序的体绘制算法 该类方法首先根据每个数据点的函数值计算该点的不透明度及颜色值，然后 根据给定的视平面和观察方向，将每个数据点的坐标由对象空间变换到图像空 间。再根据选定的光照模型，计算出每个数据点处的光照强度。然后根据选定的 重构核函数计算出从三维数据点光照强度到二维图像空间的映射关系，得出每个 数据点所影响的二维像素的范围及对其中每个像素点的光照强度的贡献，最后将 不同的数据点对同一像素点的贡献加以合成。 这种体绘制算法可以利用模板先行计算出重构核函数，在合成时可以利用空 间数据结构跳过透明区域，但是不能方便的利用提前光线结束的加速技术。 2 2 直接体绘制法 直接体绘制方法并不生产等值面，而是给数据场中的体元赋予一定的色彩和 透明度，由光线穿越半透明物质时能量集聚的光学原理，进行色彩合成的成像操 作。其方法可以分为四大类： 1 图像空间扫描的体绘制技术光线投射体绘制算法( r a y - c a s t i n g ) ( 1 9 1 1 2 0 光线投射体绘制算法( r a y - c a s t i n g ) 是m l e v o y 于1 9 8 8 年提出的，该算法 是基于图像空间扫描实现体绘制的经典算法。其算法为：图像平面的每个像素都 沿着视线方向发出一条射线，且此射线穿过体数据集；沿着这条射线选择k 个等 距采样点，并由距离某一采样点最近的8 个数据点的颜色值和不透明度值作二线 性插值，求出该采样点的不透明度和颜色值，最后将这条射线上的各采样点的颜 1 2 第二章体绘制算法概述 色及不透明度值由前向后或由后向前加以合成，即可得到该像素的颜色值，形成 最终的可视图。一般地说，该方法可以方便地利用光照计算生成细腻的可视图， 但速度较慢。在非规则场中应用比较普遍。 2 物体空间扫描的体绘制技术【2 l 】【2 2 】1 2 3 】 物体空间扫描算法是对物体空间的数据网格，逐层、逐行、逐个的加以处理， 计算每一个数据点对屏幕像素的贡献，并加以合成，形成最后的图像。体数据可 以按照距图像平面由近到远的顺序投影，也可以按照由远到近的顺序进行投影。 目前，国内外已经提出了许多物体空间扫描的体绘制算法，下面介绍比较常用的 四种： ( 1 ) 足迹表法( f o o t p r i n t m e t h o d ) 【2 4 1 足迹表法又称s p l a t t i n g 方法，和图像空间扫描的体绘制算法一样，足迹表 法首先需要对数据进行分类。根据分类结果赋以颜色值及不透明度值，并进行明 暗计算，从而得到一个离散的三维光强度场。将其重构为连续场，并决定每一个 三维采样点对屏幕像素点有所贡献的范围。某一个像素点的最终光强度值可以通 过对像素点有所贡献的全部采样点重构核的空间卷积域作积分求得。因此总的积 分次数将等于三维采样点数乘以重构核空间卷积域的平面投影区域内的像素数。 显然这一计算量是相当大的。足迹表法正是为了解决这一问题而提出来的。其目 的在于快速决定在任意观察方向三维采样点重构核空间卷积域的平面投影域及 对每个像素的贡献大小。其步骤为首先选择重构核，预计算通用足迹表，然后将 体数据转换到图像空间，查表找出体素对于像素的贡献值，最后合成图像。 对于光线投射法来说，当观察方向改变后，就需要重新采样并进行插值运算， 而对于s p l a t t i n g 方法，若视线方向发生变化，就需要重新计算重构核空间卷积 域的椭圆投影，投影中的每个像素都需进行旋转和比例变换，以便查找通用足迹 表，因此针对以上问题