（电路与系统专业论文）基于gpu的高质量交互式可视化技术研究.pdf

摘要 近十年来，可视化技术成为科学研究的一个热点方向。随着医学影像技术的 发展，迫切需要有效的可视化技术对海量体数据进行分析。由于体绘制技术可以 真实地显示三维物体内部信息，逐渐成为主要的可视化手段。高质量的体绘制效 果需要大量的运算，从而导致交互性能的严重下降，不能应用于许多对实时性要 求较高的领域。同时，由于缺乏适合用于描述和建模真实物体内在特性的物理模 型，绘制参数的选择和交互工具的设计对体绘制非常关键。本文重点研究基于通 用图形处理器( g p u ) 的直接体绘制技术，力图在绘制的真实感与交互性能之间寻 求一个良好的平衡，最终设计实现能够具有应用价值的可视化处理系统。本文的 主要贡献包括以下四个方面： 1 在体绘制的光照效果方面，利用g p u 的可编程性提出了一种基于p e r p i x e l 光照的体绘制算法。在绘制过程中使用归一化梯度对每个像素实时计算光照贡献， 明显改善了绘制的明暗效果，在一个绘制通道中完成所有绘制过程，得到可交互 的高质量绘制结果。 2 在体绘制的传递函数设计方面，利用g p u 的纹理特性提出了一种基于空 间信息的交互式多维传递函数设计算法。在传递函数中根据体数据值和位置信息 对局部空间区域指定绘制参数，并将整个绘制过程映射到g p u 上，实现了对数据 场中感兴趣区域的自由绘制。 3 在体数据的交互式分析方面，利用图像分割理论根据组织结构对数据场分 类，提出了一种基于组织分割的多物体混合体绘制算法。在g p u 的像素处理阶段 完成对分割物体的独立绘制，实现了数据场中不同物体结构的快速分析。另外， 利用体索的空间位置完成数据场区域分类，提出了一种基于空间区域标识的交互 式体切割算法。绘制中g p u 的并行处理能力提高了切割操作的实时性，实现了对 数据场中任意区域隐藏信息的分析。 4 在大规模数据场实时绘制方面，充分利用g p u 资源，提出了一种基于动 态纹理载入的实时体绘制算法。通过分块绘制的方式改进绘制流程，图形硬件中 仅存储一部分体数据，并在绘制中实时计算梯度，减少纹理内存的占用，在普通 p c 平台上实现了大规模数据场的高质量实时体绘制。 关键词：图形硬件，g p u ，可视化，体绘制，光照计算，传递函数，数据分类 体切割，纹理分块，系统设计 a b s t r a c t t h et e c h n i q u e sf o rv o l u m ev i s u a l i z a t i o nh a v eb e e no n eo ft h ea c t i v et o p i c so v e r t h el a s td e c a d e w j t hr a p i dp r o g r e s so fm o d e mm e d i c i n e 1 a r g e ra n dl a r g e rs c a l e v o l u m e t r i cd a t a s e t sd e m a n do nm o r ee f f e c t i v ea n de f f i c i e n tv i s u a l i z a t i o na l g o r i t h m s r e c e n t l y ，s u r f a c ee x t r a c t i o nt e c h n i q u e sa r eg r a d u a l l yt a k e np l a c e db yd i r e c tv o l u m e r e n d e r i n g ，w h i c hc a nv i s u a l i z et h ev o l u m e t r i ci n f o r m a t i o nw i t has e m i t r a n s p a r e n t r e a l i s t i ce f f e c t t h e r ea r et w oc h a l l e n g e so nd i r e c tv o l u m er e n d e r i n g f i r s t l y d u et ot h e h i g hc o m p u t a t i o n a le x p e n s eo fa c c u r a t er a yi n t e g r a t i o n h i g hq u a l i t yi m a g ea n d o p t i m i z e dp e r f o r m a n c ec a nn o tb eo b t a i n e ds i m u l t a n e o u s l y s e c o n d l y ，t h ec o m p l e x i t y o ft h ev o l u m e t r i cd a t a s e to f t e ni n c r e a s e st h ed i f f i c u l t yo nt h ee f f i c i e n tv o l u m ea n a l y s i s i nt h i st h e s i s ，w ef o c n so nt h et e c h n i q u e so fg p u ( g r a p h i c sp r o c e s s i n gu n i t ) b a s e d v o l u m er e n d e r i n g w ep r o p o s et os e e kf o rat r a d e o f fb e t w e e nt h er e a l i s t i ce f f e c t sa n d i n t e r a c t i v ep e r f o r m a n c e n em a i nc o n t r i b u t i o n so ft h i st h e s i sa r el i s t e d i nt h e f o l l o w i n gf o u rr e s p e c t s ： 1 v o l u m es h a d i n g ：w ep r o p o s ean o v e la l g o r i t h mf o rt e x t u r e b a s e dv o l u m e r e n d e r i n gb a s e do nt h ep e r p i x e ls h a d i n gw h i c hc a ni m p r o v et h er e n d e r i n gq u a l i t y g r e a t l y t h ep i x e l - w i s ea c c u r a t es h a d i n gi sp r o d u c e df o rt h ea r b i t r a r ya n dd y n a m i c a l l y c h a n g i n gd i r e c t i o n a ll i g h ts o u r c eu s i n gt h en o r m a l i z e dg r a d i e n td u r i n gt h el i g h t i n g f u r t h e r m o r e t h ef l e x i b l eg p uf u n c t i o n a l i t yi su t i l i z e dt oe n a b l ef a s td a t al o a d i n ga n d i n t e r a c t i v er e n d e r i n g 2 t r a n s f e rf u n c t i o nd e s i g n ：w ep r o p o s eam e c h a n i s mt oi n d u c ei n t e r a c t i v e s p a t i a lm u l t i d i m e n s i o n a lt r a n s f e rf u n c t i o n s w h i c hc a na s s i g nc o l o ra n do p a c i t yt ot h e v o l u m eb a s e dn o to n l yo nt h es c a l a ri n t e n s i t yo ft h ed a t a s e tb u ta l s oo nt h ep o s i t i o no f v o x e l s t h ep r o p o s e dt e c h n i q u ei si m p l e m e n t e db yt h eg p ut e x t u r ef u n c t i o n a l i t yt o e n a b l ei n t e r a c t i v e l ys e l e c ta n de x p l o r er e g i o n so ft h ev o l u m e t r i cd a t a s e t 3 d a t a c e n t e r e dv o l u m ea n a l y s i sa n dr e n d e r i n g ：t od i s t i n g u i s ht h ed a t a s t r u c t u r e se f f i c i e n t l y ，w ep r o p o s eam u l t i o b j e c th y b r i dv o l u m er e n d e r i n ga l g o r i t h m b a s e do ni m a g es e g m e n t a t i o n t h ee f f e c tv o l u m ea n a l y s i si sa r c h i v e db yd a t a c l a s s i f i c a t i o n 1 1 l ep r o p o s e dt e c h n i q u ei si m p l e m e n t e do nt h eg p u p i x e lp r o c e s s o rt o p r o v i d e t h er e a s o n a b l e p e r f o r m a n c e m o r e o v e r a ne f n c i e n t i n t e r a c t i v ev o l u m e c l i p p i n gm e t h o db a s e do nt h ed a t a s e tr e g i o nm a r k i n gi sp r o p o s e dt oe x p o s et h eh i d d e n i m p o r t a n ti n f o r m a t i o n 1 1 h ep r o p o s e dt e c h n i q u ei si n t e g r a t e di n t ot h eg r a p h i c s h a r d w a r et oa c c e l e r a t ev o l u m er e n d e r i n g 4 r e n d e r i n gp i p e l i n e ：w ep r o p o s eam o d i f i e dp i p e l i n et ol o a dt h ed a t a s e t d y n a m i c a l l y ，a n dr e s i d eo n l yo n ed a t ab r i c ko nt e x t u r em e m o r yd u r i n gt h er e n d e r i n g t h em e t h o di sv e r ye f f i c i e n tf o rr e n d e r i n gl a r g e - s c a l ev o l u m e t r i cd a t a s e tj n t e r a c t i v e l y o ng e n e r a lp u r p o s ep c s u s i n gt h eg p ua sac o p r o c e s s o r , t h eg r a d i e n ti se s t i m a t e do n t h ef l yt oa v o i dt h em e m o r yc o n s u m p t i o n k e y w o r d s ：g r a p h i ch a r d w a r e ，g p u ，v i s u a l i z a t i o n ，v o l u m er e n d e r i n g ，s h a d i n g ， t r a n s f e rf u n c t i o n ，c l a s s i f i c a t i o n ，s e g m e n t a t i o n ，v o l u m e c l i p p i n g ，t e x t u r e b r i c k i n g ，s y s t e md e s i g n 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指 导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加| 三l 标注和致谢中所 罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得 西安电子科技大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同志 对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处本人承担一切的法律责任。 本人魏益童本人签名：兰堕墨2日期塑：垒尘 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校 攻读学位期间论文：l ：作的知识产权单位属西安电子科技人学。学校有权保留送交论文的 复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影 印、缩印或其它复制手段保存论文。同时本入保证，毕业后结合学位论文研究课题再撰 写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 基芬 本人签名：兰堕：暨 导师签名； 嘲印鼍， 柱脚b 期点掣 第一章绪论 第一章绪论 1 1 研究背景及意义 可视化( v i s u a l i z a t i o n ) 技术是指运用计算机图形学和图像处理技术，将数据转 换化为图形或图像在屏幕上显示，并进行交互处理的理论、方法和技术。它涉及 计算机图形学、图像处理、计算机辅助设计、计算机视觉及人机交互技术等多个 领域。可视化概念首先来自科学计算可视化( v i s u a l i z a t i o ni ns c i e n t i f i cc o m p u t i n 曲， 科学家需要通过图形图像来分析由计算机产生的数据，同时还需要了解在计算过 程中数据的变化。随着计算机技术的发展，数据可视化概念得到了极大地扩展， 不仅包括科学计算数据的可视化，而且包括工程数据和测量数掘的可视化。学术 界常把这种空问数据的可视化称为体视化”1 ( v o l u m ev i s u a l i z a t i o n ) 技术。 长期以来，计算机技术由于其水平所限，不能对数据处理过程进行干预，输 出的数据也只能采用人工方式处理，因而很难对其进行交互分析。这样，不仅难 以及时得到数据直观的整体概念，而且还有可能丢失大量的信息。随着计算机处 理速度的迅速提高，内存容量和磁盘空问的不断扩大，网络功能的同益增强，普 通p c 硬件即可实现许多重要的图形生成及图像处理算法，而数据可视化技术的 运用，可以更加形象地显示海量的数据和信息，并进行交互处理。同时，随着超 级计算机、卫星、先进医学成像设备以及地质勘探的数据与日俱增，数据的有效 处理越来越成为迫切需要解决的问题。通过可视化技术，将数据用图形和图像表 示出来，能够从表面上看是杂乱无章的海量数据中，找出其中隐藏的规律，从而 为科学发现、工程开发、医疗诊断和业务决策等提供依据。而且，利用可视化技 术可以实现对处理过程的引导和控制，通过交互地改变处理的依据条件，对数据 问的相互关系进行可视化显示，有效地提高分析大量抽象数据的能力。 1 9 8 7 年2 月，美国国家科学基金会在华盛顿召开了有关科学计算可视化的首 次会议，与会者均为来自计算机图形学、图像处理以及从事各种科学计算等领域 的学者。会议认为，“将图形和图像技术应用于科学计算是一个全新的领域”，并 指出，“科学家们不仅需要分析由计算机得出的计算数据，而且需要了解在计算过 程中数据的变化，而这些都需要借助于计算机图形学及图像处理技术”。会议将这 一涉及到多个学科的领域定名为“v i s u a l i z a t i o ni ns c i e n t i f i cc o m p u t i n g ”，简称 “s c i e n t i f i cv i s u a l i z a t i o n ”。近十年来，随着计算机相关技术的发展，科学可视化 技术成为国际上计算机图形学的研究热点油“。欧洲图形学会开辟了一年一度的 可视化专题研讨会，而i e e e 则每年举行次可视化的年会，各种有关的杂志中 也有大量的篇幅是关于可视化技术的。欧美许多发达国家的科研机构、大学和著 2 基于g p u 的高质量交互式可视化技术研究 名的公司均对可视化技术进行了广泛的研究。科学可视化已广泛地应用于计算流 体力学、有限元分析、医学图像处理呻1 、数学。1 嘲、物理、地质学、气象预报 卿、生命科学等领域。 医学影像可视化技术是目前可视化技术领域的研究热点，是计算机可视化技 术在生物医学工程中的重要应用。它涉及到计算机图形学、数字图像处理、生物 医学工程等多种技术，是一项多学科交叉的研究课题【1 0 9 l 。 1 9 6 8 年是医学影像学发展史上的里程碑，英国e m l 公司的h o u n s f i e l d 成功 设计出计算机辅助大脑扫描器 c o m p u t e r - a s s i s t e db r a i ns c a 仰e r ) 。该扫描器可以输 出清晰的脑部图像，使无创认知人体结构成为现实。随后，商品化的计算机断层 扫描f c o m p u t e dt o m o g r a p h y ，c n 设备投入医学临床应用。为此，1 9 7 9 年， h o u n s f i e l d 和合作者c o r m a c k 被分别授予诺贝尔物理奖和医学奖。核磁共振 ( m a g n e t i cr e s o n a n c ei m a g i n g ，m r i ) 、超声( u l t r a s o n o g r a p h y ，u s ) - 等先进的影像技 术也相继问世，并成功应用于临床。美国国家医学图书馆( n l m ) 于1 9 8 9 年开始实 施可视化人体计划“( v h p ) 。委托科罗拉多大学医学院建立一男一女的全部解剖 结构数据库。将一具男性和一具女性尸体做全身c t 和m r i 扫描，所得数据共 5 6 g b ( 男1 3 g b ，女4 3 g b ) ，用于教学和科学研究。v h p 数据集的出现，标志着 计算机三维可视化技术和虚拟现实技术进入了医学领域，进而促进了医学的发展 和普及。 通常，医疗仪器只能提供人体内部的二维断层图像，医生们需凭经验由多幅 二维图像去估计病灶的大小、形状以及与其周围组织的空阃关系。但在放射治疗 应用中，仅根据二维断层图像上的解剖位置信息，很难得到病变准确的三维坐标， 从而导致病变定位的失真与畸变。利用可视化技术可以将二维断层图像序列转变 成为具有直观立体效果的图像，展现人体器官的三维结构与形态，提供用传统手 段无法获得的解剖结构信息并为进一步虚拟操作提供视觉交互手段【埘l ，从而 大大提高医疗诊断和治疗规划的准确性。 目前在国外，已经有了一些医学影像可视化处理的商品化系统。有的是一个 独立的系统，如英国的v o x a d ，美国的v i a t r o n i x l l 3 4 1 ，v i t a li m a g e s 】， t e r a r e c o n l l 2 ，以及加拿大的c e d a r a t 2 1 等，它们可以根据用户需要，与不同厂家 的c t 或m r i 配合使用。有的则是医疗设备的一个组成部分，如美国通用电气 ( g e ) 、荷兰飞利浦( p h i l l p s ) 和德国西门子( s i e m e n s ) 等生产的螺旋c t 扫描设备 均附有基于图形工作站( s o l ，s u m 的内置式医学图像可视化系统。利用这些系统， 在将扫描图像输入计算机以后，可用不同方法构造出三维形体，并对三维图像由 外向内按层剥离或作任意位置的剖切来分析内部结构，也可以完成实时的平移、 旋转、放大或缩小操作，还有测量距离、计算体积等功能。显然，具有如此强大 功能的三维医学图像处理系统将给诊断和治疗提供极大的方便。但是，这种系统 第一章绪论 3 需要运算速度很高、存储容量很大的计算机系统，连同软件在一起，价格非常昂 贵，影响了可视化技术在实际临床的普及。 国内在三维重建及可视化方面，浙江大学、清华大学、东南大学、复旦大学、 大连理工、中科院自动化所等单位均投入资会和人力傲了大量研究，开发了一些 实验系统，如中科院自动化所的3 d m e d l ”l ，清华大学计算机系研制的人体断面解 剖图像三维重建系统等。但它们还存在系统功能不完善、缺乏临床应用的指导等 缺陷，尚无成熟的商用系统。 因此，开展基于普通p c 图形显示平台的高质量交互式可视化技术的研究， 促进可视化技术的进一步发展，具有重要的理论意义及广阔的应用前景。同时， 推动可视化方法在医学领域的应用，对于提高医疗诊断和治疗规划的准确性与科 学性，也具有重要的现实意义。 1 2 研究进展及现状 可视化处理的三维物体数据称为体数据，由于体数据的来源丰富多样，数据 量及数据形式也有较大的差异。根据三维空问上离散数据间的连接关系，体数据 可分为：结构化数据、非结构化数据以及结构化和非结构化混合型数据。结构化 数据是在逻辑上可以组织成三维数组的空问离散数据，即这些空间离散数据的每 个元素都具有三维数组各元素之问的逻辑关系，都有各自所在的层号、行号和列 号，如由医疗设备产生的数据场。非结构化数据【8 l 3 7 1 t 8 5 1 1 1 2 5 1 由一系列的单元构成， 这些单元可以是四面体、六面体、三棱柱或者四棱锥等，但不能组织成三维数组。 对于三维结构化数据场，根据图像表达的方式，其可视化成像方法可分为面 绘制法( s u r f a c er e n d e r i n g ) 和直接体绘制法( d i r e c tv o l u m er e n d e d n 曲。 面绘制就是运用分类操作将数据场中感兴趣的部分提取出束并以面的方式显 示，常用的是等值面。其方法可分为两大类：一类是先在一系列的二维切面上生 成等值线脚j 1 1 ，然后将这些等值线连接成等值曲面；另一类是直接在数据场中抽 取等值面。相对而苦，前一种方法占用存储少，速度快，便于进行三维实时旋转 操作，而且可以纠正由于分类不当导致的错误结果。但在确定相邻切片间多分支 等值线的拓扑关系以及分支处顶点的连接关系时比较困难，这一问题至今尚未彻 底解决。后者避免了相邻切片问等值线连接的困难，可以直接生成三维等值曲面， 其中最著名的是移动立方体法印l ( m a r c h i n gc u b e s ) ，它首先由给定的闽值将每个数 据体素的八个顶点的数值二值化，然后根据这些信息相互问的拓扑关系，分成1 5 种情况进行等值面的匹配生成。该方法可以快速生成等值面，但在1 5 种情况中， 有些情况中存在等值面生成的二义性。对此，人们进行了进一步的研究，对二义 4 基于g p u 的高质量交互式可视化技术研究 性的产生有了较深入的认识，并提出了许多有效的方法【1 1 0 l 【1 1 1 i 。 面绘制法将感兴趣的部分以等值面的方式抽取出来，利用真实感技术生成高 质量的图像，可以方便地迸行观察和分析。但这种方法每次只能显示一个值的等 值面，且需要借助几何图元来表示，不能反映数据场中各种因素的相互关系，难 以把握数据场的全局状况。由于体数据中的物体结构般复杂而细腻，如人体器 官和软组织等，很难用几何图元来准确描述。另外，基于表面的可视化方法不能 保留原有体数据的物理属性，舍弃了物体内部的大量有用信息，不利于进一步处 理。 为了克服上述缺陷，引入了直接体绘制方法【4 7 1 i ( d i r e c tv o l u m er e n d e f i n 曲，简 称为体绘制方法( v o l u m er e n d e f i n g ) 。体绘制法无需通过提取几何图元来恢复体数 据中的物体表面，而是直接对体数据进行显示。由于体素( v o x e l ) 是绘制的基本处 理单位，因此也称为基于体素的体绘制。 体绘制技术的中心思想【7 2 j 是为每一个体素指定一个阻光度( o p a c i t y ) ，并考虑 每一个体素对光线的透射、发射和反射作用。光线的透射取决于体素的不透明度， 光线的发射强度取决于体素的物质度，光线的反射则取决于体素的法向量与入射 光之间的夹角关系。体绘制的步骤原则上可分为投射、消隐、渲染和合成等四个 步骤。体绘制算法按处理数据域的不同可分为空问域方法和变换域方法。前者是 直接对原始的空间数据( 体数据) 进行处理显示，后者是将体数据变换到变换域， 然后再进行处理显示。 本文主要研究基于体绘制的可视化技术，下面简要介绍目前的典型算法。 1 2 1 典型体绘制算法 空间域方法的典型算法 ( 1 ) 光线投射法1 7 2 1 1 7 3 1 1 8 4 1 1 9 7 1 1 1 2 2 1 1 1 5 9 1 该类算法在有关体绘制研究的文献中占有很大篇幅。k a j i y a l 7 2 l 首先将基于光 线投射的理论应用于体绘制中，其基本原理是根据视觉成像原理，构造出理想化 的物理视觉模型，即将每个体素部看成为能够透射、发射和反射光线的粒子，然 后根据光照模型或明暗模型，依据体素的介质特性得到它们的颜色( 灰度图像为 亮度) 和阻光度，并沿着视线观察方向积分，最后在像平面上形成具有半透明效 果的图像。 ( 2 ) 足迹法【1 7 1 1 4 3 l 【1 0 l 】f 1 0 2 1 1 1 0 3 1 1 1 0 6 j 【1 鹪l 【1 1 3 1 1 1 5 1 i f l 6 1 1 足迹法首先由w e s t o v e r 【1 6 1 i 提出，其原理是将体数据表示为一个由交叠的基本 函数构成的矩阵，基本函数通常选择幅值由体素值表示的高斯函数核，然后根据 一个预先计算的，并且存储着沿视线方向对函数核积分的足迹查询表，把这些基 第一章绪论 5 本函数投射到像平面生成图像。其实质也可看作为体数据与函数核卷积运算，然 后再沿视线的反方向投射积累到像平面的过程。 ( 3 ) 剪切一曲变法1 6 6 1 1 6 7 1 3 3 l 【1 删 剪切一曲变法目前被认为是一种速度最快的基于软件实现的体绘制算法。它 采用一种体素和图像的编码方案，在遍历体素和图像的同时略去透明的体素和不 透明的图像区域。在预处理时，体素经过不透明度初分类，并采用行程长度编码， 然后用类似于射线投射法的方法进行绘制。其绘制过程可简化为通过剪切出适当 的编码体素，使射线正交于所有的体素层，利用双线性插值在遍历的体素层内得 到采样值，再通过曲变将体素平行于基准平面的图像转换为屏幕图像。 ( 4 ) 基于图形硬件的纹理映射法【1 6 】1 1 9 j 1 2 4 1 1 3 1 1 1 5 2 j 【叫1 6 5 l 【”l 【9 5 1 1 1 2 3 1 1 1 2 6 1 基于图形硬件的纹理映射首先由c a b r a l l l 6 l 应用于无明暗处理的绘制。其方法 是首先将体数据装载到纹理内存，再由硬件将平行于视平面的采样多边形层片绘 制为图像。这些层片是由后向前地进行融合，采用硬件固化的线性函数完成插值 滤波，而层片间的距离可以任意选择。目前，这种方法已被推广应用到具有明暗 处理的体绘制中。 变换域方法的典型算法 ( 1 ) 频域体绘制法1 4 5 l 频域体绘制法的基本原理是首先用三维傅立叶变换将空间域的体数据变换到 频域得到离散频谱，然后沿着经过原点并与视线方向正交的采样平面，对离散频 谱进行插值，插值后的频谱再经过重新采样后得到一个两维的频谱，对其作两维 傅立叶反变换即可得到该视线方向上的空间域投影图。 ( 2 ) 基于小波的体绘制法【4 l l 【4 2 l i 明 基于小波的体绘制方法主要有：小波域光线投射法和小波足迹法1 4 2 】【彻。前 者的基本思想是将体数据的三维离散小波变换的结果直接代入体绘制方程中求 解，本质上是光线投射法在小波域的实现。后者的基本思想是利用傅立叶频域绘 制先得到每个小波和尺度函数的足迹，再通过小波系数加权得到投影图像。 算法性能评价嗍 光线投射法采用为每个体素分配阻光度和光强的方法来合成图像，因此有利 于保留图像的细节，绘制高品质的图像，特别适用于绘制区域特征模糊、体素特 征相关性高的三维图像。但由于需要对每一个体素进行操作，绘制速度较慢。为 此，人们提出了各种加速算法，如可以略过三维图像透明区域的空间跳跃算法 阳1 ( s p a c e l e a p i n g ) 、累积光线强度接近于零时终止光线投射的光线提前终止法 l x 5 4 1 ( e a r l yr a yt e r m i n a t i o n ) 等。 足迹法最大的优点是只有与绘制图像有关的体素才会被映射到像平面，从而 极大地减少了需要处理和存储的数据量1 1 6 8 1 i ”】。足迹法采用一个经过足迹样条的 6 基于g p u 的高质量交互式可视化技术研究 均值来代替射线投射法的点采样，相当于引入了一个低通滤波器对信号进行平滑 滤波。这有利于克服图像的失真或混叠，但有时也会使图像的高频分量受到衰减 1 1 0 4 1 1 1 0 5 l ，降低对细节特征的绘制能力。足迹法也有类似于射线提前终止法的加速 算法，如基于动态计算屏幕阻塞 虱( s c r e e no c c l u s i o nm a p ) 的足迹提前终止法【1 0 7 1 。 剪切一曲变算法中，体素行程是按阻光度的初分类进行r l e 编码的，需要在 三个主视方向上构造出独立的编码体素。因为采样插值仅出现在剪切出的体素层， 所以体绘制积分的采样间距与视线方向相关，且不能任意改变来满足沿射线进行 密集采样( 或过采样) 。这样，在非主视线方向上可能不能遵守采样定理，特别是 在成像空间的分辨率高于体素分辨率时，会导致所绘制的图像质量明显下降。 由于原有图形硬件的限制，纹理映射的实现需要基于昂贵的高级图形硬件， 而且有限的纹理内存也制约了可绘制体数据场的规模。限制纹理映射绘制图像质 量的主要因素归结于图像帧存储器有限的位分辨率，严重制约了阻光度加权颜色 ( 或亮度) 方法的使用。由于低阻光度的体素经阻光度加权后，其体素的颜色( 或 亮度) 值会降低到帧存储器分辨率以下，从而限制了具有低阻光度、低密度体素 区域的合成绘制。 频域体绘制法利用快速傅立时变换可以达到较快的绘制速度，而且可以在频 域内灵活地根据不同的视线方向对离散频谱采样，因此可以方便快速地得到不同 视角的图像，但是由于不能保留体素的光吸收特性，因此很难得到半透明的体绘 制效果。 小波域光线投射法具有光线投射法的许多优点，如高质量的图像、半透明的 绘制效果以及可以加入各种明暗处理等，但计算量大，绘制速度慢。小波足迹法 的优点是绘制速度快，可以达到用于网络交互的速率，但足迹的数目对图像质量 影响较大t 。 上述各种体绘制算法的性能比较，总结列举在表1 1 中。 表1 1 算法的主要性能评价 体绘制算法图像质量绘制速度算法特点 光线投射法摄高慢 无需分割， 占用内存大 空 足迹法高较快 可利用阻 占用内存小，可渐进显示 间 光度得到 域 剪切一曲变法中等快 整体层次 t 叶用内存小 硬件纹理映射较高 最快 结构 硬件加速，绘制速度快 变 频域体绘制法较高快x 光片效果利崩f f r ，算法简洁 换 小 光线投射法 高 慢可利h | 阻光度得到整体结构，占f 内存丈 域 波 域 足迹法 较高较快x 光片效累，可渐进显示局部细节 第一章绪论 7 最近，随着通用图形硬件的高速发展，普通p c 图形硬件具备了强大的并行 处理能力和极高的存储带宽，同时在顶点处理和像素处理阶段都提供了灵活的可 编程性并支持高精度的浮点运算。因此人们提出了许多基于纹理映射的改进体绘 制算法。e n g e l 2 4 l 等采用预先计算光线段的积分，并将结果存放为查找表，在绘制 中利用相关纹理对查找表采样的方法，在不增加采样切片的情况下提高了绘制质 量。r o e t t g e r l l 2 q 等将射线提i j 终止和空间跳跃的思想引入纹理映射体绘制算法中， 以提高绘制的交互性能。l u r e l 8 1 纹理映射体绘制算法应用于时变体数据的绘制， 利用纹理调色板实现利用离散余弦变换的时域编码和解码操作。 由于运算量巨大，目前基于软件的体绘制算法基本不能实现实时的交互操作。 针对绘制中大量的计算和对带宽的极高要求，基于图形硬件纹理映射的体绘制逐 步成为对规则网格体数据绘制最为实际可行的方法 1 5 7 1 。 1 2 2 通用图形硬件的发展 由于受硬件条件的限制，在计算机图形学发展初期，图形显示只是作为计算 机输出的一种手段1 1 8 1 1 2 5 】f 2 8 】f 3 3 】。g p u ( g r a p h i c sp r o c e s s i n gu n i t ) 的概念于1 9 9 9 年由 n v i d l a 公司提出1 3 ”，被定义为“一个单芯片的处理器，集成了几何变换、光照、 三角形构造、裁剪和绘制引擎功能，并具有每秒至少1 千万个多边形的处理能力”。 1 9 9 8 年以来，g p u 的性能以每年2 8 倍的速度增长。工作频率为3 0 g h z 的i n t e l p e n t i u m4 处理器，晶体管数目为1 2 5 亿个，采用s s e 指令集的s i m d ( 单指令 多数据流) 只能达到6 g f l o p s 的峰值浮点处理能力，而n v l d i a n v 4 0g p u l l l 2 1 有 2 2 2 亿个晶体管，峰值浮点运算能力超过4 0 g f l o p s 。图形处理器绘制流水线的高 速度和并行性以及新引入的可编程功能为图形处理的应用提供了良好的运行平 台，使得基于g p u 的应用成为近年来的一个研究热点【1 1 1 1 6 8 1 1 9 引。 g p u 所提供的可编程功能以顶点处理器和像素处理器的形式实现，由每个处 理器执行用户定义的汇编级绘制程序( s h a d e r p r o g r a m ) ，对流数据( 顶点像素) 执 行绘制程序的操作【1 1 0 l 。典型的可编程g p u 处理流水线如图1 1 所示，其中顶点 处理器【5 l 负责处理顶点数据流( 包括位置、颜色，光照等) 。由于顶点处理操作都 是在空间几何点上进行，因此顶点处理器非常适合于几何操作的计算。像素处理 器 4 j 应用在几何处理和转换之后，负责为每个像素分配j 下确的颜色。其中纹理映 射( t e x t u r em a p p i n gu n i t ) 操作能以纹理采样的方式读取显存。而且，在运算中g p u 提供了i e e e 3 2 浮点精度的运算和存储格式，提高了绘制过程的精度，显著改善 了绘制图像质量。最近基于s h a d e rm o d e l3 0 版本1 6 j 的顶点和像素处理硬件开始支 持动念流控制的循环、分支和子函数操作，提供了顶点处理程序纹理访问操作， 而且像素处理程序可同时访问1 6 个独立的纹理，支持指令长度不受限制的绘制程 8 基于g p u 的高质鼍交互式可视化技术研究 序，可以实现更为复杂的图像处理算法。 顶点存储区 顶点处理器 光栅化 像素处理器 帧存储区 图1 1 目前的g p u 的渲染管线，粗框菱形部分表示具备可编程能力 由于g p u 在结构上缺少大容量局部存储，在像素处理器内用于计算的是纹理 存储器，通常容量为2 5 6 m b 。近年来，i n t e l 提出了新型的p c ie x p r e s s 图形接口 总线标准，传输带宽扩大到8 g b s ，具有双向同等的传输率。有效地提高了g p u 访问主机内存的速度，缓解了有限的局部存储对大规模数据场可视化应用的制约。 在软件上，主要是通过图形a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ) 来应用 g p u 的新功能。o p e n g l 作为事实上的工业标准已被学术界和工业界普遍接受， 由于其具有跨平台应用的特点，因而绝大部分与图形有关的应用产品一直以 o p e n g l 作为实现按v i 。但是o p e n g l 架构委员会( a r b ) 对版本的控制比较严格， o p e n g l 对g p u 新功能的支持较缓慢。d i r e c t x 则作为微软w i n d o w s 的标准，其 图形绘制接口d i r e c t 3 d 也得到广泛接受和应用，特别是作为游戏软件的实现接口。 d i r e c t x 根据g p u 新产品功能的扩充与进展及时地定义新的版本，几乎与g p u 提 供的功能同步，但由于从属于w i n d o w s 平台，不适合于跨平台的应用领域。 将图像处理中各种算法转换到顶点，像素处理器可编程算法是应用g p u 进行 图形操作的关键。由于目前主流g p u 平台中像素处理单元的计算模型和操作资源 有限，功能也在较低层次，且受到流处理的读写种类等限制，因此将图像处理的 各种算法转换为顶点像素处理编程是困难的，需要算法设计者精心考虑，充分利 用有限资源和有限操作功能。 直接使用o p e n g l 或d i r e c t x 扩充的接口软件对g p u 编程是比较好的g p u 应用方式，可以从底层更灵活地操作g p u ，但由于需要考虑硬件结构的许多具体 问题，操作过程比较繁琐和困难。目前已有许多针对新型标准绘制语言的研究， 使g p u 硬件的具体功能对用户透明，简化g p u 的应用过程。如o p e n g ls h a d i n g l a n g u a g e t 4 8 1 1 1 嚣1 ，斯坦福大学的r t s l i s t l l l 2 0 i ( r e a l t i m es h a d i n gl a n g u a g e ) ，m i c r o s o f t 的a l s l t l l 4 ( h i g h 1 e v e ls h a d i n gl a n g u a g e ) 以及n v i d i a 的c g 驯。尽管还未形成统 一的绘制语言，这些语言的研究和应用为用户提供了比直接基于a p i 编程较为方 便和高层次的工具。 第一章绪论 9 目前普通计算机图形硬件在运算速度、图像质量和可编程性方面甚至都超过 了专业的图形工作站，可以对现实世界中的各种材质和光照效果进行更真实的建 模仿真，而且价格仅是专业图形工作站的1 4 以下，这为基于普通图形硬件实现 三维大规模数据场的商质量、实时绘制提供了条件。同时，由于大数据量的图形 环境模型以及虚拟现实、计算机仿真、计算机游戏等实时需求向图形处理提出了 越来越高的要求【3 9 l ，g p u 将得到进一步的高速发展。随着g p u 功能的更丰富和 处理能力的更强大，g p u 的应用将不仅仅局限于图形领域呻1 1 7 0 1 1 5 3 1 ，大量的通用 并行计算都可以从中获益f 1 3 5 1 【1 3 7 1 矧。 1 3 论文的主要研究内容与章节安排 论文在西安电子科技大学博士生创新基金( 创0 5 0 1 2 ) 和西安电子科技大学 研究生创新基地合作企业西安盈谷科技有限公司的资助下，对可视化技术中的核 心内容直接体绘制技术进行了系统深入的研究。本文利用图形硬件的最新进 展，力图利用g p u 强大的处理能力和灵活的可编程性得到高质量的绘制效果并提 供良好的交互性能，最终设计具有应用价值的可视化处理系统。首先分析体绘制 中的光照效果，设计新的光照计算方法以提高绘制结果的真实感。其次，研究不 同的数据分类方法，采用多种绘制效果实现对数据场的交互式分析。然后，改进 绘制流程以克服硬件对数据规模的制约，实现对大规模数据场的实时绘制。最后， 将改进的体绘制算法应用于实际的医学影像处理中，实现基于普通p c 硬件的高 性能医学影像可视化系统的结构设计。 论文的章节安排如下： 第一章概述了可视化技术和目前通用图形硬件的发展状况及其在各种领域的 应用，阐明了本文的选题背景和意义。 第二章建立了光线在物体中传播的光学模型，分析了体绘制基本原理，导出 了体绘制积分等式的数值求解形式。然后，重点论述了基于硬件纹理映射体绘制 的算法原理，为后续的研究工作提供了必要的理论基础。 第三章在分析体绘制中光照模型的基础上，讨论了传统纹理映射体绘制所采 用的光照计算方法。然后，利用通用图形硬件的可编程特性，提出了一种使用归 一化梯度进行高质量p e r - p i x e l 实时光照计算的算法，明显地提高了绘制图像的质 量。最后，给出了实验结果及分析比较。