（计算机科学与技术专业论文）基于gpu集群的并行体绘制.pdf

浙江大学硕士学位论文 摘要 摘要 直接体绘制是体数据可视化的一种重要方法。体数据通常来自于计算机断层 扫描( c t ) 、核磁共振成像( m r i ) 等采样设备，其他还包括如计算流体力学( c f d ) 、 地震采样数据等。很多科学计算或医学研究可以生成高分辨率的体数据，这些数 据是无法在单台计算机上进行绘制的。例如，高级c t 扫描仪可以产生兆及千兆 字节大小的高分辨率数据。而随时间变化的c f d 模拟可能包括了成百上千个时间 片，每个时间片都会产生几千兆字节的数据。 体绘制中的一个重要步骤是设计传输函数，它能突出显示体数据中人们感兴 趣的特征。寻找物质的边界是传输函数设计中的一种重要方法。本文采用 r u n g e - k u t t a 公式的方法来识别形成边界的两种物质。这两种物质用在一个称为 低一高直方图( l h ：l o w e ra n dh i g h e ri n t e n s i t yh i s t o g r a m ) 的域中来进行交互 的、半自动的传输函数设计。 并行体绘制技术可以通过在集群节点之间分布数据集和绘制计算来解决大 数据集的可视化问题。本文采用s o r t - l a s t 并行绘制技术，在集群节点之间分布 数据，每个节点绘制其中一部分子数据形成子图像，然后按照体积分公式在各个 节点之间按从后向前的顺序合成各子图像以形成最终的图像。 负载平衡是影响并行计算系统性能的一个重要问题。同样，在并行绘制中， 当使用l o d 技术或者缩放图像以观察数据集的某一部分时也会引起严重的负载不 平衡，影响系统的整体性能。本文使用k d 树在节点之间动态分布数据集，通过 前一帧的绘制时间来平衡k d 树以调整当前需要绘制的数据集，达到动态的负载 平衡。 本文通过采用基于g p u 集群的并行体绘制方法对包括美国虚拟人体( v h d ) 在内的多个体数据进行了测试，结果表明使用此方法可以有效的可视化大规模高 分辨率的数据集，使用负载平衡时系统的性能比不使用负载平衡时提高约7 0 。 关键词体绘制，多维传输函数，并行绘制，集群，负载平衡 浙江大学硕士学位论文 a b s t r a c t a b s t r a c t d i r e c tv o l u m er e n d e r i n gi sav e r yu s e f u lw a yf o rv i s u a l i z i n gv o l u m e t r i cd a t a s u c hd a t ac a l lb ea c q u i r e df r o md i f f e r e n ts o u r c e s ，l i k ed a t af r o mc o m p u t e d t o m o g r a p h y ( c do rm a g n e t i cr e s o n a n c ei m a g i n g ( m r i ) s c a n n e r s ，c o m p u t a t i o n a l f l u i dd y n a m i c s ( c f d ) a n ds e i s m i cd a t a m a n ys c i e n t i f i ca n dm e d i c a lr e s e a r c h e sc a l l p r o d u c eh i 曲一r e s o l u t i o nv o l u m ed a t as e t st h a tc a n n o tb er e n d e r e do nas i n g l ep c f o r e x a m p l e ，m e d i c a lc ts c a n n e r sc a np r o d u c el a r g es i z e so fs c a l a rd a t as e t s ，w h i c hc a nb e i nt h er a n g eo fm e g a b y t e sw e ng i g a b y t e s t i m e - d e p e n d e n tc f ds i m u l a t i o nd a t ac a l l c o m p r i s es e v e r a lg i g a b y t e sf o ras i n g l et i m es t e pa n ds e v e r a lh u n d r e do rt h o u s a n dt i m e s t e p s a ni m p o r t a n ts t e pi nv o l u m er e n d e r i n gi st od e s i g no f t r a n s f e rf u n c t i o n st h a tw i l l h i g h l i g h tt h o s ea s p e c t so ft h ev o l u m ed a t at h a ta r eo fi n t e r e s tt ot h eu $ e r f o rm a n y a p p l i c a t i o n s ，b o u n d a r i e sr e v e a lm o s to ft h ei m p o r t a n ti n f o r m a t i o n w ep r e s e n ta m e t h o dt oi d e n t i f yt h em a t e r i a l st h a tf o r mt h eb o u n d a r i e sb yt h er u n g e - k u t t am e t h o d t h e ya r et h e nu s e di nal hd o m a i nt oh e l pi n t e r a c t i v ea n ds e m i a u t o m a t i cd e s i g no f a p p r o p r i a t et r a n s f e rf u n c t i o n s p a r a l l e lv o l u m er e n d e r i n gs o l v e st h el a r g ed a t av i s u a l i z a t i o np r o b l e mb y d i s t r i b u t i n gb o t ht h ed a t aa n dr e n d e r i n gc a l c u l a t i o n sa m o n gc o m p u t e rn o d e s ht h i s p a p e r ，w ep r o p o s e at e c h n i q u ef o rs o r t l a s tp a r a l l e lv o l u m er e n d e r i n g 1 1 l ev o l u m ed a t a i ss p l i tb e t w e e nt h en o d e sa n de a c hn o d er e n d e r si t so w n p o r t i o n t h e n ，c o m p o s i t i n gi s u s e dt of o r maf i n a li m a g ef r o me a c hn o d e sr e n d e r i n g ，i e t h ev o l u m er e n d e r i n g i n t e g r a li su t i l i z e dn u m e r i c a l l yt h r o u g hb a c k - t o - f r o n tc o m p o s i t i n ga l ls u bi m a g e s l o a db a l a n c i n gi si m p o r t a n tt op a r a l l e lp r o g r a m sf o rp e r f o r m a n c er e a s o n s w h e n u s i n gl e v e lo fd e t a i lt e c h n i q u e so rw h e nz o o m i n go np a r t so ft h ed a t a s e t s ，l o a d u n b a l a n c eb e c o m e sa l li m p o r t a n ti s s u e i nt h i sp a p e r , w ep r o p o s ea t e c h n i q u et o a c h i e v eg o o dl o a db a l a n c i n gf o rp a r a l l e lv o l u m er e n d e r i n gb yd y n a m i c a l l yd i s t r i b u t i n g t h ed a t aa m o n gt h er e n d e r i n gn o d e sa c c o r d i n gt ot h ec o s to f t h ep r e v i o u sf r a m e ，w h i c h i su s e do nt h ek d - t r e et or e b a l a n c et h ei o a d b yu s i n gt h eg p u c l u s t e rb a s e dp a r a l l e lv o l u m er e n d e r i n g ，w es h o wt h a ti ti s i n d e e dau s e f u lw a yf o rv i s u a l i z i n gh i g h r e s o l u t i o nv o l u m e t r i cd a t a ，e g t h ev i s i b l e h u m a ni m a g ed a t as e to fu s n a t i o n a ll i b r a r yo fm e d i c i n ea n dt h ep e r f o r m a n c eo f t h ep a r a l l e lv o l u m er e n d e r i n gs y s t e mi si m p r o v e da b o u t7 0 k e y w o r d s v o l u m er e n d e r i n g ，m u l t i - d i m e n s i o n a lt r a n s f e rf u n c t i o n ，p a r a l l e lr e n d e r i n g ， c l n s t e r , l o a db a l a n c i n g 浙江大学硕士学位论文 图目录 图目录 图2 1 光线投射算法流程1 4 图2 - 2 数据集的二维直方图。1 7 图2 3l h 直方图1 9 图2 4 基于标量值和梯度模的传输函数。2 0 图2 5 基于l h 直方图的多维传输函数。2 1 图3 1s o r t f i r s t 并行绘制流水线2 8 图3 - 2s o r t - m i d d l e 并行绘制流水线2 9 图3 3s o r t - l a s t 并行绘制流水线3 0 图3 4 静态负载平衡3 2 图3 5r o b l e 动态负载平衡方法3 2 图3 6w h e l a n 动态负载平衡方法3 3 图3 7w 1 1 i t m a n 动态负载平衡方法3 3 图3 8m u e l l e r 动态负载平衡方法3 4 图3 - 9 基于k d 树的负载平衡3 7 图3 1 0k d 树的平衡3 7 图4 1 服务器程序流程：4 0 图4 - 2 绘制端程序流程4 4 图4 3v i s i b l eh u m a n 数据集绘制结果5 0 图4 - 4 人体上半身绘制效果5 1 图4 5 人体皮肤细节5 2 图4 6 集群节点的绘制时间5 3 图4 - 7 负载平衡比较曲线5 3 图4 8 负载平衡对比图5 4 图4 9l b 柱状图5 4 图4 1 0 常见数据集的绘制结果5 6 m 浙江大学硕士学位论文 表目录 表目录 表4 1 数据集信息 表4 2 数据块范围信息 表4 3 观察参数信息 表4 - 4 传输函数和绘制代价信息 表4 5f u e l 数据集6 4 6 4 6 4 。 表4 6t o o t h 数据集2 5 6 2 5 6 1 6 1 表4 - 7v e r t e b r a 数据集5 1 2 x 5 1 2 x 5 1 4 6 4 6 4 7 4 7 ! ；! i 5 1 ； 2 5 5 i v 浙江大学硕士学位论文 第1 章绪论 第1 章绪论 1 1 课题背景 科学计算可视化是指运用计算机图形学和图像处理技术，将科学计算过程中 产生韵数据及计算结果转换为图形或图像在屏幕上显示出来，并进行交互处理的 理论、方法和技术。可视化是一种计算方法，它将符号变为几何形体，使研究者 可以观察他们的计算结果。可视化技术可以将大量抽象的数据或计算结果用图形 或图像直观地表示出来。它可以大大加快数据的处理速度，使得时刻都在产生的 海量数据得到有效利用。可以在人与数据、人与人之间实现图像通信从而使人 们能够观察到数据中隐岔的信息，为发现和理解科学规律提供有力工具。可视化 韵应用十分广泛，凡乎涉及自然科学及工程技术的一切领域【l l 。 体绘制技术是可视化研究中最为活跃、应用领域最广的技术之一，是科学计 算可视化的一种重要方法。它能够从体数据集中抽取内在的本质信息，并借助交 互式的图形图像技术展现出来。规则数据集一般由三维笛卡尔网格体素构成。体 绘制技术研究的是如何表示、维护和绘制体数据集，从而提供观察数据内部结构 和理解物质复杂特性的机制。随着计算机硬件的飞速发展和图形功能的不断完 备，体绘制技术也在快速的发展之中。体绘制可视化技术的应用领域十分广泛， 主要包括医学、气象学和地质勘探等领域。在医学领域，由核磁共振、c t 扫描等 设备产生的人体器官密度场，对于不同的组织，表现出不同的密度值。通过在多 个方面多个剖面来表现病变区域，使医生对病变部位的大小、位置，有定性和定 量的认识，尤其是对大脑等复杂区域，体绘制可视化所带来的效果尤其明显。借 助虚拟现实的手段，医生可以对病变的部位进行确诊，制定出有效的手术方案， 并在手术之前模拟手术，在临床上也可以应用在放射诊断、制定放射治疗计划等。 在气象领域，体绘制可视化技术可以将大量的天文气象数据转换为直观的图像， 使预报人员能对未来的天气做出准确的分析和预测。在地质勘探领域，利用模拟 人工地震的方法，可j 以获褥地震岩层信息。通过数据特征的抽取和匹配，可以确 定地下的矿藏资源。由于地震数据的数据量及其庞大，而且分布高度不均匀，因 而根本无法从纸面数据做出分析。利用体绘制方法对模拟地震数据进行解释，可 以得到矿藏是否存在、矿藏位置及储量大小等重要信息，大大地提高地质勘探的 效率和安全性，节约资金，具有重大的经济效益及社会效益。 浙江大学硕士学位论文 第1 章绪论 1 2 研究况 1 2 1 体可视化技术 三维数据场的可视化主要有两种方法：面绘制和直接体绘制。 面绘制技术是从三维数据场中抽取有意义的直观信息的一种重要方法。面绘 制的基本思想是首先提取兴物体的表面信息，把三维体数据转换为由一系列 多边形表面片拟合的等值面，然后再根据光模型，用传的面绘制算法进行隐 面消除并绘制得到显示图。它实际上是把体数据转换成一种近面表示，从 而可以进一步利用已有的计算机图形学技术，甚至已有的硬件加速技术完成信息 的提取。由于它借助于面表示这样一个中间转换过程，而不是直接在上屏绘制 体数据，有时我们又称之为间接体绘制。 体绘制的研究始于2 0 世纪7 0 年代。促使体绘制迅速发展的因素有两个：一 方面是图处理、图形学和计算机视觉等相关学科日益完善，为体绘制的立提 供了必要的理论和方法；另一方面是随着各种技术的发展，在许多医学、气 象学和地质勘探等领域都出现了大量的体数据，对体绘制的需求越来越迫切。 体绘制是伴随着c t 、m r i 等医学成技术的产生而发展起来的，随着l e v o y 和d r e b i n 等人提出直接体绘制算法【3 】，直接体绘制技术已经成为三维数据场可视 化的一种重要方法，它能产生高质量的图。因为很多数据集中包含了多种物质， 它们大小不一，物体问的关系特别重要。在这种环境中，等值面绘制将不能足 细节要求。与面绘制方法相比，直接体绘制免去了面绘制中构造几何多边形等表 面的中间过程，采用直接对所有的体数据进行明暗处理的方法，进而合成为具有 三维效果的图。它可以使用来自一个物体的表面和内部的数据，而不仅仅显示 等值面上的数据，也就是无须进行分割即可直接进行绘制，有利于保留三维医学 图的细节信息，强体的绘制效果。 1 2 2 并行绘制技术 在大规模场景绘制以及科学计算可视化等应用中可能形成大量的几何图元， 这些数据大大超出了单个图形工作站的处理和绘制能力。并行算法和并行计算机 通常作为交互式绘制这些数据集的一种决方法。 随着数据采集设备的不断发展和人们对数据质量要求的不断提高，体数据集 的大小以惊人的速度长。如何能够以交互甚至实时的速度进行可视化，就成了 迫切需要决的问题。并行绘制技术突破了孤立图形系的局限。高性能的图形 6 浙扛大学硕士学位论文第l 章绪论 并行绘制系统可以为海量数据场景绘制、大规模虚拟现实和仿真、超高分辨率科 学计算可视化等高端应用提供所需的图形绘制能力。 并行绘制技术的基础是绘制流水线内在的可并行性。绘制流水线主要由几何 处理和光栅化两个部分组成。几何处理包括模型场景变换、光照处理等步骤，它 的任务是将几何图元从物理空间的三维坐标转换到屏幕空间的二维坐标，并计算 顶点的颜色、深度等属性。光栅化阶段的主要操作有纹理映射、深度比较和a l p h a 混合等。光栅化的任务是由图元的屏幕坐标和顶点属性计算出像素值，并存入帧 缓存。将多条绘制流水线并列运行就可以实现并行绘制系统。 1 3 论文内容和结构 1 3 1 论文内容 本文首先介绍体绘制的一些基本概念，面绘制和直接体绘制的几种算法以及 目前广泛采用的体绘制算法的具体步骤。 然后，本文讨论了传输函数的原理和设计方法，现有传输函数存在的问题， 例如物质的区分歧异以及边界重叠等。本文使用了一种l h 直方图来寻找形成边 界的那两种物质，使用l h 直方图比现在已有的基于标量值和梯度模的方法更有 利于便于边界选择。本文详细说明了l h 直方图的构造、它的一些性质，以及如 何使用基于l h 直方图的传输函数来分类体数据。 接下来，讨论了并行体绘制问题。包括并行绘制系统的分类及其各自优缺点， 并行计算中的负载平衡问题以及我们的动态负载平衡算法，本文所提到的动态负 载平衡算法使用k d 树分割数据集。在绘制之前，数据被分割成相同大小的数据 块。在绘制过程中，在每一帧的开始，每个绘制节点的绘制代价信息用来确定数 据分布。也就是说在每一帧的开始周期性的搜集系统的绘制时间来用于负载平衡 的计算，将前一帧的绘制时间作为绘制代价的近似估计，使用它来为接下来的一 帧作负载平衡，将k d 树的分割平面向花费时间大的节点方向移动一个数据块单 位，这就增大了花费时间小的节点所包含的数据块，同时减小了花费时间大的节 点的数据块，从而达到提高系统的资源利用率，减少任务的平均响应时间的目。 最后，本文设计并实现了一个通用的、负载平衡的并行体绘制算法平台。并 在此平台基础上，绘制了由美国国家医学图书馆发起建立的v i s i b l eh u m a n 数据 集。本文中详细介绍平台的设计、实现方面的一些想法。 7 浙江大学硕士学位论文 第1 章绪论 1 3 2 论文结构 第一章是绪论，对科学计算可视化和体绘制技术产生的背景、应用领域、研 究现状和发展方向进行了概述，并且介绍了本论文的内容以及各章的内容提要。 第二章介绍了体绘制的基本概念和基本算法，如光线投射法、s p l a t t i n g 体绘 制算法，基于错切一变形技术( s h e a r - w a r p ) 的体绘制算法等。讨论了多维传输函数 的原理、现有多维传输函数存在的问题。本文使用一种基于l h 直方图的多维传 输函数来提取物质边界，介绍了l h 直方图的构造、使用映射窗口在l h 直方图 上设计传输函数的方法。 。 第三章主要讨论了并行体绘制的问题，介绍了并行计算的一般概念、并行计 算机体系结构，并行计算中的负载平衡、动态负载平衡的很多细节问题，以及并 行绘制的分类方法，如何在并行绘制中达到静态负载平衡和动态负载平衡。本文 实现了一种使用k d 树分割数据集并基于时间反馈的负载平衡算法，详细说明了 数据分布方式、k d 树的平衡过程以及如何基于时间反馈来做负载平衡。 第四章详细介绍了并行体绘制平台的设计与实现、l h 传输函数的设计以及 传输协议的设计，在此章的最后列出了绘制结果以及对它的分析。 最后一章总结了论文所做的工作，提出了研究中存在的问题，并对后继研究 工作的方向作了展望。 1 4 本章小结 本章对科学计算可视化和并行绘制技术产生的背景、应用领域、研究现状和 发展方向进行了概述，并且介绍了本论文的内容以及各章的内容提要。 浙江大学硕士学位论文 第2 章体绘制技术及多维传输函数设计 第2 章体绘制技术及多维传输函数设计 2 1 体绘制算法 2 1 1 面绘制 面绘制技术是从三维数据场中抽取有意义的直观信息的一种方法。面绘制的 基本思想是首先提取感兴趣物体的表面信息，把三维体数据转换为由一系列多边 形表面片拟合的等值表面，然后再用面绘制算法根据光照模型进行隐藏面消除并 绘制得到三维的显示图像。它实际上是把体数据转换成一种逼近面表示，从而可 以进一步利用已有的计算机图形学技术完成信息的提取。由于它借助于面表示这 样一个中间转换过程，而不是直接在上屏幕绘制体数据，有时我们又称之为间接 体绘制。 由于我们感兴趣的数据特征通常只是原始体数据的很小一部分，面绘制技术 因而可以通过识别含有此特征的单元，用一组面片来近似表示它们。面绘制技术 有许多应用，如在医学成像中，特殊解剖结构可以用等值面表示，也可以使用等 值面产生算法抽取各种人体组织。目前，主要有下列几种面绘制技术 2 1 ： 1 立体沟纹方法( c u b e f i l l e ) 。这种方法实际上把整个单元看作由同一物质构 成。这样，一个不透明单元可以用该单元的六个面来绘制，其每个面的 颜色都相同。这种方法比较简单，但绘制结果很不精细，图像有“块状” 感觉，不能很好地显示对象的细节。 2 剖立方体方法( d i v i d i n gc u b e s ) 。该方法是针对三维数据场具有很高密度 的情况提出来的。剖立方体方法扫描每个体素，当体素的八个顶点越过 等值面值时，将该单元投影到图像上。若投影面积大于一个像素的大小， 则该体素被分割成更小的子单元，直到使子单元在显示图像上的投影为 一个像素大小。它的绘制结果只是等值面的近似表示。 3 渐进立方体算法( m a r c h i n gc u b e ) 。这种方法是按照给定的阀值从体数据 集中生成等值面的常用方法。它将体数据中的每一个体素各项点处的数 据值与给定的阀值进行比较，确定等值面与该体素的相交情况，通过插 值计算交点，并将各交点连接成三角形来构成等值面片，所有体素中的 三角形集合就构成了整个等值面。m c 已经成为三维数据场面绘制的标 准方法，它具有简单、易实现、图像质量较高等优点。但是，m c 方法 9 浙江大学硕士学位论文第2 章体绘制技术及多维传 函数设计 也有很多缺点，例如，会产生大量的三角面片、出现空洞、信息丢失和 冗余等问题。 由于面绘制需要对体数据进行两分判断，即判别每一个体素是否在当前绘制 的面上，因此在处理复杂的、边界模的数据集时，经常出现分类上的错误。另 外，在现实世界中，有许多场景是不能用简单的面来表示的，例如，某些场景并 不包含真实面，如烟、火、云、等。在这种情况下，面绘制技术就不适用了， 而直接体绘制提供了一种更加有用的方法来可视化这些数据集。 2 1 2 直接体绘制 直接体绘制技术是三维数据场可视化的一种重要方法，它能产生高质量的图 。因为很多数据集中包含了多种物质，它们大小不一，物体问的关系特别重要。 在这种情况下，等值面绘制将不能足细节要求。与面绘制方法相比，直接体绘 制免去了构造几何多边形等值面的中间过程，采用直接对所有的体数据进行明暗 处理的方法来合成为具有三维效果的图。它可以使用一个物体的表面和内部的 数据，而不仅仅局限于由阈值确定的等值面上的数据，也就是无须进行分割即可 直接进行绘制，有利于保留三维医学图的细节信息，强体的绘制效果。 直接体绘制主要有以下几种方法1 4 】： 1 j 射( s p l a t t i n g ) 。该方法把数据场中每个体素看作一个能量源，每个体素 向图平面投，用以体素的投点为中心的重波将体素的能量 扩散到图素上。它计算每一体素投的 响范围，用高斯函数定义 强度分布，从而计算出其对图的总体贡并加以合成，形成最后的图 。它能按体数据的存储顺序来存取对象，同时只有与图相关的体 素才被投射和显示，可以大大减少体数据的存取数量。但当观方向发 生变化时，要重新计算平面投区域，并且要对投区域中相对应的每 个体素重新进行旋转和比例变换，计算量非常大。 2 错切一变形法( s h e a r - w a r p ) 。它采用一种对体素和图的编码方案，在遍 历体素和图的同时可以略去不透明的图区域和透明的体素。在预处 理时，体素经过不透明度分类，再按行程长度编码，然后通过错切得到 适当的编码体素，使射线正交于所有的体素层，利用双线性插值在遍历 的体素层内得到它们的采样值，再通过变形将体素平行于基准平面的图 的转换为屏图。但该方法有个局限就是三维数据场的数据在向错 切物体空间变换时，观方向必须与三维坐标系中的某一轴重合。 l o 浙江大学硕士学位论文第2 章体绘制技术及多维传输函数设计 3 光线投射法( r a y - c a s t i n g ) 。光线投射是一种典型的以图像空间为序的直接 体绘制算法，它从屏幕上的每一个像素点出发，沿设定的视点方向，发 出一条射线，这条射线穿过三维数据场，沿这条射线选择若干个等距采 样点，由距离某一采样点最近的八个体素的颜色值及不透明度值做三线 性插值，求出该采样点的不透明度值及颜色值。在求出该条射线上所有 采样点的颜色值和不透明度值以后，可以采用由后到前或由前到后的两 种不同的方法将每一采样点的颜色及不透明度进行组合，从而计算出屏 幕上该像素点处的颜色值，得到最终的图像。由于光线投射算法中，主 要的两个操作是插值与合成，而它们可以高效的在现代图形加速硬件上 进行。本质上，纹理映射操作就是通过插值纹理图像得到采样点的颜色 值，因而在纹理映射硬件上可以很容易的进行重采样插值操作。而合成 则可以通过图像加速硬件的f r a g m e n t 操作完成。 2 2 体绘制基本理论 2 2 1 体数据表示 离散的三维体数据集可以简单的认为是体素的三维数组，其中每个体素代表 空间的一个单元。虽然可以简单的将体素看作是一个小立方体，但体素的更准确 定义是从一个连续的三维信号中得到的无限小的采样点，其中三维信号可以表示 为厂( x ) 艘，工1 9 3 。根据采样理论，只要以超过此连续信号的截止频率v 两倍 的采样速率进行均匀采样，我们就能够重建出原始信号。在实际应用中，为了从 经过采样得到的体数据中重建原始信号，我们一般用箱式滤波器或者式滤波器 来代替理想的高斯滤波器。箱式滤波器实际上进行的是最近邻居插值，它可能导 致相邻单元之间的出现严重的不连续现象。而三维式滤波器实际上进行的是三 线性插值，它是输出信号的光滑程度和计算代价之间的一个很好的折中。 同需要构造等值面的间接体绘制相比，直接体绘制通过一个光学模型来决定 如何显示体素数据，光学模型描述了体素是如何发射、反射、散射、吸收和遮挡 光线的。直接体绘制将标量值映射为颜色、不透明度等光学属性。这种映射称为 分类，通常是由传输函数完成的。映射得到的光学属性接下来用于图像合成。在 图像合成阶段，沿着进入体数据的视线，并根据相应的光学模型积分光学属性来 得到最终的投影图像。这个特定的积分就称为体绘制积分。 浙江大学硕士学位论文第2 章体绘制技术及多维传输函数设计 2 2 2 体绘制的光学模型 光线传播遵从波尔兹曼方程。设l ( r ，w ) 为面辐射强度，它表示点r 按方向w 由光子所传输的功率密度。那么能量平衡方程是指光学的面辐射强度的方向导数 等于在数据体内因各种交互而得到或是取得能量之和： w v l ( r ，们= - # ( r ) l c r ，叻+ s ( ，叻+ j k ( r ，一 w ) l ( ，w ) d w ( 2 1 ) 其中( ，) 等于光子沿光线单位距离被吸收或散射掉的概率。 8 ( r ，w ) 用来表示由数据体所发射出的光子。 置( ，w l - w ) 称为散射核，它等于在单位距离立方体内光子从方向w 散射到 w 方向的概率。 式( 2 1 ) 是一阶微分方程。它可以写成等价的积分形式如下： l ( r ，w ) = p ”7 。三6 ( 白，岣+ i e l 7 ， q p ，w ) d r 。 ( 2 2 ) 其中r ( r ，是沿从r 到s 的直线路径的积分： r ( r ，s ) = j ( ，t ) d r ，r ( r ，j ) 代表从r 到s 的路径 厶( r b ，w ) 指明包围数据体的封闭曲面的边界函数，是光线从r 沿w 方向同 封闭曲面的交点。 q ( r ，忉代表发射与散射两项之和，即： q ( r ，w ) t e ( r ，w ) + j k ( r ，w 。一 w ) l ( r ，w ) d w ( 2 3 ) 它可以被看作是能量平衡方程中获得能量的来源函数。 积分形式表明：在光线上任一点的面辐射强度等于从体边界外进入的面辐射 强度加上体内其它交互所做的贡献，所有贡献都乘上一个衰减系数。 几乎每一个直接体绘制算法都将体数据看成是由一系列具有某一密度的粒 子组成的，这些粒子可以发射光，并映射为r g b a 值以进行合成。这个过程也就 是基于某一种物理光学模型的。根据n e l s o n 的分类【5 】，最重要的光学模型有以下 几种： 1 只吸收。体数据是由只吸收光线而不发射或散射光线的全黑粒子组成的。 2 只发射。体数据是由只发射光线而不吸收任何光的粒子组成的。 3 吸收和发射。这种光学模型是直接体绘制中最常用的一种模型。粒子发 色光线，同时遮挡、也就是吸收入射光。 4 散射和阴影。这种模型的入射光可以是由其他粒子散射后的光线。它也 可以形成阴影。 我们下面使用的光学模型是粒子同时吸收和发射光线的模型。同样，体绘制 浙江大学硕士学位论文 第2 耄体绘制技术及多维传函数设计 积分也就是在这种光学模型下得到的。 2 2 3 体绘制积分 每一种直接体绘制算法都有自己的计算体绘制积分的方法f 4 】。光线投射算法 是计算这个积分的最直接算法。在光线投射算法中，将一条投射到体数据上的光 线表示为石，其中参数t 表示从视点到数据点的距离。相应位置处的标量值表 示为s ( x ( r ) ) 。当使用吸收和发射光学模型时，需要沿着光线来积分吸收系数k ( s ) 和发射颜色c ( s ) 。为了使得表示简单，将发射颜色c 和吸收系数k 表示为距离t 的函数c ( t ) = c o o ( 功) 和k ( t ) = k ( s ( x c t ) ) ) 。 在距离t = d 处发射的辐射能量在沿着一条光线到达视点的过程中会持续的 被吸收。这意味着原来从t = d 处发射的辐射能量只有一部分c 到达视点。如果吸 收系数是常数，那么c = c e 一。如果沿着光线的吸收系数不是常数，而是随着 距离不断变换，到达视点的辐射能量c 要通过沿着光线从视点到发射点的积分绳 到c ；c p 一“归。指数项的吸收系数积分可表示为州( 岛6 ) ：f k ( t ) d t 。上式表示 的是某一点发出的辐射能量最终能到达视点的情况。如果要计算个光线的辐射 能量c 到达视点的数值，我们需要对所有的位置t 进行积分 c = ic ( f ) e - m ( o ，) d t( 2 4 ) 由 在实际计算时这个积分是通过从后往前或者从前往后的顺序作合成( a l p h a b l e n d i n g ) 来得到的。 2 2 4 光线投射 光线投射是以图空间为序的直接体绘制算法【3 】，它是体绘制积分的一种直 接数值计算方法。对屏上的每一个素点，沿设定的视点方向，发出一条光线， 这条光线穿过三维数据场，沿这条光线进行等距离采样，使用三线性插值作为重 构波，由距离某一采样点最近的八个体素求得采样点的标量值，然后将采样 点的标量值映射为光学属性，也就是r g b a 不透明度值及颜色值。在求出该条射 线上所有采样点的颜色值和不透明度值以后，可以采用由后到前或由前到后的两 种不同的方法将每一采样点的颜色及不透明度进行合成以求得体绘制积分。 浙江大学硕士学位论文第2 章体绘制技术及多维传输函数设计 ( 三维空同数据场“ ) i f致据预处理、) j ( 、 设计传输函数 ) 5 i i t ( 发出射线，取采样点 ) j 由传输函数得到采样由传输函敷得采样 点颜色值点不透明度值 j 计算光照 上 i 采样点亮度值 + ” 图像合成 一“ 上 绘制结果，) 图2 - 1 光线投射算法流程 累积的吸收系数m 可近似表示为r i e m a n n 和的形式： ，山 m ( o ，f ) “k ( i & ) 岔 ( 2 5 ) l - o 其中r 表示两个连续采样点之间的距离。这样，指数部分的和可以表示为一 系列指数项的乘积 t ，血 p 一”叮= r i p 一。 ( 2 6 ) l g , o 将不透明度a 定义为a l = 1 一e 4 ( “冲，上式则可以重新改写为： f ，d p ” = 兀( 1 4 ) ( 2 7 ) t l o 这样就可以用不透明度4 来近似表示第i 段光线的吸收量，而不是菜一个点 的吸收量。同样第i 段光线的发射颜色可以近似表示为c i = c ( i a t ) a t 。有了发射 和吸收项的近似表示，我们可以将体绘制积分最终近似为： 4 浙江大学硕士学位论文第2 章体绘制技术及多维传输函数设计 c = c f 兀( i - a ) ，行= r 出 ( 2 8 ) i ；o j - o 上式可以迭代的按照从后往前的顺序作不透明度合成来得到，其中i 从n 一1 变化到0 ： c ：= e + ( 1 4 ) ( 2 9 ) c ：是由位置i 处的颜色c 。和不透明度4 ，以及前面i + l 位置处的累积颜色 作合成得到的，起始位置c ：= 0 当按照从前往后的顺序计算体绘制积分时，i 从1 变化到n ： c ：= c ，_ l + ( 1 4 ：- ，) c j ( 2 1 0 ) 4 = 4 1 + ( 1 4 一1 ) 4 按这种顺序合成时是一个累加的过程，不透明度必然会逐步增大。当不透明 度达到1 时，说明该象素点的图像已接近于完全不透明，后面的体素不会再对该 象素点的图像有所贡献，因而可以不再计算了。但是这种方式需要跟踪记录不透 明度值，因而在基于g p u 加速的体绘制种通常使用从后往前的方式。 2 3 多维传输函数 2 3 1 传输函数的作用 直接体绘制已被证明是三维数据可视化的有效方法。传输函数是直接体绘制 的基础，它的作用就是使得数据可见。为了产生一个有效的可视化表示，显示与 当前应用相关的信息是很重要的。从数据属性( 标量值和梯度模) 到光学属性( 颜 色、不透明度、光亮度) 的映射被用来决定什么需要可视化以及怎样可视化。这 种映射就称为传输函数。其中，不透明度用来选择哪部分可见。颜色用来帮助区 分不同物体。 选择传输函数的定义域，即数据属性是很关键的。体数据通常看作是连续标 量函数f ( x ) 的离散表示。最常用的一维传输函数使用标量值作为传输函数的定义 域，标量值可以用来区分不同的物质。另外，梯度模经常作为第二维来强化物体 边界。边界可视化对观察物体形状来说是很重要的。 目前，广泛应用的是一维传输函数。之所以称之为一维，是因为它只以数据 豹标量值作为函数的输入，作为区分不同物质的依据。一般通过灰度直方图就可 以设计出一维传输函数。设计简单是一维传输函数最大的优点。但是，一维传输 函数难以提取复杂的特征，比如很多来自c t 或m r j 的医学数据含有多种物质， 浙江大学硕士学位论文第2 章体绘制技术及多维传输函数设计 物质间又存在复杂的边界。当一个数据值与多个边界相关联时，仅仅通过数据的 标量值是不可能区分出来的。 由于一维传输函数的缺点十分明显，人们很自然的想到了利用数据标量值之 外的信息，作为区分不同结构、不同物质的依据，这就产生了多维传输函数。因 为基于标量值的传输函数通常不能区分边界，现在已经提出了通过使用由标量 值，梯度模，沿梯度方向的二阶导数所组成的高维定义域的传输函数来查找出重 要边界，它使用一些交互式映射窗口来手动选择需要可视化的边界1 6 - 8 。在结合了 梯度模和二阶方向导数等信息后，多维传输函数确实能够比维传输函数更准确 的区分不同物质，然而，随着边界数量的增多，物质间的相交和重叠越来越多， 物质的区分也变得更加困难。 2 3 2 现有多维传输函数的主要问题 多维传输函数允许每个采样点使用多个数据信息的组合进行分类，而不是 只使用一个单一标量值。因为使用基于标量值的一维传输函数有很多缺点，例如 我们无法确定标量值为f ( x ) 的物质是否就在位置x 处，也就是说当一个数据值与 多个边界相关联时，仅仅通过标量值无法将边界区分出来。 为了解决这个问题。d u r l d n 等提出观察梯度模if i 与标量值f ) 的关系比观 察梯度模if ( x ) l 与位置x 的关系更好。通过生成标量值和梯度模的二维直方图就可 以区分不同的边界。在这种直方图中，不同的边界表示为不同的弧，这样就可以 将不同的边界区分出来1 9 ) 。使用多个数据信息能够增加在传输函数域中分离出特 征的可能性，从而有效的表示原始数据集中不同结构间的差异。这些数据信息可 以看成是多维传输函数的坐标轴。 在使用数据的标量值作为传输函数的第一维后，我们可以使用梯度的模作为 传输函数的第二维。相对于标量数据，梯度说明了最大变化的方向。归一化的梯 度经常用作基于表面的体绘制的法线来应用于光照处理中。梯度的模是一个标 量，说明了标量域的局部变化率。这里使用，表示函数厂( x ) 的梯度的模，厂( x ) 是数据的标量函数。 这个值作为传输函数的一个坐标轴是很有用处的。同种物质的内部，数据值 基本上相同，变化不大，由梯度的性质可知。此时梯度模很小；在不同物质的交 界处，情况就正好相反，边界处数据值变化十分迅速，梯度模很大，在数据值变 化最快的地方，梯度模取得极大值。换句话说，我们可以利用梯度模的大小，来 区分物质的内部区域和不同物质的边界区域。 1 6 浙江大学硕士学位论文 第2 章体绘制技术及多维传输函数设计 由于原始数据集的数据是离散的，我们需要用近似的方法求出梯度。 对于内部点，可以使用中心差分求出点( i ，j ，k ) 处的梯度： f “j e - 1 m 2 v x f t 。j n l f l 。j l 2 v y f t 。j k n f i j l - i 2 v z ( 2 1 1 ) 对于边界点，可以使用前向或者后向差分。 这种传输函数以数据标量值作为二维传输函数域的x 轴，以梯度模作为y 轴， 遍历原始数据集中的所有数据点，将它们投影n - 维传输函数域上，可以得到一 组弧线。每条弧线都表示一组不同物质的边界。弧线的顶端，梯度取到极大值， 表示物质的交界；而弧的两个端点，梯度为极小值，分别表示两种物质的内部。 虽然这种直方图能显著的提高边界的区分能力，但它也有很多的问题。如下 图所示： 图2 - 2 数据集的二维壹方图 当两个弧相互重叠时会引起边界区分上的歧义，因为重叠区域的点可能属于 两个弧中的任一个。这是由于数据中物质的边界比较复杂造成的，这种重叠会使 得