苏第七章医学图像可视化技术及应用

第七章医学成像可视化技术及应用7.1概述1、三维可视化的定义也称三维重建，是指通过对获得的数据或二维图像信息进行处理，生成物体的三维结构，并按照人的视觉习惯进行不同效果的显示。任务：三维二维早期探索阶段（1970s-1980s）

主要针对心脏、肝脏、胚胎、神经等器官的三维重建；表面重建的算法：轮廓线提取算法、轮廓线对应算法、三角片镶嵌算法、曲面拟合算法等等；

2、发展历程基础算法研究阶段（1990s）

基于体元的表面绘制算法：Cuberille，Marching

；直接体绘制算法：Raycasting，Splatting，V-Buffer；及各种加速算法；

实用系统研究阶段(90年代末)

外科手术模拟系统、放射治疗模拟、虚拟内窥镜、整形外科、解剖模拟。3、应用领域诊断医学：在临床核医学研究中，CT图象、磁共振图象和超声图象的广泛应用是诊断的有力的手段。应用先进的可视化技术对这些图象进行处理、构造三维实体模型以及对其进行剖切显示，有助于了解复杂解剖特征的空间定位和随着时间所发生的变化。

整形与假肢手术规划可视化技术在整形外科中的应用是假肢设计（造型）。例如，在做髋骨更换手术前，需要根据病人的个体特征正确地设计所需髋骨假肢的外形，才能减少因假肢形状差异造成手术失败的概率。首先根据CT或MR图象重构假肢的精确三维模型，交工厂制作，然后进行手术更换。

放射治疗计划利用放射性射线杀死或抑制恶性肿瘤需要事先做出仔细规划，包括剂量计算和照射点定位。如果辐射定位不准或剂量不当，轻则造成治疗效果不佳，重则危及周围正常组织。根据医学图象重建病人病灶区的解剖结构，并作出精确定位和剂量计算已是实际可行的。

脑结构图及其功能研究由于脑的复杂性，纯粹采用神经生物学家所常采用的简化方法无法对之作出进一步了解。可视化技术在通过组织切片、医学成象仪器（如超声波、CT、MR、PET等）、药物吸收和神经生理实验等手段获取脑的数字图象，并进行特征提取和脑图分析，重构三维脑的结构图和功能图，以适当的三维显示方式显示出来。7.2三维可视化的分类多平面显示和曲面显示属于将三维体视数据进行再切面，并将二维切面影像显示出来的技术形式，因此也称二维重建或图像重排。1、多平面重建（MPR）多平面重建是将扫描范围内所有的轴位图像叠加起来再对某些标线标定的重组线所指定的组织进行冠状、矢状位、任意角度斜位图像重组。曲面重建CMPR是常规MPR的一种引伸方法，能使复杂的三维结构有效地显示在一个单一的展开的断面上，避免了与扫描平面不平行的结构或弯曲的结构缩短和重叠。MPR优点：能任意产生新的断层图像，而无需重复扫描。原图像的密度值被忠实保持到了结果图像上。曲面重组能在一幅图像里展开显示弯曲物体的全长。2、表面阴影法重建（SSD）采用象素阈值的方法对器官组织的表面轮廓进行重建，实质器官的表面和内部结构被作为同等密度重建，重建出3D图像只能显示器官外表面形态轮廓，而不能显示内部结构。SSD的优点：符合人的视觉经验，以强真实感效果展示立体形态能展示空间结构复杂的物体易于定量测量和对三维物体进行操作（如模拟手术）

3、最大密度投影重建（MIP）

在容积扫描数据中对每条径线上每个象素的最大强度值进行编码并投射成像。MIP的灰阶度反映CT值的相对大小，且比较敏感，即使小的差异也能被检测，如钙化灶、骨骼CT值非常高，充盈对比剂的血管同样很高的CT值，但总是低于钙化灶和骨骼，在MIP图像上，其明亮度不一样，可区分。MIP重建方法：①螺旋CT增强扫描，一般采用3-5mm层厚，小的重建间距。②在横断面图像上划定兴趣区。③保留靶血管的高密度影像，删除骨骼等其他高密度组织。④使用MIP软件进行图像重建。⑤沿X、Y、Z轴360度旋转，三维地显示血管结构及病变。MIP应用价值：

广泛应用于具有相对高密度的组织和结构，如显影的血管、骨骼、肺部肿块以及明显强化的软组织病灶等，对于密度差异甚小的组织结构以及病灶则难以显示。最小密度投影重建（MinP)它是在某一平面方向上对所选取的三维组织层块中的最小密度进行投影，主要用于气道的显示。偶尔也用于肝脏增强后肝内扩张胆管的显示。7.3三维重建和绘制预处理分割模型构建模型网格简化绘制预处理

在医学图像数据的获取过程中，影像设备中各电子器件的随机扰动不可避免地会带来噪声。预处理的目的就是对其进行滤波（Filtering）或平滑（Smoothing），以实现抑制噪声，增强图像特征，提高信噪比。图像的滤波可以在付平面上处理，如采用Butterwoth滤波器可较好地消除高频成分。也可以在实平面上处理，实平面上滤波常用的有邻域平均法、中值滤波法以及保持边缘的滤波法等。分割二维分割三维分割重建医学图像的三维重建就是根据输入的断层图像序列，经分割和提取后，构建出待建组织的三维几何表达。这种三维几何表达的模型最常用的就是表面模型。表面模型一般以平面片特别是三角面片来逼近表示，对于封闭的表面，构成一多面体，这时也称多面体模型。早期CT切片间距较大，因此早期的主要研究工作集中在轮廓连接（ContourConnection）或称从平面轮廓重建形体（ShapefromPlanarContours），其中具有代表性的是Keppel在1975年提出的用三角片拟合物体表面的方法。这类重建方法需要解决断层图像上的轮廓提取、层之间的轮廓对应和物体外表面的拟合等问题。随着新一代CT和MRI设备出现，切片间距及切片内像素间距都可以达到很小，出现了基于体素级的重建方法。用MC方法构造的组织或器官的表面模型一般都有数十万甚至上百万个三角片，用MT方法构造的表面模型三角面片的数量更多。示例图的重建模型的三角面片数为696889。模型的三角面数量巨大，占据大量的存储容量。更重要的是难以实现对模型的实时交互绘制，因为数十万的三角面片，即使用最简单的Phong光照模型进行绘制，也需要数秒的时间。重建组织的数量增加，三角面的数量巨增，难以实现模型的旋转、平移、缩放和剖切等实时交互操作。因此，要提高实时交互能力，就必须对模型进行网格简化。网格简化也是虚拟现实中细节层次（LevelofDetail，简称LOD）模型的主要研究内容，其思想是在场景中近景用精细模型而远景用粗略模型表达，以实现实时绘制的需要。早在70年代Clark就提出了层次化模型的思想。绘制技术：1、面绘制2、体绘制我们这里说的“绘制”一词，英文是“Rendering”。还经常被译做“描绘”、“渲染”、“重建”或“显示”等。它的比较严格定义应该是：实际3D物体的2D照相写真式表示。属于3D物体在2D平面真实感投影，二者有严格定量关系及视觉真实感。1、表面绘制MarchingCube算法表面重建皮肤灰度阈值HU=500表面重建皮肤HU=500骨头HU=1150表面重建透明显示皮肤HU=500表面重建透明显示皮肤HU=500骨骼HU=1150阻光度=0.8阻光度=0.6阻光度=0.4阻光度=0.25面绘制的方法：通过配准及插值后，建立面绘制所需的基本三维体数据，选定作为表面显示的等值面的灰度阈值紧邻上下两层数据对应的四个像素点构成一个立方体，或对应成一个体素；体素的共8个顶点按照前面得到的等值面阈值进行分类，超过或等于阈值，则顶点算作等值面的内部点；小于阈值，顶点算作等值面的外部点；生成一个代表顶点内外部状态的二进制编码索引表移动（前进）至下一个立方体，重复3－7步。用此索引表查询一个长度为256的构型查找表，得到轮廓（等值面）与立方体空间关系的具体拓扑状态（构型）；根据构型，通过线性插值确定等值面与立方体相交的三角片顶点坐标，得到轮廓的具体位置；2、体绘制

在自然环境和计算模型中，许多对象和现象只能用三维数据场来表示。与传统的计算机图形学相比，对象体不再用几何曲面或曲线表示的三维实体，而是用体素（Voxel）作为基本造型单元。对于每一体素，不仅其表面而且其内部都包含了对象信息，这是仅用曲线和曲面等几何造型方法所无法表示的。直接由三维数据场产生屏幕上的二维图象，称为体绘制算法。这种方法能产生三维数据场的整体图象，包括每一个细节，并具有图象质量高、便于并行处理等优点。体绘制不同于面绘制，它不需要中间几何图元，而是以体素为基本单位，直接显示图像。体绘制的目的就在于提供一种基于体素的绘制技术，它有别于传统的基于面的绘制，能显示出对象体的丰富的内部细节。体光照模型

体光照模型是研究直接体绘制的基础。从物理意义上讲，当光线穿过体素与光线遇到一曲面时，会发生不同的光学现象。前者如光线穿过云层会发生吸收、散射等现象；后者如光线射到桌面上，有漫射、反射、透射等现象。不同的物理背景决定了体光照强度的计算与面光照强度的计算有不同的模型和方法。体光照模型就是研究光线穿过体素时的变化，将光线穿过体素时的物理现象用数学模型来描述。在目前的体绘制中，采用得较多的有：

源-衰减模型（Sourceattenuation）变密度发射模型（Varyingdensityemitters）

材料分类及组合模型（Classificationandmixture）

源-衰减模型最早由Jaffery提出。该模型为体数据场中的每一体素分配一个源强度和一个衰减系数，每一个体素作为一个质点光源，发出的光线在数据场中沿距离衰减后被投影到视平面上，形成结果图象。

当光照射到物体表面时，光线可能被吸收、反射和透射。被物体吸收的部分转化为热，反射、透射的光进入人的视觉系统，使我们能看见物体。为模拟这一现象，建立一些数学模型来替代复杂的物理模型，这些模型就称为明暗效应模型或者光照明模型。三维形体的图形经过消隐后，再进行明暗效应的处理，可以进一步提高图形的真实感。计算某一点的光强度的模型。光照模型影响观察者看到的表面颜色的因素①物体的几何形状②光源位置、距离、颜色、数量、强度、种类③环境遮挡关系、光的反射与折射、阴影④视点位置⑤物性材料、颜色、透明度折射性⑥表面光洁度光源①几何性质点光源线光源面光源

②光谱组成白色光等能量的各种波长可见光的组合彩色光单色光光的传播反射定律：入射角等于反射角，而且反射光线、入射光线与法向量在同一平面上折射定律折射定律：折射线在入射线与法线构成的平面上，折射角与入射角满足能量关系在光的反射和折射现象中的能量分布：下标为i,d,s,t,v的能量项分别表示为入射光强，漫反射光强，镜面反射光强，透射光强，吸收光强能量是守恒的简单光照明模型模拟物体表面的光照明物理现象的数学模型－光照明模型简单光照明模型亦称局部光照明模型，其假定物体是不透明的，只考虑光源的直接照射，而将光在物体之间的传播效果笼统地模拟为环境光。可以处理物体之间光照的相互作用的模型称为整体光照明模型简单光照明模型光照射到物体表面，主要发生： 反射 透射（对透明物体） 部分被吸收成热能反射光，透射光决定了物体所呈现的颜色

简单光照明模型-环境光

假定物体是不透明的（即无透射光）环境光：在空间中近似均匀分布，即在任何位置、任何方向上强度一样,记为Ia环境光反射系数Ka：在分布均匀的环境光照射下，不同物体表面所呈现的亮度未必相同，因为它们的环境光反射系数不同。光照明方程（仅含环境光）：Ie=KaIa

Ie为物体表面所呈现的亮度。简单光照明模型-环境光例子具有不同环境光反射系数的两个球简单光照明模型-环境光缺点：虽然不同的物体具有不同的亮度，但是同一物体的表面的亮度是一个恒定的值，没有明暗的自然过度。考虑引入点光源。点光源：几何形状为一个点，位于空间中的某个位置，向周围所有的方向上辐射等强度的光。记其亮度为Ip点光源的照射：在物体的不同部分其亮度也不同，亮度的大小依赖于物体的朝向及它与点光源之间的距离.简单光照明模型简单光照明模型：-漫反射角度余弦的推导漫反射粗糙、无光泽物体（如粉笔）表面对光的反射光照明方程漫反射的亮度点光源的亮度漫反射系数入射角漫反射光的强度只与入射角有关简单光照明模型-漫反射将环境光与漫反射结合起来一般取Ia=(0.02~0.2)Id例子简单光照明模型-漫反射缺点：对于许多物体，使用上式计算其反射光是可行的，但对于大多数的物体，如擦亮的金属、光滑的塑料等是不适用的，原因是这些物体还会产生镜面发射。简单光照明模型-镜面反射镜面反射光滑物体（如金属或塑料）表面对光的反射高光入射光在光滑物体表面形成的特别亮的区域简单光照明模型-镜面反射理想镜面反射观察者只能在反射方向上才能看到反射光，偏离了该方向则看不到任何光。简单光照明模型-镜面反射非理想镜面反射P为物体表面上一点，L为从P指向光源的单位矢量，N为单位法矢量，R为反射单位矢量，V为从P指向视点的单位矢量

光滑平面I=Ip

K

scosna镜面简单光照明模型-镜面反射镜面反射Is为镜面反射光强。点光源的亮度Ks是与物体有关的镜面反射系数。n为镜面反射指数，n越大，则Is随a的增大衰减的越快。

n的取值与表面粗糙程度有关。n越大，表面越平滑（散射现象少，稍一偏离，明暗亮度急剧下降）n越小，表面越毛糙（散射现象严重）或简单光照明模型模拟物体表面对光的反射作用,光源为点光源反射作用分为物体间作用用环境光(AmbientLight)漫反射(DiffuseReflection)镜面反射(SpecularReflection)简单光照明模型-Phong光照明模型简单光照明模型-Phong光照明模型Phong光照明模型的综合表述：由物体表面上一点P反射到视点的光强I为环境光的反射光强Ie、理想漫反射光强Id、和镜面反射光Is的总和。Phong光照明模型是真实感图形学中提出的第一个有影响的光照明模型经验模型，Phong模型存在不足：显示出的物体象塑料，无质感变化没有考虑物体间相互反射光镜面反射颜色与材质无关镜面反射大入射角失真现象Phong光照明模型的不足Ie=0.75，Id=0.5Is=0.25Ie=0.5，Id=0.5Is=0.25Ie=0.75，Id=0.75Is=0Ie=0.75，Id=0Is=0.75Ie=1，Id=0Is=0.9体绘制方法

体光照模型提供了体数据中各数据点光照强度的计算方法，体绘制方法提供的是二维结果图象的生成方法。首先根据数据点值对每一数据点赋以透明度t和颜色值（R,G,B），再根据各数据点所在点的梯度及光照模型计算出各数据点的光照强度，然后将投射到图象。平面中同一象素点的各数据点的透明度和颜色值综合在一起，形成最终的结果图象。根据不同的绘制次序，体绘制可以分为两类以图象空间为序的体绘制方法-体光线跟踪法

以对象空间为序的体绘制方法-体单元投影法

体光线跟踪法

-光线投射法(RayCasting)以图象空间为序的体光线跟踪绘制算法是从屏幕上的每一象素点出发，根据视点方向，发出一条射线，这条射线穿过三维体数据场。沿这条射线选择K个等距采样点，由距离采样点最近的八个体素的颜色值和不透明度值做三线性插值，求出该采样点的颜色值和不透明度值。而后可以采用由后到前或由前到后的方法，将射线上每一采样点的颜色和不透明度组合起来，计算出屏幕上该象素点对应的颜色值。光线跟踪算法的主要步骤是：

For每条光线

Do For每个与光线相交的体素

Do

计算该体素对图象空间对应象素的贡献。根据光子传输理论,有以下体显示方程:体单元投影法以对象空间为序的体绘制方法首先根据每个数据点的函数值计算该点的不透明度及颜色值，然后根据给定的视平面和观察方向，将每个数据点的坐标由对象空间变换到图象空间；接着根据选定的光照模型，计算出每个数据点处的光强；然后根据选定的重构核函数计算出从三维数据点光强到二维图象空间的映射关系，得出每个数据点所影响的二维象素的范围及对其中每个象素点的光强的贡献；最后将不同的数据点对同一象素点的贡献加以合成。

单元投影算法的主要步骤：

For每一体素或单元Do For该体素在视平面投影区域内的每一象