医学]医学成像技术第八章_三维重建技术.ppt

第七章 三维重建技术 7.1 概述 任务 三维三维 二维 发展 早期探索阶段（1970s - 1980s） 主要针对心脏、肝脏、胚胎、神经 等器官的三维重建；表面重建的算法： 轮廓线提取算法、轮廓线对应算法、三 角片镶嵌算法、曲面拟合算法等等； 基础算法研究阶段（1990s） 基于体元的表面绘制算法：Cuberille ，Marching Cubes，Dividing Cubes； 直接体绘制算法：Raycasting， Splatting，V-Buffer；及各种加速算法 ； 实用系统研究阶段(90年代末) 外科手术模拟系统、放射治疗 模拟、虚拟内窥镜、整形外科、解 剖模拟。 应用领域 诊断医学： 在临床核医学研究中，CT图象、磁共 振图象和超声图象的广泛应用是诊断的有 力的手段。应用先进的可视化技术对这些 图象进行处理、构造三维实体模型以及对 其进行剖切显示，有助于了解复杂解剖特 征的空间定位和随着时间所发生的变化。 整形与假肢手术规划 可视化技术在整形外科中的应用 是假肢设计（造型）。例如，在做髋 骨更换手术前，需要根据病人的个体 特征正确地设计所需髋骨假肢的外形 ，才能减少因假肢形状差异造成手术 失败的概率。首先根据CT或MR图象重 构假肢的精确三维模型，交工厂制作 ，然后进行手术更换。 放射治疗计划 利用放射性射线杀死或抑制恶性肿 瘤需要事先做出仔细规划，包括剂量计 算和照射点定位。如果辐射定位不准或 剂量不当，轻则造成治疗效果不佳，重 则危及周围正常组织。根据医学图象重 建病人病灶区的解剖结构，并作出精确 定位和剂量计算已是实际可行的。 脑结构图及其功能研究 由于脑的复杂性，纯粹采用神经生物 学家所常采用的简化方法无法对之作出 进一步了解。可视化技术在通过组织切 片、医学成象仪器（如超声波、CT、 MR、PET等）、药物吸收和神经生理 实验等手段获取脑的数字图象，并进行 特征提取和脑图分析，重构三维脑的结 构图和功能图，以适当的三维显示方式 显示出来。 7.2 主要内容 预处理预处理 分割分割 模型构建模型构建 模型网格简化模型网格简化 绘制绘制 预处理预处理 分割分割 二维分割 三维分割 重建重建 绘制绘制 面绘制 体绘制 7.3 表面绘制 Marching Cube Marching Cube 算法算法 表面 重建 皮肤 灰度 阈值 HU=500 表面 重建 皮肤 HU=500 骨头 HU=1150 表面 重建 透明显示 皮肤 HU=500 表面 重建 透明显示 皮肤 HU=500 骨骼 HU=1150 阻光度=0.8阻光度=0.6 阻光度=0.4 阻光度=0.25 7.3 体绘制 在自然环境和计算模型中，许多对象和现象只 能用三维数据场来表示。与传统的计算机图形学相 比，对象体不再用几何曲面或曲线表示的三维实体 ，而是用体素（Voxel）作为基本造型单元。对于每 一体素，不仅其表面而且其内部都包含了对象信息 ，这是仅用曲线和曲面等几何造型方法所无法表示 的。体绘制的目的就在于提供一种基于体素的绘制 技术，它有别于传统的基于面的绘制，能显示出对 象体的丰富的内部细节。 体光照模型 体光照模型是研究直接体绘制的基础。从物理意 义上讲，当光线穿过体素与光线遇到一曲面时，会发 生不同的光学现象。前者如光线穿过云层会发生吸收 、散射等现象；后者如光线射到桌面上，有漫射、反 射、透射等现象。不同的物理背景决定了体光照强度 的计算与面光照强度的计算有不同的模型和方法。体 光照模型就是研究光线穿过体素时的变化，将光线穿 过体素时的物理现象用数学模型来描述。在目前的体 绘制中，采用得较多的有： 源-衰减模型（Source attenuation） 变密度发射模型（Varying density emitters） 材料分类及组合模型（Classification and mixture ） 源-衰减模型最早由Jaffery提出。该模型为体数 据场中的每一体素分配一个源强度和一个衰减系数 ，每一个体素作为一个质点光源，发出的光线在数 据场中沿距离衰减后被投影到视平面上，形成结果 图象。 当光照射到物体表面时，光线可能被吸 收、反射和透射。被物体吸收的部分转化为 热，反射、透射的光进入人的视觉系统，使 我们能看见物体。 为模拟这一现象，建立一些数学模型来 替代复杂的物理模型，这些模型就称为明暗 效应模型或者光照明模型。三维形体的图形 经过消隐后，再进行明暗效应的处理，可以 进一步提高图形的真实感。 计算某一点的光强度的模型。 光照模型 影响观察者看到的表面颜色的因素影响观察者看到的表面颜色的因素 物体的几何形状物体的几何形状 光源光源 位置、距离、颜色、数量、强度、种类位置、距离、颜色、数量、强度、种类 环境环境 遮挡关系、光的反射与折射遮挡关系、光的反射与折射、阴影阴影 视点位置视点位置 物性物性 材料、颜色、透明度材料、颜色、透明度 折射性折射性 表面光洁度表面光洁度 光源光源 几何性质几何性质 点光源点光源 线光源线光源 面光源面光源 光谱组成光谱组成 白色光等能量的各种波长可见光的组合白色光等能量的各种波长可见光的组合 彩色光彩色光 单色光单色光 w w 光的传播光的传播 反射定律：入射角等于反射角，而且反射光反射定律：入射角等于反射角，而且反射光 线、入射光线与法向量在同一平面上线、入射光线与法向量在同一平面上 折射定律折射定律 折射定律：折射线在入射线与法线构成的平折射定律：折射线在入射线与法线构成的平 面上，折射角与入射角满足面上，折射角与入射角满足 能量关系能量关系 在光的反射和折射现象中的能量分布：在光的反射和折射现象中的能量分布： 下标为下标为i,d,s,t,vi,d,s,t,v的能量项分别表示的能量项分别表示为入射光为入射光 强，漫反射光强，镜面反射光强，透射光强强，漫反射光强，镜面反射光强，透射光强 ，吸收光强，吸收光强 能量是守恒的能量是守恒的 简单光照明模型简单光照明模型 w w 模拟物体表面的光照明物理现象的数模拟物体表面的光照明物理现象的数 学模型光照明模型学模型光照明模型 w w 简单光照明模型简单光照明模型亦称亦称局部光照明模型局部光照明模型 ，其假定物体是不透明的，只考虑光，其假定物体是不透明的，只考虑光 源的直接照射，而将光在物体之间的源的直接照射，而将光在物体之间的 传播效果笼统地模拟为环境光。传播效果笼统地模拟为环境光。 w w 可以处理物体之间光照的相互作用的可以处理物体之间光照的相互作用的 模型称为模型称为整体光照明模型整体光照明模型 简单光照明模型简单光照明模型 光照射到物体表面，主要发生：光照射到物体表面，主要发生： 反射反射 透射（对透明物体）透射（对透明物体） 部分被吸收成热能部分被吸收成热能 w w 反射光，透射光决定了物体所呈现的颜色反射光，透射光决定了物体所呈现的颜色 简单光照明模型简单光照明模型- -环境光环境光 假定物体是不透明的（即无透射光）假定物体是不透明的（即无透射光） w w 环境光：环境光：在空间中近似均匀分布，即在任何位置、在空间中近似均匀分布，即在任何位置、 任何方向上强度一样任何方向上强度一样, ,记为记为 I I a a w w 环境光反射系数环境光反射系数K K a a ：在分布均匀的环境光照射在分布均匀的环境光照射 下，不同物体表面所呈现的亮度未必相同，因为它们下，不同物体表面所呈现的亮度未必相同，因为它们 的环境光反射系数不同。的环境光反射系数不同。 w w 光照明方程光照明方程（仅含环境光）：（仅含环境光）： I Ie e = = K Ka a I I a a I I e e 为物体表面所呈现的亮度。为物体表面所呈现的亮度。 简单光照明模型简单光照明模型- - 环境光例子环境光例子 w w 具有不同环境光反射系数的两个球具有不同环境光反射系数的两个球 简单光照明模型简单光照明模型- -环境光环境光 w w 缺点：虽然不同的物体具有不同的亮度缺点：虽然不同的物体具有不同的亮度 ，但是同一物体的表面的亮度是一个恒，但是同一物体的表面的亮度是一个恒 定的值，没有明暗的自然过度。定的值，没有明暗的自然过度。 w w 考虑引入点光源。考虑引入点光源。 w w 点光源：几何形状为一个点，位于空间中的某点光源：几何形状为一个点，位于空间中的某 个位置，向周围所有的方向上辐射等强度的光个位置，向周围所有的方向上辐射等强度的光 。记其亮度为。记其亮度为I I p p w w 点光源的照射：点光源的照射：在物体的不同部分其亮度也不在物体的不同部分其亮度也不 同，亮度的大小依赖于物体的朝向及它与点光源之间同，亮度的大小依赖于物体的朝向及它与点光源之间 的距离的距离. . 简单光照明模型 简单光照明模型：简单光照明模型：- -漫反射漫反射角度角度 余弦的推导余弦的推导 w w 漫反射漫反射 粗糙、无光泽物体（如粉笔）表面对光的反射粗糙、无光泽物体（如粉笔）表面对光的反射 光照明方程光照明方程 w w 漫反射的亮度漫反射的亮度 w w 点光源的亮度点光源的亮度 w w 漫反射系数漫反射系数 w w 入射角入射角 漫反射光的强度漫反射光的强度 只与入射角有关只与入射角有关 简单光照明模型简单光照明模型- -漫反射漫反射 w w 将环境光与漫反射结合起来将环境光与漫反射结合起来 一般取一般取I I a a = (0.020.2)= (0.020.2) I Id d w w 例子例子 简单光照明模型简单光照明模型- -漫反射漫反射 缺点：对于许多物体，使用上式计算其反缺点：对于许多物体，使用上式计算其反 射光是可行的，但对于大多数的物体，射光是可行的，但对于大多数的物体， 如擦亮的金属、光滑的塑料等是不适用如擦亮的金属、光滑的塑料等是不适用 的，原因是这些物体还会产生镜面发射的，原因是这些物体还会产生镜面发射 。 简单光照明模型简单光照明模型- -镜面反射镜面反射 w w 镜面反射镜面反射 光滑物体（如金属或塑料）表面对光的反射光滑物体（如金属或塑料）表面对光的反射 w w 高光高光 入射光在光滑物体表面形成的特别亮的区域入射光在光滑物体表面形成的特别亮的区域 简单光照明模型简单光照明模型- -镜面反射镜面反射 w w 理想镜面反射理想镜面反射 w w 观察者只能在反射方向上才能看到反射观察者只能在反射方向上才能看到反射 光，偏离了该方向则看不到任何光。光，偏离了该方向则看不到任何光。 简单光照明模型简单光照明模型- -镜面反射镜面反射 w w 非理想镜面反射非理想镜面反射 w w P P为物体表面上一点，为物体表面上一点，L L为从为从P P指向光源的单位指向光源的单位 矢量，矢量，N N为单位法矢量，为单位法矢量，R R为反射单位矢量，为反射单位矢量，V V 为从为从P P指向视点的单位矢量指向视点的单位矢量 光滑平面 I = Ip K scosna 镜面 简单光照明模型简单光照明模型- -镜面反射镜面反射 w w 镜面反射镜面反射 w w IsIs为为镜面反射光强。镜面反射光强。 点光源的亮度点光源的亮度 K K s s是与物体有关的镜面反射系数。是与物体有关的镜面反射系数。n n为为镜面反射指数，镜面反射指数，n n 越大，则越大，则IsIs随随aa的增大衰减的越快。的增大衰减的越快。 n n的取值与表面粗糙程度有关。的取值与表面粗糙程度有关。 n n越大，表面越平滑（散射现象少，稍一偏离，明越大，表面越平滑（散射现象少，稍一偏离，明 暗亮度急剧下降）暗亮度急剧下降） n n越小，表面越毛糙（散射现象严重）越小，表面越毛糙（散射现象严重） 或 w w 简单光照明模型模拟物体表面对光的反简单光照明模型模拟物体表面对光的反 射作用射作用, ,光源为点光源光源为点光源 w w 反射作用分为反射作用分为 物体间作用用环境光物体间作用用环境光( (Ambient Light)Ambient Light) 漫反射漫反射( (Diffuse Reflection)Diffuse Reflection) 镜面反射镜面反射( (SpecularSpecular Reflection) Reflection) 简单光照明模型-Phong光照明模型 简单光照明模型简单光照明模型- -PhongPhong光照明模型光照明模型 w w PhongPhong光照明模型的综合表述：由物体表光照明模型的综合表述：由物体表 面上一点面上一点 P P 反射到视点的光强反射到视点的光强 I I 为环境光为环境光 的反射光强的反射光强I I e e 、理想漫反射光强理想漫反射光强I I d d 、和镜和镜 面反射光面反射光I I s s 的总和。的总和。 w w PhongPhong光照明模型是真实感图形学中提出光照明模型是真实感图形学中提出 的第一个有影响的光照明模型的第一个有影响的光照明模型 w w 经验模型，经验模型，PhongPhong模型存在不足：模型存在不足： 显示出的物体象塑料，无质感变化显示出的物体象塑料，无质感变化 没有考虑物体间相互反射光没有考虑物体间相互反射光 镜面反射颜色与材质无关镜面反射颜色与材质无关 镜面反射大入射角失真现象镜面反射大入射角失真现象 Phong光照明模型的不足 Ie=0.75，Id=0.5 Is=0.25Ie=0. 5，Id=0.5 Is=0.25Ie=0.75，Id=0.75 Is=0 Ie=0.75，Id=0 Is=0.75Ie=1，Id=0 Is=0.9 体绘制方法 体光照模型提供了体数据中各数据点光照强度的 计算方法，体绘制方法提供的是二维结果图象的生 成方法。 首先根据数据点值对每一数据点赋以透明度t和 颜色值（R,G,B），再根据各数据点所在点的梯度 及光照模型计算出各数据点的光照强度，然后将投 射到图象。 平面中同一象素点的各数据点的透明度和颜色值 综合在一起，形成最终的结果图象。 根据不同的绘制次序，体绘制可以分为两类 以图象空间为序的体绘制方法-体光线跟踪法 以对象空间为序的体绘制方法-体单元投影法 体光线跟踪法 - 光线投射法(Ray Casting) 以图象空间为序的体光线跟踪绘制算法是从屏 幕上的每一象素点出发，根据视点方向，发出一条 射线，这条射线穿过三维体数据场。沿这条射线选 择K个等距采样点，由距离采样点最近的八个体素 的颜色值和不透明度值做三线性插值，求出该采样 点的颜色值和不透明度值。而后可以采用由后到前 或由前到后的方法，将射线上每一采样点的颜色和 不透明度组合起来，计算出屏幕上该象素点对应的 颜色值。 光线跟踪算法的主要步骤是： For 每条光线 Do For 每个与光线相交的体素 Do 计算该体素对图象空间对应象素的贡献。 根据光子传输理论,有以下体显示方程: 体单元投影法 以对象空间为序的体绘制方法首先根据每个数 据点的函数值计算该点的不透明度及颜色值， 然后根据给定的视平面和观察方向，将每个数 据点的坐标由对象空间变换到图象空间； 接着根据选定的光照模型，计算出每个数据点 处的光强；然后根据选定的重构核函数计算出从三 维数据点光强到二维图象空间的映射关系，得出每 个数据点所影响的二维象素的范围及对其中每个象 素点的光强的贡献； 最后将不同的数据点对同一象素点的贡献加以 合成。 单元投影算法的主要步骤： For 每一体素或单元 Do For 该体素在视平面投影区域内的每一象素 Do 计算象素点获得的光强。 面绘制的最大的特点是采用曲面造型技术，生成数 据场等值面的曲面表示，再采用面光照模型计算出绘制 图象。与面绘制相比较，