医学成像技术第八章-三维重建技术.ppt

第七章三维重建技术 7 1概述 任务 三维 二维 发展 早期探索阶段 1970s 1980s 主要针对心脏 肝脏 胚胎 神经等器官的三维重建 表面重建的算法 轮廓线提取算法 轮廓线对应算法 三角片镶嵌算法 曲面拟合算法等等 基础算法研究阶段 1990s 基于体元的表面绘制算法 Cuberille MarchingCubes DividingCubes 直接体绘制算法 Raycasting Splatting V Buffer 及各种加速算法 实用系统研究阶段 90年代末 外科手术模拟系统 放射治疗模拟 虚拟内窥镜 整形外科 解剖模拟 应用领域 诊断医学 在临床核医学研究中 CT图象 磁共振图象和超声图象的广泛应用是诊断的有力的手段 应用先进的可视化技术对这些图象进行处理 构造三维实体模型以及对其进行剖切显示 有助于了解复杂解剖特征的空间定位和随着时间所发生的变化 整形与假肢手术规划可视化技术在整形外科中的应用是假肢设计 造型 例如 在做髋骨更换手术前 需要根据病人的个体特征正确地设计所需髋骨假肢的外形 才能减少因假肢形状差异造成手术失败的概率 首先根据CT或MR图象重构假肢的精确三维模型 交工厂制作 然后进行手术更换 放射治疗计划利用放射性射线杀死或抑制恶性肿瘤需要事先做出仔细规划 包括剂量计算和照射点定位 如果辐射定位不准或剂量不当 轻则造成治疗效果不佳 重则危及周围正常组织 根据医学图象重建病人病灶区的解剖结构 并作出精确定位和剂量计算已是实际可行的 脑结构图及其功能研究由于脑的复杂性 纯粹采用神经生物学家所常采用的简化方法无法对之作出进一步了解 可视化技术在通过组织切片 医学成象仪器 如超声波 CT MR PET等 药物吸收和神经生理实验等手段获取脑的数字图象 并进行特征提取和脑图分析 重构三维脑的结构图和功能图 以适当的三维显示方式显示出来 7 2主要内容 预处理 分割 模型构建 模型网格简化 绘制 预处理 分割 二维分割三维分割 重建 绘制 面绘制体绘制 7 3表面绘制 MarchingCube算法 表面重建皮肤灰度阈值HU 500 表面重建皮肤HU 500骨头HU 1150 表面重建透明显示皮肤HU 500 表面重建透明显示皮肤HU 500骨骼HU 1150 阻光度 0 8 阻光度 0 6 阻光度 0 4 阻光度 0 25 7 3体绘制 在自然环境和计算模型中 许多对象和现象只能用三维数据场来表示 与传统的计算机图形学相比 对象体不再用几何曲面或曲线表示的三维实体 而是用体素 Voxel 作为基本造型单元 对于每一体素 不仅其表面而且其内部都包含了对象信息 这是仅用曲线和曲面等几何造型方法所无法表示的 体绘制的目的就在于提供一种基于体素的绘制技术 它有别于传统的基于面的绘制 能显示出对象体的丰富的内部细节 体光照模型 体光照模型是研究直接体绘制的基础 从物理意义上讲 当光线穿过体素与光线遇到一曲面时 会发生不同的光学现象 前者如光线穿过云层会发生吸收 散射等现象 后者如光线射到桌面上 有漫射 反射 透射等现象 不同的物理背景决定了体光照强度的计算与面光照强度的计算有不同的模型和方法 体光照模型就是研究光线穿过体素时的变化 将光线穿过体素时的物理现象用数学模型来描述 在目前的体绘制中 采用得较多的有 源 衰减模型 Sourceattenuation 变密度发射模型 Varyingdensityemitters 材料分类及组合模型 Classificationandmixture 源 衰减模型最早由Jaffery提出 该模型为体数据场中的每一体素分配一个源强度和一个衰减系数 每一个体素作为一个质点光源 发出的光线在数据场中沿距离衰减后被投影到视平面上 形成结果图象 当光照射到物体表面时 光线可能被吸收 反射和透射 被物体吸收的部分转化为热 反射 透射的光进入人的视觉系统 使我们能看见物体 为模拟这一现象 建立一些数学模型来替代复杂的物理模型 这些模型就称为明暗效应模型或者光照明模型 三维形体的图形经过消隐后 再进行明暗效应的处理 可以进一步提高图形的真实感 计算某一点的光强度的模型 光照模型 影响观察者看到的表面颜色的因素 物体的几何形状 光源位置 距离 颜色 数量 强度 种类 环境遮挡关系 光的反射与折射 阴影 视点位置 物性材料 颜色 透明度折射性 表面光洁度 光源 几何性质点光源线光源面光源 光谱组成白色光等能量的各种波长可见光的组合彩色光单色光 光的传播反射定律 入射角等于反射角 而且反射光线 入射光线与法向量在同一平面上 折射定律 折射定律 折射线在入射线与法线构成的平面上 折射角与入射角满足 能量关系 在光的反射和折射现象中的能量分布 下标为i d s t v的能量项分别表示为入射光强 漫反射光强 镜面反射光强 透射光强 吸收光强能量是守恒的 简单光照明模型 模拟物体表面的光照明物理现象的数学模型 光照明模型简单光照明模型亦称局部光照明模型 其假定物体是不透明的 只考虑光源的直接照射 而将光在物体之间的传播效果笼统地模拟为环境光 可以处理物体之间光照的相互作用的模型称为整体光照明模型 简单光照明模型 光照射到物体表面 主要发生 反射透射 对透明物体 部分被吸收成热能反射光 透射光决定了物体所呈现的颜色 简单光照明模型 环境光 假定物体是不透明的 即无透射光 环境光 在空间中近似均匀分布 即在任何位置 任何方向上强度一样 记为Ia环境光反射系数Ka 在分布均匀的环境光照射下 不同物体表面所呈现的亮度未必相同 因为它们的环境光反射系数不同 光照明方程 仅含环境光 Ie KaIaIe为物体表面所呈现的亮度 简单光照明模型 环境光例子 具有不同环境光反射系数的两个球 简单光照明模型 环境光 缺点 虽然不同的物体具有不同的亮度 但是同一物体的表面的亮度是一个恒定的值 没有明暗的自然过度 考虑引入点光源 点光源 几何形状为一个点 位于空间中的某个位置 向周围所有的方向上辐射等强度的光 记其亮度为Ip点光源的照射 在物体的不同部分其亮度也不同 亮度的大小依赖于物体的朝向及它与点光源之间的距离 简单光照明模型 简单光照明模型 漫反射角度余弦的推导 漫反射粗糙 无光泽物体 如粉笔 表面对光的反射光照明方程漫反射的亮度点光源的亮度漫反射系数入射角漫反射光的强度只与入射角有关 简单光照明模型 漫反射 将环境光与漫反射结合起来一般取Ia 0 02 0 2 Id例子 简单光照明模型 漫反射 缺点 对于许多物体 使用上式计算其反射光是可行的 但对于大多数的物体 如擦亮的金属 光滑的塑料等是不适用的 原因是这些物体还会产生镜面发射 简单光照明模型 镜面反射 镜面反射光滑物体 如金属或塑料 表面对光的反射高光入射光在光滑物体表面形成的特别亮的区域 简单光照明模型 镜面反射 理想镜面反射观察者只能在反射方向上才能看到反射光 偏离了该方向则看不到任何光 简单光照明模型 镜面反射 非理想镜面反射P为物体表面上一点 L为从P指向光源的单位矢量 N为单位法矢量 R为反射单位矢量 V为从P指向视点的单位矢量 光滑平面 I IpKscosna 镜面 简单光照明模型 镜面反射 镜面反射Is为镜面反射光强 点光源的亮度Ks是与物体有关的镜面反射系数 n为镜面反射指数 n越大 则Is随a的增大衰减的越快 n的取值与表面粗糙程度有关 n越大 表面越平滑 散射现象少 稍一偏离 明暗亮度急剧下降 n越小 表面越毛糙 散射现象严重 或 简单光照明模型模拟物体表面对光的反射作用 光源为点光源反射作用分为物体间作用用环境光 AmbientLight 漫反射 DiffuseReflection 镜面反射 SpecularReflection 简单光照明模型 Phong光照明模型 简单光照明模型 Phong光照明模型 Phong光照明模型的综合表述 由物体表面上一点P反射到视点的光强I为环境光的反射光强Ie 理想漫反射光强Id 和镜面反射光Is的总和 Phong光照明模型是真实感图形学中提出的第一个有影响的光照明模型经验模型 Phong模型存在不足 显示出的物体象塑料 无质感变化没有考虑物体间相互反射光镜面反射颜色与材质无关镜面反射大入射角失真现象 Phong光照明模型的不足 Ie 0 75 Id 0 5Is 0 25 Ie 0 5 Id 0 5Is 0 25 Ie 0 75 Id 0 75Is 0 Ie 0 75 Id 0Is 0 75 Ie 1 Id 0Is 0 9 体绘制方法 体光照模型提供了体数据中各数据点光照强度的计算方法 体绘制方法提供的是二维结果图象的生成方法 首先根据数据点值对每一数据点赋以透明度t和颜色值 R G B 再根据各数据点所在点的梯度及光照模型计算出各数据点的光照强度 然后将投射到图象 平面中同一象素点的各数据点的透明度和颜色值综合在一起 形成最终的结果图象 根据不同的绘制次序 体绘制可以分为两类以图象空间为序的体绘制方法 体光线跟踪法以对象空间为序的体绘制方法 体单元投影法 体光线跟踪法 光线投射法 RayCasting 以图象空间为序的体光线跟踪绘制算法是从屏幕上的每一象素点出发 根据视点方向 发出一条射线 这条射线穿过三维体数据场 沿这条射线选择K个等距采样点 由距离采样点最近的八个体素的颜色值和不透明度值做三线性插值 求出该采样点的颜色值和不透明度值 而后可以采用由后到前或由前到后的方法 将射线上每一采样点的颜色和不透明度组合起来 计算出屏幕上该象素点对应的颜色值 光线跟踪算法的主要步骤是 For每条光线DoFor每个与光线相交的体素Do计算该体素对图象空间对应象素的贡献 根据光子传输理论 有以下体显示方程 体单元投影法 以对象空间为序的体绘制方法首先根据每个数据点的函数值计算该点的不透明度及颜色值 然后根据给定的视平面和观察方向 将每个数据点的坐标由对象空间变换到图象空间 接着根据选定的光照模型 计算出每个数据点处的光强 然后根据选定的重构核函数计算出从三维数据点光强到二维图象空间的映射关系 得出每个数据点所影响的二维象素的范围及对其中每个象素点的光强的贡献 最后将不同的数据点对同一象素点的贡献加以合成 单元投影算法的主要步骤 For每一体素或单元DoFor该体素在视平面投影区域内的每一象素Do计算象素点获得的光强 面绘制的最大的特点是采用曲面造型技术 生成数据场等值面的曲面表示 再采用面光照模型计算出绘制图象 与面绘制相比较 体绘制的一个特点就在于放弃了传统图形学中体由面构造的这一约束 采用体绘制光照模型直接从三维数据场中绘制出各类物理量的分布情况 等值面 等势面 等数据场的几何面表示方法是研究者们为了适应图形显示 人为地提出的一种数据场表示形式 体绘制的根本点就在于放弃了这一做法 直接研究光线穿过三维体数据场时的变化 得到最终的绘制结果 所以有时体绘制也被称做直接体绘制 由于体绘制的这种直接性 非常符合人的视见过程 因此保留了大量的细节信息大大地提高了图象的保真度 这时图象质量已不在以来面地分割如何 而是集中在光照模型 绘制过程上 面绘制与体绘制比较 面绘制要构造中间曲面表示 必然要通过域值或极值等方法提取出中间曲面 这就是被称为分割 Segmentation 的过程 由于目前的分割基本上还是一种二者择一的方法 缺少准确有效的方法 通过分割 许多三维数据场中的细节信息被丢失 有些分界面