图形学课程-可视化在医学中的应用

1、图形学课程之可视化在医学中的研究可视化在医学中的研究南方医科大学生物医学工程学院郝立巍博士， 2006介绍内容 可视化技术简介 常见软件工具介绍: VTK ITK AVS&AMIRA MITK IDL/3D Doctor/Mimics/VGStudio(Skip) 总结与讨论可视化技术简介图形学在医学中应用总论 三维重建 治疗计划 计算机辅助外科（CAS） 虚拟现实（VR） 虚拟人项目 手术模拟训练 最开始 Roentgen 一百年前接下来 - CT Hounsfield 30多年前现在扫描速度越来越快，数据量越来越大医学可视化研究的产生 目的：从2D堆叠的数据得到3D图像渲染：科学美

2、学 两种主要渲染方法：等值面 3D网格上搜索等值面 由三角网格近似 转化为面片集，直接渲染 轮廓线重建（略） Marching Cubes（MC） 在8个像素组成的体元中搜索。 体元内可能存在的等值面用线性插值近似处理为平面。继续匹配下一个体元继续匹配下一个体元 对每个节点判断它在面内还是面外 如果一条边的两个端点一个在面内一个在面外就认为这条边与等值面相交MC ：等值面与Cubes相交的判断MC ：穷举等值面与Cubes相交类型 理论上 28=256种等值面与Cube的相交类型 三角化每种情况MC ：利用对称减少等值面与Cubes相交类型 利用对称性，等值面与Cube相交的类型由256种减少

3、到15种。MC ：等值面与Cubes15种类型MC ：算法简介 利用线性插值计算等值面与体元的边的相交情况. 计算体元每个角点的梯度 采用离散近似的方法 利用线性插值，计算三角形各顶点的梯度，即认为是各顶点的法向量（错误的计算方向导致等值面黑洞） 对三角形的每个节点置法向量（或三角形置法向量）zkjiDkjiDkjiGykjiDkjiDkjiGxkjiDkjiDkjiGzyx2) 1,() 1,(),(2), 1,(), 1,(),(2), 1(), 1(),(MC ：结果组织 小面片组成一个大的等值面 渲染MC ：优点与问题 优点 渲染简单，易于硬件加速 高解析度 问题 生成的模型过于复杂

4、MC的三角面片是待求等值面的近似表示 几何二义性 可能形成空洞256x256x128 820,000MC ：可以继续的工作 成组连接 可视面判别 并行、大数据量处理 切割、组合、填充 混合渲染 实用的软件 等值面面片的简化 曲线拟合 3维变形及受力模拟 与特定硬件结合的研究体绘制 基本思想 无需构建三维几何模型 直接使用体数据 几种加速方法 软件加速方法 Shear-warp 方法 硬件加速方法 2D/3D纹理映射直接体绘制 直接渲染没有提取任何表面 (DVR) 把标量值映射为光学属性（颜色、透明度） 选择一个光学模型：发射、吸收或混合 通过光线跟踪的方法实现体绘制积分光学模型 吸收型(比如D

5、RR，Digitally Reconstruction Radiology ) 发射型 吸收发射混合型 最大密度投射（CTA，MRA）尺度值 s颜色值 RGB透明度 AT(s)物质的分类光线跟踪 体绘制积分的数值近似 沿光线追踪方向等步长采样 三线性差值体绘制图像的合成沿着入射光线重采样沿着入射光线重采样:RayT(s)T(s)由后到前的合成：由后到前的合成：最大密度投射（MIP）没有发射和吸收 取沿入射光线上的最大尺度值光线s0s 优点优点: 不需要传递函数! 缺点缺点: 没有深度信息!尺度值 S最大尺度 Smax体绘制加速算法 软件：ShearWarp 硬件：2D/3D 纹理加速Shear

6、-warp 变换 直接体绘制速度慢的几点思考： 沿光线方向的坐标变换费时 三维离散数据场的重新采样 如果数据集的方向与入射方向垂直计算就简单多了 Shear-warp算法 对数据集进行错切变换 计算沿光线上各点的贡献的积分变成了平行方向的叠加 把结果再变形回来 继续提速的办法 快速消除透明体素硬件加速方法2D 纹理加速3D 纹理加速纹理加速的原理几何近似几何近似 （考虑成纹理薄片）（考虑成纹理薄片）没有对应体数据的几何元素没有对应体数据的几何元素GeometryProcessingRasterizationFragmentOperations2D纹理加速 轴对齐的薄片轴对齐的薄片硬件的双线性插

7、值硬件的双线性插值在内存中数据集成三个正交方向存三份在内存中数据集成三个正交方向存三份!2D纹理加速: 弱点产生原因是双线性插值代替三线性插值产生的误差产生原因是双线性插值代替三线性插值产生的误差更好的选择: 3D 纹理映射根据视点对齐的数据根据视点对齐的数据 利用硬件的三线性插值利用硬件的三线性插值在内存中只需保留一份数据在内存中只需保留一份数据生成纹理薄片生成纹理薄片纹理薄片的渲染纹理薄片的渲染结果图像结果图像硬件三线性插值硬件三线性插值合成合成3D纹理映射示意医学中体绘制：可以继续的工作 加速（软件，硬件） 传递函数 混合体绘制（MIPRayCast） 体绘制中的物体的拾取 混合渲染（体

8、绘制面绘制） 实用的软件 频域体绘制研究（傅立叶投影截面定理） 多模图像的体绘制体绘制结果（1）明暗计算明暗计算体绘制结果（2）传递函数传递函数体绘制结果（3）MIP发射吸收模型最大密度投射三种常见可视化模式同时显示 体绘制, 等值面, 混合模式体绘制的优缺点 优点 可以同时显示多种组织 高解析度 缺点 渲染过程复杂 交互性差：慢，物体拾取困难VTK简介 VTK的内容 支持几乎所有的通用可视化算法和常见图像处理算法。 利用C+，面向对象开发的对象库。 到3.2版本为止，一共包含600个类和32.5万行代码。 跨平台 支持OpenGL 和 Mesa。 支持多种解释型语言“粘合”代码: Tcl/T

9、k, Java, and Python 开放源代码。 VTK设计思想 Data source Visualizatoin Graphics数据流思想: 管道模式Source Filter Mapper Actor 数据流方向 update方向RenderVisualization model Graphics modelVTK图形模型模拟现实世界的舞台的一个场景交互类设计cameraLightActorscreenVTK图形模型(2)对应上一页的类抽象vtkCameravtkLightvtkActorvtkPropertyvtkMappervtkTransformvtkRenderWindow

10、vtkRenderervtkRenderWindowInteractorVTK图形模型(3)1 vtkRenderWindow2 vtkRenderervtkCameravtkLightvtkActor( property, geometry(mapper), transformation, etc)VTK 的应用3D Slicer:8000/pages/papers/slicer/VTK 的学习资源 VTK Users Guide June 1999, Will Schroeder and Ken Martin, Kitware, In

11、c. (1999) The Visualization Toolkit, 2nd ed., Will Schroeder, Ken Martin and Bill Lorensen, Prentice Hall PTR (1998) ISBN 0-13-954694-4. Manual pages for all releases are available through: vtkusers mailing list available through KitwareITK简介什么是 ITK? ITK 是专门用于处理医学图像的分割与配准问题的代码开放的软件开发包。 ITK 虽然是主要针对医学

12、图像处理，也同样可以用来处理其他类型的图像。 ITK 主要是使用C+语言来设计和实现。同时支持解释性语言(TCL, Python)“粘合”各个软件模块，比较简单地实现运用层次的开发。ITK的起源：美国虚拟人计划美国虚拟人计划2的一部分的一部分 NLM (the US National Library of Medicine) 及其它六个主要的组织。 三个商业伙伴: GE 研发部, Kitware和 Insightful 三个学术界伙伴： North Carolina (UNC), University of Tennessee (UT), and University of Pennsylva

13、nia (UPenn)ITK库的设计特点 ITK 跨平台 (Unix and Windows)。 ITK 大量使用C+的 语言特性，同时又支持MSVC, Sun, gcc 和 SGI等多种编译器 。 “Smart pointers”: 智能指针，简化资源的管理。 Cmake: 跨平台的编译环境。ITK 库的主要内容（1） ITK 主要设计理念是提供一个研究新算法和运用老算法的通用平台。 配准算法: Metrics: Mutual Information Landmark Distance Transformations Affine, Rigid, or Projective Kernel-b

14、ased (e.g., Elastic-Body Splines and Thin-Plate Splines) Optimization Algorithms Conjugate Gradient Gradient DescentITK 库的主要内容（2） 分割算法: Deformable mesh Balloon force filter Region growing Watershed 图像处理算法: Contrast Enhancement (Power-law Adaptive Histogram Equalization ) Morphology Image filtersITK带

15、给我们的益处 可以从大量优秀的代码中学习。 减少了重复开发的工作量。 建立了一个基础的可通用的算法库。 建立了一个可用于高级开发的算法平台。 方便了我们的以后的研究工作。 ITK与VTK的关系 相似性: 代码开放的结构 库设计结构相似: 数据流的类关联结构 使用对象厂的模式 相似的库维护和发展机制. 不同: VTK: Visualization ITK: Segmentation and Registration ITK 使用模板和智能指针 不同数据格式ITK与VTK的接口 回调函数用于连接 ITK和VTK的数据管道 : ITK: itkVTKImageImport, itkVTKImageE

16、xport VTK: vtkImageImport, vtkImageExport Typical data flow:vtkDatavtkImageExportItk:VTKImageImportItk:ImageFilterItk:VTKImageExportvtkImageImportITK应用实例 - 利用互信息量配准Visualization by VTKPatient scans in multi modalitiesinput VTK /ITK InterfaceRegistrationresultsoutputUpdateviewportsMutual Information

17、Registration Filterin ITKItk:MutualInformationImageToImageMetricItk:Rigid or AffineRegistrationItk:GradientDescentOptimizerITK应用实例 - 利用互信息量配准（2）商业可视化工具-AVS&AMIRA介绍AVS/Express的内容 面向对象可视化工具 模块化 分层次 开放可扩展 上百种预先定义的可视化开发工具 分析 显示 数据编辑 交互 组件库选择页 菜单条 组件库 被使用的组件 状态条组件AVS编程界面生成一个立方体的示例生成一个立方体的示例（2）Amira 最

18、简单地医学可视化系统最简单地医学可视化系统 支持多种可视化方法 支持硬件加速 支持多种文件格式 傻瓜化的可视化数据处理 参数调节多样 几乎没有学习曲线 Amira体绘制示例体绘制示例Amira体绘制示例（体绘制示例（2）MITK介绍http:/ MITK, Medical Imaging ToolKit, is a C+ library for integrated medical image processing and analyzing developed by 中国科学院自动化研究所医学影像处理研中国科学院自动化研究所医学影像处理研究组究组. The development of MITK is inspired by the big success of open source softwares VTK and ITK, and its main purpose is to provide medical image community a consistent framework to combine the function of medical image segmentation, registration and visualiz