医疗影像处理综述.ppt

医学图像处理综述二0一四年十月 目录 医学图像处理背景医学图像预处理医学图像去噪医学图像复原医学图像分割医学图像识别医学图像配准医学图像的拼接医学图像在临床的应用医学图像处理技术在科研中的应用 医学图像处理背景 医学图像处理是一门综合了数学 计算机科学 医学影像学等多个学科的交叉科学 是利用数学的方法和计算机这一现代化的信息处理工具 对由不同的医学影像设备产生的图像按照实际需要进行处理和加工的技术 医学图像处理的对象主要是X射线图像 CT ComputerizedTomography 图像 MRI MagneticResonanceImaging 图像 超声 Ultrasonic 图像 PET Positronemissiontomography 图像和SPECT SinglePhotonEmissionComputedTomography 图像等 医学图像处理过程一般包括 图像采集 图像预处理 图像分析 图像理解以及控制决策等环节 医学图像处理过程 目录 医学图像处理背景医学图像预处理医学图像去噪医学图像复原医学图像分割医学图像识别医学图像配准医学图像的拼接医学图像在临床的应用医学图像处理技术在科研中的应用 含义图像预处理是对输入的图像进行特征抽取 分割及配准前所进行的处理 图像预处理技术分为两大方面 即图像增强和图像复原技术 必要性图像在传输过程和存储过程中难免会受到某种程度的破坏和各种各样的噪声的污染 导致图片丧失了本质或者偏离了人们的需求 这就需要一系列的预处理操作来消除图像受到的影响 进行图像预处理主要目的是为了消除图像中无关紧要的信息 恢复有用的真实的信息 增强相关信息的可检测性和最大限度地简化我们需要的数据 从而增加特征抽取 图像分割 配准和识别等后续图像处理步骤的可靠性 医学图像的预处理 图像增强增强图像中的有用信息 它可以是一个失真的过程 其目的是要改善图像的视觉效果 针对给定图像的应用场合 有目的地强调图像的整体或局部特性 将原来不清晰的图像变得清晰或强调某些感兴趣的特征 扩大图像中不同物体特征之间的差别 抑制不感兴趣的特征 使之改善图像质量 丰富信息量 加强图像判读和识别效果 满足某些特殊分析的需要 图像增强技术图像增强技术主要有两种方法 空间域和频率域法 空间域法则主原始图像图像预处理图像理解特征分析 直接在空间域内对图像进行运算处理 包括图像灰度变换 直方图修正 局部统计法 图像平滑和图像锐化等几个方面 频率域法则只在图像的某种变换域里对图像的变换值进行运算 比如对图像进行傅立叶变换 然后在变换域里对图像的频谱进行某种计算 最后把计算后的图像逆变换到空间域 医学图像的预处理 图像增强 医学图像的预处理 图像增强方法 医学图像的图像增强 直方图均衡 灰度直方图 数字图像中每一灰度级与它出现的频率之间的统计 可以理解为描述各个灰度级的像素出现多少的统计图示 若用横坐标表示灰度级 纵坐标表示频率 就可以看出图像中灰度的分布情况 四种典型灰度图像的直方图特征 a 暗图像 b 亮图像 c 低对照度图像 e 高对照度图像 医学图像的图像增强 图像锐化 图像锐化目的 图像经转换或传输后 质量可能下降 难免有些模糊 通过锐化 加强图像轮廓 使图像看起来比较清晰 方法 空间频率愈高 幅度增加就愈大 这表明微分是可以加强高频成分的 从而使图像轮廓变清晰 最常用的锐化方法是梯度法和拉普拉斯算子 医学图像的图像增强 伪彩色增强 伪彩色加强 人眼只能区分40多种不同等级的灰度 却能区分几千种不同色度 不同亮度的色彩 伪彩色处理就是把黑白图象的灰度值映射成相应的彩色 人脑图像伪彩色增强 心脏图像伪彩色增强 医学图像的图像增强 图像去噪 图像去噪 现实中的数字图像在数字化和传输过程中 常受到成像设备与外部环境噪声干扰等影响 成为含噪图像 完全去除或减少数字图像中的噪声称为图像去噪技术 必要性 大多数的现实医学图像都是含噪图像 医学图像噪声对医学图像分析 医学图像压缩的影响很大 因此医学图像去噪是医学图像预处理阶段最重要的任务之一 医学图像去噪是图像预处理中一项被广泛应用的技术 其作用是提高医学图像的信噪比 突出医学图像期望特征 因此 具体重要的应用价值 关于图像去噪的详细内容将在之后的章节进行介绍 图像复原技术需要知道图像的降质缘由 根据图像降质的现眼知识 恢复并重构原来的图像 图像复原和图像增强的目的是不一样的 图像增强的目的是为了改善图像视觉效果 便于观察和分析人们所感兴趣的东西 而把那些不重要的地方给清除出去 不仅如此 图像增强还便于人工或者机器对图像的进一步处理 而图像复原不仅仅是对图像进行预处理还要恢复至原来的面貌 它需要建立模型依此为依据进行复原 关于图像复原的详细内容将在之后的章节进行介绍 医学图像的预处理 图像复原 目录 医学图像处理背景医学图像预处理医学图像去噪医学图像复原医学图像分割医学图像识别医学图像配准医学图像的拼接医学图像在临床的应用医学图像处理技术在科研中的应用 医学图像去噪方法 含义 医学图像在采集 数字化和传输过程中 常受到成像设备与外部环境噪声干扰等影响 成为含噪图像 完全去除或减少数字图像中的噪声称为图像去噪技术 必要性 医学成像过程中由于成像机制的影响 不可避免的引入噪声 图像中的噪声会大大降低图像的质量 使组织边界模糊 细微结构难以辨认 影响医学诊断 因此在医学图像去噪中 有效的去除噪声的同时很好的保留边界和结构信息是十分重要的 医学图像去噪方法 空域法 空域法 采用各种图像平滑模板对图像进行卷积处理 达到抑制或消除噪声的目的 高斯滤波 高斯滤波是经典的图像滤波的算法 能够在一定程度上抑制噪声 很多算法都拿高斯滤波做预处理 例如canny边缘检测算子 然而高斯滤波在模糊图像的同时 也模糊了图像的边缘信息 均值滤波 均值滤波的方法是对将处理的当前像素 选择一个模板 该模板为其邻近的若干像素组成 用模板中像素的均值来替代原像素的值 均值滤波是一种线性滤波器 但是模糊效应比较严重 去噪的同时会引起细节信息的丢失 中值滤波 是一种常用的非线性平滑滤波方法 其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代换 中值滤波的主要作用是将那些与周围像素灰度值的差比较大的像素改取与周围的像素值接近的值 从而可以消除孤立的噪声点 所以中值滤波对于滤除图像的椒盐噪声非常有效 中值滤波优于均值滤波之处在于它不仅像均值滤波一样可以抑制噪声 而且可以使边缘模糊效应大大降低 医学图像去噪方法 空域法举例 a 含椒盐噪声的大脑医学图像 b 均值滤波效果 均值滤波 方法是对将处理的当前像素 选择一个模板 该模板为其邻近的若干像素组成 用模板中像素的均值来替代原像素的值 c 中值滤波效果 中值滤波 基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代换 医学图像去噪方法 频率域法 频率域法 通过对图像进行变换以后 选用适当的频率带通滤波器进行滤波 经反变换后获得去噪声图像 小波方法 主要是针对图像信号与噪声信号经小波变换后再不同的分辨率呈现不同的规律 在不同的分辨率下 设定阈值门限 调整小波系数带到图像去噪目的 如果阈值太小 处理后的信号仍有噪声存在 阈值太大 重要的图像特征将被滤掉 引起偏差 利用小波去噪 只有当阈值选择合适才能使达到比较好的去噪效果 基于稀疏变换去噪 将图像有用信息部分作为图像中稀疏成分 而将图像中的噪声作为图像 去除其中稀疏成分后得到 残差 以此作为图像去噪处理的基础 相比于空域方法 基于稀疏变换的方法可以有效保留图像原有高频信息的基础上去除噪声高频分量 医学图像去噪方法 频域法举例 利用小波变换对机械部件图像去噪效果对比图 有效的保留了图像的高频分量 目录 医学图像处理背景医学图像预处理医学图像去噪医学图像复原医学图像分割医学图像识别医学图像配准医学图像的拼接医学图像在临床的应用医学图像处理技术在科研中的应用 医学图像的退化图像在形成 记录 处理和传输过程中 由于成像系统 记录设备 传输介质和处理方法的不完善 从而导致的图像质量下降 医学图像的复原试图利用退化过程的先验知识 去恢复已被退化图像的本来面目 复原的过程是沿着质量降质 退化 的逆过程来重现原始图像 医学图像的退化与复原 医学图像的复原 基本思路 退化了的图像 图像退化 图像复原 研究退化模型 高质量图像 复原的图像 图像退化典型原因及表现 成像系统的像差 畸变 有限带宽等造成的图像失真 模拟图像在数字化的过程中 由于会损失掉部分细节 因而造成图像质量下降 拍摄时 相机与景物之间的相对运动产生的运动模糊医学图像的复原方法根据图像退化的先验知识建立一个退化模型 以此模型为基础 采用各种逆退化处理方法进行恢复 使图像质量得到改善 图像复原的关键在于建立图像退化模型 这个退化模型应该能够反映图像退化的原因 通常将退化原因作为线性系统退化的一个因素来对待 从而建立系统退化模型来近似描述图像函数的退化 医学图像的退化与复原 图像复原方法 退化函数估计 运动矩阵H的估计 噪声 n 的估计 图像去噪 可以使用空间域或频率域滤波器实现 因为不同原因产生的噪音的分布是不同 可以通过分析图片中噪音的分布得到产生这些噪音的参数 然后进行逆运算进行图像复原 逆滤波 有约束的最小二乘法容易通过计算机的简单程序实现 对图像进行逆滤波来实现反卷积的方法方便快捷 无需循环或迭代 直接可以得到反卷积结果 维纳滤波 由Wiener首先提出的 应用于一维信号处理 取得了很好的效果 之后 维纳滤波法被用于二维信号处理 也取得了不错的效果 尤其在图像复原领域 由于维纳滤波计算量小 复原效果好 从而得到了广泛的应用和发展 医学图像的复原方法 医学图像的复原方法 去噪声 a 原图像 b 被正弦噪声干扰的图像 c 滤波效果图 复原受正弦噪声干扰的图像 医学图像的复原方法 维纳滤波去运动模糊 a 原图像 b 运动模糊图像 c 滤波效果图 利用维纳滤波复原含运动模糊的图像 目录 医学图像处理背景医学图像预处理医学图像去噪医学图像复原医学图像分割医学图像识别医学图像配准医学图像的拼接医学图像在临床的应用医学图像处理技术在科研中的应用 医学图像分割 医学图像分割是一个根据图像区域间的相似或不同把图像分割成若干区域的过程 这些区域是互相不交叉的 每一个区域都满足特定区域的一致性 必要性 图像分割是图像分析环节的关键技术 是提取影像图像中特殊组织的定量信息的不可缺少的手段 同时也是可视化实现的预处理步骤和前提 分割后的图像正被广泛应用于各种场合 如组织容积的定量分析 诊断 病变组织的定位 解剖结构的学习 治疗规划 功能成像数据的局部体效应校正和计算机指导手术 由于医学图像的复杂性和多样性 医学图像分割至今仍然是个科学难题 医学图像分割 技术实现方法 基于区域的分割方法 利用同一区域内的特征相似性识别图像不同区域的方法 阈值法区域生长和分裂合并分类器和聚类方法基于随机场的方法其他统计方法边缘分割方法 区域边缘上的像素灰度值的变化往往比较剧烈 检测不同区域间的边缘来解决图像分割问题 并行微分算子基于曲面拟合的方法基于边界曲线拟合的方法串行边界查找 医学图像分割 阈值法举例 脑部CT切片的CT值范围为0 4095 灰度级别为4096 采用多阈值方法将改图分为四个部分 背景 表皮 软组织和骨骼 阈值分别为175 977和1502 阈值方法 如果只用选取一个阈值称为单阈值分割 它将图像分为目标和背景 如果需用多个阈值则称为多阈值方法 图像将被分割为多个目标区域和背景 为区分目标 还需要对各个区域进行标记 阈值分割方法基于对灰度图像的一种假设 目标或背景内的相邻像素间的灰度值是相似的 但不同目标或背景的像素在灰度上有差异 反映在图像直方图上就是不同目标和背景对应不同的峰 选取的阈值应位于两个峰之间的谷 从而将各个峰分开 阈值法的优缺点 优点简单对于不同类的物体灰度值或其他特征值相差很大时 它能很有效的对图像进行分割 阈值分割通常作为预处理 在其后应用其他一系列分割方法进行处理 它常被用于CT图像中皮肤 骨骼的分割 缺点不适用于多通道图像和特征值相差不大的图像 对于图像中不存在明显的灰度差异或各物体的灰度值范围有较大重叠的图像分割问题难以得到准确的结果 它仅仅考虑了图像的灰度信息而不考虑图像的空间信息 阈值分割对噪声和灰度不均匀很敏感 医学图像分割 并行微分算子方法举例 并行微分算子法对图像中灰度的变化进行检测 通过求一阶导数极值点或二阶导数过零点来检测边缘 常用的一阶导数算子有梯度算子 Prewitt算子和Sobel算子 二阶导数算子有Laplacian算子 还有Kirsch算子和Wallis算子等非线性算子 梯度算子不仅对边缘信息敏感 而且对于像素点也很敏感 医学图像分割 并行微分算子法的优缺点 优点对于高质量图像 检测精度高 缺点对噪声敏感 由于梯度算子具有高通特性 噪声通常也是高频的 因此可能造成一些错误边缘像素的检测 区域生长和分裂优点 计算简单 特别适用于分割小的结构如肿瘤和伤疤 缺点 需要人工交互以获得种子点 这样使用者必须在每个需要抽取出的区域中植入一个种子点 对噪声敏感 导致抽取出的区域有空洞或者在局部体效应的情况下将原本分开的区域连接起来 形变模型优点 能够直接产生闭合的曲线或者曲面 对噪声和伪边界有很强的鲁棒性 缺点 对初始边界位置敏感 需要人工交互干预 其他方法 限于篇幅不再赘述 医学图像分割 其他方法的优缺点 目录 医学图像处理背景医学图像预处理医学图像去噪医学图像复原医学图像分割医学图像识别医学图像配准医学图像的拼接医学图像在临床的应用医学图像处理技术在科研中的应用 含义 利用计算机对医学图像进行自动处理 特征抽取和分类的技术 实现医学图像自动识别是计算机和医学交叉领域的研究热点 而影响识别效果的因素主要是特征提取和识别方法两个方面 医学图像的识别 颜色特征提取优点 提取方便缺点 缺少空间分布信息纹理特征提取优点 可以反映图像像素点某邻域内灰度级或颜色的某种变化 进而反映局部结构化特征 缺点 缺少全局信息 形状特征提取优点 可以很好的表示图像可视化特征 缺点 需要图像分割 图像分割好坏决定着特征提取的效果 医学图像的识别 特征提取方法的优缺点 神经网络是主流的医学图像识别方法 优点自适应性强学习能力强鲁棒性和容错能力强缺点对于处理多维特征图像 单个分类器识别率不高使用多个神经网络分类器复杂度高 医学图像的识别 神经网络识别方法 医学图像的识别举例 乳腺病变位置的确定 a 原始图像 b 阈值分割得到的乳腺组织和脂肪组织 c 利用区域生长方法得到病理影像 d 增加了针状物特征之后的病理提取情况 在特征提取的基础上进行模式分类是基于乳腺影像的计算机辅助诊断的重要步骤 如上图所示 对原始数据进行处理的过程中得到病灶的一系列特征 以及用这些特征表达的模式 正是这些特征或特征的组合形成的模式可以用于自动的分类分析 目录 医学图像处理背景医学图像预处理医学图像去噪医学图像复原医学图像分割医学图像识别医学图像配准医学图像的拼接医学图像在临床的应用医学图像处理技术在科研中的应用 医学图像刚性配准与柔性配准的含义 医学图像配准是指将来自不同形式的探测器 如MRI CT PET SPECT等 的医学图像 利用计算机技术实现对于一幅医学图像寻求一种或者一系列的空间变换 使它与另一幅医学图像上的对应点达到空间上的一致 其中 刚性配准的空间变换为刚性变换 柔性配准的空间变换为非线性变换 医学图像配准的必要性 必要性 医学图像大致可分为解剖图像 如CT MRI 和功能图像 如PET fMRI SPECT 解剖图像能清晰地提供脏器的解剖结构信息 但不具备功能显示 功能图像能够显示人体的新陈代谢的功能变化 但分辨率较低 无法清晰地描绘出器官或病灶的解剖细节 若单独使用某一种模态的成像技术 效果都不理想 因而我们需要利用图像配准技术来使多次成像或多种模式成像的信息得到综合利用 医学图像配准的一般流程 医学图像配准 刚性变换与非线性变换 刚体变换 仿射变换 投影变换 非线性变换 刚性变换 用一句话来说刚性变换后直线仍然是直线 非线性变换后直线可能会变成曲线 医学图像配准 刚性变换 刚体变换 指在变换前后能够保持待配准图像中任意两点间距离不变的变换方法 包括平移和旋转两部分 仿射变换 变换前后能够将待配准图像中的直线仍旧映射为直线 且任意两直线之间的平行关系保持不变 它包括平移 旋转和缩放 投影变换 变换前后的平行直线仍旧是直线 但不保证它们间的平行关系仍旧成立 投影变换反映的是目标在不同距离成像时 成像系统中发生的变形 医学图像配准 柔性变换主要方法 弹性体模型 根据物理学中的弹性力学的运动抽象出来的模型 它主要研究弹性物体在外力作用和内外环境变化时产生的应变 应力以及位移的大小和位置 粘性流体理论 在配准过程中 源图像被视作粘性流体 流体在内力的作用下流动去拟合目标图像 一段时间后 内力消失 流体停止流动 图像中的内力在形变的过程中随着时间消逝而释放 使它具有模拟高度局部化形变的能力 样条函数法 常用的样条函数有薄板样条 B样条等 采用样条函数的配准方法的原理是 假设在参考图像和目标图像中存在某些确定的对应点 也称为控制点 将目标图像中的控制点映射到参考图像的对应点 在控制点之间 求取它们之间存在的最优光滑位移场 医学图像配准 技术实现方法 基于灰度的图像配准技术基于灰度的方法是通过寻找两幅图像重叠部分中相似的灰度信息来寻找图像的配准位置 使用灰度信息相似性最大或最小值点来判断两个区域是否相似 常用的算法有灰度比值 区域匹配法 最大互信息法等 其中互信息是最常用的相似测度函数 并已取得了巨大成功 优点 只与图像的灰度相关 与图像的颜色无关 并且互信息法已经广泛应用于医学图像配准当中 缺点 运算量大 配准时间长 医学图像配准 技术实现方法 基于特征的图像配准技术基于特征的方法是通过提取待配准图像和参考图像的相应特征 以数学方法建立特征之间的几何变换关系匹配 这些图像特征包括点 线 边缘 轮廓等 特征的提取算法可以分为点特征提取算子 例如Harris SUSAN 还有轮廓特征算子 例如Canny 梯度算子等 优点 速度快 计算量小 拼接精度高 缺点 拼接的精度较大程度上取决于特征的提取 使用该方法运用时通常需要半人工选取特征 医学图像配准举例 MR肝脏图CT肝脏图 基于B样条的柔性配准基于仿射变换的刚性配准 医学图像刚性配准举例 a 参考图像 b 待配准图像 c 配准后图像 目录 医学图像处理背景医学图像预处理医学图像去噪医学图像复原医学图像分割医学图像识别医学图像配准医学图像的拼接医学图像在临床的应用医学图像处理技术在科研中的应用 医学图像拼接 含义 将不同成像设备或同一成像设备不同时间获得的含有重叠区域的多幅医学图像综合成一幅大型的高分辨率无缝医学图像的图像处理技术 必要性 由于现有的成像设备限制 要获得完整的医学图像常常需要多次拍摄 医生需要将多次拍摄的具有相互重叠的图像拼接 全局观察病人情况 过去临床上医生常使用手工拼接和网格拼接的方法 手动的方法虽然直接 但误差相对较大 速度慢 而网格拼接方法 需要专门设备 并且拍摄的图像带有网格 影响临床诊断 通过医学图像拼接技术来获取全景的医学图像 可以说是一种便捷 高效 高性价比的解决途径 医学图像拼接 关键步骤 医学图像拼接主要分为两步 图像配准与图像融合 图像配准 该步骤在上一章节已描述 图像融合 由于在不同时刻获得的图像 在光照 设备参数和周围环境的影响下 图像的像素很难保持不变 在拼接时就会出现缝隙 不便于观察 因此需要采用融合技术对重叠区域进行融合 进而消除拼接缝隙线 医学图像融合 带有缝隙线的拼接图像 医学图像拼接 以像素为基础的融合 以像素为基础的方法 由于像素是图像的基本元素 像素间灰度值的差异显现出图像中所包含的结构信息 因此简单地把两幅图像对应像素点的灰度值进行加权求和 灰度取大或者灰度取小等操作 便可得到一幅融合图像 优点 数学原理易于理解 算法实现简单 缺点 实现效果和效率相对较差 融合后图像会出现一定程度的模糊 医学图像拼接 以图像特征为基础的融合 以图像特征为基础的方法 现有的基于图像特征的融合方法几乎都是从变换域上的图像编码和压缩技术延伸来的 有Laplacian金字塔法 Gaussian金字塔法 多分辨率形态滤波法和小波变换法等 一般步骤为 将源图像分别变换至一定的变换域上 在变换域上设计一定的融合规则 根据选取的规则在变换域上创建融合图像 逆变换重建融合图像 优点 实现效果比较理想 缺点 要对图像进行特征提取 目标分割等处理 算法原理复杂 医学图像拼接举例 MRI图像和SPECT图像拼接 医学图像拼接举例 待拼接图 拼接后的图 目录 医学图像处理背景医学图像预处理医学图像去噪医学图像复原医学图像分割医学图像识别医学图像配准医学图像的拼接医学图像在临床的应用医学图像处理技术在科研中的应用 直接处理方法 应用影像设备的随机软件对获取的医学图像直接进行处理 医学影像设备的随机软件的功能一般比较齐全 基本上可以满足对医学图像处理的一般性要求 例如 对CT或MRI图像进行增强处理 滤波处理 血管成像 三维重建和一些定量测量等 脱机应用工作站处理方法 比直接处理更专业的医学图像处理方式 是基于临床对医学图像处理的更高要 如多模医学图像的配准 融合 虚拟内窥镜 外科手术的术前计划及放射治疗计划等 一般都是通过专用图像处理工作站进行的 图像处理工作站上的软件功能要比医学影像设备的随机软件功能要强大的多 目前有很多专用的医学图像处理工作站投入市场 医学图像在临床上的应用 虚拟内窥镜是虚拟现实技术在医学中的典型应用 虚拟内窥镜是利用CT MRI或超声波获得的二维断层图像 通过三维重建与可视化处理 在计算机屏幕上生成具有内窥镜可视效果的 病人结构组织序列的三维可视化图像 医学图像在临床应用举例1 影像导引下的外科手术包括病人影像数据的采集 外科手术计划系统和影像导引下的外科手术实施导航系统三部分 本系统已经在美国爱荷华大学医院内实现 见下图 并且已经应用到每天都在进行的外科手术 整容手术和介入治疗的临床工作中 医学图像在临床应用举例2 美国爱荷华大学医院研发的影像导引下外科手术系统流程图 基于医学影像的乳腺癌计算机辅助诊断系统实现流程图 医学图像在临床应用举例3 目录 医学图像处理背景医学图像预处理医学图像去噪医学图像复原医学图像分割医学图像识别医学图像配准医学图像的拼接医学图像