乳腺肿瘤的超声图像分析及良恶性判别

乳腺肿瘤的超声图像分析及良恶性判别 汪源源 沈嘉琳 复旦大学电子工程系 内容概要 n课题背景介绍 n课题内容介绍 超声图像中乳腺肿瘤的边缘提取 乳腺肿瘤的超声图像特征提取 乳腺肿瘤性质的分类判别 n总结与展望 概述 n乳腺癌是女性最常见的恶性肿瘤之一。1999年上海市乳腺癌的发病 率已跃居女性恶性肿瘤发病率之首*； n目前对乳腺癌尚无积极的预防办法，早期诊断和及时治疗是提高乳 腺癌术后生存率的唯一途径； n临床主要采用触诊、乳腺X线摄片(钼靶摄片)和乳腺超声成像这三 种方法检测乳腺肿瘤，其中乳腺超声成像凭借其无创、实时、可重 复性强的特点，在我国很多地区都被选为乳腺影像学检查的首选方 法。 * 郑莹, 李德録, 向泳梅, 李新建. 上海市区乳腺癌流行现状及趋势分析J. 外科理论与实 践, 2001, 6(4): 219-221. 超声成像鉴别乳腺肿瘤的诊断基础 典型的良恶性乳腺肿瘤的超声图像特征比较* 良性恶性 形态规则不规则 边缘光滑毛糙 边界回声清晰无 内部回声分布均匀粗杂不均匀 声衰减不明显明显 侧后声影明显不明显 纵横比0.7 * * 王怡王怡, , 秦茜淼秦茜淼, , 陈为民陈为民, , 杨永明杨永明. . 188188枚良恶性乳腺肿块声像图识别枚良恶性乳腺肿块声像图识别J. J. 上海上海 医学影像杂志医学影像杂志, 2003, 12(1): 30-34., 2003, 12(1): 30-34. 存在的问题 n良恶性乳腺肿瘤的超声图像特征存在一定的交叠，对于超声图像表 现不典型的乳腺肿瘤，单凭其中某一条或几条指标来判断肿瘤的性 质是极不可靠的； (如：纵横比0.7的纤维腺瘤也比较常见；髓样癌肿块内部回声较低 且分布均匀，一般还伴有后方回声增强) 如何对一例肿瘤进行综合评判？ n检查医生经验和标准上的差异会导致不同的诊断结果； 如何提高诊断的客观性？ n超声图像自身存在着噪声大、分辨率低等缺点。 如何排除干扰获得有价值信息？ 如何提高超声成像的诊断正确率 n建立乳腺良恶性肿瘤的超声图像库，并不断积累病例数 ； n对乳腺肿瘤的超声图像特征进行量化分析，并考察各特 征参数对良恶性肿瘤的分类能力； n选择分类能力强的特征构成特征参数组合，对乳腺肿瘤 进行综合评估。 国内外研究现状 I ：研究对象一览 良性恶性 形态规则不规则 边缘光滑毛糙 边界回声清晰无 内部回声分布均匀粗杂不均匀 声衰减不明显明显 侧后声影明显不明显 纵横比例0.7 形 态 特 征 纹 理 特 征 肿瘤的边 缘提取 国内外研究现状 II ：系统流程一览 数 字 化 影 像 采 集 乳 腺 肿肿 瘤 的 边边 缘缘 提 取 乳 腺 肿肿 瘤 的 特 征 提 取 肿肿 瘤 性 质质 的 综综 合 考 察 判 决 结结 果 输输 出 选择相应的形态 或纹理特征参数 进行量化分析 从众多参 数中找出 具有较强 分类能力 的特征参 数，对乳 腺肿瘤进 行综合识 别 手动、半自动手动、半自动 或全自动提取或全自动提取 乳腺肿瘤边缘乳腺肿瘤边缘 国内外研究现状 III：三类计算机辅助分析系统 n基于乳腺肿瘤形态特征的提取与分析 考察点：肿瘤的形状和边界特征 代表参数：形状的紧致度、离心率、矩、边界的凸度和凹度、傅里 叶 描述子、分形描述等 干扰因素：形态特征不典型的肿瘤 n基于乳腺肿瘤纹理特征的提取与分析 考察点：肿瘤的内部、边界、后方的回声特性 代表参数：基于灰度共生矩阵的纹理描述、基于空间频率的纹理参 数、基于纹理基元长度的描述等 干扰因素：良恶性肿瘤的纹理特征交叠程度更高，较差的成像质量 ， 高频超声的衰减 n基于乳腺肿瘤形态和纹理特征的综合分析 本课题内容的简要说明 以乳腺肿瘤的灰阶超声图像为研究对象，通过分析 比较良恶性肿瘤的超声图像特征，实现对乳腺肿瘤良恶 性的计算机自动判别，从而为医生的临床诊断提供有价 值的参考意见，以提高乳腺癌尤其是超声图像表现不典 型的乳腺癌的诊断准确率。 本课题的主要研究工作和创新点 n建立具有一定病例数的图像库； n实现计算机对超声图像中乳腺肿瘤边缘的半自动提取： 提出灰度阈值分割和动态规划相结合的边缘提取算法； 提出小波分析和动态规划相结合的边缘提取算法； n实现计算机对乳腺肿瘤超声图像特征的量化研究： 研究乳腺肿瘤的各种形态特征的量化分析方法； 研究乳腺肿瘤的各种纹理特征的量化分析方法； n计算机对乳腺肿瘤的良恶性判别 对量化特征作统计分析，并进行参数筛选； 建立基于人工神经网络的分类器，实现乳腺肿瘤的良恶性判别。 实验数据的获得 n图像库规模：168幅乳腺肿瘤的超声图像，其中良性81 例、恶性87例； n采集地点：复旦大学附属华山医院超声科 n涉及的超声仪：ATL HDI-3000、GE Logic9、ACUSON Sequoia-512、SIEMENS G50 和HITACHI 8500； n探头发射频率：5 MHz 14 MHz； n实验平台：配置为Pentium4 3.00 GHz，内存504 M的个 人计算机，编程软件为Matlab 6.1。 内容概要 n课题背景介绍 n课题内容介绍 超声图像中乳腺肿瘤的边缘提取 乳腺肿瘤的超声图像特征提取 乳腺肿瘤性质的分类判别 n总结与展望 基于灰度阈值分割和动态规划提取边缘的基本思路 n灰度阈值分割 优点：原理简单、计算量小 缺点：直接用于对比度低噪声大的超声图像效果差 n基于传统活动轮廓模型的动态规划 优点：具有较好的抗噪性 缺点：对边缘的初始位置敏感 活动轮廓模型的初始轮廓一般由手动勾画给出 n灰度阈值分割和动态规划的联合运用 灰度阈值分割给出初始边缘，动态规划修正初始边缘获得最终边缘 优点：减少了初始边缘的人工干预，加快动态规划的收敛 输入超声图像 ROI选取 ROI的预处理 采用灰度阈值分割 法提取初始边缘 采用动态规划法进 行初始边缘修正 输出最终边缘 算法流程示意图 ROI: region of interestROI: region of interest ROI的选取 ROI选择的意义： 1) 减少乳腺肿瘤周围具有相 似灰度分布或纹理特征的组 织或后方回声对正确提取肿 瘤边缘的干扰; 2) 减少图像处理的时间。 原图大小：原图大小：377410377410 ROI ROI 大小：大小：281309281309 ROI的预处理 n降噪：采用一个递归的二阶Butterworth低通滤波器滤除噪声 n图像增强：提高肿瘤和背景的对比度，并增强边缘锐度 n形态滤波(开运算)：滤除残余噪声，调节肿瘤内部的灰度分布 降噪后降噪后图像增强后图像增强后形态滤波后形态滤波后 分割阈值的选取：尝试过的方法 n经典的“双峰谷值”法：预处理后的ROI直方图仍呈单峰 分布 n最大类间方差准则确定全局阈值：分割后的肿瘤区域比 实际区域大；易受肿瘤前、后方回声分布的干扰 n结合像素点的局部纹理信息计算局部阈值：实验结果与 采用单一灰度信息的结果向比未见明显改善 n基于最大类间方差准则的自适应阈值：可在一定程度上 克服前、后方回声分布的干扰，但对于其他图像其分割 效果没有明显改善 分割阈值的选取：本文采用的方法 其中，gB(x, y)、Is(x, y) 和 I(x, y) 分别表示预处理后的ROI 、肿瘤区和原始ROI。对ROI中的肿瘤区采用上述公式定义的 阈值进行图像分割，灰度值低于该阈值的像素点被认为属于 肿瘤部分，在二值图中以“0”表示；不满足这一条件的像素点 都被归入背景区，在二值图中以“1”表示。对于ROI中肿瘤区 以外的部分则全部认为是背景区域，直接在二值图中用“1”表 示。 g gB B ( (x x, , y y) )的的 均值均值 I Is s ( (x x, , y y) )的的 均值均值 I I( (x x, , y y) )的的 均值均值 阈值分割后初始边缘的提取 n二值图的形态滤波 ：滤掉图像中的小 毛刺和孤立点、切 断细长搭接、平滑 肿瘤边缘、对肿瘤 内部的空洞采用填 充运算进行填补 n在二值图中用sobel 算子检测肿瘤边缘 ，即获得肿瘤的初 始边缘 阈值化后的二值阈值化后的二值ROIROI 形态滤波后的二值形态滤波后的二值ROIROI sobelsobel算子的边缘检测算子的边缘检测初始边缘在初始边缘在ROIROI上显示上显示 活动轮廓模型(Snake模型)简介 n应用：图像分析和机器视觉领域，如边缘提取、图像分割和分类、 运动跟踪、3D重建、立体视觉匹配等 n基本思想：对一条初始的闭合轮廓曲线定义能量函数，通过最小化 该能量函数，驱使轮廓曲线沿能量最低的方向演化(运动)，最终演 化到物体的真实边界 n优点：保证边缘的闭合性；模型受图像性质和曲线特性的双重制约 ，并直接以参数化形式表达曲线的演化 n缺点：需手动勾画初始轮廓；对初始轮廓的位置和形状敏感；外力 捕捉域小，不易进入轮廓的凹陷区 动态规划简介 n一种解决多阶段决策过程的最优化方法 n“分而治之，逐步改善”：把待解决问题划分成若干相互联系的阶段 (stage)，通过逐段分析求解，最终求得全局最优解 n每个阶段要作出一个决策(policy)，该决策的效果是把该阶段的当前 状态(state)转换成与下一阶段相关联的某状态 n寻求的解需满足从某初始状态经过所有阶段到达最终状态这一过程 ，使某一目标函数值最优 n最优性原理：对已给定的当前状态，余下各阶段的最优方针与以前 已采取的方针决策无关 n求解过程从寻求最后阶段的每种状态的最优方针开始，通过反向递 推的方法，逐步获得前一阶段每个状态的最优方针，直到递推至第 一阶段的最优方针 基于活动轮廓模型的动态规划 n活动轮廓模型 最小化能量函数 调整轮廓形状 n动态规划 一种基于最优化原理的最优化方法 n基于活动轮廓模型的动态规划 既能有效利用活动轮廓模型的局 部信息，又能从全局上保证最终轮廓的最优性 n选用基于传统活动轮廓模型的离散化形式，能量函数由内部力和外 部力构成 n用动态规划法进行目标的边缘优化是一个获得图像最低能量代价阵 的过程，而目标的边缘则对应于最低代价阵中终止点和起始点之间 能量值下降最快的路径，在确定了能量代价阵最小值，即确定了能 量下降最快路径的终止点后，在对应的位置矩阵中反向跟踪通过该 终止点的最小代价路径，就可获得最优化的轮廓 最优化问题最优化问题 的求解的求解 初始边缘等间隔采样初始边缘等间隔采样 由轮廓的一阶项和二阶项组成由轮廓的一阶项和二阶项组成 梯度梯度 迭代型动态规划修正肿瘤边缘的具体步骤 n对初始边缘的控制点计算初始代价阵； n在初始控制点构成的搜索域中采用动态规划法寻找最优路径； n计算初始边缘和该最优路径的能量代价差，若差值小于一个设定的 阈值，则认为当前迭代的最优路径即为最终结果；否则，将当前迭 代的最优路径视为新的初始边缘，重复步骤2和步骤3，直到两次迭 代结果的能量差小于设定阈值，则迭代完毕，最后一次迭代获得的 最优路径即为乳腺肿瘤的最终边缘。若迭代至最大迭代次数仍未收 敛，则表明迭代失败，若最终结果可接受则作为乳腺肿瘤最终边缘 保留，否则对灰度分割阈值作适当调整，在获得新的初始边缘后， 重复步骤1至3，直至得到满意结果。 动态规划的修正结果 初始边缘在初始边缘在ROIROI上的显示上的显示 初始边缘在预处理后初始边缘在预处理后ROIROI上的显示上的显示 最终边缘在最终边缘在ROIROI上的显示上的显示 最终边缘在预处理后最终边缘在预处理后ROIROI上的显示上的显示 边缘调整前后的对比边缘调整前后的对比 初始边缘和最终边缘在原始超声图上的显示 初始边缘初始边缘最终边缘最终边缘 对比分析：初始边缘的定位对最终边缘的影响 基于最大类间方差准基于最大类间方差准 则获得的初始边缘则获得的初始边缘 最终边缘最终边缘初始边缘和最终边缘的对比初始边缘和最终边缘的对比 分析：分析：虽然动态规划可获得对初始边缘的最优化调整，但由于其基于的活动轮廓虽然动态规划可获得对初始边缘的最优化调整，但由于其基于的活动轮廓 模型自身存在着外力场捕捉域小等缺点，使得最终边缘仍不能收敛到肿瘤真实边模型自身存在着外力场捕捉域小等缺点，使得最终边缘仍不能收敛到肿瘤真实边 缘附近缘附近 解决方案：解决方案：1 1、尽可能保证初始边缘获得较好的定位，降低对动态规划修正的依、尽可能保证初始边缘获得较好的定位，降低对动态规划修正的依 赖程度；赖程度；2 2、修正活动轮廓模型的能量函数，引入更高级的参数项，提高活动轮、修正活动轮廓模型的能量函数，引入更高级的参数项，提高活动轮 廓的运动能力廓的运动能力 初始边缘的手动调整 灰度阈值分割法获得的初始边缘灰度阈值分割法获得的初始边缘手动调整的结果手动调整的结果 存在的问题 n问题一： ROI预处理中的形态滤波是基于灰度图像进行的，计算 时间较长； 解决方案：采用基于模糊域变换的图像增强技术代替原ROI预处 理 中的图像增强和形态滤波，以获得更高的计算效率 。 n问题二： 当肿瘤前后方回声强度差别较大时，初始轮廓定位会出 现较明显的错误，例如肿瘤后方出现声衰减时，初始 阈 值分割易将声衰减区归入肿瘤部分，从而造成局部的 初 始轮廓定位错误 ； 解决方案：引入了一种类似解决光照不均问题的校正方法，在 ROI 预处理前，先对存在后方回声显著增强或显著衰减的 ROI进行灰度补偿校正，使肿瘤前、后方的相似组织 在灰度值上基本保持一致。 基于模糊域变换的图像增强技术 n模糊逻辑和模糊集概念作为一种处理非确定数据的方法，已被广泛 应用于图像处理领域，如模式识别、图像分割和图像增强等； n基于模糊逻辑的图像增强的基本思想是将图像视为一个模糊数据集 ，通过降低该数据集的模糊度以达到调整目标和背景的对比度、锐 化目标边界的目的； n基于模糊域变换的 ROI增强：先将降噪后ROI的动态范围和图像细 节采用模糊逻辑转换到模糊域，然后在模糊域上调整ROI对比度并 锐化肿瘤边缘，最后将调整结果反变换到原始域从而获得增强后的 ROI 模糊域变换函数和增强函数示意图 模糊域变换函数模糊域变换函数模糊域增强函数模糊域增强函数 关于乳腺肿瘤后方回声衰减或增强的灰度值校正 对后方回声衰减的对后方回声衰减的列信号列信号校正校正 对后方回声增强的对后方回声增强的列信号列信号校正校正 如何确定ROI是否需要进行回声校正 判定存在声衰减的条件：判定存在声衰减的条件： 左后均值左后均值 / / 左前均值左前均值 0.88 0.88 且且 右后均值右后均值 / / 右前均值右前均值 0.88 0.88 判定存在声增强的条件：判定存在声增强的条件： 左后均值左后均值 / / 左前均值左前均值 1.2 1.2 且且 右后均值右后均值 / / 右前均值右前均值 1.2 1.2 改进结果显示 I ：计算时间的减少 ROI大小(像素点个数 ) 改进前用时(秒)改进后用时(秒) 1531547.13.3 28130919.34.7 分析：分析：基于灰度图像的基于灰度图像的形态滤波实际为一个邻域操作形态滤波实际为一个邻域操作，膨胀和腐蚀是，膨胀和腐蚀是 以像素邻域的最大值和最小值来定义的，每个像素点的输出值都和它以像素邻域的最大值和最小值来定义的，每个像素点的输出值都和它 的邻域密切相关；改进后的模糊增强，的邻域密切相关；改进后的模糊增强，每个像素点的输出值只与它原每个像素点的输出值只与它原 本的灰度值相关本的灰度值相关，一旦确定了模糊域转换函数和模糊域增强函数，则，一旦确定了模糊域转换函数和模糊域增强函数，则 可以建立相应的灰度值转换查找表，这将极大地提高运算速度可以建立相应的灰度值转换查找表，这将极大地提高运算速度 提取初始边缘的算法在改进前后的用时对比提取初始边缘的算法在改进前后的用时对比 改进结果显示 II：初始边缘定位精度的提高(例一) 一例恶性肿瘤的超声图像一例恶性肿瘤的超声图像 基于原基于原ROIROI预处理的初始边缘提取结果预处理的初始边缘提取结果 基于原基于原ROIROI预处理，并引入回声补偿技术的初始边缘提取结果预处理，并引入回声补偿技术的初始边缘提取结果 基于模糊域增强，并引入回声补偿技术的初始边缘提取结果基于模糊域增强，并引入回声补偿技术的初始边缘提取结果 改进结果显示 II：初始边缘定位精度的提高(例二) 一例良性肿瘤的超声图像一例良性肿瘤的超声图像 采用原算法的边缘提取结果采用原算法的边缘提取结果(ROI(ROI、初始边缘、最终边缘、初始边缘、最终边缘) ) 采用改进算法的边缘提取结果采用改进算法的边缘提取结果( (经过灰度补偿校正后的经过灰度补偿校正后的ROIROI、初始边缘、最终边缘、初始边缘、最终边缘 ) ) 改进后算法的流程 输入超声图像ROI选取 ROI的降噪 采用灰度阈值分割 法提取初始边缘 基于动态规划法进 行初始边缘调整 输出最终边缘 对存在后方回声衰减或增 强的ROI进行补偿校正 ROI的模糊增强 ROI的预处理 改进算法仍不能解决的问题 对存在弱边界的超声图像，或肿瘤内部回声动态范围较大 的超声图像的边缘提取效果较差 ROIROI 采用改进后算法采用改进后算法 的边缘提取结果的边缘提取结果 采用原算法的采用原算法的 边缘提取结果边缘提取结果 解决方法：基于小波分析的初始边缘提取 n小波分析具有多分辨率分析的特点，在时域和频域都有表征信号局 部信息的能力； n小波分析主要应用于图像增强、边缘检测和图像压缩等方面，其中 基于小波系数模局部极大值的多分辨率分析算法，在图像的边缘检 测中得到了广泛应用； n乳腺肿瘤的超声图像分辨率低、噪声大、背景干扰多、肿瘤自身灰 度分布不均(如肿瘤内部的钙化灶)，直接采用该算法进行超声图像 乳腺肿瘤的边缘提取效果并不理想； n本文中的小波分析算法直接在近似信号上逐行逐列检测边缘点； n采用动态规划对小波分析得到的初始边缘进行修正和平滑 为什么不采用基于小波系数模极大值的边缘检测方法？ 每一行/列上的边界点和肿瘤内部可能散布的高 亮钙化灶等都可能造成小波系数的局部模极大值。为 避免图像的过度分割，本文采用了一种对ROI进行逐 行逐列扫描检测的简化算法，每次扫描只确定一个边 界点(肿瘤最外延的边界点)，最后将逐行逐列的检测结 果进行综合，以获得闭合的肿瘤初始边缘。 ROI子图像的划分 左图：上下划分左图：上下划分 右图：左右划分右图：左右划分 行列检测结果的相互补偿行列检测结果的相互补偿 初始扫描区的确定 n只对肿瘤区内的行列进行边缘点扫描检测； n并非每个ROI分块内肿瘤都占满了相应的肿瘤分区，若对这些区域 也进行行列扫描，不仅降低了计算效率，也会对初始边缘的正确定 位产生一定干扰 ； n通过对分块设定适当的协方差阈值和均值阈值，将不含肿瘤信息的 行(列)去除，对处理后图像中的孤立行(列)和局部行(列)作融合处理 ，最后得到的连续区域即为初始扫描区 ； n初始扫描区的确定也会使一些原本包含肿瘤信息的区域被排除在初 始扫描区外，因此有必要在对所有分块进行初始扫描后，进行初始 扫描区的校正。 分块图像的边缘点检测 I n以下分块为例，首先对下分块的初始扫描区作灰度最大值不超过 255、最小值不低于0的限制，为方便计算，对灰度值取反； n对每一列信号进行三层的一维小波分解 ； n对第三层近似系数采用以下公式进行边缘点的确定： 分块图像的边缘点检测 II n对下分块中每一列的近似系数搜索边界点，然后重建至 原始尺度； n基于边界点建立二值分块，并采用形态滤波滤除肿瘤内 、外侧的细长毛刺； n对四个分块分别进行逐行(列)的扫描检测，得到四个基 于初始边缘点的二值分块。将上下分块和左右分块两两 拼接在一起，构成两幅基于不同扫描检测方式的ROI二 值图。 对初始扫描区的校正 n以下分块的校正为例，在左右二值分块拼接而成的二值 ROI的下分块内，以列值最小的边缘点作为扫描区的左 界，以列值最大的边缘点作为扫描区的右界，左右界之 间的区域即为校正后的扫描区。将该区域与初始扫描区 比较，去除减少的列，对新增列搜索边界点。其他分块 的校正以此类推。 n当校正后的新扫描区与初始扫描区差别很大时，则采用 划定肿瘤区时的四个边界点来确定新扫描区。 初始边缘的获得 对校正后的四个分块完成边界点的扫描检测后，将 重新获得的四个二值分块再次两两拼接，分别得到基于 上下分块逐列扫描的ROI二值图和基于左右分块逐行扫 描的ROI二值图。采用Sobel算子对两幅二值图的与运算 结果进行边缘检测，即获得连续闭合的肿瘤初始边缘。 实验一：对普通超声图像的边缘提取 原始原始ROIROI上下初次拼接上下初次拼接左右初次拼接左右初次拼接上下二次拼接上下二次拼接 左右二次拼接左右二次拼接 与运算结果与运算结果 初始边缘初始边缘 最终边缘最终边缘 实验二：对内部回声动态范围较大的乳腺肿瘤的边缘提取 I 一例良性肿一例良性肿 瘤的瘤的ROIROI 预处理后的预处理后的ROIROI 灰度阈值的灰度阈值的 分割结果分割结果 上下初次拼接上下初次拼接 左右初次拼接左右初次拼接 上下二次拼接上下二次拼接 实验二：对内部回声动态范围较大的超声图像的边缘提取 II 左右二次拼接左右二次拼接与运算结果 与运算结果 初始边缘初始边缘最终边缘最终边缘 实验三：对存在弱边界的乳腺肿瘤的边缘提取 基于小波分析的初始边缘基于小波分析的初始边缘动态规划的调整结果动态规划的调整结果 对基于小波分析的初始边缘进行手动调整对基于小波分析的初始边缘进行手动调整动态规划对手调边缘的调整结果动态规划对手调边缘的调整结果 灰度阈值分割和小波分析提取初始边缘的计算用时对比 图片编号ROI大小基于阈值 分割的用时(秒)基于小波分析的用时(秒 ) 实验 一1531543.38.7 实验 二1642943.713.4 实验 三2164126.920.5 小结：小结：基于小波分析的初始边缘算法虽然在计算用时要比基于基于小波分析的初始边缘算法虽然在计算用时要比基于 阈值分割的边缘提取算法长，但在对肿瘤内部灰度变化较大的阈值分割的边缘提取算法长，但在对肿瘤内部灰度变化较大的 超声图和存在弱边界的肿瘤超声图的边缘提取效果上要明显优超声图和存在弱边界的肿瘤超声图的边缘提取效果上要明显优 于阈值分割的结果。而对于边缘比较清晰、内部回声较为均匀于阈值分割的结果。而对于边缘比较清晰、内部回声较为均匀 的肿瘤，该算法也可取得比较满意的结果，但综合计算效率等的肿瘤，该算法也可取得比较满意的结果，但综合计算效率等 因素，仍比较推荐采用阈值分割法对这一类图像提取初始边缘因素，仍比较推荐采用阈值分割法对这一类图像提取初始边缘 内容概要 n课题背景介绍 n课题内容介绍 超声图像中乳腺肿瘤的边缘提取 乳腺肿瘤的超声图像特征提取 乳腺肿瘤性质的分类判别 n总结与展望 乳腺肿瘤的形态特征提取 n基于区域的描述(3个) 紧致度 C、肿瘤和其凸包的面积比 AR、肿瘤的纵横比 LR n基于边缘的描述(6个) 傅里叶描述子的度量 FF、三阶矩和一阶矩的差 dF1F3、 基于归一化半径的三个参数(标准偏差、熵 ENT 和边缘 粗糙程度 R )、针状化程度 spicu AR = 0.7892 AR = 0.9488 AR = 0.8609 若一个区域是凸的，则当且仅当对于 区域内的任意两点，由这两点定义的 线段都在整个区域内部。区域的凸包 是满足这个条件的最小区域。 何谓纹理特征？ n所谓纹理，是一种反映物体表面或结构(分别对于反射或透射形成 的图像)的属性； n应用广泛，但至今尚无精确定义，直观上可简单地认为纹理特征提 供了对图像平滑度、粗糙度和规律性等特性的度量； n超声图像受成像质量影响，纹理特性在肉眼看来很不明显，但鉴于 典型良恶性肿瘤在内部回声和边界回声方面存在比较显著的差异， 本文仍尝试引入纹理特征对肿瘤进行分析，所有参数均为基于统计 特性的特征描述； n考虑到预处理后的ROI可能对肿瘤的纹理特征造成了一定程度的破 坏，如无特别说明，本文的纹理特征均为在原始ROI上直接提取 。 乳腺肿瘤的纹理特征提取 I n边缘锐度的考察：两种锐度定义 A1和 A2 、边缘点梯度 力的变化系数 Gcv_m n肿瘤内部和环形边界区的灰度分布的方差(i 和r )和信 噪比(SNRi和SNRr ) n肿瘤内外的方差对比度 vcon和自相关系数对比度 acon ( 对经过一层二维小波分解的低频系数计算) n ROI的协方差 cov 和非相似度 diss 肿瘤内部和环形边界区的示意图 肿瘤边缘肿瘤边缘 肿瘤内部肿瘤内部肿瘤环形边界区肿瘤环形边界区 乳腺肿瘤的纹理特征提取 II n基于灰度共生矩阵的系列参数：角二阶矩ASM 、对比度 CON、相关Cor方差Var、逆差矩IDM、和平均SA、和方 差SV、和熵SE、熵ENT、差方差DV、差熵DE、相关信 息测度IMC1和IMC2 ； n方向角取为=0和=mean，间距d 从1变换到9 ； n分别对肿瘤内部和环形边界区进行参数计算，共得到 13292 = 468 个参数。 乳腺肿瘤的纹理特征提取 III n对每幅ROI采用5阶sym小波进行三层的小波分解 ； n对每一层的三幅小波系数计算小波系数的统计均值n、 平均能量e、标准差s和平均残余a； n对每幅ROI共可获得36个小波特征参数； n上述计算只对肿瘤的内部区域进行，旨在考察肿瘤的内 部回声特性。 超声图像中乳腺肿瘤形态特征参数一览 特征类间 距 最小值 最大值 均值 标准偏差 良恶良恶良恶良恶 C0.96711.27911.97022.72039.00614.41219.7042.1955.016 FF1.8330.7150.5390.8280.7850.7820.6830.0230.049 dF1F3 0.7400.0130.0150.0590.0960.0310.0440.0090.015 0.1550.0640.0610.2400.2450.1590.1500.0360.040 ENT0.9097.4148.92121.03424.43112.35816.7773.2133.646 R0.4590.0020.0020.0100.0100.0060.0050.0020.002 spicu 1.2336.8381.01076.84850.08434.43710.75015.54111.293 AR1.4960.8860.6940.9840.9620.9530.8760.0190.047 LR0.4610.2910.2980.9001.6970.5690.6880.1220.227 超声图像中乳腺肿瘤部分纹理特征参数一览 特征类间 距 最小值 最大值 均值 标准偏差 良 恶良 恶良 恶良 恶 A1 0.5110.0920.0890.1990.2020.1490.1340.0220.020 A2 0.1270.0430.0410.1040.1090.0810.0790.0120.013 Gcv_m 0.511110.6485.881109854.14541.01381.26242.15187.09 i 0.0650.0350.0300.1370.1330.0900.0880.0200.022 r 0.5570.0830.0570.2000.1780.1390.1200.0250.025 SNRi 0.4131.0780.4634.6863.4802.3101.9100.6640.705 SNRr 0.1281.4901.1713.6513.9252.2032.2910.3810.583 vcon 0.1230.1400.1821.2401.2620.4940.5350.2210.251 acon (mean) 0.4790.0340.0470.6930.5290.3310.2560.1170.102 acon (SD) 0.4990.0060.0060.0900.0370.0220.0140.0160.005 cov (mean) 0.0800.0050.0030.0320.0320.0160.0170.0060.006 cov (SD) 0.4050.0010.0000.0040.0040.0020.0020.0010.001 diss (mean) 0.058-1.781-1.4061.8171.0080.1650.1220.6310.376 diss (SD) 0.5500.0500.0081.1630.9370.3840.2190.2590.151 纹理特征类间距小的原因分析 n所有特征均在原始 ROI上进行提取，没有经过降噪的 ROI 势必对肿 瘤纹理特征的正确提取产生一定的干扰 ； n在对肿瘤的边界回声的考察中发现，良性肿瘤的可见包膜只占其表 面的小部分，而侧后声影则会造成肿瘤左右两侧内外回声差异不明 显；恶性肿瘤只有部分存在声衰减；而参数基本是基于整个区域的 宏观考察，局部特性不明显； n对肿瘤的内部回声的考察结果显示，对于良性肿瘤，其可能存在的 点状或小斑片状钙化灶会影响其内部回声的均匀性，另外一些良性 肿瘤内部灰度分布的动态范围较大，也是影响均匀性的可能因素之 一；对于恶性肿瘤，尤其是位于腺体深处的恶性肿瘤，高频超声在 传播过程中的衰减也会造成肿瘤内部回声均匀的假象 。 肿瘤内部区域基于灰度共生矩阵的参数类间距一览表(=0) 特征类间 距 d = 1 d = 2 d = 3 d = 4 d = 5 d = 6 d = 7 d = 8 d = 9 Cor 0.0100.0120.0120.0130.0140.0150.0170.0180.020 ASM 0.2150.2160.2140.2120.2110.2100.2090.2080.208 Var 0.1590.1910.1620.1630.1640.1650.1660.1670.168 IDM 0.0800.0780.0820.0880.0900.0870.0820.0760.071 CON 0.0820.0790.0830.0890.0910.0880.0830.0770.072 ENT 0.1010.0890.0840.0830.0840.0830.0820.0820.082 IMC1 0.1860.3070.4200.4680.4830.5010.5200.5300.546 IMC2 0.2760.4270.4940.5190.5190.5270.8400.5470.557 SA 0.2870.2850.2870.2890.2920.2910.2920.2940.299 SV 0.1040.1080.1090.1060.1060.1040.1080.1080.104 SE 0.0820.0880.0950.1010.0960.1080.1080.1050.100 DV 0.2830.2880.2880.2900.2910.2930.2930.2930.293 DE 0.3300.3370.3570.3660.3630.3720.3760.3830.383 肿瘤内部区域基于灰度共生矩阵的参数类间距一览表(=mean) 特征类间 距 d = 1 d = 2 d = 3 d = 4 d = 5 d = 6 d = 7 d = 8 d = 9 Cor 0.0050.0020.0000.0000.0000.0010.0020.0030.004 ASM 0.2200.2150.2120.2110.2100.2090.2090.2090.209 Var 0.1540.1500.1480.1480.1480.1490.1500.1510.153 IDM 0.1860.1610.1540.1570.1580.1530.1470.1430.140 CON 0.1870.1630.1580.1610.1640.1590.1540.1500.145 ENT 0.1650.1360.1250.1220.1200.1170.1150.1150.114 IMC1 0.2220.0770.0090.0420.0740.1230.1740.2110.254 IMC2 0.1340.0340.1280.1560.1760.2130.2500.2760.308 SA 0.2830.2810.2800.2800.2800.2820.2840.2820.286 SV 0.0800.0580.0460.0410.0380.0380.0390.0410.042 SE 0.0850.1070.1120.1160.1220.1220.1210.1310.125 DV 0.3400.3170.3050.3030.3040.3020.3000.3000.301 DE 0.2450.2970.3160.3220.3240.3240.3230.3300.340 肿瘤环形边界区基于灰度共生矩阵的参数类间距一览表(=0) 特征类间 距 d = 1 d = 2 d = 3 d = 4 d = 5d = 6d = 7d = 8d = 9 Cor 0.2180.2220.2250.2280.2320.2350.2380.2410.243 ASM 0.2040.1700.1510.1430.1370.1320.1300.1270.123 Var 0.1820.1860.1900.1940.1980.2020.2070.2120.216 IDM 0.2460.1500.1570.1890.2150.2290.2350.2370.236 CON 0.2520.1530.1600.1920.2190.2330.2390.2400.239 ENT 0.1020.0180.0150.0270.0320.0390.0440.0520.065 IMC1 0.7701.0691.1101.0871.0591.0421.0231.0090.998 IMC2 0.8331.0041.0421.0321.0100.9920.9760.9700.962 SA 0.2370.2370.2410.2490.2550.2580.2620.2700.272 SV 0.4050.4200.4310.4330.4400.4460.4460.4520.453 SE 0.2050.2090.2340.2560.2680.2720.2870.3070.306 DV 0.2950.2660.2650.2880.3090.3150.3080.3200.325 DE 0.2870.3200.3340.3360.3370.3420.3330.3520.346 肿瘤边界环形区基于灰度共生矩阵的参数类间距一览表(=mean) 特征类间 距 d = 1d = 2d = 3d = 4d = 5d = 6d = 7d = 8d = 9 Cor 0.2110.2090.2060.2040.2010.1990.1960.1930.189 ASM 0.2730.2240.2090.2090.2100.2070.2020.1900.168 Var 0.1780.1780.1780.1780.1770.1760.1720.1690.166 IDM 0.4380.4400.4890.5520.5980.6210.6300.6290.623 CON 0.4430.4460.4940.5530.5960.6180.6280.6280.621 ENT 0.2650.1830.1610.1560.1510.1350.1140.0860.047 IMC1 0.2900.4260.4640.4610.4590.4680.4770.4900.514 IMC2 0.3360.5070.5660.5670.5700.5840.6000.6190.646 SA 0.2340.2350.2310.2370.2350.2330.2280.2280.220 SV 0.3830.3710.3610.3440.3310.3200.3040.2920.279 SE 0.2280.2480.2430.2760.2650.2640.2560.2600.243 DV 0.3740.3650.3620.3850.3990.4060.4110.4130.405 DE 0.2370.2450.2330.1990.1750.1580.1390.1230.108 基于灰度共生矩阵的系列参数类间距小的原因分析 n前面提到的影响纹理参数特性的三个因素 ； n灰度共生矩阵是和d的函数。考虑到每幅超声图像在获取时探头的 发射频率各不相同，图像的分辨率也各不相同，因此图像的细节丰 富程度也不相同。如果对于同一例肿瘤采用两种不同的发射频率得 到两幅基于不同分辨率的图像，那么以同样的d值计算得到的灰度 共生矩阵参数也必然不同。因此，本文认为不同的探头发射频率也 是造成灰度共生矩阵的系列参数类间距较小的原因之一 。 基于小波分解的特征参数类间距一览 特征nh3nv3nd3eh3ev3ed3sh3sv3sd3 类间距0.1450.0870.1580.3580.0710.0890.4400.0690.069 特征ah3av3ad3nh2nv2nd2eh2ev2ed2 类间距0.3630.0690.0870.1730.1470.0090.1890.0030.091 特征sh2sv2sd2ah2av2ad2nh1nv1nd1 类间距0.2020.0120.0770.1880.0020.0910.2240.0370.090 特征eh1ev1ed1sh1sv1sd1ah1av1ad1 类间距0.2690.0590.2350.2860.1020.4460.2690.0590.235 内容概要 n课题背景介绍 n课题内容介绍 超声图像中乳腺肿瘤的边缘提取 乳腺肿瘤的超声图像特征提取 乳腺肿瘤性质的分类判别 n总结与展望 基于类间距的特征参数初次筛选 形态特征纹理特征 参数类间 距参数类间 距 FF1.833IMC1_r031.110 AR1.496IMC2_r031.042 spicu1.233IDM_rm70.630 C0.967CON_rm70.628 ENT0.909IMC2_i090.557 dF1F30.740r0.557 LR0.461diss_sd0.550 IMC1_i090.546 A10.511 Gcv_m0.511 BP网络拓扑结构的选择 n一个输入层、一个隐含层和一个输出层 n隐单元数的选择参考了多层感知器中的隐单元数的计 算方法 ： 其中，其中，p p为输入样本数，为输入样本数，n n为输入层神经元个数，为输入层神经元个数，n n1 1为隐为隐 单元数。等号成立时的单元数。等号成立时的n n1 1为隐单元数的下限。为隐单元数的下限。 BP网络的参数设定 本文中BP网络的隐含层采用正切S型函数激活， 输出层则选用线性函数激活。BP网络采用Levenberg- Marquardt优化算法训练，该算法具有非常快的训练速 度，但也会占用很大的内存。误差能量的目标值设为 0.001。最大迭代次数为2000次。网络的初始权值、初 始偏置和学习步长都由Matlab神经网络工具箱里的相 关函数自动生成。 BP网络输入样本的划分 本文采用样本二分法对BP网络进行训练和测试。为 防止完全随机的划分造成训练集或测试集中某一类肿瘤 的样本数占极大的比重，如90%样本均来自恶性样本，本 文选择分别从良性样本集和恶性样本集中随机抽取各自 样本集一半样本数的划分方式，以确保训练样本中良恶 性样本数的平衡。此外，为防止各特征参数因数据分布 段的不同而影响BP网络的收敛，所有样本参数在输入BP 网络前均先经过归一化处理。 基于形态特征参数的二次筛选和BP网络的分类结果 筛选方法一：基于主元分析法(PCA)的数据降维 比重(%)68.5015.3210.455.100.440.130.05 累计比重(%)68.5083.8394.2899.3799.8299.95100 基于形态特征的协方差矩阵特征值比重一览基于形态特征的协方差矩阵特征值比重一览 本文选取比重值在本文选取比重值在5%5%上的特征值上的特征值( (即前四个特征值即前四个特征值) )的特征向量的特征向量 作为主元。将原始的作为主元。将原始的7 7维样本参数投影到当前的维样本参数投影到当前的4 4个主元上，即可获得个主元上，即可获得 降维后的特征参数降维后的特征参数 。 对对PCAPCA降维后获得的降维后获得的4 4维形态特征参数采用维形态特征参数采用BPBP网络进行训练和测网络进行训练和测 试，结果显示：试，结果显示：训练集上的误判例数为零训练集上的误判例数为零，而，而测试集上有测试集上有6 6例误判例误判， 分别是分别是假阴性假阴性(FN, false negative)(FN, false negative)数数1 1例，例，假阳性假阳性(FP, false positive)(FP, false positive)数数5 5 例。例。 首先从特征参数的类间距出发，选择类间距最高的几个特征构 成基础特征组合，在该组合的基础上根据余下特征的类间距，和这 些特征加入后对当前基础特征组合分类能力的贡献程度，依次增加 基础特征组合中的参数，直至寻找到基于当前基础特征组合的最优 解，然后选择类间距次高的几个特征构成新的基础特征组合，重复 以上步骤。 筛选方法二：人工特征组合 组号特征组合训练集误判数测试集误判数 FNFPFNFP 1FF, AR0065 2FF, AR, spicu0064 3FF, AR, spicu, C0038 4FF, AR, spicu, ENT0066 5FF, AR, spicu, dF1F30057 6FF, AR, spicu, LR0034 7FF, AR, spicu, LR, C0033 8FF, AR, spicu, LR, ENT0045 9FF, AR, spicu, LR, dF1F30038 10FF, AR, spicu, LR, C, ENT0034 11FF, AR, spicu, LR, C, dF1F30034 12FF, AR, spicu, LR, C, ENT, dF1F30034 各种形态特征组合的分类结果显示各种形态特征组合的分类结果显示 上表续 组号特征组合训练集误判数测试集误判数 FNFPFNFP 13FF, AR, C0028 14FF, AR, C, ENT0047 15FF, AR, C, dF1F30074 16FF, AR, C, LR0032 17FF, AR, C, LR, ENT0044 18FF, AR, C, LR, dF1F30032 19FF, AR, ENT0037 20FF,