蔬菜图像的模式识别技术应用

中北大学 2014 届本科毕业论文 摘要 图像识别技术是人类视觉认知的延伸 是人工智能的一个重要领域 随着计算机 技术和人工智能技术的发展 图像识别技术越来越成为人工智能的基础技术 蔬菜图 像的识别是当今各农产品市场急需采用的一项人工智能技术 如何有效的对蔬菜图像 进行处理 并提取其特征是蔬菜图像识别技术的核心问题 本文以蔬菜图像的分割为 主线 利用 3 种方法对分割后的蔬菜图像进行特征提取 并验证其有效性 首先 蔬菜图像的分割的目的是将蔬菜图像的背景进行去除 仅保留蔬菜图像的 前景部分 为此 需要将蔬菜图像的前景部分与背景部分进行区别 实验表明 利用 K 均值聚类算法辅以形态学操作能有效地对蔬菜图像进行分割 对分割后的蔬菜图像进行特征提取 分别提取颜色一致性矢量 CCVs 和差直方 图矢量 SDH 及边界 内部像素分类 BIC 特征矢量作为图像的特征 利用提取出的 特征矢量 对同种类的蔬菜图像和不同种类的蔬菜图像进行比较 以验证矢量的有效 性 实验证明相似图像之间的矢量距离值较小 相似度较大 因此提取出的特征矢量 能做为图像的特征 关键词 图像分割 图像特征提取 K 均值聚类 颜色一致性矢量 CCVs 和差 直方图 SDH 边界 内部像素分类 BIC 中北大学 2014 届本科毕业论文 Abstract Image recognition technology is an extension of the human visual cognition and an important field of artificial intelligence With the development of computer technology and artificial intelligence technology image recognition technology has become the basis of artificial intelligence technology Vegetable image identification as an artificial intelligence technology is an urgent need of today s various markets for agricultural products How to effectively dealing with the vegetable image processing and extracting its characteristics is the core issue of vegetable image recognition technology Vegetable image segmentation is the main line of this paper and we use three methods for feature extraction and verify its effectiveness First of all the purpose of image segmentation is image background removal retaining only prospects of the picture To do this we need to distinguish the foreground part and background part of the image Experimental results show that using K Means clustering algorithm with morphological operation can effectively segment vegetable image For the image of vegetables after segmentation we need to extract their features In this paper we extract color consistency vector CCVs difference histogram vector SDH and boundary internal pixels classification feature vectors BIC as characteristics of the image In order to verify the validity of the vector using the feature vectors to compare different images both of the same kind of vegetables images and different kinds of vegetables images Experiments prove that the smaller values of the vector distance between similar images the bigger similarity is so the extracted feature vector can as a characteristic of the image Key words image segmentation image feature extraction K Means clustering color consistency vector CCVs difference histogram vector SDH boundary internal pixels classification feature vectors BIC 中北大学 2014 届本科毕业论文 目录 1 绪论 1 1 1 课题研究的目的与意义 1 1 2 蔬菜识别的发展概况 2 1 3 机器视觉及模式识别 2 1 3 1 机器视觉 2 1 3 2 模式识别 3 1 4 论文的主要工作 4 1 5 论文的内容安排 4 2 蔬菜图像预处理 5 2 1 图片数据 5 2 2 蔬菜图像的简单预处理 6 2 2 1 图像的灰度化 7 2 2 2 图像的二值化 7 2 3 蔬菜图像的分割 7 2 3 1 具有封闭外层轮廓的蔬菜图像的背景去除算法 8 2 3 2 K Means 聚类算法 9 2 3 3 含阴影图像的分割算法 12 2 4 实验结果与分析 14 2 5 本章小结 16 3 蔬菜图像的特征提取 18 3 1 颜色特征提取 18 3 1 1 颜色一致性特征矢量 CCVs 18 3 2 纹理特征提取 23 3 2 1 和差直方图特征矢量 SDH 24 3 3 形状特征提取 26 3 3 1 边界 内部像素分类特征矢量 BIC 27 3 4 实验结果与分析 29 3 5 本章小结 30 中北大学 2014 届本科毕业论文 4 全文总结与展望 31 4 1 全文总结 31 4 2 展望 31 参考文献 32 致谢 33 中北大学 2014 届本科毕业论文 1 1 1 绪论绪论 1 11 1 课题研究的目的与意义课题研究的目的与意义 智能识别蔬菜是当今各农产品市场及超市急需采用的一项技术 由于 蔬菜的采 购批发是一项繁重的工作 对于批发商来说 在采购蔬菜时 往往在蔬菜的量上和种 类上会达到一定要求 传统的采购方式不但费时 而且会受到人为的因素影响导致相 似种类蔬菜的误判 智能化蔬菜识别技术不但有利于蔬菜的规模化采购 而且能精确 地将蔬菜进行分类 因此研究一个智能化的蔬菜识别系统 必然可以改善人们的生活 质量 蔬菜图像的预处理及特征提取方法研究正是蔬菜识别系统开发过程中两个核心 的问题 对于有效的蔬菜识别系统至关重要 1 21 2 蔬菜识别的发展概况蔬菜识别的发展概况 目前 国内外在图像识别领域已经开展了很多研究工作 传统的模式识别方法考 虑到图像的颜色 纹理 形状等特征 Stehling et al 2002 Unser 1986 Pass et al 1997 Heidemann 2004 在此基础上又提出了一种利用直方图 颜色及形状特征来自动进行图 像分类的无监督训练方法 关于农产品分类问题 Veggievision Bolle et al 1996 首次提出超市农产品识别系 统 该系统是利用图像的颜色 纹理及维度特征 由于 该系统研制时间较早 并未 利用现今图像领域发展的优势 存在很多不足之处 事实上 农产品的分类问题可以 看作是目标识别问题的一个特例 目前 Agarwal et al 2004 和Jurie and Triggs 2005 提出了利用目标图像中的特殊区域来识别的物体的方法 这种方法称作特征包 效果 理想 1 31 3 机器视觉及模式识别机器视觉及模式识别 视觉是人类最高的感知器官 人类感知外界信息 80 以上是通过视觉得到的 而 图像实际上是对这种感知能力的一种认为的增强方式 也就是说人通过图像对客观物 体建立明确意义的描述 随着数字图像处理技术的成熟 图像作为人类感知外部世界 更丰富而直接的载体 正成为越来越重要的研究对象 人们利用计算机等设备模拟人 的视觉来采集图像并进行数字信号转换也通过计算机实现对图像的传输 处理与理解 等视觉信息处理的全过程形成了一门新学科机器视觉 同时机器视觉处理的原始信息 又多为图像 因此该领域又和数字图像处理和模式识别有十分密切的关系 1 3 1 机器视觉 机器视觉 是指由人类设计并在计算机环境下实现的模拟或在现与人类视觉有关 中北大学 2014 届本科毕业论文 2 的某些智能行为的技术 如对印刷与手写文字识别 图像模式识别和物体三维表面的 形状知识感知等 机器视觉技术是多学科的交叉与结合 它涉及到计算机 数学 光 学 心理学 生理学 物理学 信号处理等诸多学科 研究机器视觉的目的是要实现 对人类视觉的模拟和延伸 换而言之 对模拟高等动物的视觉系统而言 完成对物体 的形状和类别的识别是最重要的 同时计算机视觉处理的原始信息多是图像 因此该 领域又和图像处理及模式识别有着十分密切的关系 从应用的观点来看 计算机视觉这一课题的研究是很明确的 从计算机对图像分析 与理解的角度 计算机视觉的任务可以划分为两个层次 低层次的方法很少使用图像内 容的知识 如降低图像的噪声的图像预处理 对比度增强和图像的尖锐化 低层次的方 法一般是以输入 输出都是图像为特点 高层次的方法涉及图像分割 把图像分为不同 区域或目标物 从图像中提取特征 边缘 轮廓物体标识 从而完成对被识别物体的 总体理解 1 3 2 模式识别 模式识别是对表征事物或现象的各种形式的 数值的 文字的和逻辑关系的 信息 进行处理和分析 以对事物或现象进行描述 辨认 分类和解释的过程 是信息科学 和人工智能的重要组成部分 模式识别是一种从大量信息和数据出发 在专家经验和 已有认识的基础上 利用计算机和数学推理的方法对形状 模式 曲线 数字 字符 格式和图形自动完成识别的过程 模式识别研究主要集中在两个方面 即研究生物体 包括人 是如何感知对象的 属于认知科学的范畴 以及在给定的任务下 如何用计 算机实现模式识别的理论和方法 前者是生理学家 心理学家 生物学家和神经生理 学家的研究内容 后者通过数学家 信息学专家和计算机科学工作者近几十年来的努 力 已经取得了系统的研究成果 模式识别通常包括相互关联的两个阶段 即学习阶段和测试阶段 前者是对样本 进行特征选择 寻找分类的规律并进行学习的过程 后者是根据分类规律对未知样本 集进行分类和识别的过程 广义的模式识别属于计算机科学中智能模拟的研究范畴 内容非常广泛 包括声音和语言识别 文字识别 指纹识别 声纳信号和地震信号分 析 照片图片分析 化学模式识别等等 模式识别问题一般包括以下三种主要的方法 统计模式识别方法 统计模式识别方法是受数学中的决策理论的启发而产生的一种 识别方法 它一般假定被识别的对象或经过特征提取的向量是符合一定分布规律的随 中北大学 2014 届本科毕业论文 3 机变量 其基本思想是将特征提取阶段得到的特征向量定义在一个特征空间中 这个 空间包含了所有的特征向量 不同的特征向量 或者说不同类别的对象都对应于空间 中的一点 在分类阶段 则利用统计决策的原理对特征空间进行划分 从而达到识别 不同特征的对象的目的 统计模式识别中应用的统计决策分类理论相对比较成熟 研 究的重点是特征提取 人工神经网络模式识别 人工神经网络的研究起源于对生物神经系统的研究 人类 以及很多高级动物都具有很强的模式识别能力 这些都是因为它们具有发达的神经网 络系统 人工神经网络是根据生物神经学原理而建立的人工网络模型 保持了生物神 经网络的许多能力与优良特性 人工神经网络区别于其他识别方法的最大特点是它对 待识别的对象不要求有太多的分析与了解 具有一定的智能化处理的特点 句法结构模式识别 句法模式识别也称结构法模式识别 每个模式利用它的各个部 分 称为子模式或者模式基元 的组合表示 利用模式的结构与语言的句法之间的相似 性 模式的识别常以句法分析的方式进行 即依据给定的一组句法规则来分析模式的 结构 句法结构模式识别着眼于对待识别对象的结构特征的描述 在上述三种方法中 统计模式识别是经典的分类识别方法 在图像模式识别中有 着非常广泛的应用 1 2 1 41 4 论文的主要工作论文的主要工作 一 蔬菜图像预处理 本部分主要针对蔬菜图像背景的去除进行研究 并将所采集的 蔬菜图像分两种情况 1 具有封闭外层轮廓的图像 如 包菜 萝卜 西红柿等 2 其他图像 针对这两种图像 以 K Means 聚类算法为主要的手段进行分割 二 蔬菜图像的特征提取 本部分主要提取图像的三种特征 颜色一致性特征矢量 CCVs 和差直方图特征矢量 SDH 边界 内部像素分类特征矢量 BIC 其中 CCVs 属于图像的颜色特征 SDH 属于图像的纹理特征 BIC 属于图像的形状特征 最后 利用提取出的图像特征矢量来比较图像之间差别 1 51 5 论文的内容安排论文的内容安排 第一章 绪论 阐述了课题研究的目的和意义 介绍了蔬菜识别的发展概况 以及对 当前国内外有关农产品识别的研究工作进行了简要概述 指出了本文的研究 工作 第二章 蔬菜图像预处理 介绍了图像预处理过程中几个基本的变换 确定了本文图 像分割的主要手段 即 K Means 聚类算法 并对其进行了详细的阐述 中北大学 2014 届本科毕业论文 4 第三章 蔬菜图像的特征提取 首先对常用的图像颜色 纹理 形状特征进行了阐述 然后确定了本文所采用的特征提取方法 即颜色一致性矢量 CCVs 和差直 方图 SDH 边界 内部像素分类 BIC 并将所提取出的图像特征矢量用于 图像之间的比较 验证其有效性 第四章 全文总结与展望 对论文研究工作进行回顾总结 中北大学 2014 届本科毕业论文 5 2 2 蔬菜图像预处理蔬菜图像预处理 2 12 1 图片数据图片数据 本论文所采用的照片大小均为 640 480 每幅图像均 RGB 颜色空间形式存储 每 一个颜色通道占用 8bit 各图像均为光照均匀图像 每一种类蔬菜图像 5 张 分别为 5 种不同的摆向 共 9 种蔬菜 图 2 1 为各种类蔬菜的原始图像 a 菠菜 b 包菜 c 花菜 d 黄瓜 e 韭菜 f 萝卜 g 芹菜 h 青菜 i 西红柿 图 2 1 9 类蔬菜的原始图像 中北大学 2014 届本科毕业论文 6 2 22 2 蔬菜图像的简单预处理蔬菜图像的简单预处理 由于本设计对精度要求不高 实现图像的特征提取即可 且图像的前景与背景像 素值差较大 所以本设计只对图像进行简单的灰度变换及二值处理 更多侧重图像前 景的分割 2 2 1 图像的灰度化 由于彩色图像较为复杂 使得图像处理的很多算法都没法展开 因此有必要对它 进行灰度处理 即图像中的每一个像素的 R G B 值相等 图 2 2 为包菜图像灰度化 后的图像 图 2 2 包菜图像灰度化后的图像 2 2 2 图像的二值化 在进行了灰度化处理之后 图像中的每一个像素只有一个值 那就是图像的灰度 值 他们的大小决定了像素的亮暗程度 在本系统中需要获取几何形状特征参数 所 以还要对已经进行了灰度处理后的图像进行二值化处理 用几何学中的概念进行分析 和特征描述 蔬菜灰度图像的二值化处理方法 设 f i j 表示像素在 i j 位置的灰度值 二值化可以按照下式进行 式 2 1 jif 0 255 tjif tjif 式中 t 为二值化阈值 如果阈值过大会增加许多虚假信息 阈值过小有会丢失许多信 息 所以阈值的选取很重要 3 图 2 3 为包菜图像二值化后的图像 图 2 3 包菜图像二值化后的图像 中北大学 2014 届本科毕业论文 7 2 32 3 蔬菜图像的分割蔬菜图像的分割 对于本设计的图像分割 目的是将图像的前景与背景区分开来 以便提取出前景 部分的特征 2 3 1 具有封闭外层轮廓的蔬菜图像的背景去除算法 观察采集的蔬菜图像 发现包菜 西红柿等蔬菜图像都具有封闭的外层轮廓 若 能将它们的外层轮廓线提取出来 则可以以该轮廓线为界 里面为前景部分 外面为 背景部分 为了使蔬菜图像的外层轮廓显现出来 先对二值化后的图像利用 Canny 算 子进行边缘检测 图 2 4 为二值化的包菜图像进行边缘检测后的图像 图 2 4 包菜图像边缘检测后的图像 算法说明 一 外层轮廓的跟踪 首先 对像素的 8 邻域进行编码 使得像素点的 8 个邻域方向 均可以用数字代替 然后 置图像最左端为起始点 按逆时针方向搜寻邻近点 其中 像素点 8 个邻域方向分别标记为 0 1 2 3 4 5 6 7 当搜寻到第一个白色点时 记为起始点 通过前一次搜寻的次数 K 来确定下一次搜寻的方向 Ki 依次下去 直至 下一搜寻点为起始点时 跟踪完毕 4 5 6 图 2 5 为包菜图像外层轮廓线图像 图 2 5 包菜图像外层轮廓线图像 二 轮廓填充 为使前景部分保留下来 将提取出的轮廓线内部填充为白色 然后将 填充后的图像与原图像逻辑与操作则可以达到去除图像背景的目的 图 2 6 为包菜图 中北大学 2014 届本科毕业论文 8 像内部填充后的图像 图 2 6 包菜图像填充后的图像 三 背景去除 将填充后的图像与原图像逻辑与操作 即将背景去除 图 2 7 为背景 去除后的包菜图像 图 2 7 包菜图像去除背景后的图像 2 3 2 K Means 聚类算法 封闭外层轮廓的蔬菜图像的背景去除算法仅仅适合于图像前景与背景像素灰度区 别较大 且提取出来的前景外侧轮廓线是封闭的情况 对于前景与背景灰度区别较小 的情况 则不能通过这种方法来进行分割 为此 需要寻找一种更加通用的方法 K Means 聚类算法是一种自适应搜索算法 其基本思想是 通过迭代不断调整聚类 中心 最终将数据集中的个体划分为 K 类 使其所有个体到所属类的类中心的欧式距 离之和最小 算法说明 设由 n 个数据点组成的数据集为 X i 1 2 n 每个数据点 i x i x R d 是由 d 个表征其特征的数据组成的向量 K 均值聚类的目标是将这 n 个数据点划分成 i x K 类组成聚类集 C k 1 2 K 其中类的类中心设为 定义被划分到类 k c k c k u k c 中北大学 2014 届本科毕业论文 9 的点到类中心的欧式距离为 i x k u D 式 2 2 i x k u d j kjij ux 1 2 i x k c 那么 所有被划分到类的点到该类的类中心的欧式距离之和为 k c i x k u M 式 2 3 k c k k c i x i uxD 式 2 3 中统计的是聚类集 C 中的第 k 个划分子类中的点到该类中心的欧式距离 k c 之和 那么 将聚类集中的各个子类都统计一次 就得到了数据集中的所有点到其 i x 所属类的类中心的欧式距离之和为 S 式 2 4 i x 1 K k k cM 1 k K k k c i x i uxD 1 1 ki K k n i i uxD 其中 由此可见 要使式 2 4 中的S 的值最小 类中心 i ki ki cxif cxif 0 1 i x 应取该聚类子集中各数据点的平均值 K 均值聚类的迭代过程可以描述为如下过 k u k c 程 7 按照最大化最小化原则 选定 K 个数据点作为 K 个子类划分的初始类中心 计算各数据点到类中心的欧式距离 按照最近邻原则将其划分到各类中心表示的 子类中 得到 K 个子类数据集 计算各个子类数据集中各点的平均值 把该平均值作为该子类新的类中心 计算所有数据点到其所属类中心的欧式距离之和 S 判断类中心和 S i x i x 的值是否发生改变 如果是 就转到第 2 步 如果否 就转到第 5 步 终止迭代 算法结束 算法改进 由于 K 均值聚类算法对初始类中心的依赖性较大 若是随机的选择聚类初始类中 中北大学 2014 届本科毕业论文 10 心 最终分割出的图像存在着很大的不稳定性 为此 给初始类中心的选择添加一个 限定条件 使初始类中心的均值等于利用最大类间差值法 大津法 8 9 分割图像时 的阈值 K Means 聚类算法用于蔬菜图像分割的步骤 将图像缩小尺寸至原来的 1 4 记为 I1 将彩色图像 I1 从 RGB 颜色空间转至 HSV 颜色空间 提取出 HSV 颜色空间中图像的 3 个通道的图像 对该 3 个通道的图像进行聚类 观察效果 选取效果最好的通道图像 记为 I2 将 I2 尺寸放大至原始图像尺寸 图 2 8 为包菜图像由 RGB 颜色空间转化为 HSV 颜色空间后 3 个通道的图像 观察 可知 V 通道图像前景部分和背景部分差别较大 因此选择 V 通道图像来进行图像的聚 类 a H 通道图像 b S 通道图像 c V 通道图像 图 2 8 包菜图像 HSV 颜色空间下 3 通道图像 图 2 9 为各种类蔬菜聚类后图像 a 青菜 b 包菜 c 芹菜 中北大学 2014 届本科毕业论文 11 d 韭菜 e 菠菜 f 花菜 图 2 9 各类蔬菜聚类后的图像 2 3 3 含阴影图像的分割算法 对于含有阴影的图像 使用 K 均值聚类算法则不能起到很好的分割效果 阴影区 域和前景图像聚类在一起了 如图 2 10 所示 含阴影的黄瓜图像K Means 算法分割后的图像 含阴影的茄子图像K Means 算法分割后的图像 图 2 10 含阴影的蔬菜图像分割后的图像 若对 K 均值聚类算法分割后的图像再次进行聚类分割 实验发现 再次聚类后 中北大学 2014 届本科毕业论文 12 很好的将与阴影同侧的轮廓线凸显出来了 但同时 前景其他部分内容随同阴影一同 被去除了 如图 2 11 所示 图 2 11 黄瓜图像二次分割后的图像 观察图 2 11 前景中丢失的内容肯定是在聚类的过程中 同阴影部分聚类在一起 了 为此 需要将这部分内容与阴影部分进行区分 由阴影区域的性质可知 其区域 较为光滑 像素较为一致 波动小 而黄瓜表明则相对粗糙 像素值波动较大 基于 这一区别 利用梯度算子来将两部分区分开来 如图 2 12 所示 已经对其进行了膨胀 腐蚀等处理 其中白色部分是梯度值大于所设定的梯度阈值的部分 黑色反之 图 2 12 梯度化操作后的图像 观察黄瓜图像分割后的图像和图 2 12 可以发现若将两幅图像进行逻辑与操作 则可以大致得到图 2 11 所丢失的那部分前景内容 注意 不完全是丢失的那部分 再将与操作后的图像与图 2 11 进行或操作 则可以将阴影部分给去除了 如图 2 13 所示 中北大学 2014 届本科毕业论文 13 黄瓜茄子 图 2 14 含阴影的蔬菜图像分割后的图像 2 42 4 实验结果与分析实验结果与分析 观察图 2 9 可以发现花菜图像聚类后边缘存在着很多的噪声 针对这种情况 考 虑将具有封闭外层轮廓的蔬菜图像的背景去除算法与 K Means 聚类算法结合起来 因 为 若直接对图像进行外层轮廓跟踪 则可能因为边界部分像素与背景像素差异不大 导致不能得到一封闭的外层轮廓 通过聚类后的图像 虽然存在噪声 但图像边缘很 好得凸显出来了 图 2 14 为所以蔬菜图像背景去除后的图像 a1 花菜原图像 a2 花菜分割后图像 中北大学 2014 届本科毕业论文 14 b1 西红柿原图像 b2 西红柿分割后图像 c1 黄瓜原图像 c2 黄瓜分割后图像 d1 萝卜原图像 d2 萝卜分割后图像 e1 菠菜原图像 e2 菠菜分割后图像 f1 韭菜原图像 f2 韭菜分割后图像 中北大学 2014 届本科毕业论文 15 g1 芹菜原图像 g2 芹菜分割后图像 h1 青菜原图像 h2 青菜分割后图像 i1 包菜原图像 i2 包菜分割后图像 图 2 14 各类蔬菜分割图像 2 52 5 本章小结本章小结 图像预处理是后续特征提取工作的前提 其中图像分割是图像预处理阶段高级的 层面 其实质就是把图像分成若干个特定的 具有独特性质的区域并提出感兴趣目标 的技术和过程 它是由图像处理到图像分析的关键步骤 本设计分割的目的是将图像 的前景部分从图像中分割出来 由于图像背景简单 光照均匀 使用两种方法对图像 进行分割 一 具有封闭外层轮廓的蔬菜图像的背景去除算法 二 K Means 聚类算法 实验结果证实了两种方法分割图像的有效性 获得了满意的结果 虽然 利用两种算法对本设计采集的图像分割效果良好 但这两种方法也有局限 性 中北大学 2014 届本科毕业论文 16 第一 外层边缘跟踪算法仅仅对边缘部分像素值与背景像素值差别较大的情况 对于 差别较小的情况 往往不能起到很好的分割效果 因此它仅作为一种辅助算法 第二 K Means 聚类算法是本设计分割过程中的主要算法 对本设计所采集的图像中 95 以上的图像能起到很好的分割效果 但由于本设计所采集的图像大部分是在 光照较均匀的情况下拍摄的 若图像的光照不均匀 即带阴影的图像 则不能 起到好的分割效果 还需对阴影做进一步处理 中北大学 2014 届本科毕业论文 17 3 3 蔬菜图像的特征提取蔬菜图像的特征提取 特征提取是计算机视觉和图像处理中的一个概念 它指的是使用计算机提取图像 信息 决定每个图像的点是否属于一个图像特征 特征提取的结果是把图像上的点分 为不同的子集 这些子集往往属于孤立的点 连续的曲线或者连续的区域 特征抽取 的主要思想是将原始样本投影到一个低维特征空间 得到最能反应样本本质或进行样 本区分的低维样本特征 常用的图像特征有颜色特征 纹理特征 形状特征等 颜色是物体表面的属性 因此对于目标识别的研究具有非常重要的意义 纹理是物体表面的结构模式 可以认为是颜色在空间以一定的变化形式而形成的图案 形状特征也是另外一个描述 物体的重要特征 本设计分别对 3 种特征进行了研究 3 13 1 颜色特征提取颜色特征提取 颜色是图像非常重要的视觉特征 是人识别图像的主要感知特征之一 相对于其 它特征 颜色特征对于图像的平移 尺度 旋转变化不敏感 具有很强的鲁棒性 而 且计算简单 它是一种全局特征 描述了图像或图像区域所对应的景物的表面性质 一 般颜色特征是基于像素点的特征 此时所有属于图像或图像区域的像素都有各自的贡 献 由于颜色对图像或图像区域的方向 大小等变化不敏感 所以颜色特征不能很好 地捕捉图像中对象的局部特征 另外 仅使用颜色特征查询时 如果数据库很大 常 会将许多不需要的图像也检索出来 颜色直方图是最常用的表达颜色特征的方法 其优点是不受图像旋转和平移变化 的影响 进一步借助归一化还可不受图像尺度变化的影响 基缺点是没有表达出颜色 空间分布的信息 此外 还有颜色集 颜色矩 颜色相关图及颜色一致性矢量等方法 来表达图像的颜色特征 本论文选用颜色一致性矢量 CCVs 这种方法 3 1 1 颜色一致性特征矢量 CCVs 针对两幅不同的图像可能存在着相同的直方图而引出了颜色一致性矢量的概念 这种方法不仅统计了整副图像中各颜色的像素值 还统计了图像中每个颜色最大区域 的像素值 效果较好 但没有强调各颜色最大区域的形状以及与背景的关系 把各颜 色通道的像素值量化到 n 个范围之内 像素值处于第 i 段的个数为 由此可 ii 中北大学 2014 届本科毕业论文 18 得 11 22 nn 其中为相关的像素点个数 为不相关的像素点个数 所以颜色一致性矢量 10 的形 i i 式为 nn 2211 例如 2121 12 18 12 13 11 2 2 1 1 1 1 1 2121 12 13 2929 15 12 2 2 1 1 2 2 1 1 2424 11 31 2323 17 13 2 2 1 3 2 2 1 1 2727 2323 2222 11 16 27 量化 2 2 2 2 2 2 1 1 2 2828 2525 11 17 21 26 2 2 2 2 1 1 2 2 2525 2121 15 10 21 22 2 2 2 2 1 1 2 2 B B A A A A A B B A A B A A B B A C B A A 连通标记 B B B B B B A A B B B B B A A B B B B B B A A B B 图 3 1 颜色一致性矢量计算 表 3 1 颜色一致性矢量对 Color123 18120 051 因此 上图颜色一致性矢量为 1 0 5 12 0 18 算法说明 提取颜色一致性矢量 CCVs 的步骤 对灰度图像进行模糊化处理 使相邻区域的像素值不至于差别过大 使用中值波 对像素值空间进行均等划分 如区间 1 包含像素值为 0 7 的像素 区间 2 包含像 素值为 8 15 的像素 依次类推 划分为 32 份 中北大学 2014 届本科毕业论文 19 使图像中各像素位置标记其所属的像素值空间 1 32 如 图 1 所示 统计出属于同一连通域中的像素个数 设定阈值 T 作为判断是否具有区域一致性的标准 算法中最关键的步骤是统计某一连通区域的像素个数 这是一个涉及到数据结构 中遍树的问题 其算法流程图如图 3 2 所示 中北大学 2014 届本科毕业论文 20 开始 寻找初始像素点 保存第一点坐标 将该点的像素值置为 255 注 像素值区间划分后 将图像的像素值 置为区间值 因此图像内最大像素值为 32 8 邻域搜索 是否找到 像素值置为 255 8 邻域搜 索 是否找到 返回上一点 是否为 起始点 结束 Y Y Y N 孤立点 N N 图 3 2 求某连通域像素个数的算法流程图 中北大学 2014 届本科毕业论文 21 实验结果 选取一致性判断阈值 T 为 20 即当某一连通域中的像素个数值大于 20 时 则判 定该区间内的像素具有一致性 否则为非一致性 由于需要处理的图像 背景像素值为 0 因此不统计像素值为 0 的像素 仅仅是对前景像素进行统计 对分割后的黄瓜图像 进行实验 提取其颜色一致性矢量 结果如图 3 3 所示 05101520253035 0 1000 2000 3000 4000 5000 6000 7000 一 一 一 一 一 一 一 一 一 一 一 1 一 一 一 一 一 一 一 一 一 一 一 05101520253035 0 1000 2000 3000 4000 5000 6000 7000 8000 一 一 一 一 一 一 一 一 一 一 一 2 一 一 一 一 一 一 一 一 一 一 一 05101520253035 0 1000 2000 3000 4000 5000 6000 7000 一 一 一 一 一 一 一 一 一 一 一 3 一 一 一 一 一 一 一 一 一 一 一 05101520253035 0 1000 2000 3000 4000 5000 6000 7000 8000 一 一 一 一 一 一 一 一 一 一 一 4 一 一 一 一 一 一 一 一 一 一 一 图 3 3 黄瓜图像提取的颜色一致性矢量 设两幅图像的颜色一致性矢量分别为 和 利用公式 H 式 3 1 1 BjBjAjAj n j 来比较两幅图像之间的差别 对黄瓜 萝卜 西红柿图像 分别以种类中的某一副图 像的特征矢量代表该种类的特征矢量 其他图像分别与该图像进行比较 找出与之差 值最近的图像 结果如图 3 4 所示 中北大学 2014 届本科毕业论文 22 代表图像 萝卜 与其最相近的图像 距离差值为 1248 代表图像 黄瓜 与其最相近的图像 距离差值为 6108 代表图像 西红柿 与其最相近的图像 距离差值为 837 图 3 3 匹配结果图 实验结果表明 颜色一致性矢量能较好的表征图像的特征 3 23 2 纹理特征提取纹理特征提取 纹理特征也是一种全局特征 它也描述了图像或图像区域所对应景物的表面性质 但由于纹理只是一种物体表面的特性 并不能完全反映出物体的本质属性 所以仅仅 中北大学 2014 届本科毕业论文 23 利用纹理特征是无法获得高层次图像内容的 与颜色特征不同 纹理特征不是基于像 素点的特征 它需要在包含多个像素点的区域中进行统计计算 在模式匹配中 这种 区域性的特征具有较大的优越性 不会由于局部的偏差而无法匹配成功 作为一种统 计特征 纹理特征常具有旋转不变性 并且对于噪声有较强的抵抗能力 常用的纹理特征提取方法有统计法 几何法 模型法和信号处理法 其中 统计 方法的典型代表是一种称为灰度共生矩阵的纹理特征分析方法 11 它是图像中两个象 素灰度级联合分布的统计形式 能较好的反映灰度级相关性的规律 它强调灰度的空 间依赖关系 其特点是体现了在一种纹理模式下的象素灰度的空间关系 空间灰度共 生矩阵方法 是建立在估计图像的二阶组合条件概率密度函数基础上的 这个方法已 经有了较长的研究历史 也是当前公认的一种重要的纹理分析方法 这是一种典型的 纹理分析方法 但该方法所需运算时间长 存贮容量大 本论文利用和差直方图 SDH 算法来提取纹理特征 这种纹理分析的算法具有共生矩阵几乎一样的功效 3 2 1 和差直方图特征矢量 SDH 对于一个 K V 的纹理图像 灰度级为 G 1 2 L 考虑图像中两个元素 和 对于一个相对偏移 d1 d2 和差被定义如下 lk yy 1 2 12dldk yy 式 3 2 lk S lk y 2 1dldk y 式 3 3 lk D lk y 2 1dldk y 从 1 和 2 可以定义 2 个 2L 1 维矩阵 归一化的和差直方图如下 i 2 3 2L 式 3 4 iPsNihs j L 1 L 1 式 3 5 jPdNjhd 其中 Card k l D i 式 3 6 ihs lk S Card k l D j 式 3 7 jhd iPs N Card D 式 3 8 ih i s jh j d 偏移量 d1 d2 由步长 d 和方向确定 使用方向为 0 45 90 135 步 长为 1 进行实验 求四个方向下的和差概率统计量 最后取四个方向的统计量平均值作为最终的特 征量 为此先将灰度图像进行直方图均衡化 然后将均衡化后的图像灰度等级量化为 中北大学 2014 届本科毕业论文 24 G1 1 2 32 最终计算由和差直方图得到的统计特征量 均值 方差 能量 相 关 熵 对比度 一致性 各统计特征量的意义如下 表 3 2 各特征统计量计算表 均值 i s iih 2 1 对比度 j dn jhjC 2 一致性 1 1 2 jhjH dg 能量 j d i sn jhihE 22 方差 ij ds jhjihi 22 1 222 相关 ij dsr jhjihiC 22 1 22 熵 j dd i ssn jhjhihihH log log 均值 反映纹理图像总体灰度水平 方差 反映灰度分布的离散程度 能量 反映图像所具有的信息量 若图像是等概率分布 则具有最小的能量 相关 能够用来衡量和差直方图的元素在行的方向或列的方向的相似程度 因此 相关值大小反映了图像中局部灰度相关性 当矩阵元素值均匀相等时 相关 值就大 相反 如果矩阵像元值相差很大则相关值小 熵 反映图像所具有的信息量 若图像是等概率分布 则具有最大的熵 对比度 表示图像全部像素对的灰度差 i j 的平均值 反映了图像的清晰度和纹理沟 纹深浅的程度 纹理沟纹越深 其对比度越大 视觉效果越清晰 反之 对 比度小 则沟纹浅 效果模糊 灰度差即对比度大的象素对越多 这个值越 大 12 中北大学 2014 届本科毕业论文 25 实验结果 提取 5 张萝卜图像的各特征统计量 萝卜图像如 3 4 所示 图 3 4 萝卜图像 5 张萝卜图像的特征统计量如表 3 2 所示 表 3 2 萝卜图像的特征统计量表 均值方差相关对比度能量熵一致性 128 52138 4966 7671 730 114 080 86 228 54137 6766 9270 750 104 270 84 328 53139 0466 4672 580 104 180 85 428 49161 3377 9483 390 114 010 84 528 59157 0679 6677 400 123 860 86 实验结果发现 相似图像之间各统计特衡量具有较强的一致性 3 33 3 形状特征提取形状特征提取 形状是图像中的一个重要特征 能够直观的描述物体 但由于他常和目标图像连 接在一起 有一定的语义含义 因而形状特征可以看做是比颜色纹理特征更高一级的 特征 通常情况下 形状特征有两类表示方法 一类是轮廓特征 另一类是区域特征 图像 的轮廓特征主要针对物体的外边界 而图像的区域特征则关系到整个形状区域 本论 中北大学 2014 届本科毕业论文 26 文使用边界 内部像素分类特征矢量 BIC 来表示图像的形状特征 3 3 1 边界 内部像素分类特征矢量 BIC 边界 内部像素分类器 BIC 是一种紧凑 有效的基于内容图像检索 CBIR 的 方法 适合与大量图片库检索领域 它主要由 3 部分组成 一种简单的 有效的图像分析算法 可以把图像像素划分为内部或边界像素 一种计算图像直方图之间距离的新方法 对数距离 一种紧凑的存储图像特征的方法 它将使得存储图像特征的空间比之前其他方法 存储的空间低一倍 算法说明 该算法步骤如下 将 RGB 颜色空间均匀量化为 64 种不同的颜色 即每个颜色通道量化为 4 份不同的 像素区间 假设图像某点 3 个通道像素值为 A1 A2 A3 A1 A2 A3 1 4 则 该点量化后的值为 A 16 A1 1 4 A2 1 A3 式 3 9 量化颜色空间后 像素将被划分为边界像素或者内部像素 像素被划分为边界像 素的条件 像素本身是属于图像边界像素或者像素的四个邻域 上 下 左 右 至少存在一个与之不同像素值的像素 当像素被划分为边界像素或者内部像素后 由边界像素计算出一个直方图 再由 内部像素计算出一个直方图 每个直方图都是 64 维的 再将直方图的值量化为 0 255 一种比较直方图之间距离的新方法 对数距离 之前在提取颜色一致性矢量的时 我们比较两幅图像直方图之间距离 是采用 L2 距离 如式 3 1 所示 这种计算距离的方式可能存在一个问题 考虑某一副图像 其背 景像素存在很强的一致性 这样使得直方图某一像素值空间的值很大 而另一副图像 背景像素同样存在的很强的一致性 但像素值与第一副不同 他们的前景都是同一类 物体 如果用矢量距离 L1 距离或者 L2 距离 来比较两幅直方图 将使得距离值非 常大 导致误判 使用对数距离可以避免这一问题 而且可以降低特征维数 对数距离的定义如式 中北大学 2014 届本科毕业论文 27 3 10 所示 dLog q d 式 3 10 Mi i idfiqf 0 其中 f x 式 3 11 otherwise xif xif x 10 0 1 log 1 0 2 q i 表示直方图中的第 i 个像素的值 d i 表示另一直方图中的第 i 个像素的值 已将 他们量化为 0 255 若使用矢量距离 则直方图中某一像素柱的差值最大为 255 若使 用对数距离 则最大为 9 同时我们若使特征值以 f q i 的形式存储 最大值为 9 大大减小了存储空间 13 14 实验结果 对图像像素划分 边界 内部 后 效果如图 3 5 所示 边界像素为白色 内部像 素为黑色 这里 背景使用其他的颜色值表示 以便区分开来 我们只对前景来研究 芹菜图像边界 内部划分后 中北大学 2014 届本科毕业论文 28 花菜图像边界 内部划分后 图 3 5 边界 内部像素划分结果图 使用对数距离对不同图像的直方图进行比较 我们将 3 副图像 萝卜 1 芹菜 1 花菜 1 分别与其他图像进行对比 统计其对数距离如下 表 3 3 萝卜图像 1 与其他图像对数距离表 萝卜 2萝卜 3萝卜 4萝卜 5芹菜花菜西红柿黄瓜韭菜包菜 萝卜 1 3875344028223233 表 3 4 芹菜图像 1 与其他图像对数距离表 芹菜 2芹菜 3芹菜 4芹菜 5青菜花菜西红柿黄瓜韭菜包菜 芹菜 164810194018281633 表 3 5 花菜图像 1 与其他图像对数距离表 花菜 2花菜 3花菜 4花菜 5青菜菠菜西红柿黄瓜韭菜包菜 花菜 1323526392737338 观察实验结果 同种类蔬菜的特征矢量之间对数距离很近 效果很好 3 43 4 实验结果与分析实验结果与分析 本章为蔬菜图像的特征提取 这是本论文的又一研究重点 分别采用了 3 种方法 来对图像进行了特征的提取 如何验证这些特征的正确性 有效性 是本章研究的一 个关键步骤 这里仅采用距离公式来对图像进行相似度的测量 实验结果表明相似图 像之间距离值较小 因此具有较好的相似度 也验证了特征值的有效性 中北大学 2014 届本科毕业论文 29 3 53 5 本章小结本章小结 本部分对图像的 3 种特征 颜色 纹理 形状特征进行了研究 其中颜色特征采 用了颜色一致性矢量的方法 较之于颜色特征提取常用的一种方法 颜色直方图 它 不仅包含了图像的全局信息 而且空间关系也得到了考虑 纹理特征采用了和差直方 图的方法 较之于纹理特征提取的经典方法 灰度共生矩阵 它具有与之类似的效果 降低了运算的复杂度 形状特征采用了边界 内部像素分类的方法 它们都取得了不错 的效果 但是由于图像数据量有限 特征量的有效性有待进一步的验证 其次 如何将几 种特征量融合也有待进一步研究 中北大学 2014 届本科毕业论文 30 4 4 全文总结与展望全文总结与展望 4 14 1 全文总结全文总结 目前图像识别与分类技术的应用和研究热点主要集中在图像特征提取与分类器模 型的建立上 但在这两方面工作之前的图像预处理工作是所以工作的前提 其目的就 是获得有效的特征矢量 使识别更为得精确 本文针对图像预处理及图像特征提取两 个主题主要作了一下研究工作 第一 对图像进行简单的预处理工作 包括图像的灰度化 二值化以及在对图像进行 分割工作时涉及到的图像膨胀 腐蚀操作 这些工作是对图像进行更高层次处 理的基础性工作