毕业设计（论文）-基于机器视觉判定锦鲤的价值.docx

本科生毕业论文（设计）题 目: 基于机器视觉判定锦鲤的价值 姓 名: 学 院: 信息科技学院 专 业: 计算机科学与技术 班 级: 计科121班 学 号: 指导教师: 职称: 副教授 2016 年 5月 10 日南京农业大学教务处制目 录摘要1关键词1Abstract1Key words11 绪论11.1 研究背景和意义21.1.1 国内外研究现状21.2 研究的目的21.3 论文研究的内容22 锦鲤图像采集与处理42.1 锦鲤图像采集42.2 红白锦鲤图像处理42.2.1 图像灰度化52.2.2 图像颜色空间转换62.2.3 图像平滑72.2.4 HSV颜色分割72.2.5 边缘检测82.2.6 图像规范化112.3 红白锦鲤特征提取122.3.1 红白锦鲤体形检测122.3.2 红白锦鲤颜色检测132.3.3 红白锦鲤花纹检测153 红白锦鲤价值判定系统设计163.1 系统设计163.2 系统硬件和软件174 系统开发配置及环境174.1 Python 2.7174.2 OpenCV 3.0.0185 总结和不足18致谢18参考文献:1920基于机器视觉判定锦鲤的价值计算机科学与技术专业学生 指导教师 摘要：基于机器视觉对锦鲤进行价值判定，对提高我国锦鲤市场的规范化有着十分重要的意义。目前，在锦鲤价值判定的过程中存在速度慢、误判率高等缺点，很难满足实时性价值判定的要求。以红白锦鲤为对象，基于机器视觉对锦鲤价值进行判定，工作包括锦鲤图像采集，图像平滑化去噪，灰度图像纹理特征提取，图像颜色空间转换，图像目标分割提取，通过边缘检测显示锦鲤目标图像的边缘信息，图像规范化保证锦鲤图像的统一性，通过锦鲤长宽比对体形进行分级、通过单一颜色区域的颜色平均值对颜色进行分级、通过图像指纹对花纹进行分级，最后按照颜色、体形和花纹占总体价值的50%，30%和20%对锦鲤进行最终价值判定。关键词：机器视觉；锦鲤；图像规范化；图像指纹；分级全套设计加扣 3012250582Value judgment of Koi based on Machine visionStudent majoring in computer science and technology Tutor Abstract:Value judgment to koi based on machine vision,has a very important significance for improving our koi market standardization.At present, the process of koi value determination is slow, high-misjudgment rate .So, it is difficult to meet the need of real-time value judgment.Take the red and white koi for object,value judgment to koi based on machine vision. work includes koi image acquisition,image smoothing denoising, gray scale image texture feature extraction, image color space conversion,image object segmentation and extraction, through edge detection of koi shows the target image edge information, image normalization to ensure uniformity of koi image,This paper classify the shape of koi through ratio of length and width. It also classify the color of koi through the average value of color in single color region. Whats more, it classify the pattern of koi through the fingerprint image.Finally, according to the color, shape and pattern accounted for 50% of the total value, 30% and 20% of Koi are value of the final decision. Key words: machine vision; koi; image standardization; image fingerprint; classification1绪论众所周知，鱼在中国几千年的传统文化中一直拥有着吉利、美满、富裕等美好寄寓，尤其在过年的时候，每家每户一定要做的一道家常菜就是鱼，寄寓着年年有余。当然，过年的时后，也有很多人将鱼作为礼物赠送给亲朋好友。近几年，伴随着世界经济的发展，人们的生活水平不断地提升，人们不在只对吃鱼感兴趣了，更多的把自己的心思和感情都集中到对鱼的赏玩上面了。其中锦鲤鱼凭借着美丽的色彩、俊美的身姿、悠长的寿命等特点，深受现代人喜爱，成为了最受欢迎的观赏鱼之一。我国观赏锦鲤的市场买卖仍然采用通过以往积累的辩赏经验进行人工辨别的方法，这种方法受个人颜色分辨能力、视力和主观情绪等多方面因素影响，使得锦鲤价值判定的效率低、误判率高。正因为观赏锦鲤的价值判断上没有一个十分客观的依据，人们往往会发生打眼等情况，经济上遭受很大创伤。所以急需要建立基于机器视觉的观赏鱼价值判断系统，提高对锦鲤价值判断，促使锦鲤市场变得更加规范化，保证每一个爱好者都买到自己心仪的锦鲤。1.1 研究背景和意义1.1.1 国内外研究现状近些年，海内外实验人员通过机器视觉对鱼类价值判定进行了很多实验和探索工作，一些实验得出的成果早已在商品化中得到使用。在国外通过机器视觉技术进行鱼类价值检测研究非常广泛，并已研制出基于机器视觉技术的鱼类的颜色、体形等多个方面的分级设备。在海外锦鲤价值判断方法首先使用CCD摄像头1实现图像采集，之后利用数字图像处理2、计算机数据分析等方式对鱼类图像逐步剖析和鉴别后归纳出鱼类的价值判定结论。由机器视觉技术能准确的检测出物体的形状特征及表面颜色特征，在锦鲤市场的大小分级、颜色分级、价值判定等方面具有很好的应用前景。而在国内，基于机器视觉技术在观赏鱼的品种识别、形状分析、颜色分析等方面研究虽然取得了一定的成绩，但同时存在以下问题。1. 实际应用缺少。因为我国绝大多数利用机器视觉对鱼类进行检测分级的研究仍处于实验或研究阶段，很少在实际生活中得到应用。2. 检测的精度不高。因为锦鲤的形状近似椭圆形，颜色和花纹可能分布于锦鲤图像的不同位置，因此对图像花纹分级时会存在一些困难。1.2 研究的目的我国是世界观赏鱼生产大国，平均一季度中国进口淡水观赏鱼46吨，进口淡水观赏鱼金额223万美元。平均一季度中国出口淡水观赏鱼47吨，出口淡水观赏鱼金额为75万美元，并且主要在德国、日本、东南亚等国家和地区进行进出口贸易。近些年，伴随国民生活质量的日渐提高，观赏鱼已经慢慢成为21世纪家庭消费的又一个新的方向，全中国都在慢慢形成一个生机勃勃的观赏鱼养殖局面3。单以观赏锦鲤来说，随着群众日常生活质量的稳步提升，观赏锦鲤的养殖早已在很多人的生活中扮演起了重要的角色，在饲养的过程中我们在心里和身体上都能够获得极大的满足。但是观赏锦鲤市场过于鱼龙混杂，而对锦鲤的价值辨别往往只能依靠经常混迹于锦鲤市场所积累的观赏经验，这种方法受个人颜色辨别能力、视力和情绪等多方面因素影响，使得锦鲤价值判定的效率低、误判率高。让很多新进的和已经在这一行很长时间的赏鱼者打眼，造成经济上的严重损失。所以针对此问题，本课题建立基于机器视觉的观赏鱼价值判断系统，提高对锦鲤价值判断，促使锦鲤市场变得更加规范化。1.3 论文研究内容本论文以红白锦鲤为试验样本，研究基于机器视觉判定锦鲤价值的算法。在总结国内外研究成果的基础上，对合适的锦鲤图像进行处理和价值判定。首先对采集到的锦鲤进行灰度化、颜色空间转换、平滑、图像分割、边缘检测和图像规范化等一系列的图像处理。然后对处理后的锦鲤图像提取体形、颜色和花纹，最后依据提取的特征参数对体形、颜色、花纹进行分级。具体的研究内容包括以下4点。1. 红白锦鲤的采集选取红白锦鲤作为实验样本进行检测，将锦鲤背景统一到一种颜色区间和目标锦鲤进行区别，保证水中锦鲤的背部大部分面积被拍摄道。2. 锦鲤图像处理采集后将红白锦鲤图像进行汇总，但是刚刚采集的红白锦鲤图像受选取的光照、背景颜色等环境因素影响，使得采集的红白锦鲤图像中存在着光照不均匀、噪声和其他各种不同的干扰，最终会导致红白锦鲤图像检测结果出现误差，所以需要对红白锦鲤进行灰度化、颜色空间转换、平滑、图像分割、边缘检测和规范化等处理，经过这样的处理后的红白锦鲤图像检测结果更佳，更能满足价值判定要求。图像灰度化是将采集的红白锦鲤图像转化为灰度图级的红白锦鲤图像，便于红白锦鲤纹理特征的提取，灰度值计算采用加权平均算法；图像颜色空间转换，把RGB图像转变成HSV图像，使图像颜色更加接近人眼所观察到的颜色而且方便对颜色区域的划分；图像平滑化去除噪声，使滤波算法满足红白锦鲤图像处理和红白锦鲤图像特征参数提取的准确性；图像分割4为了实现红白锦鲤目标图像和背景图像的分离，分理出红白锦鲤目标图像，利用选取颜色阙值的方法进行红白锦鲤图像分割；边缘检测5可很好的显示红白锦鲤目标图像的边沿信息；图像规范化为了保证采集到的红白锦鲤图像的统一性，也就是保证图像大小形态等基础一致。3.红白锦鲤图像特征提取红白锦鲤处理之后，分别提取红白锦鲤的体形、颜色和花纹等特征。红白锦鲤大小分级时，用目标图像的最小外接矩形的长宽比来判别红白锦鲤的尺寸大小，使用这样近似的判断方法，可大大缩短红白锦鲤的处理时间，提高系统效率；红白锦鲤颜色分级时，根据红白锦鲤表面颜色计算平均色度值，根据平均色度判断其鲜艳程度；图像花纹分级时，可根据图像指纹判断其花纹的优差。4.价值判断算法设计在Python2.7平台下，利用OpenCV和Python的一些库（Numpy、Image、Matplotlib等），采用面向对象程序设计的方法，实现图像处理和价值判断。根据以上的研究内容共有四种方法。1)选择有代表性的锦鲤种类，对锦鲤进行采集，保证采集的图像能够覆盖整个锦鲤的大部分表面。2)提取收集到的图像，应用Python2.7平台对锦鲤进行图像处理。3)用计算长宽比，计算平均颜色，图像指纹提取体形、颜色和花纹特征参数。4)在Windows7 环境下的Python2.7工作平台，设计锦鲤价值判定的检测系统。根据研究内容和研究方法，可知具体的锦鲤价值判定流程，总体设计结构框图如图1-1所示。 价值判断结果 花纹特征提取 长宽比、平均色度、图像指纹分级 体形特征提取 颜色特征提取 搭建硬件设备 图像采集 图像预处理 图1-1 锦鲤价值判定设计流程图2 锦鲤图像采集与处理2.1 锦鲤图像采集机器视觉6作为一个新进刚兴起的学科，由一开始只针对二维图像进行分析处理发展到了对高像素的灰度图像的处理，在到现在可以逐步取代人眼进行测量和判断，甚至能够超越人眼进行更加深度的分析处理。现在，机器视觉系统7-9已经在很多领域里得到运用，特别对那些不适合人类工作或者对人类有伤害的环境或者单单依据人类的视觉系统不能满足工作要求的场合。机器视觉检测已经成为我们现在很多自动化生产中无法缺少的一步。通常使用的机器视觉系统的结构组成如下图2-1所示。而基于机器视觉的锦鲤价值判定系统主要由图像收集器、笔记本电脑和价值判定装置等组成。输出或显示图像处理与分析系统图像数据视觉传感器计算机高速图像采集系统视频输入图像数据图像数据 图2-1 机器视觉工作原理图根据上述分析，选取红白锦鲤作为检测样本，背景为蓝色，便于背景图像和红白锦鲤图像的区分。在采集的过程中，采用多角度采集锦鲤样本，这样能够保证一条锦鲤绝大部分表面被采集到。下图2-2为采集红白锦鲤的图像。 图2-2 红白锦鲤2.2 红白锦鲤图像处理首先对收集到的红白锦鲤图像实行一系列的优化处理，这样才能够保证红白锦鲤图像展现出的结果更加真实、可靠。这一系列的图像处理是通过计算机进行实现的，目前图像处理主要是由数字信号、模拟信号两类处理方式组成，本文主要使用的是数字信号图像处理，因为其能通过计算机和其他的设备对红白锦鲤图像的质量和红白锦鲤图像处理的速度进行优化，达到我们认为最理想的结果。221 图像灰度化图像灰度变化10是对图像的一些特征进行放大、增强的方法，它保证了我们想要的一些特征信息能够更好的、更加清晰的显示，保证了对红白锦鲤的一些特征数据的快速提取及数据的正确性，是对图像的显示结果进行增强的一种手段。当我们对红白锦鲤的彩色图像和它的灰度图像进行分析时，会发现灰度图所需要进行处理的数据比彩色图像少得多，也就代表着对灰度图像进行处理的计算量相对而言会更加少，但是对整个图像的分析并没有太大的区别，因为灰度图像和彩色图像除去色彩上的区别，图像的其他特征按照等级分布显示还是很一致的。灰度化主要有以下5种方法。1. 分量法，使用RGB图像的三个分量的其中一个完成灰度图的转换。2. 最大值法，通过RGB图像的三个分量值进行比对，选取出其中最大的一个值，最后完成灰度图的转换。3. 平均法，获取一幅RGB图像的三个分量，求它们的平均值，最后完成灰度图的转换。4. 加权平均法1，根据OpenCV开放库中应用的灰度权值得到灰度图。5. 加权平均法2，从人体生理学角度所提出的权值（主要是根据人眼对红、绿和蓝色的不同敏感程度进行划分的，其中绿色最高，蓝色最低）。对每一点通过0.114B、0.587G和0.299R，进行加权平均求灰度图。在红白锦鲤边缘检测和图像指纹提取过程中都必须先对图像实行灰度化处理。因为本文只在于模拟人眼对红白锦鲤的观察，而且红白锦鲤自身颜色的多重性，所以本文选用了更加接近人眼处理红白锦鲤图像的方式加权平均法2对图像进行灰度化，同时也方便了后面对红白锦鲤图像的指纹特征的提取。本课题采用最方便、准确和迅速的公式2-2对红白锦鲤图像进行图像灰度化处理，最后得出红白锦鲤灰度化图像。 f(i,j)=(0.299R(i,j)+0.587G(i,j)+0.114B(i,j) （2-1）具体实现过程，先获取图像像素大小，循环图像中每一个像素，将每一个像素按照公式2-1进行换算。将公式2-1进行优化，避免浮点运算，对代码的效率进行提高，如公式2-2所示。 f(i,j)=(30R(i,j)+59G(i,j)+11B(i,j) /100 （2-2）具体实现过程，先获取图像像素大小，循环图像中每一个像素，将每一个像素按照公式2-2进行换算。 下图2-3为红白锦鲤原图和经过公式2-2计算得到的红白锦鲤灰度化图像： (a)处理前 (b)处理后图2-3 图像灰度化处理222 图像颜色空间转换采集的原始图像样本为RGB颜色空间，因为机器视觉最主要是为了模拟人类的眼睛进行识别，人眼对颜色的深浅并没有特别强的区分能力，也就是说对RGB图像并没有很直观的区分能力，所以本课题把RGB图像转变成HSV图像，使图像颜色更加接近人眼所观察到的颜色而且方便对颜色区域的划分，同时可以针对HSV图像进行色调的单独提取，简化实验的数据量，不影响实验结果的前提下提高实验速度。 RGB转化到HSV的算法: max=max(R,G,B)； min=min(R,G,B)； V=max(R,G,B)； S=(max-min)/max； if (R = max) H =(G-B)/(max-min)* 60； if (G = max) H = 120+(B-R)/(max-min)* 60； if (B = max) H = 240 +(R-G)/(max-min)* 60； if (H 21W/H6040=平均色度=60平均色度40233 红白锦鲤花纹的检测红白锦鲤的第三个评判标准就是图像的花纹，规则漂亮的花纹能使锦鲤的价值在升上一番，花纹的提取通过图像指纹提取表示。1. 红白锦鲤图像采集用上文中研究的红白锦鲤图像采集法，得到采集后的图像，图像指纹15就从红白锦鲤的图像中提取。2. 特征提取在红白锦鲤表面花纹检测中一个难以解决的问题是红白锦鲤具有多个不同的花纹范围，花纹的颜色相同，纹理特征不相同，导致他们之间很难统一进行比较。所以本课题在红白锦鲤花纹检测中采用通过对红白锦鲤图像的图像指纹进行分析，找到判断依据来识别花纹。图像采集之后，根据本课题要求将其分为优秀锦鲤和差等锦鲤，即花纹鲜明锦鲤和花纹不鲜明锦鲤，如图2-11所示。将采集后的红白锦鲤图像按照以下三步进行红白锦鲤图像处理，提取红白锦鲤特征值。 (a)优秀 (b)差等图2-11 采集图像第一步：缩小图像，可利用OpenCV库中的resize(size)进行变化，这里图像像素设为8*9，共72个像素值。第二步：转化为灰度图：把缩放后的图片转化为256阶的灰度图。转灰度图的公式: f(i,j)=(30R(i,j)+59G(i,j)+11B(i,j) /100 （2-11）第三步：.比较像素灰度值：遍历灰度图片每一个像素，比较同一行像素值左边和右边的大小，差异值记录为1，否则记录为0，最后对此像素点个数1617进行汇总。第四步：得到64个信息指纹。根据对64位差异值进行比对和对实际锦鲤花纹判断发现下面规律，锦鲤在人眼观察时以花纹的优美为主要依据，花纹越优美，差异值为1越少，如下图2-12所示。 差异值为1的个数图2-12 采集图像根据图像可以发现优等的锦鲤差异值为1的个数集中在主要30以下，差等则主要在50左右。图像指纹在价值判定占20%.根据图像指纹可以划分为两个等级，其中X为差异值为1的个数，如表3-3所示。表3-3 锦鲤体形等级表锦鲤优等差等图像指纹X/640.5等级划分汇总，如表3-4所示。表3-4 锦鲤颜色、体形和花纹等级表锦鲤优等中等差等长宽比W/H21W/H6040=平均色度=60平均色度40图像指纹X/640.53 红白锦鲤价值判定系统设计3.1 系统设计设计利用机器视觉实现锦鲤价值判定的系统，在目前国内外还没有针对这方面进行研究，但是从20世纪90年代国内外就开始对不同物体分级检测进行了研究，可以相互依托，作为系统设计的参照。为了更快更好的加快锦鲤市场的产业化发展，同时推动其他观赏鱼实现自动分级，本课题提出了基于机器视觉的观赏鱼价值判定算法，完成对红白锦鲤的检测和价值判定。3.2 系统的硬件与软件在设计利用机器视觉实现观赏鱼价值判定系统中，所使用的仪器包括制作光源的、进行计算处理的计算机和图像采集的摄像头等多个部分组成。1. 摄像头和光源摄像头是本课题采集红白锦鲤图像的重要仪器，是图像输入的重要设备。通过CCD摄像头采集红白锦鲤图像，其采集是像素为700万，格式为jpg格式。同时采集的过程中，光源要保证稳定。2. 计算机该设备主要用于实现红白锦鲤图像处理和红白锦鲤价值判定，具体功能是根据采集到的红白锦鲤进行图像处理，可以得到利于红白锦鲤的价值判定时所需要的特征信息，根据特征信息实现红白锦鲤价值判定。因此本课题要求计算机容量大，运算速度快。我的系统配置为：硬盘容量 466GBCPU AMD E-450 APU with Randeon(tm) HD Graphics 1.65GHz操作系统 Windows 7 64位 基于机器视觉锦鲤价值判断的流程图如图3-1所示。主程序边缘检测图像处理图像灰度化颜色模型转换图像分割图像平滑特征提取长宽比平均色度图像指纹价值判定 图像价值体形检验花纹检验颜色检验 图3-1 系统软件流程图4 系统开发环境及配置4.1 Python2.7Python具有丰富和强大的库。它能够方便快捷的将大多数语言完成的程序进行连接。常见的一种应用情形是，通过Python快速生成程序的原型。因为Python的简单明了，非常容易扩展，所以在国外大多数实验室利用Python进行科学研究，一部分大学也开始应用Python进行教学，由此可见，Python在未来的会更加被重视应用。4.2 OpenCV 3.0.0OpenCV18的全称是：Open Source Computer Vision Library。OpenCV作为跨平台计算机视觉库可以在很多系统上进行运行，它主要由C函数构成的，为Python等很多语言提供了安全接口，它自带了很多图像处理方面已完成的算法供初学者使用，而且OpenCV在图像处理方面更加高效，深受使用者喜爱。5 总结和不足本课题通过机器视觉对红白锦鲤的价值进行判断，对采集到的红白锦鲤进行灰度化、颜色空间转换、平滑、图像分割、边缘检测和图像规范化等一系列的图像处理。然后对处理后的红白锦鲤图像提取体形、颜色和花纹，依据提取的三种特征参数进行体形、颜色、花纹进行分级。最后按照颜色、体形和花纹占总体价值的50%，30%和20%对红白锦鲤进行最终价值判定。首先采集锦鲤图像，将其转化为jpg格式，在Python平台下编写图像压缩算法和图像处理算法，实现红白锦鲤图像的图像处理，图像平滑采用邻域平均法，图像分割根据颜色的区间对红白锦鲤进行分割，图像灰度化采用权重算法，得到处理后的效果图，其效果图为红白锦鲤的体形、颜色和图像指纹的分级打下基础。其次用最小外接矩形轮廓进行红白锦鲤的长宽比检测，得到红白锦鲤的体形特征；用颜色分割对图像颜色区域进行提取，通过颜色直方图判断颜色区间，获取平均色调，以平均色调作为特征参数，实现红白锦鲤颜色检测；采用dhash算法对图像指纹进行提取，分析图像指纹找到，作为特征参数，实现红白锦鲤花纹检测。最后在红白锦鲤检测过程中，寻找出三个特征在优秀锦鲤时的各自临界点作为价值判断根据，其中三者按照市面上的百分比进行换算，按50%颜色、30%大小和20%花纹进行打分，满分为一百分。总之，本课题是在Python平台下编写的图像处理、特征提取和价值判定算法。经过一些实验样本证明所采用的算法能够在锦鲤价值判断中得到应用。不足和优化的地方：1. 增加图像特征提取，增大锦鲤价值检测效率、正确率，使其在今后的研究过程中满足实时性。2. 颜色分割时会很对图像中的锦鲤有一些破坏，将阙值分割进行优化，更好的得到锦鲤图像。致谢在此论文即将完成之际，首先我要向我的指导老师谢元澄表示衷心地感激，感谢在繁忙的工作之余为我们进行毕业设计指导，对我们遇到的问题进行细心的讲解，使我们能够更好的完成任务。之后要感谢我身边的同学们，感谢在生活中、学习上的互相交流和互相督促。最后感谢南京农业大学这四年来的栽培，让我们有一个美好的、充实的生活和学习环境，使我们在现在、未来都能够更好的成长。参考文献：1 HartleY R.Self-calibration of stationary cameraJ.JnJ of Computer Vision,2007,22(1).2 刘中合，王玉亮.数字图像处理及特征测量技术研究J.山东农业大学学报（自然科学版），2007，38（1）：121-124.3 许鹏. 全球观赏鱼市场面临巨大商机 大市场推动中国观赏鱼养殖热潮 观赏鱼市场分析J. 农产品市场周刊, 2004(30):10-11.4 林瑶, 田捷, 罗希平.