（检测技术与自动化装置专业论文）基于机器视觉的苹果特征选择和分类识别系统.pdf

江苏大学硕士学位论文 摘要 人工分级是苹果外在品质分级的最原始方法，不仅劳动强度大，而且缺乏客观性 和准确性，严重影响分类的效率和准确率。计算机图像处理和机器视觉技术为水果的 外在品质检测提供了一种自动、无损、高效和客观的方法，大大推动了水果分级研究 的进展。形状、颜色等特征是苹果外在品质分级的重要特征，也是分级的重要依据。 本课题从形状和颜色特征入手，研究并设计苹果的自动分级系统。 本课题主要针对苹果自动分类的基础方法进行研究，针对真彩色苹果图像，从理 论的角度阐述了包括图像预处理、特征提取与选择、分类识别等一整套基本算法，重 点研究了苹果的特征提取和特征选择，并将获得的特征选择子集用于苹果的分类。 借鉴苹果分类的人工经验知识，并结合前人在特征提取方面的成果，在苹果图像 分割的基础上，充分考虑传输带上苹果放置的状态，提取苹果图像中特定状态对应的 形状、大小等定量形态参数；选择合适的颜色模型，提取出苹果的颜色特征。 针对各类参数复杂度不同，采用了分步进行特征选择的策略，筛选出最佳特征子 集。首先，要根据有无果梗或花萼来确定苹果在传输带上的状态：然后在基于离散二 进制粒子群优化( p s o ) 的基础上，提出了一种改进的并行p s o 特征选择算法，从原来 的一个微粒群速度变成两个独立、不同和并行的微粒群速度，从而快速、有效地从苹 果的形状和颜色特征样本中获得一组最优特征子集；接着采用最小二乘支持向量机 ( l s s v m ) 分类器对最优特征子集进行分类，验证特征选择的效果。 最后，本课题设计了多类l s s v m 分类器模型，用它对苹果进行识别，该方法能 够在少量样本的情况下得到较好的分类结果。在此基础上，利用d m 6 4 3 作为主处理 器设计出自动苹果品质分级系统，从检测结果来看，该系统用于苹果自动分级是可行 的，在水果外在品质识别等领域有着广泛的应用前景。 关键词：模式识别，特征提取，特征选择，粒子群优化算法，最小二乘支持向量机 江苏大学硕士学位论文 a b s t r a c t m a n u a lg r a d i n gm e t h o di st h em o s tp r i m i t i v em e t h o do fa p p l ee x t e r n a lq u a l i t y g r a d i n g n o to n l yg r e a tl a b o u ri n t e n s i t yb u ta l s ot h el a c ko fo b j e c t i v i t ya n da c c u r a c ya f f e c t t h ee f f i c i e n c ya n da c c u r a c yo ft h ec l a s s i f i c a t i o n c o m p u t e ri m a g ep r o c e s s i n ga n dm a c h i n e v i s i o nt e c h n i q u ep r o v i d ea na u t o m a t i c 、n o n d e s t r u c t i v e 、h i g he f f i c i e n ta n do b j e c t i v em e t h o d f o rf r u i te x t e r n a lq u a l i t yd e t e c t i o n ，w h i c hp u s h e sf o r w a r dt h ep r o c e s so ff r u i tg r a d i n g r e s e a r c h t h ei m p o r t a n tf e a t u r e s ，l i k es h a p ea n dc o l o r ，a r ei m p o r t a n ta p p e a r a n c eq u a n t i t i e so f a p p l e ，a n dt h e ya r ea l s oo n eo ft h ei m p o r t a n ts t a n d a r d so fg r a d i n g t h i sg r a d i n gs y s t e mi n t h i sp a p e ri ss t u d i e dt h r o u g hs h a p ea n dc o l o n b a s i cs t u d yd o n ei nt h i sp a p e ri sb a s e do nt h em e t h o d so fa u t o m a t i cc l a s s i f i c a t i o no f a p p l e s ，b r i n g i n gf o r w a r das e to fb a s i cp r e t r e a t m e n t ，f o r m i n ga n ds e l e c t i n gf e a t u r e sa sw e l l a sc l a s s i f i c a t i o nc r i t e r i a m o s tw o r kh a sb e e nf o c u s e do nt h ef e a t u r ee x t r a c t i o na n ds e l e c t i o n t h es e l e c t e df e a t u r ep a r a m e t e r sa c to na p p l e sc l a s s i f i c a t i o n a c c o r d i n gt ot h ef o r m e re x p e r i e n c eo fa p p l e sc l a s s i f i c a t i o n ，c o m b i n i n gw i t ht h ef o r m e r w o r ki nf e a t u r ee x t r a c t i o na n dc o n s i d e r i n gt h et r a n s m i s s i o nb e l tt op l a c et h es t a t u so fa p p l e ， q u a n t i f i c a t i o n a ld e s c r i b e ds h a p ep a r a m e t e r s ，s u c ha ss h a p ea n ds i z eo ft h es p e c i a ls t a t u si n a p p l ei m a g ea r ee x t r a c t e do nt h eb a s i so fa p p l es e g m e n t a t i o n f o l l o w i n gw o r kh a sb e e n d o n ei nc o l o rp a r a m e t e r se x t r a c t i o n c o n s i d e r i n gt h ec o m p l e x i t yo fd i f f e r e n tp a r a m e t e r s ，as t e p - b y - s t e ps t r a t e g yi sa d o p t e d i nf e a t u r es e l e c t i o no fa p p l e st og e to p t i m a l i z e df e a t u r ep a r a m e t e r s j u d g i n gw h e t h e rt h e a p p l e ss u r f a c eh a ss t e mo rc a l y xo rn o t ，w ed e t e r m i n et h e i rs t a t u si nt h et r a n s m i s s i o nb e l t f i r s t l y a n dt h e naf e a t u r es e l e c t i o nm e t h o d ，n a m e dm p s o ( m o d i f i e dp a r t i c l es w a r m o p t i m i z a t i o n ) ，i sp r o p o s e do nt h eb a s i so fd i s c r e t eb i n a r yp s o t h eo r i g i n a lg r o u pv e l o c i t y o fap a r t i c l es w a l t i iw a sc h a n g e di n t ot w os e p a r a t e 、d i f f e r e n ta n dp a r a l l e lp a r t i c l es w a l t i i v e l o c i t y , w h i c hw a se f f e c t i v e l ya n dq u i c k l ya p p l i e dt ot h es h a p ea n dc o l o rf e a t u r ee x t r a c t i o n o ft h eo p t i m u ms a m p l e sr e s p e c t i v e l y t h e nt h el e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e c l a s s i f i e ri su s e dt ov e r i f yt h ef e a s i b i l i t yo ft h i sm e t h o d m u l t i c l a s sc l a s s i f i e rm o d e l so fl s s v m ( l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e ) a r e c o n s t r u c t e df o ra p p l e sr e c o g n i t i o n w i t has m a l lq u a n t i t yo fs a m p l e s ，o u rp r o p o s e dm e t h o d s 江苏大学硕士学位论文 a c h i e v ead e c e n tp e r f o r m a n c eo fa p p l e sc l a s s i f i c a t i o n t h i sa p p l eq u a l i t yg r a d i n gs y s t e m ， w h i c hs e l e c t sd m 6 4 3a st h em a i np r o c e s s o r , i sf e a s i b l ef o ra p p l ea u t o m a t i cg r a d i n gi nt h e d e t e c t i o nr e s u l t sa n dh a saw i d er a n g eo fa p p l i c a t i o n s k e yw o r d s ：p a t t e r nr e c o g n i t i o n ，f e a t u r ee x t r a c t i o n ，f e a t u r es e l e c t i o n ，p a r t i c l es w a r m o p t i m i z a t i o na l g o r i t h m ( p s o ) ，l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文 的全部内容或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口 本学位论文属于，在年解密后适用本授 权书。 囱 不保密 学位论文作者签名：侯焊 签字日期：知j o 年月jl 同 翮躲够嬲 刷程轹驴彤 签字同期：d 年舌月孑同 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容以外，本 论文不包含任何其他个人或集体己经发表或撰写过的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标 明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：【灰火军 日期：z oj 。年6 月 1 日 江苏大学硕士学位论文 1 1 研究的目的和意义 第一章绪论 中国是世界水果生产大国，水果产业在国民经济中占有重要地位。从1 9 9 3 年起， 我国水果种植面积与总产量一直位居世界第一位。2 0 0 6 年水果总产量达9 5 9 9 万吨，约 占世界水果总产量的1 7 ，其中苹果总产量为2 6 0 0 力吨，约占世界苹果总产量的3 4 。 虽然数据表明我国是水果的生产大国，但却不是产业强国。与苹果先进生产国相 比，我国的苹果出口量很少，出口价格很低。2 0 0 4 年法国和美国苹果的出口单价为6 0 0 美元吨以上，而我国苹果出口价仅为3 5 5 美元吨，远远低于苹果先进生产国的水平。 在国际市场上，国产水果的表现与我国水果产量第一的地位极不相符。 造成这种局面的主要原因就是由于我国农产品产后处理的水平太低。发达国家对 即将上市的水果要进行精选、分级、清洗、打蜡、防腐保鲜、精细包装等商品化处理， 以提高附加值。而我国由于检测与分选手段的落后，致使国产水果外观质量较差，同 一批水果中良莠不齐、大小不一，在国际市场上缺乏竞争力。因此，提高我国苹果的 品质检测水平是当务之急，特别是苹果外在品质自动化分级技术水平，它能够有效改 善苹果的质量，提高消费者的满意度，增强节果产业的竞争力和利润水平。 计算机视觉技术在农产品中的应用在2 0 世纪7 0 年代初期开始崭露头角。随着图像 处理技术的专业化与计算机硬件的成本下降和速度提高，计算机视觉技术在农产品品 质自动检测领域己变得越来越具有吸引力。在苹果品质检测方面，国外除了进行外在 品质( 如大小、形状、颜色、表面缺陷等) 检测外，还进行其内部品质的无损检测。有 些检测项目己经商品化且能达到实时速度。在国内，水果的品质检测研究从上世纪9 0 年代才开始。目前，仍然处于起步阶段。 节果的分类是指通过提取和选择苹果图像的诸如形状、颜色、缺陷等视觉特征将 不同外在品质的节果区分开来。要实现精确识别，特征空间的复杂程度必然提高，因 此，在众多特征中如何选取最有效的特征，尽量减少计算量，是否能快速、实时、准 确地实现苹果识别的关键所在。这就要求在图像处理基础上利用智能算法进行特征优 化，从众多特征中选择重要特征，去掉次要和冗余特征，找到具有较好可分性的特征 子空间，提高分类识别的精度和效率。 江苏大学硕士学位论文 随着数字信号处理技术( 如d s p 技术等) 的不断发展和图像处理技术在生产中的广 泛应用，并结合机器视觉技术、人工智能和模式识别技术，来实现水果分级的自动化， 这将成为今后自动化检测研究的主要方向。同时，近年来，随着半导体行业的快速发 展，导致了电子产品的价格不断下降，从而更有利于加速数字信号处理技术在农产品 外在品质检测方面的应用。 因此，本课题着重研究特征选择和d s p 的苹果外在品质识别和分级系统，这对实 现农业科学技术以及应用生产现代化，具有一定的的学术意义和实用价值。 1 2 国内外现状及发展趋势 1 2 1 国外对水果品质检测的研究 国外从2 0 世纪7 0 年代末开始研究计算机视觉对水果、蔬菜自动进行检测、分级的 技术。 国外学者在这一领域做出了卓越的贡献，主要成果有： g e r e h l ( u 西e r 等【i 】( 1 9 8 6 年，1 9 8 9 年) 利用机器视觉依据缺陷的分级标准对苹果进行 分类。但由于水果表面缺陷情况复杂，获取水果全部表面图像困难，以及处理方法上 存在的问题等，致使分级的误差较大。 n s i n g h 等t 2 1 ( 1 9 9 4 年) 应用桃子的直方图以及沿行和列的缺陷像素，利用了缺陷分 割和图像处理方法。分析并试验了机器视觉系统在监测和识别主要缺陷方面的性能。 识别对象主要是缺陷( 伤口、疤痕、碰伤和虫孔) 的桃子，总的识别误差为2 8 6 。 y t a o t 3 , 4 ( 1 9 9 5 年，1 9 9 9 年) 应用计算机视觉有效地鉴别了马铃薯和节果的表皮颜色， 它采用球形变换算法，实现了在高速条件下对苹果表面缺陷和损伤的检测。 l a r u i z 等【5 】( 1 9 9 6 年) 对3 种图像分析方法进行了研究和评价，来解决机械收获柑 桔的长果梗问题。 k a z u h i r on a k a n o l 6 】( 1 9 9 7 年) 开发整个图像数据采集系统，它克服光线不均问题， 利用两个神经网络束研究节果颜色分级和人眼分级关系。一个神经网络模型是用苹果 一部分表面上的任何一个像素来区分讵常红色，损伤红色，色泽较差红色，青色和较 多背景上下限颜色，从这些条件上看分级效果高达9 5 。另一个神经网络模型是用苹 果的整个表面颜色来区分特等品、一等品、二等品、等外品和损伤，其中特等品、等 外品和损伤分缴较好，而其他两种分级不太理想。 2 江苏大学硕士学位论文 z w e n 和y t a o t r l ( 2 0 0 0 年) 使用一个近红外( n i r ) 摄像机和一个中红外( m 限) 摄像机 对同一果实同时成像的方法进行缺陷检测， 花萼比较敏感，而中红外摄像机只对果梗、 到真实的缺陷图像。 因为近红外摄像机对真实的缺陷和果梗、 花萼处敏感，将两幅图像作比较，即可得 o k l e y n e n 等a t 8 】( 2 0 0 3 年) 提出了一种二次判别分析的方法，在多光谱视觉系统基 础上利用最好过滤器来检测乔纳金苹果果实的大范围缺陷。 i k a v d i r 等人【9 】( 2 0 0 4 年) 利用b p n n 和统计分类算法对帝国和金冠苹果的表面品质 进行分类，结果表明用直方图特征的b p n n 分类效果明显低于用纹理特征的分类效果。 d u n a y 等a f l o l ( 2 0 0 7 年) 利用模式识别来识别乔纳金苹果的果梗和花萼部分，首先 通过阈值分割背景和目标。每个分割对象中提取统计，纹理和形状特征，并将这些特 征作为若干监督分类算法( 线性判别，近邻，模糊近邻，s v m 分类和a d a b o o s t 方法) 的 输入。通过f f f s 算法选择出重要的特征。在所有分类算法中s v m 是最好的分类算法， 用最优特征子集进行果梗识别的正确率达9 9 ，花萼识别达1 0 0 。 1 k a v d i r 等人】( 2 0 0 8 年) 提取出金冠苹果的大量特征，把不同特征集和分类器的分 类性能进行研究。最后把5 个特征集和9 个特征集分别进行分类，将二者的分类结果作 比较，用5 个特征集进行分类略胜一筹。 1 2 2 国内对水果品质检测的研究 在我国，运用计算机视觉系统进行水果品质检测与分级的研究虽开展较晚，但正 在日益得到重视。中国农业大学、西北农业大学、吉林工业大学、浙江大学、江苏大 学等高校均己开始从事这一方面的研究工作，比较有代表性的研究如下： 1 9 9 8 年杨秀坤掣1 2 】用自适应特征聚类神经网络与模糊加权决策树相结合的方法 实现了缺陷区域的准确检测，该方法可克服传统图像分割方法适应性差的缺点，提高 了判别的准确率。 1 9 9 8 年西北农业大学的何东健 1 3 , 1 4 】在缺陷检测方面将洪水算法与活动边界模型相 结合，实现了缺陷边界的精确测量。在颜色检测方面，利用果实累计色度分布曲线作 为水果的着色度特征，利用b p 网络实现了水果的颜色分级。 1 9 9 9 年浙江大学的应义斌等【1 5 】提出了在黄花梨的分级过程中采用傅立叶变换与 傅立叶反变换对来描述果形，利用其i ；i j l 6 个谐波分量的变化特征代表黄花梨的主要形 3 江苏大学硕士学位论文 状，傅立叶描述与人工神经网络相结合的方法进行果形识别的精确率可达9 0 。 2 0 0 0 年中国农业大学的李庆中【1 6 】博士利用计算机视觉进行静态苹果检测和分级， 对大小、形状、颜色分级所用时间平均为2 3 0 m s 。在缺陷检测中，采用基于参考图像 的缺陷分割算法，有效、快速地分割出静态水果表面的缺陷，且能消除球形水果表面 反射强度变化的影响和苹果表面亮度、大小变化的影响。 2 0 0 2 年浙江大学的蒋焕煜等【l 刀利用水果动态、实时检测的水果品质智能化实时检 测分级生产线来获得足够的水果图像信息。通过计算机视觉系统的视觉智能识别，综 合判断每一水果的等级，并确定每个水果的位置信息，由计算机识别系统的控制模块 将指令传输给分级系统，完成水果的分级。 2 0 0 3 年南京农业大学的沈明霞等【i s , 1 9 为实现利用机器视觉技术进行水果检测分 级，对水果检测图像的分割进行了研究。依据模糊集合理论，提出了先验知识引导的 自适应模糊阈值分割算法，该方法应用效果较好。 2 0 0 4 年浙江大学的应义斌掣2 0 】根据水果实时自动检测和分级的特点及功能要求， 提出了群体水果动态图像的时间序列连续场扫描采集方法，在来自于水果运动状况检 测传感器的外触发信号的触发下，计算机视觉系统采集从一定的时问间隙内连续运动 的水果图像，这些渐进的时间序列水果图像在计算机内被综合后即可检测现场内的每 一个水果的外在品质指标，用于分级控制。 2 0 0 6 年中国农业大学的吉海彦等【2 l 】通过计算机视觉技术采集苹果表面的图像，将 图像由r g b 格式转化为h s i 格式，计算每个像素的色度值可以得到整个苹果的色度直 方图。用7 个子区间上的频度均值代替原始的色度直方图，作为苹果颜色分级的特征参 数。采用粒子群优化算法训练神经网络来对节果颜色进行分级，其分级正确率达9 4 。 2 0 0 8 年江苏大学邹小波【2 2 2 3 1 提出一种利用遗传算法来组织特征参数的新方法，它 可以解决如何获得最佳特征参数的问题。 国内外许多研究者对水果分级进行了大量的研究，为水果图像分级方法的实现提 供了理论和技术基础。由于本课题从形状、颜色、果梗或花萼等角度提取特征，且每 个角度均有大量特征，这样就需要存储大量的冗余特征信息，不能精确而简洁地描述 图像，这样会造成分类器的性能下降。故本课题采用红富士作为研究对象，对其提取 的特征进行选择，将最优特征子集作为分类器的输入，以提高分类的效果。 4 江苏大学硕士学位论文 1 3 研究内容与技术路线 1 3 1 研究的内容与目标 针对传统的光电色选机只能依据农产品的表面色泽进行判断，而忽略了其他方面 的特征，本课题从红富士苹果的形状、颜色、果梗或花萼、缺陷等特征的检测技术入 手，研究利用计算机视觉进行红富士苹果分级的方法。 主要研究内容如下： ( 1 ) 对红富士苹果而言，其特征可能很多，如形状特征( 面积、周长、长宽、圆心、 曲率等) ，颜色特征等。就苹果的形状特征而言，其可用其边缘曲线来描述，但这与苹 果在输送带上所处的状态有关，苹果在不同状态下的形状特征没有可比性，因此有必 要只考虑在一种状态下提取苹果的形状特征，而如何提取这种状态下的形状特征成为 本课题要研究的重点内容。就苹果的颜色特征而言，不必考虑在输送带上所处的状态， 但要考虑哪些颜色空间的颜色特征较为优越，这也是本课题要研究的重点内容。 ( 2 ) 在检测分类中，分类器要求的训练样本数量随输入特征项的增加呈指数关系增 长，重复和次要的特征项会使特征组合的分类能力下降。同时，在水果识别系统中， 多数研究都不只从单一方面入手，这样在特征提取中会存在大量特征，甚至是一些冗 余特征，这些特征有可能引入噪声，甚至对识别的j 下确率有负面影响。因此有必要通 过特征选择来寻找一组最佳特征子集，以减少系统运行时间，提高系统识别率。 ( 3 ) 本课题的分类是一种有监督的学习方法，苹果分级需要设计多类分类器。这里 引入支持向量机( s v m ) 来实现分类。由于s v m 具有良好的泛化能力，并且其训练时总 能找到全局最优解。但是s v m 的训练是一个有约束的二次规划问题，并且约束数目等 于样本容量，这一点导致训练消耗时问较长，尤其当样本容量较大时训练时问有时会 过长而难以接受，这样不利于多类分类器的设计。为提高s v m 的训练效率，s u y k e n s 改变了标准s v m 的约束条件和风险函数，导出了一种新的s v m ：最d - - 乘支持向量机 ( 1 e a s ts q u a r e s s u p p o r tv e c t o rm a c h i n e ，l s s v m ) ，l s s v m 的训练只要求解一个线性方程 组，使s v m 易于实现，并极大地提高了s v m 的训练效率。采用l s s v m 实现分类，如 何建立l s s v m 分类模型及其参数优化也成为本课题要解决的一个难题。 ( 4 ) 采用具有并行特点的高速d s p ( t m s 6 0 0 0 d m 6 4 3 ) 技术，在此基础上设计节果自 动分级系统，从而充分利用d m 6 4 3 的硬件资源，实现系统的软实时，这也是本课题研 5 江苏大学硕士学位论文 究的难点所在。 1 3 2 技术路线 ( 1 ) 设计适宜的照明装置，选择合适的照明条件，以简化后续处理过程； ( 2 ) 提取并计算苹果形状特征参数； ( 3 ) 选择合适的颜色模型，分析苹果的颜色特性，提取苹果颜色特征； ( 4 ) 利用粒子群优化算法对提取出的形状特征和颜色特征进行特征选择，得到最优 特征子集； ( 5 ) 将最优特征子集作为分类器的输入，结合l s s v m 技术对苹果进行分级； ( 6 ) 根据苹果等级检测需要，在d m 6 4 3 上开发自动苹果分级系统，使其具有人机对 话功能，实现模块化，并易于修改和扩充。 苹果分级检测系统基本构成如图1 1 所示： 图1 1 红富士苹果等级检测系统 6 江苏大学硕士学位论文 第二章系统的硬件平台和软件平台 2 1 系统硬件开发平台构建 2 1 1 处理器的选择 信息社会的发展在很大程度上取决于信息与信号处理技术的先进性。常用的信号 处理平台有p c 机、a r m 架构处理器和数字信号处理器( d s p ) 。p c 机一般用于系统算法 仿真，或作上位机或者服务器用。在设计便携式设备中，一般采用a r m 处理器和数字 信号处理器。a r m 架构处理器是面向低预算市场而设计的r i s c 微处理器，它具有比较 强的事务管理功能，其优势主要体现在控制，通讯等应用。对于图形图像等二维的视 频信号处理，其数据量和计算量较大，采用a r m 计算所需时问较长，很难达到实时性。 故一般采用运算能力更强大的d s p 来实现，常用的d s p 结构具有以下优点： ( 1 ) d s p 总线结构采用哈佛结构。现代通用微处理器一般采用冯诺依曼结构，程 序和指令共用一个存储空间以及单一的地址和数据总线。而d s p 采用哈佛结构，将程 序和数据存储空间分开，并有着各自独立的程序总线和数据总线【2 4 1 。因此d s p 可以同 时对数据和程序进行寻址，从而极大地提高数据处理能力。它还可使指令存储在高速 缓存器中，省去了从存储器中读取指令的时间，大大提高了运行速度。 ( 2 ) 采用流水线技术。d s p 大多使用了流水线技术。在流水线操作中，指令的取指、 译码、执行可以同时进行。d s p 指令系统的流水线操作是与哈佛结构相配合的，把指 令周期减d , n 最小值，同时也就增加了信号处理器的处理能力。 ( 3 ) 具有硬件乘法器和m a c 单元。在一般的处理机上，算术逻辑单元( a l u ) 只能完 成两个操作数的加、减及逻辑运算，而乘法( 或除法) 则由加法和移位来实现。而数字 信号处理算法往往涉及到大量的乘法和累加运算，因此d s p 都有专门的硬件乘法器和 m a c 乘加指令，使乘法运算和累加运算在一个指令周期内完成，大大提高了d s p 在作 乘法和累加时的运算速度。 ( 4 ) 特殊的运算指令。为满足f f t 、卷积等数字信号处理的特殊要求，当前的d s p 在指令系统中设置了循环寻址以及位倒序指令等特殊的运算指令。在进行此类运算时， 寻址、排序的速度将大大提高【2 5 】。 7 江苏大学硕士学位论文 2 1 2d m 6 4 3 信号处理器 t m s 3 2 0 d m 6 4 3 ( 以下简称d m 6 4 3 ) 属于c 6 0 0 0 系歹0 d s p 。d m 6 4 3 在体系结构如图 2 1 所示，采用了v e l o c i t l 的甚长指令字( v e r yl o n gi n s t r u c t i o nw o r d ，v l l w ) 类r i s c 指 一v i d e o p 。r t 0 il l p c a t h e i 1 6 k b y t c s 叫v i d e o p o r t i jl e + 叫3 2 b i t h p i l 2d + 叫 m c a s p 、 ， 缓m l 存a + 叫 g p i o i c 6 4 x d s pc 0 1 e 存 控 叫6 6 m h z p c i j l 储 制 + 叫t i m e r 器器 + 叫 1 0 1 0 0 e m a c r 叫 1 2 c l i l i d c a t h c l 1 6 k b y t e s叫3 2 b i t h p i 图2 1d m 6 4 3 的体系结构 令集结构。在t l 的v l i w 体系结构中由一个超长的机器指令字来驱动内部的8 个功能单 元，每个指令字包含了8 个字段( 指令) ，字段之间相互独立，各自控制一个功能单元。 因此可以在单周期内发出多条指令，实现很高的指令级并行效率，最多可以在单周期 内同时执行8 条指令。编译器在对汇编程序编译的过程中，决定代码中哪些指令合成一 个甚长机器指令，在一个周期内并行执行。这种指令上的并行安排是静态的。d m 6 4 3 拥有6 4 个3 2 位通用寄存器，8 个独立计算功能单元( 2 个乘法器，6 - i 算数逻辑单元) 可以 并行运行，因此多条指令可同时执行。工作频率可以达到6 0 0 m h z ，每个指令周期可 以并行8 条3 2 位指令，因此可以达到4 8 0 0 m i p s ( 每秒百万条指令) 的计算速度。d m 6 4 3 采用两级缓存结构【2 6 】，第一级包括独立的l l p ( 1 6 l ) 和l 1 d ( 1 6 k b ) ，一般作为高速缓 存使用，第一级l 2 ( 2 5 6 k 字节) 是一个统一的程序数据空间，可以整体作为s r a m 映射 到存储空问，也可以整体作为第二级c a c h e 2 7 ，或是二者按一定比例的组合来使用。 d m 6 4 3 有6 4 个独立通道的e d m a 2 8 】( 扩展的直接存储器访问) 控制器，负责片内l 2 与其 它外设之间的数据传输。容量较大的二级缓存和e d m a 通道是d m 6 4 3 高性能的体现之 一，若能合理使用和管理，将能大幅度提高程序的运行性能。基于上述优点，本课题 采用运算速度较快，性能要求较高的d m 6 4 3 处理器作为系统核心处理器。d m 6 4 3 具有 8 江苏大学硕士学位论文 丰富的外围设备接口： ( 1 ) 三个可配置的双通道视频端e l v i d e op o r t t 2 9 1 。每个端口均支持多分辨率和多视频 标准( 如c c i r 6 0 1 ，i t u b t 6 5 6 或y c b c r4 ：2 ：2 等) ，能够采集和显示n t s c 和p a l 制式的 视频信号。视频采集是指从输入引脚接收视频信号并将其保存到视频端口的f i f o 。当 采集数据量达到指定阈值，e d m a 就将数据从f i f o 传送到d s p 内存。在一般情况下， 亮度信号和色度信号是分开处理的，这时要使用多个f i f o 和e d m a 来传输视频数据。 本系统使用的是b t 6 5 6 采集模式，b t 6 5 6 采集模式采集8 位或10 位4 ：2 ：2 亮度和色度数据 混合而成的数字视频流。 ( 2 ) 外部存储器接i z i e m i f 3 们。e m i f 具有4 个片使能，最高传输率可达1 3 3 m h z ，支 持6 4 、3 2 、1 6 和8 位存储器子系统。e m i f 共有3 个内存控制器：控制器提供1 6 m b y t e s - 2 5 6 m b y t e s s d r a m 存储器空间管理，可编程同步控制器用于连接各种同步存储器，可 编成异步控制器则用于与各种异步存储器连接。 ( 3 ) 其它外设：在d m 6 4 3 d s p 上集成了e m a c m d i o 、p h y 设备和m d i o g 皂够直接 与e t h e m e t 相连。一般都是通过e d m a 方式来进行访问的。 2 1 3 试验装置硬件结构 系统的硬件结构如图2 2 所示，整套装置包括一套摄像采集设备，d m 6 4 3 数据处 理平台，显示部分和检测平台。为了防止外界光线的影响，检测平台上可以放一个白 炽灯光源。取像设备为工业级别c c d 模拟摄像机，型号为s o n y1 3 5 0 d 。摄像机的选 择是个很关键的问题，摄像机的好坏直接影响拍摄图像质量。市场上最流行的是c m o s 传感器型和c c d 型摄像机，c c d 传感器优点是感光度比较好。通常人眼能看到1l u x 照度下的目标，c c d 传感器通常能看到比人眼略好，大约能看到在0 1 3 l u x 照度下 的目标，是c m o s 传感器感光度的3 到1 0 倍，但其噪音又很低。而模拟数摄像机比 传统u s b 接口的数字摄像机的分辨率要高，并且实时性较好，故本课题中选择c c d 型模拟摄像机。将该摄像机固定安装在可调高度的支架上，通过标准模拟视频c v b s 接口与d s p 硬件目标板连接。为了采集同一苹果的3 个面上的图像，可以调整摄像机 的高度，这样给操作人员带来了很大的便利。装置上配置了一个c r t 显示器，来实时 显示采集目标和处理结果。其中图2 2 中a 为等腰直角三角形镜子，b 为输送带，c 为节果，摄像头采集到图像从左到右分别是第一面，第二面和第三面。 9 江苏大学硕士学位论文 图2 2 系统装置结构示意图 2 2 系统软件开发平台构建 2 2 1 开发环境组成 本系统软件是在w i n d o w sx p 下开发的，采用v i s u a lc + + 6 0 和m a t l a b 在p c 机上仿 真试验。嵌入式系统的开发环境是采用t l 公e x p r e s s d s p 框架来进行系统开发。它主 要包含如下4 个部分【3 l 】：d s p 集成开发环境c c s ( c o d ec o m p o s e rs t u d i o ) 、实时嵌入式操 作系统d s p b i o s 、芯片支持库c s l 和参考框架r f 5 t 3 2 1 ( r e f e r e n c ef r a m e w o r k s ) 。 系统设计步骤：首先要根据所采用的器件进行驱动程序以及系统初始化程序的编 写，并根据所要实现的功能来设计相应的程序模块；然后对各程序模块进行封装，形 成完整的软件系统；最后需要设计相应的实验来验证硬件系统的可行性和可靠性，以 及软件系统的j 下确性。 2 2 2d s p 开发环境c c s c c s 3 3 1 ( c o d ec o m p o s e rs t u d i o ) 是t l 公司推出的一个集成型d s p 软件开发工具如 图2 3 所示。本课题所用的是c c s 2 2f o rc 6 0 0 0 版本。在c c s 2 2 下，开发者可以对软件 进行编辑、编译、调试、代码性能测试和项目管理等所有工作，使用户在软件丌发环 l o 江苏走学硕士学位论文 境中就可以完成设计。其界面在一个开放式的插件结构下c c s 内部主要集成了以下 工具：c 6 0 0 0 代码产生工具( 包括c 6 0 0 0 的c 编译器、汇编优化器、汇编器和连接器) 、 软件模拟器、主机与目标机之间的实时数据交换软件r t d x 、实时分析和数据可视化 软件。 2 2 3 嵌入式实时系统d s p b i o s 实时操作系统( r t o s ) 是指在限定时问内能对外部事件做出响应、在限定时间内能 完成规定的任务、并可阻有效管理系统任务及资源的系统开发平台 。d s p b i o s l 3 5 是种简易的嵌入式实时操作系统。利用d s p b i o s 编写代码，借助c c s 提供的多种分 析与评估工具，如代码执行时间统计、显示输出、各线程占用c p u 的时间统计等，可 以直观地了解并部分代码的运行开销，高效地调试实时应用程序，缩短软件开发时间， 而且d s p b i o s 是构建于己被证实为有效的技术之上的，创建的应用程序稳定性好，软 件标准化程度高，叮重复使用好，这也减少了软件的维护费用。 d s p b i o s 提供了可伸缩的实时核，它本身占用极少的c p u 资源，提供底层的应用 函数接口，支持系统实时分析、线程管理、调度软件中断、周期函数和后台运行函数 以及外部硬件中断与各种外设的管理。还提供了有优先级的多线程处理。在个包含 d s p b i o s 内核的应用程序中，按优先缴从高到低分为四种线程：硬件中断t h w d 、软 江苏大学硕士学位论文 件中断( s w i ) 、任务( t s k ) 和后台线程( i d l ) 。其中h w i 由d s p ) f 部异步事件触发，用于 硬件中断管理。s w i 由程序调用a p i 函数触发，用于管理软件中断服务程序。t s k 是系 统中独立运行的基本单元，也是内核分配和调度的基本单元。i d l 是优先级最低的后 台处理线程。为了完成各个线程之间的同步、互斥和通信，d s p b i o s 还定义了2 类对 象：邮箱信号( m b x ) 和旗语信号( s e m ) 。邮箱用于实现两个线程之间的数据交换，旗 语则用于线程之间的同步和互斥。 2 3 主要功能模块 经过对系统功能的需求分析，选择合理的开发环境和平台。本系统的硬件采用模 块化设计方法，充分利用了t m s 3 2 0 d m 6 4 3 的视频接口和各种外部接口。其硬件电路 主要由以下几部分组成：t m s 3 2 0 d m 6 4 3 ( d s p ) 核心处理芯片、视频采集模块、视频显 示模块、存储器模块、外部通讯模块和电源模块，系统总体硬件框图如图2 4 所示。 2 3 1 图像采集模块 图2 4 系统总体硬作框图 视频接口主要实现视频捕获和显示功能，即实现视频信息的编解码。d m 6 4 3 共有 三个视频端i e i v p 0 、v p i 和v p 2 ，都可以灵活的配置为视频捕获或视频显示模式。视频 端口内部f i f o 用来实现视频数据的缓存，利用高速e d m a 接口实现连续的视频数据在 f i f o 和外部s d r a m 之间的传输。在进行视频编解码系统设计时，应从设计原则、工 作环境、速度和灵活性等方面进行考虑；系统设计应该可行、先进、实用；硬件上应 选择市场上成熟、可信的先进芯片；设计方案应简单、合理；设计编解码器的可靠性 要高，能够适应不同的工作环境，并且满足不同格式图像的要求等。 系统选用图像解码芯片t v p 5 1 5 0 3 6 】来完成视频图像的a d 转换以及水平同步和垂 1 2 江苏大学硕士学位论文 直同步等信号的分离。在系统中，t v p 5 1 5 0 将p a l 制的模拟视频信号转换为8 位的i t u r b t 6 5 6 格式、4 ：2 ：2 的视频数据流发送至u d m 6 4 3 的v p 口。 2 3 2 图像显示模块 d m 6 4 3 的视频端d v p 2 与视频编码芯片s a a 7 1 0 5 t 3 7 】相连，实现视频显示功能，可输 出p a l n t s c 制式的复合视频信号、s 端子视频信号和r g b 视频信号。d m 6 4 3 通过1 2 c 总线对s a a 7 1 0 5 内部寄存器进行配置，从而实现不同类型视频信号的输出。 s a a 7 1 0 5 编码芯片是p h i l i p s 公司2 0 0 4 新推出的一款先进的下一代视频编码芯 片，其内部集成了高品质缩放器、抗闪烁滤波器以及内部颜色条生成器。s a a 7 1 0 5 可 以工作在主从两种模式下，在主模式下生成各种同步信号，而从模式下接收各种同步 信号，同时也可工作在省电模式下。 2 4 本章小结 本章主要介绍系统的软硬件设计平台及其整体框架构建。在嵌入式硬件系统整体 方案确定的基础上，首先是论述如何选择数据信号处理器和摄像机；其次介绍d m 6 4 3 处理器的外围配置模块，主要介绍图像采集和显示模块功能；最后软件方面主要简单 介绍了算法的仿真和开发软件，以及d s p 嵌入式操作系统d s p b i o s 功能。这些模块为 苹果分级系统的设计提供了良好的硬件平台，同时为实现平台的软实时打下良好