（计算机应用技术专业论文）基于davinci平台的智能相机系统的研究与应用.pdf

d i s s e r t a t i o ns u b m i t t e dt oh a n g z h o ud i a n z iu n i v e r s i t y f o rt h ed e g r e eo fm a s t e r t h e s t u d y a n d a p p l i c a t i o n b a s e do n d a v i n c ip l a t f o r mo f i n t e l l i g e n tc a m e r a s y s t e m c a n d i d a t e ：z h a n gw e i b i n g s u p e r v i s o r ：p r o f d a ig u o j u n d e c e m b e r ，2 0 1 0 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人 或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 雩缸2 岳 日期：1 ，年 ，月少日 学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证 毕业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州电子科技大 学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文 的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密 论文在解密后遵守此规定) 指导教师签名： 御锄 日期：y l j 年1 月少日 日期：年1 月f3 日 杭州电子科技大学硕士学位论文 摘要 现代化工业生产对产品的质量控制提出了严格的要求，基于智能相机的自动 视觉检测技术以其高精度、非接触性、高智能等优点，符合现代生产过程中对在 线检测和智能控制的要求，应用日趋广泛。本文以基于可重构技术的工业机器视 觉智能相机系统的研究与应用为背景，提出了用于高速饮料生产线上瓶盖检测的 智能相机系统解决方案。本文首先介绍了系统的硬件实现平台，然后详细地介绍 了l i n u x 了视频采集和1 2 c 驱动程序的开发，最后介绍了智能相机系统的软件架 构和用于瓶盖检测的图像处理算法。 系统选用t i 公司的双核多媒体处理器t m s 3 2 0 d m 6 4 4 6 作为核心处理器平 台。详细介绍了系统实现的硬件平台，其中包括视频采集模块，外部存储模块和 通讯模块等模块。系统通过t m s 3 2 0 d m 6 4 4 6 处理器的视频处理前端( v p f e ) 提供 视频采集的接口，利用1 2 c 总线对o v 7 6 4 0c m o s 传感器进行编程控制，实现 视频采集功能。系统扩展了n a n df l a s h 和d d r 2 存储器用作程序的存储和系统 软件的运行。 系统选用m o n t a v i s t al i n u x 操作系统作为软件平台，在此基础上实现了基于 v 4 l 2 视频采集驱动程序及用于传感器芯片控制和配置的1 2 c 设备驱动程序的开 发编写。文章在最后介绍了智能相机的系统软件的构成，包括移植了用于系统引 导启动的b o o t l o a d e r 以及l i n u x 操作系统，编写了基于a r m 和d s p 的双核架构 下d a v i n c i 的多线程应用软件开发框架，最后实现了用于瓶盖的缺陷检测的图像 处理算法。 关键词：嵌入式，智能相机，l i n u x 驱动，d a v n e i ，缺陷检测 杭州电子科技大学硕+ 学位论文 a b s t r a ct m o d e r n i z a t i o no fi n d u s t r i a lp r o d u c t i o nm a d em o r es t r i n g e n tr e q u i r e m e n t sf o r t h eq u a l i t yc o n t r o lo fp r o d u c t s t h ea u t o m a t e dv i s u a li n s p e c t i o nt e c h n o l o g yb a s e do n s m a r tc a m e r at e c h n o l o g yo w n sa d v a n t a g e so fh i g hp r e c i s i o n ，n o n c o n t a c tn a t u r ea n d 1 1 i g hi n t e l l i g e n c e ，e t c ，m e e t i n gt h er e q u i r e m e n t so fm o d e mp r o d u c t i o np r o c e s so n l i n e d e t e c t i o na n di n t e l l i g e n tc o n t r 0 1 a n dt h e r e f o r ei th a sa c h i e v e da ni n c r e a s i n g l y w i d e s p r e a da p p l i c a t i o n w i t ht h eb a c k g r o u n do fr e s e a r c ha n da p p l i c a t i o no ns m a r t c a m e r as y s t e mo fi n d u s t r i a lm a c h i n ev i s i o nr e s e a r c hw h i c hb a s e do nr e c o n f i g u r a b l e t e c h n o l o g y , t h i sp a p e rp r o p o s e st h es m a r tc a m e r as y s t e mc a pt e s ts o l u t i o n so f h i g h s p e e db e v e r a g ep r o d u c t i o nl i n e t h i sp a p e rf i r s t l yi n t r o d u c e st h eh a r d w a r ec i r c u i t m o d u l e ，a n dt h e nf o c u s e so ne x p l a i n i n gt h ed e v e l o p m e n to fv i d e oc a p t u r ed r i v e r , a n d f i n a l l yr a i s e sad e t a i l e de x p l a n a t i o no ft h es y s t e ms o f t w a r ea r c h i t e c t u r ea n df o rc a p d e t e c t i o ni m a g ep r o c e s s i n ga l g o r i t h m s t h es y s t e mu s e st i sd u a l - c o r em u l t i m e d i ap r o c e s s o rn a m e dt m s 3 2 0 d m 6 4 4 6a s ap r o c e s s i n gp l a t f o r ma n dm a k e sad d e t a i l e di m p l e m e n t a t i o no ft h es y s t e mh a r d w a r e p l a t f o r m s ，i n c l u d i n gv i d e oc a p t u r em o d u l e ，a n e x t e r n a l s t o r a g em o d u l ea n d c o m m u n i c a t i o nm o d u l ea n do t h e rm o d u l e s t h r o u g ht h ev i d e oo fd m 6 4 4 6 p r o c e s s o r , b a c ke n d ( v p f e ) i m a g ea c q u i s i t i o ni n t e r f a c ei sp r o c e s s e d b yu s i n g12 cb u sw eh a v e ap r o g r a m m i n gc o n t r o lo no v 7 6 4 0c m o ss e n s o r , r e a l i z i n gt h ev i d e o c a p t u r e f u n c t i o n s y s t e me x t e n d st h en a n df l a s ha n dd d rm e m o r yf o rp r o g r a ms t o r a g ea n d s y s t e mo p e r a t i o n a n da l s ow ec h o o s et ou s em o n t a v i s t al i n u xo p e r a t i n gs y s t e ma ss o f t w a r e p l a t f o r m ，o nt h eb a s i sw ed e s c r i b e dt h ei 2 cd e v i c ed r i v e ri nd e t a i lb a s e do nv 4 l 2 d r i v e r sa n dv i d e oc a p t u r es e n s o rc h i pf o rc o n t r o la n dc o n f i g u r a t i o n i nt h el a s ta r t i c l e i n t r o d u c e st h es m a r tc a m e r as y s t e ms o f t w a r ec o m p o n e n t s ，i n c l u d i n gt h eb o o t l o a d e r f o rs y s t e mb o o ta n dt h el i n u xo p e r a t i n gs y s t e m ，i n t r o d u c e sa r ma n dd s p - b a s e d a r c h i t e c t u r ed u a l c o r ed a v i n c ia p p l i c a t i o nd e v e l o p m e n tf r a m e w o r ka n d f i n a l l y i n t r o d u c e st h ed e t a i l sf o rb o t t l e sc o v e rt h ed e f e c td e t e c t i o ni m a g ep r o c e s s i n g a l g o r i t h m s k e y w o r d s ：e m b e d d e d ，i n t e l l i g e n tc a m e r a , l i n u xd r i v e ，d a v n c i ，d e f e c td e t e c t i o n i i 杭州电子科技大学硕士学位论文 目录 摘要i a b s t r a c t i i 第一章绪论1 1 1 引言1 1 2 课题提出的背景和意义1 1 3 国内外研究现状2 1 4 智能相机概述及其发展趋势4 1 5 主要工作和内容安排6 1 6 本章小结7 第二章智能相机系统硬件平台8 2 1 硬件系统总体概述8 2 2t m s 3 2 0 d m 6 4 4 6 处理器简介9 2 2 1a r m 子系统1 1 2 2 2d s p 子系统1 2 2 3 视频采集模块简介15 2 3 1c m o s 传感器介绍1 5 2 3 2 图像采集模块设计1 9 2 3 3 通讯接口与采集时序2 0 2 4 外部存储器模块简介一2 3 2 4 1d d r 2 内存接口设计2 3 2 4 2n o rf l a s h 存储器接口设计2 4 2 5 本章小结2 6 第三章智能相机系统l i n u x 驱动程序设计2 7 3 1l i n u x 设备驱动程序介绍一2 7 3 21 2 c 驱动程序设计与实现一2 9 3 2 11 2 c 设备驱动程序架构2 9 3 2 21 2 c 设备驱动的设计与实现3 l 3 3 基于v 4 l 2 的视频采集驱动程序一3 3 3 3 1v 4 l 2 视频采集驱动概述3 3 3 3 2 视频采集程序的实现3 6 i i l 杭州电子科技大学硕士学位论文 3 4 本章小结3 8 第四章用于瓶盖检测的系统软件设计3 9 4 1 智能相机系统的b o o t l o a d c r 设计3 9 4 1 1b o o t l o a d e r 的工作原理3 9 4 1 2b o o t l o a d c r 的设计与实现4 l 4 2l i n u x 2 6 操作系统4 3 4 3 基于d a v i n c i 平台的系统软件架构4 3 4 3 1c o d e ce n g i n e 机制概述4 4 4 3 2 构建编解码服务器( c o d e cs e r v e r ) 4 6 4 3 3 基于多线程的系统软件设计4 8 4 4 瓶盖缺陷检测4 8 4 4 1 开发环境介绍4 9 4 4 2 图像预处理5 1 4 4 3 阈值化5 1 4 4 4 瓶盖检测算法5 2 4 5 实验结果分析5 4 4 6 本章小结5 4 第五章总结和展望5 6 5 1 课题研究主要成果5 6 5 2 课题研究中的不足与展望一5 6 致谢5 7 参考文献5 8 附j 录6 1 i v 杭州电子科技大学硕士学位论文 1 1 引言 第一章绪论 随着工业自动化程度的不断提高，依靠人工来进行产品的质量缺陷检测等工 作成为生产效率进一步提高的瓶颈。在传统的人工检测中，劳动强度大，生产效 率低。在高精度高速度的检测要求下，人工检测的慢速度无法满足产品准确检测 的要求。在一些如尺寸的精确快速测量、条码识别、形状匹配、颜色辨识等检测 领域，利用人眼根本无法连续稳定地进行检测和识别。于是人们提出了利用机器 视觉来代替人眼来完成产品装配和各种质量检测等工作。在传统的相机上人们提 出了各种相机模型来解决实际的问题，这些来源于生产和实践的相机模型，也就 是最早的智能相机雏形。智能相机的出现解决了工业生产对于质量控制、自动装 配等工作自动化的需要。 随着嵌入式技术的飞速发展，智能相机的性能在最近几年取得了突破性发 展，走向了更为智能、更高精度、更高速度的发展方向。智能相机低成本、高可 靠性、简单易用的特点迎合了上述市场的特性，使越来越多过去必须依赖于p c 处理的应用开始向智能相机平台倾斜，国内也逐渐开始挑战基于p c 架构的地位。 其低成本、高可靠性、易于安装维护的优势，我们可以预见，伴随着国内产业链 的升级，智能相机系统将会在工业自动化自动检测舞台上发挥巨大的作用。 1 2 课题提出的背景和意义 当前，随着中国经济的腾飞，全球的制造业中心逐步向中国市场转移。中国 成为了继北美、欧洲与日本后最具发展潜力的智能相机市场【l 】。中国由于经济和 技术起步相对较晚，大多数智能相机生产厂商以代理国外产品为主，对于自主知 识产权的基于机器视觉的智能相机系统的研究和开发正处于起步阶段。产品的应 用领域大多数都停留在低端的小型系统上，主要应用于交通监控系统、光学字符 识别、信封分拣等领域里。由于技术的瓶颈，对需要进行高分辨率和大数据量计 算的在线实时检测系统的研究并不多，其成功应用案例则接近于空白。另外在工 业、农业、医学等市场份额巨大的领域里，国内生产厂商主要是依靠进口国外的 智能相机系统产品。由于国外对这方面存在着技术的封锁，通过进口国外的产品 很难掌握真正的技术。随着国内经济的发展和科学技术的不断提高，对产品的质 杭州电子科技大学硕士学位论文 量检测要求越来越高，对在线检测设备的市场需求也越来越大。潜在的巨大市场 吸引力使国外的生产厂商凭着资金和技术上的优势逐渐抢占中国国内的市场。据 资料统计【2 j ，目前进入中国的世界机器视觉相关的厂商已经超过1 0 0 家，例如西 门子、通用电子等跨国公司纷纷在国内成立专门的视觉部门进行其机器视觉智能 检测系统的研发和推广。 在国外生产厂商大举进入中国市场，抢占市场份额的情景下。研发具有自主 知识产权的应用型智能相机产品，打破国外在这个领域对中国市场的垄断，突破 国外技术封锁，减少对国外技术的依赖，促进国内智能相机市场的成长，改变国 内中小型企业对类似“奢侈”设备可望不可及的状态。因此加速提高相关智能相机 技术在国内的研究水平具有十分重要的意义。 智能相机系统的应用非常的广泛，主要有下面的几个应用领域：工业领域是 智能相机产品应用的最广泛的一个领域。在工业生产中，可应用于质量检测、产 品分类、产品包装等。在农业中的应用，我国是一个农业大国，有着非常丰富的 农产品。因此基于机器视觉的自动智能检测技术在农产品中具有广泛的应用，可 以对农产品进行自动分级，其意义十分重大。机器视觉还可以广泛应用于民用领 域，在制药生产线上，智能检测技术可以对药品包装进行自动检测。机器视觉技 术可用在智能交通，字符识别，身份验证，医学领域等各个自动化领域。在未来 的半导体和计算机技术飞速发展的推动下，基于智能相机系统的自动智能检测技 术将在自动检测舞台上发挥重大的作用。另外对国内相关企业来说，基于机器视 觉的产品缺陷在线检测系统的研制和应用，为企业提供了一个新的产品质量评价 工具，对改善生产工艺，促进企业改善产品质量水平，提高劳动生产效率，提高 企业信息化水平，提高生产线的自动化程度，降低人工劳动强度，提高产品市场 竞争力有极为重要的意义。智能检测系统代替普通的人工检测，实现非接触和无 损检测，实现在恶劣环境下完成人工无法完成的工作。 从上述分析中可以得出提高国内智能相机系统的研发水平，研发出具有自主 知识产权的产品，对提高中国的国际竞争力具有重大的意义。智能相机系统在工 业、农业、医学领域的广阔的市场应用情景，巨大的市场推动力也促使了各种厂 商和研究所投入大量的人力和资金来研究基于机器视觉智能相机产品。课题以基 于可重构技术的工业机器视觉智能相机系统的研究与应用为背景，对智能相机系 统的实现与应用展开深入的研究。 1 3 国内外研究现状 对于智能相机系统的研究，一些发达国家在上世纪八十年代就开始迅猛发 展。用来读取和验证字母，数字和符号的光学字符识别系统被首先应用到工业自 2 杭州电子科技大学硕士学位论文 动化生产领域，这也是早期的智能相机的雏形。随着嵌入式技术和光电子技术的 飞速发展，机器视觉在工业生产中取得了更加广泛的应用，具有巨大的市场潜力。 根据一份权威的报告显示 2 1 ，2 0 0 2 年全球机器视觉系统的市场规模达到1 1 3 亿 美元。2 0 0 9 年则达到了2 6 2 亿美元，增长率可达到1 2 8 。自2 0 0 3 年以来，随 着欧洲经济逐步复苏，欧洲智能相机市场开始呈现较快的增长速度。预计到2 0 1 1 年，欧洲智能相机市场将达到约9 5 亿美元的市场份额，复合增长率达到9 6 【3 】。 美国一直以来都是智能相机最大的市场，但是随着制造业向亚洲转移，欧美市场 的份额逐渐下降。在亚洲，日本作为亚洲最大的智能相机市场，有渐渐超过欧洲 的趋势。亚洲其他国家和地区也呈现出稳中有升的趋势，中国和印度现在则发展 为市场需求份额最大的两个国家。从长远的市场前景来分析，中国作为制造业大 国，其将会在智能相机市场上占有绝对的市场份额。 目前，智能相机产品的研发和生产主要来自与欧美，国内的智能相机系统的 研究正处于起步阶段。在国内，智能相机产品在很多电子行业和工业领域的应用 都是刚刚起步。其研发技术和资金的投入还远远的不够，即便是有应用的地方， 也只是在低端的场合中应用。随着各行各业对采用图像和机器视觉技术的工业自 动化、智能化的巨大市场需求。国内有关院校、研究所和企业在智能相机技术领 域的大胆的尝试和不断创新，使智能相机产品逐步走向了实际的应用。目前初步 研制的智能相机产品其主要应用于制药、印刷、生产线缺陷检测等简单的领域。 目前在国内已经取得了一定的结果，也出现了部分有影响力的产品。但与国外相 比还有巨大的差距。首先其在智能相机产品研究领域水平较低，技术的突破需要 花费相当长的时间。因此大部分国内生产厂商选择代理国外的产品，导致缺少拥 有自己的知识产权的核心技术。以下列举出了一些国内外厂商研制出来具有代表 性的部分智能相机产品，如下表1 所示： 表1国内外代表性智能相机及其相关的参数 3 杭州电子科技大学硕士学位论文 德国的v i s i o nc o m p o n e n t s 公司是最早最先进的智能相机生产厂商，是业界 智能相机产品研发的领航者【4 】。其最具有代表性的v c 4 0 系列产品是一种通用的 工业图像处理平台，采用专门的d s p 处理器来进行图像信息的处理。其开发的 v c 4 0 系列智能相机自带输入输出口，可以与p c 进行无缝连接，以太网来进行 配置一些主要功能如图像摄取、相机参数设置等。相机中运行的程序可以在p c 机上离线编写。可以利用v c r t 和v c l i b 库来提高图像处理算法运行速度，这 些程序库是用汇编语言编写而成，执行效率相对较高。v c 4 0 系列相机针对一副 6 4 0 x 4 8 0 大小的灰度图像的典型处理速度如下：s o b e l 算子：6 m s ，平均值操作： 5 m s 。 f a s tv i s i o n 公司的c a 0 产品采用分辨率高达2 3 5 2 x 1 7 2 8 的c m o s 图像传感 器，处理速度高达2 4 0 f s 采用f p g a 处理器配置工作界面和图像处理【4 j 。 汉王科技的智能相机采用d s p 作为硬件处理器，图像采集采用高分辨率的 c m o s 图像传感器【4 】。典型应用为字符的识别，在p c 端可以远程配置运行参数， 不依赖与p c 能独立进行，向p c 直接传送识别的结果。通常用于工业制造中的 产品标签识别和验证，在药品制造、印刷工业、包装行业等领域具有广泛的应用。 从以上国内外的研究状况可以得出，国内的智能相机系统的研究水平还处于 起步状态。随着巨大的资金和人力的投入，相信国内很快就能打破智能相机产品 被国外垄断的现状。 1 4 智能相机概述及其发展趋势 智能相机是种高度集成化的微小型机器视觉系统。它将图像采集、处理与 通信功能集成于单一相机内，从而提供了具有多功能、模块化、高可靠行、易于 实现的机器视觉解决方案【5 j 。一般智能相机系统都采用最新的d s p 、f p g a 等高 性能处理器以及采用大容量存储技术，其智能化集成化程度不断的提高，可满足 负责复杂环境下的各种应用需求。 面向机器视觉行业的智能相机系统是指通过图像传感器来获取图像，然后将 图像传送至微处理器，通过数字化处理，根据像素的分布、亮度、颜色等信息， 进行尺寸、形状、颜色等的判别。并通过最终的判别结果来控制现场的设备产生 相应的动作。一般的智能相机的系统构成如图1 所示， 杭州电子科技大学硕士学位论文 图像采集模块 卜、 图像传感器图像传感器 ，1 卜 通讯接口单元 图像传感器 弓 通讯接口 光学系统 图像处理软件 图像图像参数 i o 接口 照明 增强分割提取 图l 智能相机模型图 主要包括以下几个部分： 图像采集模块一般由图像传感器、光学系统和照明组成。它主要将光学信号 转换为模拟信号或者数字信号，并将其输出至图像处理单元。 图像处理单元可对图像采集单元传输进来的图像数据进行实时存储，并在图 像处理软件的支持下进行图像处理和分析。 图像处理软件主要在图像处理单元硬件环境的支持下，完成图像算法处理功 能。如几何边缘提取、灰度直方图计算、简单的定位和搜索等 4 1 。在智能相机中， 以上算法均封装在固定的模块，通常由专用的图像处理器来运行。 在不断增长的市场需求等因素驱动下，智能相机技术将持续发展。智能相机 具有以下的几个发展趋势： 1 ) 接口的标准化 智能相机的主要应用于工业控制领域，巨大的市场需求推动了智能相机技术 飞速发展。因此智能相机的接口通讯将支持越来越多的协议，其中包括：u s b 、 t c p i p 协议、f t p 等。 2 ) 智能相机系统的高度模块化 将光学系统，图像采集，系统控制等模块都集成整个微小的系统中，这样使 应用起来更加方便，高度的集成化使其可以应用于更加复杂的环境。系统的稳定 性也将得到提高。 3 ) 应用场合的通用化 在早期的智能相机系统中，生产厂商开发出只适用于某些特定的行业、某些 特定的场合。随着市场的发展，越来越多的智能相机走向通用性，只要进行微小 的改变或者配置，就可应用于不同的场合。这样既可以达到很高的效率又可以降 低成本。 4 ) 高速化 在众多工业检测应用中，要求智能相机系统具有较高的分辨率和帧率，以满 5 杭州电子科技大学硕士学位论文 足对微小尺寸物体及高速运动目标的检测要求。因此，大面阵和高速化也将成为 视觉传感器的发展方向之一【6 】。半导体技术及c m o s 传感器技术的飞速发展， 为实现视觉传感器的大面阵和高速化提供了技术基础。 1 5 主要工作和内容安排 本文提出了一种用于高速饮料生产线上瓶盖缺陷检测的智能相机系统解决 方案，系统以d a v i n c i 处理器为平台，采用o v 7 6 4 0c m o s 图像传感器为视频采集 芯片。需要完成的工作包括图像采集子模块硬件系统的设计与实现，由a r m 处 理器负载完成视频的采集控制。编写基于l i n u x 操作系统的1 2 c 驱动程序和基于 v 4 l 2 编程接口的视频采集驱动程序。移植用于系统引导启动的b o o t l o a d e r 以及 l i n u x 操作系统等系统软件，编写基于a r m 和d s p 双核架构的d a v i n c i 平台的多线 程应用软件开发框架，实现图像的采集控制以及图像算法的处理。在d s p 处理器 上需要编写完成符合x d m 算法封装的缺陷瓶盖的图像处理算法，此算法在c c s 集成开发环境中完成。 本文的结构安排如下： 第一章绪论部分。介绍了课题研究的背景和意义以及国内外的研究状况， 提出了对课题进行研究的现实意义。介绍了智能相机系统模型，最后给出了课题 研究需要完成的主要工作和论文内容的结构安排。 第二章智能相机系统的硬件平台的介绍。本章介绍了以t m s 3 2 0 d m 6 4 4 6 为 核心的智能相机系统的硬件架构。其中包括例s 3 2 0 d m 6 4 4 6 核心处理器，基于 c m o s 传感器的图像采集模块，以及存储器模块等外围模块。重点实现了图像采 集模块的硬件电路的设计。 第三章基于l i n u x 的驱动程序的设计。本章首先介绍了l i n u x 字符设备驱动 的基本原理，并在其基础上详细介绍了1 2 c 驱动程序的设计，实现了用于传感器 芯片配置的1 2 c 驱动程序的编写。最后详细地阐述了l i n u x 下视频驱动编程接口 v 4 l 2 ，并实现了基于v 4 l 2 编程接口的视频采集程序的开发。 第四章智能相机系统软件架构和用于瓶盖缺陷检测的图像处理算法。本章 首先介绍了系统的引导程序b o o t l o a d e r 的设计以及l i n u x 操作系统，然后介绍了基 于d a v i n c i 平台的c o d e ce n g i n e 的系统软件架构，最后实现了用于瓶盖检测的图像 处理算法以及算法的验证。 第五章对本论文所做的主要工作进行总结和展望。并提出系统所存在的不足 和需要进一步完善拓展的地方。 6 杭州电子科技大学硕士学位论文 1 6 本章小结 本章首先详细介绍了智能相机系统的发展及应用前景，对基于机器视觉技术 的智能相机系统在国内外的研究情况进行了详细的分析，总结出了对其进行研究 和开发的重大意义，并给出了智能相机概述及其发展趋势。最后介绍了本文所需 要完成的主要工作和文章的内容安排。 7 杭州电子科技大学硕士学位论文 第二章智能相机系统硬件平台 2 1 硬件系统总体概述 智能相机系统是集图像采集、处理与通信功能于一体的嵌入式机器视觉系 统，其硬件结构主要由图像采集模块、图像存储模块、图像处理模块、网络通讯 模块等组成。系统设计采用1 m s 3 2 0 d m 6 4 4 6 芯片作为核心处理器，其独特的双 核架构提供了高速实时的图像处理、丰富的外设接口和强大的系统控制，能够满 足智能相机系统的设计要求。智能相机系统的硬件架构如图2 所示。 p c 机 f 、土 电源 li3 3 v i 一7。 一f l a s h it p s 7 5 0 0 3 国 e m a c e m i f 18 m d m 6 4 4 6l ：一一一+ 一一一一一： 图2 智能相机系统硬件结构原理图 本文所设计的智能相机系统包括如下几个模块： 1 、核心处理器模块，采用t m s 3 2 0 d m 6 4 4 6 作为整个智能相机系统的核心处 理器，基于双核架构的a r m 子系统的用于整个系统的控制和图像采集的控制， d s p 子系统专用于图像数据的高速处理。 2 、图像采集模块，在本智能相机的设计中采用o v 7 6 4 0c m o s 数字图像传 感器作为采集芯片，采集模块输出的数字图像数据通过视频前端输入子系统，并 由子系统负责完成图像的存储。 8 杭州电子科技大学硕士学位论文 3 、存储器模块，本模块设计采用n o rf l a s h 和d d r 2 两种存储芯片，n o rf l a s h 用于智能相机系统启动引导程序和应用程序以及l i n u x 操作系统镜像文件的固 化，d d r 2 作为系统软件的运行平台和图像数据的存储等。 4 、网络通信模块，主要用于智能相机系统软件的调试和升级，以及智能相 机系统的扩展和功能的增加。 4 、外围电路和c p l d 模块，主要用来实现时钟控制，电源管理等功能。c p l d 模块则作为核心处理器和外围器件之间的电平转换，使硬件系统上的器件能兼容 工作。 2 2t m s 3 2 0 d m 6 4 4 6 处理器简介 在智能相机系统中d s p 和f p g a 是其最常用的核心处理器，其中d s p 具有 信号处理能力强，在图像和视频领域具有非常的广泛应用。f p g a 的全称是可编 程的数字电路阵列，可以通过编程在内部实现多个图像处理专用模块，其直接在 硬件上实现图像的处理，为实现底层的图像处理的并行操作提供了一个很好的平 台。随着市场巨大需求的推动下，众多d s p 厂家都推出了专门应用于图像处理 和视频领域的数字信号处理器，其中以t i 的d s p 处理器性能最为强大。 本智能相机硬件系统采用的处理器是基于d a w m c i 双核架构的 州s 3 2 0 d m 6 4 4 6 芯片，该芯片同时集成了2 9 7 m h z 的a r m 9 2 6 e j s 内核和 t m s 3 2 0 c 6 4 x + d s p 内核。其中a r m 处理器是用作整个智能相机系统的控制器， d s p 处理器则用于复杂的图像处理算法的实现。d a v i n d 技术作为一个多处理器 的开放式平台，其针对数字视频应用推出了一系列的软硬技术的集合，增强了处 理器的运算和控制能力，能满足系统的高实时性、低功耗等要求，能很好的应用 于各种嵌入式场合1 6 j 。 9 杭州电子科技大学硕士学位论文 圆圈 图3t m s 3 2 0 d m 6 4 4 6 功能结构框图 如图3 所示，t m s 3 2 0 d m 6 4 4 6 芯片同时集成了a r m 处理器和d s p 处理器， 可灵活用于系统的控制和各种算法的处理。片上还同时集成了用于图像数据接口 的视频处理子系统，子系统包括用于视频采集的视频处理前端v p f e 和用于视频 输出的视频处理后端v p b e 。其中视频处理前端v p f e 模块由c c d 控制器、预 览引擎、柱状图模块、自动暴光白均衡聚焦模块( h 3 a ) 和成形器组成，支持图 像缩放、隔行逐行转换、画中画、c f a 插值、o s d 数据混合等图像处理功能1 7 】。 c c d 控制器作为视频采集接口可以直接和c m o s 图像传感器或者c c d 图像传 感器相连接。预览器是一个实时图像处理引擎，它从c m o s 图像传感器或者c c d 图像传感器中接受原始图像数据，并把r g b 模式的数据转变成y u v 4 ：2 ：2 的视 频格式。视频处理后端v p b e 模块则由屏幕视控加速器o s d 和视频编码模块 v e n c 组成。o s d 引擎可以处理2 个独立的视频窗、2 个独立的o s d 窗。v e n c 提供四个工作频率为5 4 m h z 的数模转换器，支持复合n t s c p a l 视频、s 视频 或者合成视频。在t m s 3 2 0 d m 6 4 4 6 处理器上还同时集成了1 2 c 、网口、串口、 s p i 等丰富的外设资源。丰富的硬件资源和高度的系统集成性大大降低了系统硬 件设计的复杂度，可以以最小的外围电路构建一个完整的高性能系统。 l o 杭州电子科技大学硕士学位论文 2 2 1a r m 子系统 a r m 子系统作为整个智能相机系统的控制器，包括对视频处理子系统、d s p 子系统以及外围设备的配置和控制。a r m 子系统采用时钟频率达2 9 7 m h z 的 a r m 9 2 6 e j s 内核，该处理器能够支持3 2 位a r m 指令集和1 6 位t h r o b 指令 集。处理器采用数据存储和指令存储分开的哈佛结构，包括1 6 k b 的指令c a c h e 和8 k b 的数据c a c h e ，1 6 k b 的3 2 位宽度的内部r a m 和r o m ，a r m 中断控 制器，p l l 控制器等丰富的系统资源。图4 是a r m 子系统的功能模块图。 图4a r m 子系统功能模块图 a r m 子系统主要包括以下几个外围功能模块： ( 1 ) 串1 2 1 ( o a r t ) ( 2 ) 外围异步存储接e i ( a e m i f ) ( 3 ) 脉宽调制器( p w m ) ( 4 ) d d r 2 控制器 ( 5 ) 定时器( t i m e r s ) ( 6 ) 增强型d m a 系统 杭州电子科技大学硕士学位论文 ( 7 ) 1 2 c 接口 ( 8 ) u s b 接口 ( 9 ) 音频串口( a s p ) ( 10 ) m m c s d 卡控制器 ( 1 1 ) 以太网链路层控制器( e m a c ) ( 1 2 ) s p i 接口 ( 1 3 ) a t a c f 接口 ( 1 4 ) 视频处理前端( v p f e ) ( 15 ) 视频处理后端( v p b e ) a r m 9 2 6 e j s 处理器支持a r m 调试体系结构，其中包括硬件调试和软件调 试。通过协处理器和保护模式能使体系结构得到增强，在此基础上还带有内存管 理单元( m m u ) 。如图4 所示，d m a 总线，即数据总线，用于系统各模块间的数据 传递。c f g 配置总线用于外设寄存器写数据的传送。a r m 子系统集成了丰富的 硬件资源用于整个系统的控制，协调各子系统高速的运作。 2 2 2d s p 子系统 d s p 子系统作为高性能的数字信号处理器，包含了一个高性能的 1 m s 3 2 0 c 6 4 x + d s p 核和多个内部存储器。采用c 6 4 x + d s p 内核，c 6 4 x + d s p 内 核基于v e l o c i t l 2 0 体系结构设计，采用超长指令字v l 州系统，片内同时拥有 2 个数据通道、8 个独立的功能单元。可以在每个时钟周期将8 条3 2 位指令，总 字长为2 5 6 位的指令包同时分配到8 个独立的并行处理单元，在最高的5 9 4 m h z 时钟频率下其处理能力最大可达到4 8 0 0 m i p s 。高时钟频率使其在数字信号处理 领域具有独特的优势，其内部结构如图5 所示， 1 2 杭州电子科技大学硕士学位论文 图5d s p 子系统结构图 如上图所示，d s p 子系统集成了丰富的内部资源，c 6 4 x + d s p 内核作为高性 能的数字信号处理器具有以下几个优势： 1 、c 6 4 x + d s p 内核具有双1 6 位的运算能力，内部拥有6 4 个3 2 位通用寄存 器、8 个独立的功能单元。在扩展的并行操作中，四组8 位两组1 6 位指令允许 每秒进行约9 0 亿次8 位乘累加运算。c p u 能在一个时钟周期内完成双1 6 位的 乘法、加减法、比较移位等操作。 2 、采用多级片内存储器设计，c 6 4 x + d s p 内核采用了两级片内c a c h e 存储结 构设计，同时支持片外存储器。如图4 所示，l l 存储器包括可配置的程序存储 器( l 1 p ) 和数据存储器( l 1 d ) 。l 1 d 存储器为6 4 k b 的r a m ，可以根据程序需要 将6 4 k b 的r a m 配置成为4 k b 、8 k b 、1 6 k b 或者3 2 k b 的c a c h e 来使用。片 内存储器和寄存器之间则通过i d m a 通道来完成数据的传输。内部存储器模块 和外部存储器之间的数据传输通过d m a 通道来完成。同时c 6 4 x + d s p 在内核中 还增加了s p l o o p 硬件缓存技术以解决视频算法中循环被软硬件中断打断后， 流水线需要重新填充和排空的问题。当使用硬件s p l o o p 缓冲后，循环流水线 中的指令可填充到指定的硬件缓存当中。当从中断服务程序返回后，流水线能得 到迅速的恢复。c 6 4 x + d s p 内核在内存访问方面具有很大灵活性，c 6 4 x + d s p 内 1 3 杭州电子科技大学硕士学位论文 核引入了l 2 m e m o r y 空间和i d m a 机制，能更加灵活地进行内存访问。其内存 访问示意图如图6 所示。 图6 ，d s p 内存访问结构图 3 、改进的增强型指令系统和软件流水系统。c 6 4 x + d s p 内核的指令集兼容 c 6 4 x 指令集，并在原有的基础上增加了4 4 条指令。增加了一些运算增强型指令， 新指令如d m v 可以移动两个独立的寄存器操作数，这大大的提高了数据处理的 效率。扩展的算术指令支持对f f t 和d c t 运算的加速，这些指令可以直接对两