（计算机应用技术专业论文）嵌入式智能视觉传感器关键技术研究与实现.pdf

西南科技大学硕士研究生学位论文第1 页 摘要 论文依托四川省科技支撑项目的要求和眉山车辆厂拉铆钉检测的实际需 要立题，致力于研究嵌入式智能视觉传感器关键技术。 课题不仅研究和吸取了现有机器视觉的技术和经验，还研究和设计了基 于a r m + c m o s 图像芯片的嵌入式智能视觉传感器的应用理论与实现技术。通过 带有c a m i f 接口的a r m 9 微处理器、3 0 万或3 0 0 万像素的c m o s 图像传感器、 图形接口、存储接口和通讯接口等组成一种新型智能视觉传感器硬件系统。 在对嵌入式操作系统a r m l i n u x 进行扩展和新接口驱动开发的基础上，构建 了开放式智能视觉传感器软件环境。在系统地研究视觉测量理论、算法与嵌 入式软件实现之后，建立了视觉测量与分析的应用软件模块。 针对嵌入式智能视觉传感器核心技术做了大量深入具体的研究与开发， 实际完成了一款具有较高性价比和经济实用性的嵌入式智能视觉传感器设 计。 关键词：智能视觉传感器c m o s 图像芯片 a r m 9c a m i f l i n u x 西南科技大学硕士研究生学位论文第l i 页 a b s t r a c t t h i sp a p e rs t u d i e sk e yt e c h n o l o g yo fe m b e d d e di n t e l l i g e n tv i s i o ns e n s o r , w h i c hi sb a s e do nt h er e q u i r e m e n t so ft h es i c h u a ns c i e n c ea n dt e c h n o l o g y c r i t i c a lp r o j e c ta n d t h ea c t u a ld e m a n d so fm e i s h a nv e h i c l ef a c t o r yf o rm e a s u r i n g r i v e t b e s i d e sr e s e a r c h i n ga n da b s o r b i n gt h et e c h n o l o g ya n de x p e r i e n c eo fc u r r e n t m a c h i n ev i s i o n ，t h i sp a p e rh a sr e s e a r c h e dt h ea p p l i c a t i o nt h e o r yo fe m b e d d e d i n t e l l i g e n tv i s i o ns e n s o rb a s e do na r ma n dc m o si m a g ec h i p ，a n dp r o p o s e d c o r r e s p o n d i n gi m p l e m e n t a t i o no ft e c h n o l o g y t h en e wi n t e l l i g e n tv i s i o ns e n s o r h a r d w a r es y s t e mc o n s i s i t so fa r m 9m i c r o p r o c e s s o r w h i c hh a sc a m i fi n t e r f a c e ， c m o si m a g es e n s o r ，w h i c hh a s0 3m e g a p i x e lo r3m e g a p i x e l ，g r a p h i ci n t e r f a c e ， m e m o r yi n t e r f a c e ，c o m m u n i c a t i o ni n t e r f a c ea n ds oo n b a s e do ne m b e d d e do s a r m l i n u xa n dd e v e l o p m e n to fn e wi n t e r f a c ed r i v e r , a no p e n e di n t e l l i g e n t v i s i o ns e n s o rs o f t w a r ee n v i r o n m e n ti sc o n s t i t u t e d a p p l i c a t i o ns o f t w a r em o d u l e f o ri m a g em e a s u r e m e n ta n da n a l y s i si se s t a b l i s h e da f t e rr e s e a r c h i n gt h et h e o r y a n da l g o r i t h mo fv i s i o nm e a s u r e m e n t ，a n dt h ei m p l e m e n t a t i o no fe m b e d d e d s o f t w a r e ap r a c t i c a le m b e d d e d i n t e l l i g e n t v i s i o ns e n s o ri s d e s i g n e d i nt h i s a p p l i c a t i o n ，w h i c hi sc o s t e f f e c t i v ea n de c o n o m i c a l ，a f t e rag r e a td e a lo fs p e c i f i c r e s e a r c ha n dd e v e l o p m e n ta b o u tt h ec o r et e c h n o l o g yo fe m b e d d e di n t e l l i g e n t v i s i o ns e n s o ri n - d e p t h k e yw o r d s ：i n t e l l i g e n tv i s i o ns e n s o r ；c m o si m a g ec h i p ；a r m 9 ；c a m i f ； l i n u x 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得西南科技大学或其它教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 弛伺星导 啡加7 “ 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布该论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 签名f 司 翟导 导师签名 日期：2 矽7 占， 西南科技大学硕士研究生学位论文第l 页 1绪论 1 1智能视觉传感器概况 1 1 1 智能视觉传感器的概念 智能视觉传感器( i n t e l l i g e n tv i s i o ns e n s o r ) 是近年来机器视觉领域发 展最快的一项新技术。智能视觉传感器。，是一个兼具图像采集、图像处理和 信息传递功能的小型机器视觉系统，是一种嵌入式计算机视觉系统。它将图 像传感器、数字处理器、通讯模块和其他外设集成到单一的模块内，使该模 块能够完全代替传统的基于p c 机的计算机视觉系统，独立地完成预先设定的 图像处理和分析任务。智能视觉传感器采用一体化设计，降低系统的复杂度， 提高可靠性，大大缩小系统尺寸，拓宽了视觉技术的应用领域。 1 1 2国内外研究现状 智能视觉传感器是近年来计算机视觉领域发展最快的一个市场。根据美 国a i a ( a u t o m a t e di m a g i n ga s s o c i a t i o n ) 的市场调查，2 0 0 0 至2 0 0 5 年间智 能视觉传感器在北美市场上的销售年平均增长率超过3 2 。根据a i a 预测， 这种增长趋势会一直保持到2 0 1 0 年，届时智能视觉传感器在北美的销售额可 能达到1 7 4 亿美元。 我国的机器视觉产业起步于2 0 世纪9 0 年代末，比欧美发达国家晚了近 2 0 年。目前国内很多产业的生产过程监控和质量控制应用机器视觉较少。随 着生产自动化程度的提高，采用非接触式产品质量检测方式正成为一种趋势。 由于新型智能化视觉传感器技术日渐成熟，我们可以跳过传统的基于p c 机的 视觉系统，直接采用智能视觉传感器来改造和完善制造设备的性能，提高我 国工业制造设备的核心竞争力。 眉山车辆厂是中国高速、重载、专用铁路车辆生产经营的优势企业，年 产各种铸锻、铆焊等车辆配件2 万多吨。拉铆钉是眉山车辆厂花费长达1 0 年之久研发的一项钢结构连接新技术，改变我国该技术长期依赖进口的局面。 拉铆钉广泛应用于铁路和高压塔等领域。眉山车辆厂为了保证拉铆钉的生产 质量，量化拉铆钉的技术指标，需要采用非接触式测量方法。国外这方面产 品价格相当昂贵，国内还没有应用于工业现场的非接触测量产品，导致拉铆 钉质量没法得到质量保障。国内很多企业都有类似眉山车辆厂的情况，降低 了工业产品的国际竞争力。 西南科技大学硕士研究生学位论文第2 页 1 1 3 智能视觉传感器产品和发展方向 目前市场上的智能视觉传感器产品主要来自欧美，如：德国f e i t h 公司 的c a n c a m ，德国v i s i o nc o m p o n e n t 公司的v c 4 0 x x 系列，加拿大m a t r o x 公司 的i r i s 系列，美国c o g n e x 公司的i n s i g h t 系列，国内尚处于起步阶段。表 卜1 列举了上述4 款智能视觉传感器的比较。 表1 - 14 款智能视觉传感器的比较 t a b 1 1t h ec o m p a ris o no ff o u r in t e iii g e n tv is i o ns e n s o r s 智能视觉传感器技术仍处在发展中。当前智能视觉传感器技术的发展主 要集中在3 个方面。 ( 1 ) 进一步优化系统的体系结构，提高硬件系统的效率和可靠性。智能视 觉传感器涉及光学、电子、计算机和通讯等多个领域技术，处理二维图像信 号数据量大且复杂。优化系统结构可以提高系统的敏感性能，降低系统传输 损耗，减少信号传输时间，改善系统的实时处理能力。 ( 2 ) 开发性能更好、可靠性更高的嵌入式图像处理软件。虽然图像处理算 法很多，但是面向嵌入式平台的、具有较好鲁棒性且普遍适用的图像处理算 法并不多。设计并实现鲁棒性强、运算速度快的嵌入式图像处理算法是智能 视觉传感器软件开发中的重点和难点。 ( 3 ) 建立智能视觉传感器相关产品标准，包括：智能视觉传感器的数据接 口、性能评价指标和标准配置等。 西南科技大学硕士研究生学位论文第3 页 1 1 4 智能视觉传感器的应用 智能视觉传感器主要应用于智能安防监控、工业检测、智能交通、智能 车辆、机器人以及个人消费电子等领域。不同领域的应用对智能视觉传感器 的硬件和软件要求也不同。 安防监控系统一般工作在室外环境，利用自然光或红外进行照明。安防 监控系统对硬件要求是处理速度快，传感器敏感性好，成像系统具有良好的 动态范围。图像处理软件则应包括运动分析、背景构建算法、人体特征识别、 车辆识别、人的异常行为探测等图像处理算法和工具。目前大部分的安防监 控系统还是采用摄像头，计算机和硬盘拷贝的结构。当前智能视觉传感器在 安防监控系统中的应用还处于尝试阶段。 用于工业检测的视觉系统，又称机器视觉，一般应用在室内环境。成像 系统采用卤素灯或l e d 照明，属于结构化照明，照明条件稳定。与智能安防监 控系统比较，工业检测系统在成像系统的敏感能力和成像动态范围方面要求 较低，但对系统的检测精度和检测准确性要求较高。目前智能视觉传感器用 得最多、最成功的领域就是工业检测抽，它较人工检验、光电传感器和传统 视觉系统在工业检测领域应用均有优势。 ( 1 ) 智能视觉传感器较人工检验的优势 无论工厂自动化进步到何种程度，许多检测仍用肉眼来完成。但是，在大 多数应用中，智能视觉传感器的许多优势非手动检验流程所能及。智能视觉传 感器能够以更快的速度工作，低得多的成本执行重复、多次和一致的检测。 ( 2 ) 智能视觉传感器较光电传感器的优势 与光电传感器相比，智能视觉传感器赋予机器设计者更大的灵活性。以往 需要多个光电传感器的应用，现在可以用一个智能视觉传感器来检测多项特 征。智能视觉传感器能够检测大得多的面积，并有更佳的目标位置和方向灵活 性。这使智能视觉传感器在某些只有依靠光电传感器才能解决的应用中受到 广泛欢迎。在传统上，这些应用还需要昂贵的配件，以及能够确保目标物体始 终以同一位置和姿态出现的精确运动控制。此外，由于一个智能视觉传感器 的成本仅相当于数个具有较贵配件的光电传感器，因此价格已不再是问题。 智能视觉传感器为应用的切换提供了无与伦比的灵活性。 ( 3 ) 智能视觉传感器较视觉系统的优势 复杂的视觉系统是一项成熟的技术，可执行细致的自动检验。但是，复 杂性和高成本妨碍了其在许多行业中的应用，其价格通常从5 0 0 0 至5 0 0 0 0 美 元。这些复杂的视觉系统需要一个或多个摄像头、定制软件以及一台计算机。 西南科技大学硕士研究生学位论文第4 页 往往需要聘请外部视觉顾问来设计、集成和安装系统。此外，鉴于此类系统 的专用性，无法将它们轻松地改作它用。这些复杂的系统通常要求持续的专 业支持。尽管对复杂视觉系统的需求仍然存在，但是更廉价、更容易使用的 视觉传感器的推出，为一些工业应用提供了性价比更高的解决方案。此外， 由于智能视觉传感器更小、更易使用，制造商会更频繁地在检测和校验应用 中采用视觉解决方案。智能视觉传感器在工厂自动化的品质提高及生产效率 改进方面功不可没。 智能交通和智能车辆是智能视觉传感器应用的另一个活跃领域。智能交 通的应用要求与室外监控系统类似。但是智能车辆的应用不太一样。智能车 辆上的智能视觉传感器要求系统处理速度快，对不同照明条件适应能力强， 抗震性好。适合智能视觉传感器应用的视觉领域还包括智能机器人、个人移 动电子设备等。智能机器人利用视觉系统完成目标定位、目标跟踪、路径规 划、自动避障等功能，实现机器人的自主导航。 1 2课题研究意义及论文主要内容 1 2 1课题来源和研究意义 课题来源： 课题来源于导师的四川省科技支撑项目、眉山车辆厂横向项目拉铆钉 自动检测系统的研究和实现和作者本人的四川省青年软件创新项目开放 式c n c 系统w i - f i 模块的研究和实现。 研究意义： ( 1 ) 嵌入式智能视觉传感器应用到工业现场，实现生产零部件的非接触测 量，改造和完善制造设备的性能，提高我国工业制造设备的核心竞争力。 ( 2 ) 开发嵌入式智能视觉传感器可以帮助眉山车辆厂降低人力资源，提高 拉铆钉的质量，量化拉铆钉技术指标，增强国际竞争力。 ( 3 ) 嵌入式智能视觉传感器价格低廉，应用广泛，可以达到平民化效果。 ( 4 ) 基于带有c a m i f 接口的a r m 9 微处理器+ c m o s 图像芯片的嵌入式智能 视觉传感器具有借鉴价值。同时，它是一种新型嵌入式平台设计，要求a r m 处理器和c m o s 图像传感器协调工作，对以后机器人视觉控制研究是一个很好 的知识积累。 ( 5 ) 嵌入式智能视觉传感器集图像采集、图像处理和图像分析于一体，也 可以被嵌入其他视觉装备实现非接触式测量，克服传统机器视觉成本高、结 西南科技大学硕士研究生学位论文第5 页 构复杂、可控性差、推广和普及应用差等特点。 ( 6 ) 新一代视觉传感器正向网络化，智能化方向发展，该课题适应了这一 需求。 ( 7 ) 基于l i n u x 平台驱动o v 系列的c m o s 图像传感器，不但为l i n u x 系统 开发了很好的外围设备，而且以最快的方式应用0 v 系列的c m o s 图像传感器 ( 硬件像素达到3 0 0 万的0 v 3 6 4 0 芯片于0 7 年下半年面世) 。 1 2 2论文的主要内容 论文的主要内容是研究嵌入式智能视觉传感器关键技术，完成嵌入式智 能视觉传感器设计。嵌入式智能视觉传感器由具有c a m i f 接口的a r m 9 微处理 器和c m o s 图像芯片( 0 v 7 6 2 0 和0 v 3 6 4 0 ) 两部分组成。嵌入式微处理器完成以 下功能：提供c m o s 芯片电源和时序，初始化c m o s 图像传感器，管理通信接 口和文件系统，存储、转发和分析图像数据等。c m o s 图像芯片完成行信号、 帧信号和像素信号三者的同步，模拟图像数据向数字图像数据转换等。 论文着重从嵌入式智能视觉传感器的方案论证、硬件系统设计、软件系 统设计、接口驱动和视觉测量五个方面进行探讨。首先进行嵌入式智能视觉 传感器的方案论证，选定了基于带有c a m i f 接口的a r m 9 微处理器与c m o s 图 像芯片结合形式。其次对嵌入式智能视觉传感器的硬件系统进行了详细全面 设计。在硬件设计中，选定核心器件，给出系统的总体架构、设计了图形接 口( g p i o 一 u s b - c a m i f ) 、研究s c c b 总线、通信和存储接口等。紧接着建立了 嵌入式智能视觉传感器软件环境，包括：移植b o o tl o a d e r 和l i n u x 2 6 1 4 内核、构建c r a m f s 和y a f f s 2 根文件系统、编写c a m i f 接口驱动、驱动o v 5 i1 芯片、移植l i n u x w l a n - n g 驱动、以i2 c 方式设置智能视觉传感器、采集图 像和建立通信应用程序等。最后运用设计好的嵌入式智能视觉传感器样机测 量轴套的内外径和拉铆钉的牙型角，给出测量的算法，并利用m a t l a b 进行了 仿真分析。随后介绍了嵌入式视觉测量算法软件实现要点，列举了影响测量 结果的因素，并进行了经济性分析。 西南科技大学硕士研究生学位论文第5 页 2 嵌入式智能视觉传感器方案设计 2 1机器视觉系统 一个典型的机器视觉应用系统包括：光源、光学成像系统、图像捕捉系 统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执 行模块，如图2 - 1 所示。 图2 1机器视觉系统哺1 f i g 2 1 m a c h in ev is i 0 1 3s y s t e m 被测目标在光源的照射下，采用摄像机或其它的图像拍摄装置，将被测 目标转化为图像信号，经过数字化和一定的图像处理送入智能判决和决策系 统，根据图像的像素分布、亮度和颜色等信息，按照一定的算法将目标的某 些特征提取出来，根据预先设定的容许度和判别条件输出判别结果，作为机 械控制执行模块的依据。 2 2 嵌入式智能视觉传感器总体方案 2 2 1 嵌入式智能视觉传感器的图像芯片 传统的视觉系统多采用c c d 摄像机。目前，c c d 技术已经相当的成熟。 它具有较好的图像质量和灵活性，多应用于高端的摄像技术场合，例如：天 文观察、卫星成像、高分辨率数字照片、广播电视、高性能工业摄像、大部 分科学与医学摄像等。c c d 图像传感器的工作原理是：当器件完成曝光以后， 光子通过像元转换为电荷包，电荷包顺序转移到共同的输出端，通过输出放 西南科技大学硕士研究生学位论文第7 页 大器将大小不同的电荷包转换为电压信号，缓冲并输出到芯片外的信号处理 电路。由此可见，c c d 器件输出的视频信号，大部分信号处理的功能是在芯 片外实现的。 随着c c d 器件的广泛应用，其缺点逐渐显露出来。c c d 光敏单元阵列难 与驱动电路及信号处理电路单片集成，不易处理一些模拟和数字功能，这些 功能包括模数转换器、精密放大器、存储器、运算单元等元件的功能；c c d 阵列驱动脉冲复杂，需要使用相对高的工作电压，不能与深亚微米超大规模 集成( v s l i ) 技术兼容。为此，人们又开发了另外几种固体图像传感器技术， 其中，最引人注目最有发展潜力的是采用标准的c m o s ( c o m p l e m e n t a r ym e t a l o x i d es e m i c o n d u c t o r ，互补金属氧化物半导体) 技术来生产的图像传感器， 即c m o s 图像传感器。c m o s 摄像机的工作原理是：光子转换为电子后直接在 每个像元中完成电子电荷与电压转换，这种信号转换与读出技术使得c m o s 摄像机的大部分功能都集成在图像传感器芯片上。 随着超大规模集成技术的飞速发展，c m o s 图像传感器可在单芯片内集成 a d 转换、信号处理、自动增益控制、精密放大和存储等功能，大大减小了 系统复杂性，降低了成本，因而显示出强劲的发展势头。此外，它还具有低 功耗、单电源、低工作电压( 3 v 5 v ) 、成品率高、可对局部像元随机访问等 突出优点。因此，c m o s 图像传感器重新成为研究、开发的热点，发展极其迅 猛，目前已占据低、中分辨率领域。现在，c m o s 图像传感器的一些参数性能 指标已达到或超过c c d 。 下面我们将c c d 与c m o s 图像传感器做个比较。表2 - 1 给出c c d 与c m o s 图像传感器的性能比较 ，与c c d 图像传感器相比，c m o s 图像传感器具有明 显的优势。 c c d 存图像传感器存储的电荷信息，需要在同步信号控制下一位一位地 实施转移后读取，电荷信息转移和读取输出需要有时钟控制电路和三组不同 的电源相配合，整个电路较为复杂，速度较慢。c m o s 光电传感器经光电转换 后直接产生电压信号，信号读取十分简单，还能同时处理各单元的图像信息， 速度比c c d 快得多。 生产现场的噪声干扰很大，而且，有些生产现场，用于检测设备安装的 空间也是很有限的。对于嵌入式智能视觉传感器而言，完全可以采用c m o s 图像传感器，来减小系统的体积，提高系统的可靠性和灵活性。综合考虑设 计的难度、合理性、实用性、成本以及发展前景等因素，嵌入式智能传感器 选择c m o s 芯片作为输入设备。 西南科技大学硕士研究生学位论文第8 页 2 2 2 嵌入式智能视觉传感器的微处理器 嵌入式智能视觉传感器的微处理器直接决定嵌入式智能视觉传感器的性 能，成本和通用性。目前市场常见的处理器有以下四种：通用计算机、数字 信号处理器( d s p ) 、专用集成电路( a s i c ) 和a r m 。 通用计算机是基于冯诺依曼结构，其软件的执行过程是单指令单数据的 串行处理过程。一般采用高级语言代替汇编语言编写程序代码，其特点是在 任一时刻只能有一条指令在执行。通用计算机在软硬件方面也都成熟，因此 编程简单，工作可靠，易于实现。 a s i c 的特点是面向特定用户的需求，a s i c 在批量生产时与通用集成电路 相比具有体积更小、功耗更低、可靠性提高、性能提高、保密性增强和成本 降低等优点。 d s p 芯片是一种特别适合于进行数字信号处理运算的微处理器，其主要 应用是实时快速地实现各种数字信号处理算法。 从以上分析中可以看出，上述的各种处理器在控制、速度和性价比等方 面都很难完全满足嵌入式智能视觉传感器的要求，课题选择以自带c a m i f 接 西南科技大学硕士研究生学位论文第9 页 口的a r m 9 微处理器为智能视觉传感器的核心有以下几点原因： ( 1 ) 处理器需要控制c m o s 图像传感器，作为控制而言，a r m 处理器较其 它几种处理器具有明显的优势。 ( 2 ) a r m 处理器把浮点运算单元f p u 、内存管理单元m m u 的配置作为a r m 内核的选项而不是标准配置。这些措施最终使得a r m 内核拥有最简单的结构， 从而减少了a r m 内核的芯片面积，减少了开发成本、升级、优化内核的成本。 当然芯片面积的减少也直接导致了功耗和价格的降低。 ( 3 ) a r m 处理器自带双端口r a m 即c a m i f 接口，具有速度快，硬件实现i o 数据传输，降低c p u 占有率，调整v p b 总线频率实现速度调整，硬件像素达到 3 0 0 万的0 v 3 6 4 0 可达到1 0 帧每秒。 ( 4 ) 简化硬件，c m o s 图像芯片的时序和电源均可由a r m 9 微处理器提供。 ( 5 ) a r m 处理器的主频越来越高，能够满足高端应用，可以选择主频高的 a r m 处理器做简单的图像处理。 2 2 3 嵌入式智能视觉传感器的控制方式 前两节选定了基于自带c a m i f 接口的a r m 9 微处理器+ c m o s 图像芯片的 方案。为了控制输入输出操作，嵌入式智能视觉传感器可以采取直接程序传 送方式，程序中断方式和d m a 方式三种控制方式阳，。 ( 1 ) 直接程序传送方式 直接程序传送方式是指c p u 直接利用i o 指令编程，实现数据的输入和 输出。主机需要不断通过i o 指令查询设备状态“是否准备好”或“是否完 成一次操作 。适合c p u 速度不是很高，效率问题不是很重要，允许在i o 操作中c p u 不干别的事，c p u 和外围设备不能完全并行地工作。 ( 2 ) 程序中断方式 程序中断方式实质上是一种切换过程，由原来的执行程序切换到中断处 理程序，处理完备再由中断处理程序切换为原来被暂停的程序。程序中断处 理能力很强，可以处理复杂的事态，但是切换的过程中需要耗掉大量的c p u 的资源和时间。因此，程序中断方式一般只适合处理中、低速的i o 操作与 随机请求，所处理的对象可以是复杂的随机事态。 ( 3 ) d m a 方式 d m a ( d i r e c tm e m o r ya c c e s s ) 方式指直接依靠硬件在主存与i o 设备间进 行数据交换，传送期间不需要c p u 的干预，即输入设备的数据可经过系统总 线中的数据总线，直接输入到主存储器，数据传送直接由硬件控制实现，不 西南科技大学硕士研究生学位论文第1 0 页 依靠执行程序命令来实现。d m a 方式一般应用于主存与高速i o 设备间的数 据传送。 c m o s 图像芯片是一种高速设备，图像数据量大，降低传送时延可以有效 的保证智能视觉传感器的实时性。综合上述分析和眉山车辆厂实际要求，选 择d m a 方式传送图像数据。 2 3 本章小节 本章从图像芯片、处理器和控制方式三个方面对嵌入式智能视觉传感器 进行了方案论证。选定了基于c a m i f 接口的a r m 9 微处理器和c m o s 芯片结合 的方案。该方案具有硬件简化、速度快、成本低和处理能力强等特点，为嵌 入式智能视觉传感器的软硬件开发设计做好了指导工作。 西南科技大学硕士研究生学位论文第1 l 页 3嵌入式智能视觉传感器硬件研究与实现 3 1嵌入式智能视觉传感器总体架构 嵌入式智能视觉传感器选用自带c a m i f 接口的a r m 9 微处理器为主控制 器，配以6 4 m b 的动态存储器s d r a m ( s y n c h r o n o u sd y n a m i cr a n d o ma c e e s s m e m o r y ) ，由于s d r a m 存取速度大大高于f l a s h 存储器，且具有读和写的属性， 因此，s d r a m 在系统中主要存储所采集到的图像数据及作程序的的运行空间 和堆栈区r 。，。但s d r a m 不具有掉电保护功能，所以系统配以6 4 m b 的n a n df l a s h 来存储系统的启动代码、内核和应用程序。c m o s 图像芯片的配置和控制通过 a r m 9 微处理器来实现，完成图像数据的采集、存储、转发和分析。系统的硬 件架构如图3 1 所示。 通信接口 控制信号地址线 图3 - 1嵌入式智能视觉传感器硬件架构图 f l g 3 1 h a r d w a r es c h e m a t i cp i a no fe m b e d d e di n t e iiig e n tv is i o ns e n s o r 3 2带c a mlf 接口的a r m 9 微处理器 当今，市场上每天销售约3 0 亿颗嵌入式c p u 。其中绝大部分是8 位和1 6 位 的c p u 。目前嵌入式系统中的处理器分为微处理器( m p u ) 、微控制器( m c u ) 、数 字信号处理器( d s p ) 、片上系统( s o c ) 和可编程逻辑门阵列( f p g a ) 等n ”。 随着计算机技术的不断进步和发展，特别是3 2 位嵌入式处理器出现之后， 3 2 位嵌入式处理器占据了市场很大的份额，采用a r m 技术知识产权( i p ) 核的微 处理器，即我们通常所说的a r m 微处理器，a r m 架构的处理器占有8 0 的份额，。 这些处理器正在逐步渗入到我们生活的各个方面。 课题选用了一款3 2 位的a r m 9 处理器$ 3 c 2 4 4 0 a 。$ 3 c 2 4 4 0 a n 纠是一颗主频 西南科技大学硕士研究生学位论文第1 2 页 高达 c p u ， 4 0 0 m h z 至5 3 3 m h z ，基于a r m 9 2 0 t 内核( 1 6 3 2b i tr i s cc p u ) 的高性能 独立的1 6 k b 指 运行以及数据存储更 操作系统。 ( g p a g p j ) 令和 加高 1 6 k b 数据缓存，m m u 虚拟内存管理单元，使得程序 效，并可以支持w i n d o w sc e 、l i n u x 等多种主流的 $ 3 c 2 4 4 0 a 拥有1 3 0 个多功能输入输出端口引脚，由8 个端口 表示，具有u s b l 1 接口和c a m i f 接口，其功能框图如图3 - 2 所示。 管习 图3 - 2 $ 3 c 2 4 4 0 a 功能框图n 幻 f i g 3 - 2 b i o c kd ia g r a mo f $ 3 c 2 4 4 0 a 西南科技大学硕士研究生学位论文第1 3 页 3 3c m o s 图像芯片 第二章中已经选定嵌入式智能视觉传感器的输入设备采用c m o s 图像芯 片，本文设计选用了美国o m n i v is io n 公司开发的c m o s 图像传感器芯片 0 v 7 6 2 0 和0 v 3 6 4 0 ，硬件像素分别达到3 0 万和3 0 0 万。 3 3 10 v 7 6 2 0 图像传感器 0 v 7 6 2 0 t 是美国0 m n i v i s i o n 公司开发的c m o s 彩色图像传感器芯片，它是 一款低电压的c m o s 图像传感器。芯片采用4 8 脚p l c c 封装，其引脚排列如图 3 - 3 ，各管脚功能描述如表3 - 1 所示。 a g n d a v d d p v v d n v r s v c c h g ， s b b v t o a v d d a g n d v s y k c ，c s y s f o d d ，s r a m h r e f j s r a 期 图3 - 30 v 7 6 2 0 引脚分布图n 3 1 f i g 3 - 3 s c a t t e rd ia g r a mo f0 v 7 6 2 0 c h s y n c ，b w y 0 f c b a r y 1 ，p r o g y 2 ，g 2 x y 3 ，r a w y 影c s l y 5 s h a r p y 6 ，c s 2 y 7 c s 0 p c l k ，o u t x 2 o o v d d o o g 牲d 0 v 7 6 2 0 图像传感器主要有以下一些特点： ( 1 ) 最大3 2 6 ，6 8 8 像素，1 3 英寸透镜，v g a q v g a 格式 ( 2 ) 支持逐行隔行扫描 q z o o o i s穹o l q 一乏a z 侈西a d 卜山茁z u o 舷ko 山芷o z o 西南科技大学硕士研究生学位论文第1 4 页 ( 3 ) 数据格式支持y c r c b 4 ：2 ：2 ，r g b 4 ：2 ：2 和r g br a wd a t a ( 4 ) 8 1 6 位视频数据：c c i r 6 0 1 ，c c i r 6 5 6 ，z vp o r t ( 5 ) 串行摄像控制总线( s e r i a lc a m e r ac o n t r o lb u s ) ( 6 ) 电子曝光、增益控制和白平衡控制、内部外部同步机制 ( 7 ) 图像增强功能：亮度、对比度、g a m m a 、饱和度、锐化、窗口功能等 表3 - 1 0 v 7 6 2 0 引脚功能| 1 3 1 t a b 3 - 10 v 7 6 2 0p i nf u n c t i o n 西南科技大学硕士研究生学位论文第1 5 页 332 0 v 3 6 4 0 图像传感器 0 v 3 6 4 0 “是一款助耗低、性能高、t 4 英寸大小、硬件像素达到3 2 0 万 的c m o s ( 彩色) 图像传感器。0 v 3 5 4 0 芯片罩提供q x g a ( 2 0 4 8 x l5 3 6 ) 摄像机，可 以提供全帧、抽取或者窗选8 位1 0 位阿像格式，通过s c c b t i p ! 接口实现初 始化。 0 v 3 6 4 0 罔像传感器达到1 5 帧每秒的图像阵列( q v g a 分辨率) ，完全由用 户规定图像质量、格式和输出数据。图像处理功能有：曝光控制、伽玛、白 平衡、色饱和度、缺陷像索取消和噪声取消菩。0 v 3 6 4 0 通过压缔功能提高处 理能力，使用保密的传感器技术提高图像质量，减少或消除光电图像污点， 如：固定模式噪声和扫描等，从而形成一个干净、稳定的彩色图像。0 v 3 6 4 0 功能框躅见罔3 - 4 ，各管脚功能描述如表32 所示。 图3 - 40 v 3 6 4 0 功能框图 f ig3 - 4b io e kd i8 9 f a mo f0 v 3 6 4 0 西南科技大学硕士研究生学位论文第1 6 页 西南科技大学硕士研究生学位论文第1 7 页 3 4串行控制总线 为了控制o m i n i v i s i o n 公司生产的c m o s 图像传感器系列的功能， o m i n i v is i o n 公司定义并配备了s c c b ( s e r i a lc a m e r ac o n t r o lb u s ) ，一种三 线串行总线。在精简的引脚封装中，也可工作于简化的二线工作模式，。 3 4 1s c c b 引脚功能和总线结构 s c c b 通过s i o c ( 串形时钟线) 和s i o d ( 串行数据线) 实现连到总线上的 器件之间传送数据，并根据地址识别每个器件。根据数据手册引n 引可知： 0 v 7 6 2 0 图像传感器的从地址是0 x 4 2 或0 x 4 3 ，0 v 3 6 4 0 图像传感器的地址是 0 x 7 8 或0 x 7 9 。 s c c b 总线系统中每个带有s c c b 总线接口或s c c b 总线扩展接口的器件或 模块，接入s c c b 总线中均构成一个总线节点。由于接入器件的不同，总线中 的节点可分为主器件节点和外围器件节点。s c c b 总线工作时，任何一个主器 件节点都能对总线实现控制，当某个主器件节点控制了总线时，称主器件。 主器件完成一次传输过程的初始化、发送时钟信号及传输终止信号。被主器 件寻址的器件称为从器件。 o m i n i v is i o n 公司的图像传感器芯片只工作于从器件模式，所以接口器 件必须是主器件。一个s c c b 主设备至少能够连接一个s c c b 从器件。但是精 简的二线应用只允许一个s c c b 主器件连接一个s c c b 从器件。二线的功能模 块如图3 - 5 所示。 图3 - 5二线s c c b 功能模块 f i g 3 5 b i o c kd i a g r a mo fs c c bf u n c ti 0 1 3 精简的二线s c c b 总线只有s i o c ( 串行时钟线) 和s i o o ( 串行数据线) ， 它通过s i o c 和s i o o 连接到总线上的器件之间传送数据，并根据地址识别 每个器件。引脚功能如表3 3 所示。 西南科技大学硕士研究生学位论文第18 页 s i oc 信号是一个单向控制信号并且必须有主设备驱动。它指出了每一 个传输位。当总线空闲时，主设备必须驱动s i o c 为逻辑l 。当传输开始后， 当s i o c 被驱动为逻辑0 ，则一个数据传输开始。在数据传输过程中s i o c 的一个逻辑1 指示了一个单独的已传输位。因此，s i o d 只能s i o c 被驱动 为0 时出现。 s i od 信号是一个双向数据信号，可以被主设备或从器件驱动。当总线 空闲时该信号可以保持悬空或三态。s i o c 的一贯逻辑1 代表了一位传输， 因此s i od 仅当s i oc 被驱动为逻辑0 出现。 3 4 2 s c c b 数据传送方式 s c c b 总线的一次典型工作流程为： ( 1 ) 开始 信号表明传输开始。 ( 2 ) 地址 主器件发送地址信息，包含7 位的从器件地址和1 位地址指示位( 表明读 或写，即数据流的方向) 。 ( 3 ) 数据 根据指示位，数据在主器件和从器件之间传输。数据一般以8 位传输， 最重要的位放在前面，具体传输多少位的数据并没有限制。接收器上用l 位 a c k ( 回答信号) 表明每个字节都收到了，传输可以被终止和重新开始。 ( 4 ) 停止 信号结束传输。 在数据传输过程中，必须确认数据传送的开始和结束。在s c c b 总线技术 西南科技大学硕士研究生学位论文第1 9 页 规范中，开始和结束信号( 也称启动和停止信号) 的定义如图3 6 所示。 甜蛐一乱l 二二二二 i 门一一 s 雌扑一一，一厂、厂甘一 图3 - 6s c c b 总线启动和停止信号的定义“引 当时钟线s i o c 为高电平时，数据线s i o d 由高电平跳变为低电平，定 义为“开始 信号；当s i o c 线为高电平时，s i o d 线发生低电平到高电平 的跳变，定义为“结束”信号。开始和结束信号都是由主器件产生。在开始 信号以后，总线即被认为处于忙状态。在结束信号以后的一段时间内，总线 被认为是空闲。 s c c b 总线上每次传送的数据字节数不限，但每一个字节必须为8 位，而 且每个传送的字节后面必须跟认可位( 第9 位) ，也叫应答位( a c k ) 。数据的传 送过程如图3 - 7 所示。 s t a r t o f s t o po f transmission雨礓nsmission 、，_ 、，_ 、，- - 、，、，_ 、- 、厂、一、厂- 、一_ 、，_ 、- i 翟：t 0 震：零= t ：舀3 ：叠e ：罾：耋l ：蠢：叠：茸：笼k - ：z 、， 图3 - 7s c c b 数据传输过程5 1 f i g 3 7 t r a n s m is sio np r o c e s so f s c c bb u sd a t a 每次都是先传最高位。通常从器件在接收到每个字节后，都会作出响应 即释放s i o c 线返回高电平，准备接收下一个数据字节，主器件可继续传送。 如果从器件正在处理一个实时事件而不能接收数据，则可使时钟线s i o c 保 持低电平，从器件必须使$ 1 0 一d 保持高电平，此时主器件产生一个结束信号， ：一。i 西南科技大学硕士研究生学位论文第2 0 页 使传送异常结束，迫使主器件处于等待状态。当从器件处理完毕时，将释放 s i o c 线，主器件继续传送。 当主器件发送完一个字节的数据后，接着发出对应于s i o c 线上的一个 时钟( a c k ) 认可位，在此时钟内主器件释放s i od 线，一个字节传送结束，而 从器件的响应信号将s i o d 线拉成低电平，使s i o d 在该时钟的高电平期间 为稳定的低电平。从器件的响应信号结束后，s i o d 线返回高电平，进入下 一个传送周期“。 3 5嵌入式智能视觉传感器存储系统 3 5 1 fia s h 存储模块 首先是用于系统软件存储的非易失性存储器的选择，这里$ 3 c 2 4 4 0 a 可以 支持e e p r o m ，f l a s h 等选择，考虑到灵活性和存储成本，最终选取较为流行 的n a n df 1 a s h 存储方案。后文将要介绍的重要的软件，如b o o tl o a d e r ，l i n u x 操作系统以及其他需要永久保存的应用软件，就将存放在f l a s h 内。 f l a s h 存储器是一种可在系统( i n - s y s t e m ) 里面进行电擦写，掉电后信息 不丢失的存储器。它具有低功耗、大容量、擦写速度快、可整片或分扇区在 系统编程( 烧写) 、擦除等特点，并且可由内部嵌入的算法完成对芯片的操作， 因而在各种嵌入式系统中得到了广泛的应用。作为一种非易失性存储器， f l a s h 在系统中通常用于存放程序代码、常量表以及一些在系统掉电后需要 保存的用户数据等。常用的f l a s h 为8 位或1 6 位的数据宽度，编程电压为单 3 3 v 。主要的生产厂商为a t m e l 、a m d 、h y u n d a i 、s a m s u n g 等，他们生产的同 型器件一般具有相同的电气特性和封装形式