（光学工程专业论文）基于sopc的视频处理系统关键技术研究.pdf

硕十论文基于s o p c 的视频处理系统关键技术研究 摘要 电子内窥镜因其独特的结构和成像能力，在医学检查、工业生产甚至军事侦察等方 面都有着广泛的应用。将高速的数字图像处理技术应用于电子内窥镜是本领域研究的重 要课题。近年来，片上可编程系统s o p c ( s y s t e mo nap r o g r a m m a b l ec h i p ) 技术的不断发 展，为具有数字图像处理功能的电子内窥镜的设计提出了新的方案。本文即以s o p c 技 术为支撑，对电子内窥镜中的数字视频图像采集与处理系统进行研究。 论文研究了内窥镜及其图像处理技术的发展和应用现状；结合技术要求对系统总体 方案进行了设计和论证，比较了f p g a + d s p 、a r m 、s o c 以及s o p c 几种方案的特点 并最终选择了基于s o p c 的视频图像采集与处理方案：对系统核心芯片进行了选型，完 成了系统电源、数据存储、视频a d 转换以及接口电路等的原理设计，以及四层p c b 图的设计。完成并仿真了以s o p c 为核心的系统图像采集处理软件设计，包括基于 v e r i l o g 语言的图像采集控制模块、图像显示控制模块以及图像算法模块( 视频叠加 及中值滤波) ，并利用s o p cb u i l d e r 创建和集成了系统。在s o p c 硬件实验平台上，对 上述软件进行了调试和验证，并给出了实验的结果。 关键词：电子内窥镜，数字图像，f p g a ，s o p c ，o s d ，中值滤波 a b s t r a c t t h ee l e c t r o n i c e n d o s c o p e i s w i d e l y u s e di nm e d i c a l i n s p e c t i o n s ，i n d u s t r i a l p r o d u c t i o n s ，m i l i t a r yd e t e c t i v e sa n do t h e ra r e a sf o rt h eu n i q u es t r u c t u r e sa n di m a g i n g c a p a b i l i t i e s a p p l y i n gh i g hs p e e dd i g i t a lv i d e oi m a g ep r o c e s s i n gt e c h n o l o g yt ot h ee l e c t r o n i c e n d o s c o p ei st h em a i ni s s u ef o r t h er e s e a r c hi nt h i sa r e a i nr e s e n ty e a r s ，b e c a u s eo ft h e c o n t i n u i n gd e v e l o p m e n to fs o p c ( s y s t e mo nap r o g r a m m a b l ec h i p ) t e c h n o l o g y , n e w p r o p o s a l sh a v eb e e np r e s e n t e df o rt h ed e s i g no ft h ee l e c t r o n i ce n d o s c o p e ，w h i c hh a st h e f u n c t i o n sf o rp r o c e s s i n gt h ed i g i t a li m a g e b a s e do nt h es o p ct e c h n o l o g y , w ec a r r yo u ta r e s e a r c hi n t ot h es y s t e mo fd i g i t a lv i d e oi m a g ea c q u i s i t i o na n dp r o c e s s i n gf o re l e c t r o n i c e n d o s c o p e t h ed e v e l o p m e n ta n da p p l i c a t i o ns t a t u so fe l e c t r o n i c e n d o s c o p ea n da l s oi t si m a g e p r o c e s s i n gt e c h n o l o g y a r er e s e a r c h e di nt h i s d i s s e r t a t i o n a c c o r d i n g t ot h e t e c h n o l o g y r e q u i r e m e n t st ot h es y s t e m ，t h eg e n e r a ls c h e m ei sd e s i g n e da n dr e s e a r c h e d ，t h ec h a r a c t e r so f d i f f e r e n tp l a n st of p g a & d s p 、a r m 、s o ca n ds o p cc o m p a r e d ，f i n a l l yt h ep l a nw h i c hi s b a s e do nt h ev i d e oi m a g ea c q u i s i t i o na n dp r o c e s s i n go fs o p ci sc h o s e n c o r ec h i p sf o rt h e s y s t e ma r es e l e c t e d t h ed e s i g nf o r t h ep r i n c i p l e so fs y s t e me l e c t r i cp o w e r 、d a t as t o r a g e 、v i d e o a dt r a n s f o r m a t i o n ，a n df o u rl a y e r sp c ba r ef i n i s h e d t h ed e s i g nf o rt h es o f t w a r eo fs y s t e m i m a g ea c q u i s i t i o na n dp r o c e s s i n g ，o fw h i c ht h ec o r ei ss o p c ，i sc o m p l e t e da n de m u l a t e d u s i n gt h es o p cb u i l d e r , t h es y s t e mi sb u i l ta n da c c o m p l i s h e d ，w h i c hi n c l u d e st h ec o n t r o l l i n g m o d u l e sf o ri m a g ea c q u i s i t i o n 、i m a g ed i s p l a ya n di m a g ea l g o r i t h m s ( v i d e oo v e r l a ya l g o r i t h m s a n dm e d i a nf i l t e r i n ga l g o r i t h m ) b a s e do nt h ee x p e r i m e n t so fs o p ch a r d w a r e ，w ed ot h e d e b u g g i n g a n dv e r i f y i n gf o ra b o v em e n t i o n e ds o f t w a r e ，a n dg i v et h ef i n a lr e n d e r i n g k e y w o r d ：e l e c t r o n i ce n d o s c o p e ，d i g i t a li m a g e ，f p g a ，s o p c ，o s d ，m e d i a nf i l t e r 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 叫年占肘日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名i 叩味1 日 硕一i ：论文基于s o p c 的视频处理系统关键技术研究 i 绪论 i i 课题研究背景 数字视频图像处理( d i g i t a li m a g ep r o c e s s i n g ) ，是指将模拟格式的图像信号转换 成数字信号并利用计算机对其进行处理的整个过程。数字图像处理技术在许多应 用领域受到广泛重视并取得了重大的开拓性成就l l j ，属于这些领域的有航空航天、 生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等，图 像处理在多种领域的成功运用使其成为一门引人注目、前景远大的新型学科。但 是，目前很多视频图像采集、处理与存储系统都比较庞大，不便于携带等缺点1 2 j ， 其应用在某些场合也受到了限制。因此，本课题以电子内窥镜为背景，开展了便 携式数字视频图像采集、储存与处理系统的研究。 1 1 1 内窥镜的发展 内窥镜的发展起于近代，一般可将其发展阶段分为：硬管式内窥镜、半可屈式内窥 镜、纤维内窥镜、超声与电子内窥镜等阶段【3 j 。 硬管式内窥镜( 1 8 0 6 一1 9 3 2 ) ：硬管式内窥镜的发展经历了两个阶段，即丌放式硬管 内窥镜阶段与含有光学系统的硬管内窥镜阶段。德国人b o z z i n i 在1 8 0 6 年发明了开放式 硬管内窥镜。开放式硬管内窥镜以蜡烛为光源，用于观察膀胱与直肠内部等平时不便于 检查的部位。开放式硬管内窥镜由花瓶状光源、蜡烛和一系列镜片组成，b o z z i n i 将 其称为“l i c h t l e i t e r ”，b o z z i n i 也因此被誉为内窥镜发明的第一人。含有光学系统的 硬管内窥镜由德国医生n i t z e 在1 8 7 9 年制成，这是一个含光学系统的内窥镜，其前端含 一个棱镜，该内窥镜借用的是b r u c k 的照明方式，同“l i c h t l e i t e r ”一样，该内窥镜仅 被用于泌尿系统。 半可屈式内窥镜( 1 9 3 2 - - 1 9 5 7 ) ：光学系统引入到内窥镜中以后，硬管式内窥镜得到 了不断地完善与发展，但由于内脏器官多存在解剖上的生理弯曲，用硬管式内窥镜难以 弯曲而使病人得到充分检查，半可屈式内窥镜的诞生在一定程度上解决了这个难题【4 】。 纤维内窥镜( 1 9 5 7 - 1 9 8 3 ) ：1 9 5 4 年，英国人发明了光导纤维技术。光导纤维技术逐 渐被应用于内窥镜系统。1 9 5 7 年，h i r s c h o w i t z 及助手在美国胃镜学会上展示了自行研 制的光导纤维内窥镜。6 0 年代初，活检装置及照相机被安装在了光导纤维胃镜上，该内 窥镜可以将胃的图像保存下来。1 9 6 7 年外部冷光源开始用于内窥镜系统，大大增加了光 亮度，可发现微小病灶，并且扩大了视野，能够观察到十二指肠。纤维内窥镜不但可用 于诊断，且可用于手术治疗1 5 j 。 超声与电子内窥镜( 1 9 8 3 年至今) ：为了弥补体表探测时出现盲区和内镜检查时的某 l 绪论硕一【：论文 些局限性以及克服超声波本身对骨性及气体界面不易通过的特性，进一步提高深部脏器 如胰腺、总胆管下部的诊断率，内镜、超声探测仪联合装置一超声内镜( e u s ) 开始步入 历史舞台。1 9 8 3 年美国w e l c ha l l y n 公司宣告了电子内窥镜【6 】的诞生，他们研制并应用 微型图像传感器( c h a r g ec o u p l e dc e v i c e ，c c d ) 代替了内窥镜的光导纤维导像术。可以说 电子内镜的诞生是内窥镜发展史上又一次历史性的突破。电子内窥镜主要由内镜 ( e n d o s c o p y ) 、视频信息系统中一l = , ( v i d e oi n f o r m a t i o ns y s t e mc e n t e r ) 和电视监视器( t e l e v i s i o m o n i t o r ) = 个主要部分组成，它的成像主要依赖于镜身前端的c c d 装置，经过图像采集 与处理后，显示在电视监视器的屏幕上。相比于普通光导纤维内镜的图像，电子内窥镜 的图像显示更加清晰，色泽逼真，分辨率更高，而且可供多人同时观看。由于电子内镜 的问世，给百余年来内镜的诊断和治疗开创了历史新篇章，在临床、教学和科研中发挥 出它巨大的优势1 5 j 。 电子内窥镜因其独特的结构和成像能力，在社会、生产、生活中有着重要的应用。 在狭窄、弯曲、隐蔽等肉眼无法直接观察的场所，外径细小的内窥镜可以深入其中，对 目标进行观察和测量等操作，在医学、化工、汽修、电力、国防、建筑、反恐、海关缉 私等众多领域，电子内窥镜也都能够大显身手【5j 。现在，电子内窥镜己成为无损检测等 行业的常规装备。 电子内窥镜基本结构图如图1 1 1 1 和1 1 1 2 所示。 2 图1 1 1 1 电子内窥镜外部检杏头 硕：i 二论文 甚于s o p c 的视频处理系统关键技术研究 图1 1 1 2 电子内窥镜内部结构图 ( 1 ) 在汽修行业的应用 在汽车维修中，内窥镜主要应用于检测诊断汽车发动机、汽缸、燃料管、引擎、油 箱、齿轮箱的磨损、积炭、堵塞等情况，降低了修理费用，提高了工作效率，同时避免 了对机件多次拆装而造成的损害。在汽车发动机的清洗、保养方面，汽车内窥镜也是一 个好的帮手。图1 1 1 3 记录了内窥镜在汽车维修中采集到的螺钉图以及活塞摩擦情况 图。 汽车内窥镜主要的特点在于可以在发动机工作状态下观察燃烧室内的混合气的形 成和燃烧过程以及汽缸、气阀、活塞项在高温下的工作状态，并通过高速摄影机将上述 图像以曲轴转角为标识予以记录。同时汽车内窥镜还可以与计算机相连接，借助相应的 图像处理软件随时调用、慢放、局部放大和判读特定图幅。 绪论l | 论女 | 茔i l l l3 山窥镜在汽修行业中的应用 ( 2 ) 在安检行业的应用 安检内窥镜最细的产品直径只有4 m m ，可以在公安刑侦，海关货物检查中使用， 分为2 方向、4 方向两种规格，有i3 0 弯转角度，安检内窥镜所有元件为非金属防水设 计，适合排爆和违禁品搜查。窥镜弯转控制由一套机械装置控制，在增加灵活性的同时 减小磨损，延长使用寿命。安检内窥镜特点：全部为绝缘设计，安检内窥镜适合排爆， 违禁品搜查等的特殊需求：光纤探头可单轴双向、飙轴四向转动，转动角度达1 3 0 度： 光纤传导，采用高强度冷光源保证成像清晰；配有充电电池及充电器；可以通过适配 器，轻松与c c d 摄像机相连，实现视频显示。图1j 14 就是一种用于安检的内窥镜。 厂1 ，镧嘲鼍爨爨 芒，寻一 - 岛 豳1 1 l4 安检内窥镜 f 3 1 在医疗行业的应用 在医疗领域，内窥镜发挥着极其重要的作用 7 1 。内窥镜在临床上可用于多种诊 断和治疗，如图11 15 f a ) 所示。例如，应用于胃肠道疾病的检查；应用于胰腺、胆 道疾病检查；应用于胰腺癌、胆管炎、胆管癌等呼吸道疾病的检查；应用于肺癌、 经支气管镜的肺活检及刷榆、选择性支气管造影等h 】。在医疗领域，内窥镜非但能 完成当今所能完成的任何一项工作，还会加用特殊光谱的c c d 提供新的诊疗图像 信息，还可用图像处理技术获得病变组织的特殊图像，并能用图像分析技术实现对 碰j 。论立基于s o f c 的视频处理系统关髓挫术研究 痛变的定量分析和定量诊断，还可通过电讯手段进行远程会诊。多功能电子内镜已 经问世，它不但能获得组织器官形态学的诊断信息，而且也能对组织器官各种生理 机能进行测定。目前以色列人开发出了一种无线微型内窥镜，又称药丸式内窥镜”j ， 如图1 1 1 5f b 、所示。该系统具有可实时观察病人消化道图像、全消化道检查、提供三 维深度内窥镜图像数据等功能。很好的解决了现有常用内窥镜系统的多个缺点。例如， 带有引导插管、系统操作不便、捡查时给病人带来很大的痛苦、检查的部位受到限制， 无法实现对小肠部分的检查等。目前，其发展还在起步阶段，相信在不久的将来，这种 内窥镜系统一定会大规模应用于临床，在医疗领域发挥出极大的作用。 群i 飙 ( a ) 传统医疗内窥镜( b ) 新型药丸式微型内窥镜 图1 1 15 两种医疗内窥镜 ( 4 1 在工业领域的应用 工业内窥镜可用于高温、有毒、核辐射及人眼无法直接观察到的场所的检查和观察 5 1 。工业内窥镜检查仪配备高分辨率彩色监视器或u s b 接口的笔计本电脑携带更方便， 观察图像更清晰，使操作者利用高倍清晰彩色c c d ，将观察到的疑点及探伤部位借助 独有的专业软件处理系统，进行冻结、放大、分析、测量、打印报告，极大提高判断管 道内壁探伤部位的准确性。图1l 16 表示了一种高温内窥镜，以及它所采集到的钢铁的 炼制情况图。 一掣支。l 、 焉苛0 、 1 1 2 内窥镜图像处理技术现状 数字图像处理功能是目前电子内窥镜所必须具有的，而图像处理离不丌图像采集 ，叠 1 绪论硕l ：论文 视频图像采集是进行图像处理的重要内容。电子内窥镜视频图像采集的方法基本可分模 拟图像采集和数字图像采集两大类【l o 】。 模拟图像采集的摄像头主要有c c d 摄像头和c m o s ( c o m p l e m e n t a r ym e t a lo x i d e s e m i c o n d u c t o r ) 摄像头两种。c c d 是一种半导体装置，能够把光学影像转化为数字信 号。c c d 通过模数转换芯片把模拟信号转换成数字信号，数字信号经过压缩以后 由相机内部的c j j 速存储器或内置硬盘卡保存，因而可以轻而易举地把数据传输给 计算机，并借助于计算机的处理手段，根据需要来修改图像。目f j i c c d 技术己经 非常成熟，具有抗强光、畸变小、抗震、灵敏度高、寿命长等优点。c m o s 主要是利用 硅和锗这两种元素所做成的半导体，使其在c m o s 上共存着n 型和p 型的半导体，这 两个互补效应所产生的电流即可被处理芯片解读成影像。然而，c m o s 的缺点就是太容 易出现杂点，这主要是因为早期的设计使c m o s 在处理快速变化的影像时，由于电流 变化过于频繁而会产生过热的现象。因此效果没有c c d 好，c c d 摄像头仍然是高端应 用的首选器件【。 数字视频图像的采集主要有数字电视摄像机( d i g i t a lt vc a m e r a ) 平l j 数字照相机 ( d i g i t a lc a m e r a ) 两种方式。数字电视摄像机将图像采集和数字化部件集成，直接输出数 字图像。数字电视摄像机携带方便、通配性好适用于现场数据采集。数字照相机由光学 镜头、c c d 器件、a d 、微处理器( m p u ) 、内置存储器、液晶显示器( l c d ) 、可移动存 储卡和接口等部分组成。主流的感光器件是c c d 阵列，通过模数转换( a d ) 可将摄取的 图像转换为数字格式。 目前，电子内窥镜视频图像的处理芯片主要有d s p ( d i g i t a ls i g n a lp r o c e s s i n g ，数 字信号处理器) 和f p g a ( p r o g r a m m a b l eg a t ea r r a y ，现场可编程门阵列) 等。d s p 具有运 算能力强大，功耗也在逐渐降低：f p g a 配置灵活，i p 资源丰富，适合构造具有独特功 能的视频图像处理算法，当前很多f p g a 厂商都推出了新的视频应用解决方案。总的来 说这两种芯片都是数字信号处理领域中的佼佼者。随着f p g a 的发展，利用f p g a 芯片 作为核心硬件的视频图像处理系统越来越流行，借助f p g a 芯片的不断更新换代来提高 硬件的处理能力，另外f p g a 在准确性、实时性方面有了很大的突破，性价比越来越高。 同渐完善的开发方式使f p g a 的应用范围越来越广泛，当今基于f p g a 图像处理的硬件 平台开始占据主导地位，已经广泛地应用于通信，声纳，遥感，生物医学，图像处理等 多个领域。可以说以f p g a 芯片为基础的数字图像处理技术已成为当代电子、通信和信 息处理技术不可或缺的重要手段。 时至今日，f p g a 市场的主要业者仅剩数家，包括a l t e r a 、x i l i n x 、a c t e l 、a t m e l 、 l a t t i c e 、q u i c k l o g i c 等。a l t e r a 与x i l i n x 已经成为f p g a 领域的龙头。话虽如此，但f p g a 领域依然有新兴业者出现，例如a c h r o n i xs e m i c o n d u c t o r 、m a t h s t a r 等。且除了单纯数字 逻辑性质的可编程器件外，具有数模混合信号、模拟性质的可编程器件也展露头角， 6 硕j ：论文基于s o p c 的视频处理系统关键技术研究 c y p r e s ss e m i c o n d u c t o r 的p s o c ( p r o g r a m m a b l es y s t e mo nc l l i p ) 即可编程的混合信号阵 列，或如a c t e l 公司也提出可编程的混合信号芯片：f u s i o n ，或者也有业者提出所谓的 现场可编程模拟阵y u ( f i e l dp r o g r a m m a b l ea n a l o g a r r a y ，f p a a ) 等，相信这些都能为可程 序芯片带来更多的发展动能，为视频图像处理系统的发展带来新的方案。 1 2 论文的主要研究内容 本课题以便携式电子内窥镜为背景，以s o p c ( s y s t e mo nap r o g r a m m a b l ec h i p ，片 上可编程系统) 技术为支撑，来研制种低功耗、高集成的便携式视频图像采集处理与 存储系统，从而使电子内窥镜更好的满足市场需求。 本论文的主要研究内容包括以下几个方面： ( 1 ) 调查内窥镜的发展及其市场应用，研究了内窥镜及其图像处理技术的发展，确 定出本系统的研究重点； ( 2 ) 根据内窥镜视频图像的特征，进行了设计方案的探讨。比较了f p g a + d s p 、 a r m 、s o c 以及s o p c 几种方案的特点并最终选择了基于s o p c 的视频图像采集与处 理方案： ( 3 ) 系统的硬件设计，根据s o p c 架构以及系统要实现的功能选择了各种功能的器 件。用p r o t e l9 9s e 进行了原理图设计，包括系统电源、数据存储、视频a d 转换以及 接口电路等和p c b 设计； ( 4 ) 系统软件设计，包括图像采集控制模块的设计和显示控制模块的设计以及s o p c 系统的建立和集成； ( 5 ) 图像处理算法模块的设计，根据实际情况，讨论设计了两种对内窥镜图像处理 比较实用的算法，视频图像字符叠加算法和中值滤波算法，并给出了最终的结果。 2 系统总体研究| 匦j ：i k 文 2 系统总体设计 作为数字图像处理的一个重要应用场合，目前国内研制的电子内窥镜系统普遍缺乏 必要的图像管理系统，而国外高档电子内窥镜则大都包含相对完整的图像管理系统。如 奥林巴斯公司研制的电子内窥镜则包含图像捕捉和存储、图像测量、图像的输入输出、 图像明暗的调节以及图像缩放等图像处理功能；韦林公司研制的电子内窥镜包含数字变 焦、分屏显示、屏幕锁定、曝光模式、录像以及存储等图像处理功能【l2 1 。因此该系统设 计的总体目标是开发一种可用于电子内窥镜的图像处理板。以下，将据此目标进行总体 方案论证、重要芯片的选择以及系统硬件和软件的设计。 2 1 系统设计方案论证 2 1 1 基于f p g a 和d s p 的图像采集处理系统 基于f p g a 和d s p 的图像采集处理系统【13 】整体框图如图2 1 1 1 所示。 图2 1 1 1 基于f p g a 和d s p 的图像采集与处理系统 该系统可以划分为三个模块，分别为视频信号转换模块、视频数据计算模块、通信 模块。视频信号转换模块主要由a d 转换芯片来完成，实现视频信号由模拟信号向数字 信号的转换、图像信号与其他信号的分离、视频信号格式的转换等，最终提供后端可以 处理的数字视频数据。视频数据计算模块由d s p 来完成。通信模块主要实现与外界数 掘的交换。 d s p 芯片是一种特别适合于进行数字信号处理运算的微处理器，能够很好地完成在 卷积、滤波和f f t ( 快速傅罩叶变换) 中出现的乘法和加法处理。实时快速地实现多种数 字信号处理算法是其主要应用，d s p 一般具有如下主要特剧1 4 】： ( 1 ) 在一个指令周期内可完成一次乘法和一次加法： ( 2 ) 程序和数据空间分开，可以同时访问指令和数据； ( 3 ) 片内具有快速r a m ，可通过独立的数据总线在两块中同时访问； 硕一l 论文基于s o p c 的视频处理系统关键技术研究 ( 4 ) 具有低开销或无开销循环及跳转的硬件支持； ( 5 ) 硬件i o 支持和快速中断处理； ( 6 ) 具有在单周期内操作的多个硬件地址产生器； ( 7 ) 多个操作可以并行执行； ( 8 ) 流水线操作方式可以使取指、译码和执行等操作重叠执行。 该方案优点：设计比较灵活，能对图像进行比较复杂的处理，而且运算的速度比较 快。 该方案缺点：制作系统成本比较高，电路的设计复杂，初学者不容易掌握。 2 1 2 基于a r m 的图像采集处理系统 基于a r m 的图像采集处理系统整体框副1 5 】如图2 1 2 1 所示。 图2 1 2 1 基于a r m 系统的图像采集与处理系统 该系统中f p g a 芯片主要负责对外部s d r a m 、f l a s h 等外部芯片的控制，主要负 责数据的采集、存储等功能。数据的处理，显示等交给a r m 系统来实现。 采用r j s c ( 精简指令集) 架构的a r m 微处理器一般具有如下特剧1 6 】： ( 1 ) 体积小、低功耗、低成本、高性能； ( 2 ) 支持t h u m b ( 1 6 位) a r m ( 3 2 位) 双指令集，能很好的兼容8 位、1 6 位器件； ( 3 ) 大量使用寄存器，指令执行速度更快； ( 4 ) 大多数数据操作都在寄存器中完成； ( 5 ) 寻址方式灵活简单，执行效率高； ( 6 ) 指令长度固定； a r m l l 系列微处理器是a r m 公司近年推出的新一代r i s c ( r e d u c e di n s t r u c t i o ns e t 9 2 系统总体研究硕i ：论文 c o m p u t e r ，精简指令集计算机) 处理器，它是a r m 新指令架构- a r m v 6 的第一代设计 实现。该系列主要有a r m l l 3 6 j ，a r m l l 5 6 t 2 和a r m i l 7 6 j z 三个内核型号，分别针对 不同应用领域。a r m l1 处理器在提供高性能的同时，也允许在性能和功耗i 、日j 做权衡以 满足某些特殊应用。通过动态调整时钟频率和供应电压，丌发者完全可以控制这两者的 平衡。a r m l l 处理器同时提供了可综合版本和半定制硬核两种实现。可综合版本可以 让设计者根据自己的半导体工艺开发出各有特色的处理器内核，并保持足够灵活性。 a r m 实现的硬核则是为了满足那些极高性能和速度要求的应用，同时为设计者节省实 现的成本和时间。 该方案优点：a r m 系统上带有操作系统，减少了开发周期；外部接口丰富，便于 数据的采集和控制。 该方案缺点：系统中的f p g a 芯片主要负责对外部s d r a m 、f l a s h 等外部芯片的 控制，主要负责数据的采集、存储等功能，而数据的处理，显示等交给a r m 来实现， 导致系统结构复杂，通信量大，整体性能差。 2 1 3 基于s o c 的图像采集处理系统 基于s o c 的图像采集处理系统i l7 j 整体框图如图2 1 3 1 所示。 图2 1 3 1 基于s o c 的图像采集处理系统 s o c ( s y s t e mo nc h i p ，片上系统) 强调软硬件协同信息处理，充分发挥硬件实时处理 和软件功能灵活的优势，提高系统整体性能1 1 引。s o c 是一种高度集成化、固件化的系 统集成技术。它采用i pc o r e ( i n t e l l e c t u a l p r o p e r t yc o r e ) ，知识产权核，即由专业的i p 提 供者设计完成的、并经过验证适合于嵌入的子功能逻辑模块) 进行设计，其核心思想就 是要把整个数字信息处理系统全部集成在一个芯片中。s o c 的核心技术是系统功能集 成，s o c 的基本结构是嵌入式系统，s o c 的基础设计思想是固件集成，s o c 的设计基 础是i p c o r e 是1 1 9 1 。 该方案优点：s o c 技术已完全不同于传统的系统设计理念，它能够用硬件描述语言 抽象的描述系统，具有高智能的集成开发环境以及大容量的存储器件。基于s o c 丌发 l o 硕 ：论文幕于s o p c 的视频处理系统关键技术研究 平台是s o c 技术的发展趋势，这种设计是可以达到最大程度系统重用的面向集成 的设计方法，分享i p 核开发与系统集成成果，不断重整价值链，在关注面积、延 迟、功耗的基础上，向成品率、可靠性、e m i 噪声、成本、易用性等转移，使系 统级集成能力快速发展。 该方案缺点：s o c 芯片的规模很大，由于深亚微米工艺带来的设计困难等，使 得s o c 的设计相当复杂。在s o c 设计中，最复杂、最耗时的环节是仿真与验证， 约占整个芯片开发周期的5 0 - - 8 0 ，采用先进的设计与仿真验证方法成为s o c 设计成功的关键。 2 1 4 基于s o p c 的图像采集处理系统 基于s o p c 的图像采集处理系纠2 0 j 整体框图如图2 1 4 1 所示。 图2 1 4 1 基 一s o p c 的视频处理方粟框图 该方案是a l t e m 公司主推的f p g a 架构，通过在f p g a 中嵌入软核州i o s i i c p u ) 处 理器来控制整个系统。 f p g a 是可编程逻辑器件的第四代产品，是专用集成电路a s i c 中集成度最高的一 种。f p g a 引入了逻辑单元阵列l c a ( l o g i cc e l la r r a y ) ，内部包括可配置逻辑模块 c l b ( c o n f i g u r a b l el o g i cb l o c k ) 、输出输入模块l o b ( i n p u to u t p u tb l o c k ) 和内部连线 ( i m e r c o n n e c t ) - - - 个部分。f p g a 具有静态可重复编程和动态系统重构的特性，还具有高 可靠性、高速、开发周期短、使用灵活、质量稳定等优点【2 。 n i o s i i 是a l t e r a 推出的3 2 位r s i c 嵌入式处理器【2 2 】。处理器以软核形式嵌入系统， 灵活性很大，可以在多种系统设置组合中进行选择，达到性能、特性和成本目标。下面 简单介绍一下s o p c 的技术特点。 我们已经知道s o c 是以不同模型电路和不同工艺的集成作为基础的。s o c 的实现 开发周期长，开发费用高，并且涉及到大量集成电路后端设计和微电子技术的专门知识， 2 系统总体研究硕l ：论文 因此s o c 的设计过程面临着巨大的困难。s o p c 技术则提供了一种有效的解决方案，即 用大规模f p g a 来实现s o c 的功能。s o p c 与s o c 的区别就是f p g a 与a s i c 的区别， 其基本特征是设计人员采用自顶向下的设计方法，对整个系统进行方案设计和功能划 分，最后系统的核心电路在可编程器件上实现。s o p c 基于f p g a 芯片，将处理器、存 储器、i 0 口等模块集成在一起，完成整个系统的主要逻辑功能，具有设计灵活、可剪 裁、可扩充、可升级及软硬件系统可编程的功能。s o p c 技术是m c u 、d s p 、f p g a 三 者的有机融合。s o p c 技术一般采用大容量f p g a 作为载体，除了在一片f p g a 中定制 m c u 和d s p 功能模块外，其中还具有小容量高速r a m 资源和部分可编程模拟电路以 及其它逻辑功能模块。因此s o p c 设计技术涵盖了嵌入式系统设计技术的全部内容，包 括以处理器和实时多任务操作系统( r t o s ) 为中心的软件设计技术、以p c b 和信号分析 为基础的高速电路设计技术、软硬件协同设计技术等2 3 1 。s o p c 具备以下特点1 2 4 】： ( 1 ) 至少包含一个嵌入式处理器内核： ( 2 ) 具有小容量片内高速r a m ，丰富的i pc o r e 可供选择； ( 3 ) 足够的片上可编程逻辑资源； ( 4 ) 单芯片、低功耗、微封装。 ( 5 ) 处理器调试接口和f p g a 编程接口； 该方案特点是结合了f p g a 和软核处理器的双重优点。设计比较灵活，缩小产品体 积，能对图像进行比较复杂的处理，用户可以根据设计的要求，利用相应的e d a 工 具，对n i o si i 及其外围设备进行构建，使该嵌入式系统在硬件结构、功能特点、 资源占用等方面全面满足用户系统设计的要求。 综上分析基于s o p c 的视频处理方案值得选择。一方面f p g a 的发展越来越适合其 作为图像处理的核心硬件。s o p c 方案的提出，使图像处理领域有了新的突破。s o p c 技术来源于s o c 技术，随着s o p c 技术的越来越成熟，我们希望能够最终实现s o c 这 种最为稳定的片上系统；另一方面，本文要设计一种用于内窥镜的便携式图像采集处理 系统，因此整个系统应该适合携带，硬件规模不能太大，s o p c 方案符合要求；最后本 教研室现有的实验条件也有利于选择用f p g a 来实现该方案。综上所述，本文采用以 f p g a 内嵌n i o s i i 软核处理器为核心来实现图像采集和处理。对于算法简单、数据量大 而又存在较大并行性的算法由f p g a 用硬件来实现。对于比较复杂的算法，若用f p g a 实现则硬件开销太大，这时就可以由内置c p u 并结合软件设计来完成。由于c p u 是以 a l t e r a 的i p 软核方式嵌入的，直接连接到f p g a 的逻辑和存储器阵列上，因此可以获得 硕i ：论文 基于s o p c 的视频处理系统关键技术研究 巨大的处理带宽。将f p g a 结构与内嵌c p u 进行优化组合，能够充分发挥各自的优势， 最大程度地实现图像的高速处理。 2 2 系统总体结构及其工作原理 系统总体结构框图如图2 2 1 所示，整个系统的设计又可以分为硬件设计和软件设 计。系统硬件设计以p r o t e l 9 9s e 为丌发环境。软件设计以q u a r t u si i 和s o p cb u i l d e r 为 开发环境。这两个部分将在第3 章和第4 章详细讨论。 图2 2 1 系统总体结构框图 整个系统包括硬件和软件两大部分，硬件部分由图像采集模块、图像存储模块，图 像处理模块和图像显示模块组成。图像采集模块主要由a d 芯片s a a 7 11 3 h 来完成， 通过1 2 c 总线来控制。图像存储模块包括s r a m 、s d r a m 、f l a s h 组成。s r a m 用来 缓存图像信息，s d r a m 用来存储图像信息等，f l a s h 主要用来存储f p g a 的配置信息 以及各个i p 软核信息。图像处理模块的核心芯片是f p g a ，可以基于f p g a 硬件，用硬 件描述语言来设计需要的图像处理算法。也可以在f p g a 中嵌入n i o s i ic p u 软核，以 c p u 调用算法程序，来实现需要的图像处理。图像显示模块只要由d a 芯片s a a 7 1 2 1 h 来完成，也是通过1 2 c 总线来控制，把数字信号转换成模拟信号后供监视器显示。软件 部分同样包括图像采集模块、图像存储模块，图像处理模块和图像显示模块，以及 n i o si ic p u 等各种嵌入式软核。 系统中嵌入的n i o s l i c p u 和各个软核模块之间的连接是通过a v a l o n 总线来完成的。 a v a l o n 总线是一种协议较为简单的片内总线，n i o s i i c p u 通过a v a l o n 总线与外界 进行数据交换。a v a l o n 总线接口可以分为两类：s l a v e 和m a s t e r 。s l a v e 是一个从 控接口，而m a s t e r 是一个主控接口。s l a v e 和m a s t e r 主要的区别是对于a v a l o n 总 13 2 系统总体研究硕 j 论文 线控制权的把握。m a s t e r 接口具有相接的a v a l o n 总线控制权，而s l a v e 接口是被 动的。a v a l o n 总线交换结构由s o p cb u i l d e r 自动生成，无须用户干预。在s o p cb u i l d e 中，每加入一个新的软核模块，就会有一个新的、最佳的a v a l o n 交换式总线生成。 a v a l o n 总线有如下特点。第一，所有外设的接口与a v a l o n 总线时钟同步，不需要 复杂的握手与应答机制。简化了a v a l o n 总线的时序行为，而且便于集成高速外设； 第二，所有的信号都是高电平或低电平有效，便于信号在总线中高速传输；第三， 为了方便外设的设计，地址、数据和控制信号使用分离的、专用的端口。 系统的工作流程是这样的：c c d 采集到的模拟信号通过a d 芯片s a a 7 1 1 3 h 转换 成数字信号，数字图像信息缓存到s r a m ，接着可根据图像处理方法的需要，选择用硬 件还是n i o si i 来实现目标算法。图像可以存储到s d r a m 中，最后可以通过编码芯片转 换后输出到监视器上显示。系统工作流程如图2 2 2 所示。 1 4 图2 2 2 系统上作流程 硕j j 论文基于s o p ( ? 的视频处理系统关键技术研究 3 系统硬件研究 第2 章研究了视频处理系统的总体方案，本章根据系统的总体方案，详细论述了该 系统硬件部分的具体实现方法，包括系统硬件电路的整体结构、f p g a 以及其外围和接 口的原理图设计、p c b 图设计要点以及抗干扰措施等。 3 1 系统硬件框图 整个系统框图如图3 1 1 所示。 图3 1 1 系统硬件框图 c c d 摄像机输出的图像信号通过r c a j a c k 插座连接到a d 芯片s a a 7 1 1 3 h ，经 过a d 转换以及其他相关处理后得到8 位b t 6 5 6 格式的数字图像数据( y u v 4 ：2 ：2 ) ， 从s a a 7 1 1 3 h 数字视频信号输出总线v p o 输出的信号传到图像采集模块，f p g a 将采 集到的一帧图像数据保存到缓存q b ( s r a m ) ，为后端对图像的进一步处理提供数据。接 着进行各种需要的图像处理算法，最终通过d a 芯片s a a 7 1 2 1 h 转换成可以被监视器 显示的模拟信号。s r a m 、s d r a m 和f l a s h 用作采集图像的帧缓存、中间数据的存 储和图像处理程序的存储。串行配置器件用于保存f p g a 的配置数据，在f p g a 系统每 次上电初始化时，从串行配置器件快速重新装载。j t a g 接口是f p g a 调试程序下载的 专用接口；u a r t 串口用作n i o si i 软件的编译调试端口。 3 2 主要芯片选用及说明 3 系统硬件研究硕l ：论文 本设计中主要采用了a l t e r a 公司的s o p c 解决方案，因此f p g a 选用了a l t e r a 公司 的c y c l o n e 系列芯片e p l c 6 q 2 4 0 c 8 ；a d 和d a 芯片分别选用了p h i l i p s 公司的 s a a 7 1 1 3 h 和s a a 7 1 2 1 h 芯片；s r a m 选用了c y p r e s s 公司的c y 7 c 1 0 4 9 芯片；s d r a m 则采用了m i c r o n 公司的m t 4 6 v 1 6 m 1 6 t g 芯片；f l a s h 芯片选用了a m d 公司的 a m 2 9 l v l 2 8 m 芯片。下面简要说明一下各器件的功能特点。 3 2 1f p g a 芯片e p i c 6 q 2 4 0