（通信与信息系统专业论文）基于armdsp嵌入式视频监控系统的设计与研究.pdf

太原理工大学硕士研究生学位论文 基于删+ d s p 的嵌入式视频监控系统的设计与研究 摘要 随着网络、通信和微电子技术的快速发展和人民物质生活水平的提 高，视频监控系统以其直观、方便和信息内容丰富的特点而被广泛的应用。 本文利用a r m + d s p 的双核结构，对基于a r m + d s p 嵌入式的视频监控 系统进行了设计和研究。 本系统大致分成两部分咖s p 图像采集处理部分和a r m 实时控制 应用部分两部分。子系统分别选用t m s 3 2 0 d m 6 4 2 和a t 9 1 r m 9 2 0 0 作为 两部分的主控芯片，利用它们各自的优势在系统中发挥不同的功能。 d s p 的图像采集处理部分通过c c d 摄像头对特定的区域采集视频图 像，并由视频解码芯片进行视频解码处理。处理后的数字视频信号放入 d s p 内通过视频运动检测算法进行图像处理，以掌握是否有异常的情况发 生。如果有异常情况发生，则立刻由d s p 向a r m 实时控制应用部分施加 中断信号，并将识别处理后的结果全部发送过去。 a r m 的实时控制应用部分实现对d s p 图像采集处理部分的实时控 制，实现支持l i n u x 平台的硬件架构，实现网口、串口和u s b 等接口用 于数据传输，实现图像的显示和友好的人机界而等等。a r m 实时控制应 用部分本身不参与图像识别和处理相关的算法实现，而只是配合d s p 将 图像处理的结果显示出来，并在恰当的时机触发外部控制器实现一定的对 外控制功能。 基于a r m + d s p 架构的视频监控系统的设计思想与实现原理，本系统 l 太原理工大学硕士研究生学位论文 分为控制模块和视频处理模块，二者独立开发和调试，通过h p i 并行方式 连接，提高了软硬件任务的模块化程度，增加了系统的稳定性、可靠性和 灵活性，符合嵌入式视频监控的功能要求，可以面对日益复杂的视频应用。 本文还介绍了基于a t 9 1 r m 9 2 0 0 处理器子系统开发板的底层b o o t l o a d e r 程序的开发和对l i n u x 操作系统移植的过程。最后论文在设计并实 现的基础上对系统的改进提出了一些新的方法和建议。 关键字：a r m ，d s p ，嵌入式系统，l i n u x ，b o o t l o a d e r i i 太原理工大学硕士研究生学位论文 d e s i g n & s t u d yo fv i d e om o n i t o r i n ga n d c o n t r o l l i n ge m b e d d e ds y s t e m b a s e do na r m + d s p a bs t r a c t w i t ht h ed e v e l o p m e n to fn e t w o r k ，c o m m u n i c a t i o n sa n dm i c r o - e l e c t r o n i c s t e c h n o l o g ya n dt h ei m p r o v e m e n to fp e o p l e ss u b s t a n t i a ll i v i n gs t a n d a r d ，t h e v i d e om o n i t o r i n ga n dc o n t r o l l i n gs y s t e m sa r ew i d e l ya p p l i e do w i n gt ot h e i n t u i t i o n i s t i c ，c o n v e n i e n tc h a r a c t e r i s t i ca n dt h ea m p l ei n f o r m a t i o n u s i n gt h e d o u b l ek e r n e ls t r u c t u r eo fa r m + d s p , t h i sa r t i c l ed e s i g n s & s t u d y st h ev i d e o m o n i t o r i n ga n dc o n t r o l l i n ge m b e d d e ds y s t e mb a s e do na r m + d s e t h i ss y s t e mi n c l u d e st w op a r t sa p p r o x i m a t e l y ：d s pi m a g ec o l l e c t i n ga n d p r o c e s s i n gp a r ta n da r m r e a lt i m ec o n t r o l l i n ga n da p p l i c a t i o np a r t t h e s y s t e mc h o o s e st m s 3 2 0 d m 6 4 2a n da t 9 1r m 9 2 0 0a st h ep r i m a r yc o n t r o l l i n g c m o sc h i pf o rt h e s et w op a r t sr e s p e c t i v e l y t h ec m o sc h i p se x e r td i f f e r e n t f u n c t i o nw i t ht h e i ro w na d v a n t a g ei nt h es y s t e m d s pi m a g ec o l l e c t i n ga n dp r o c e s s i n gp a r tc o l l e c t sv i d e oi m a g ei nt h e s p e c i f i c a l a r e aw i t hc c dv i d i c o na n dm a k e sv i d e od e c o d i n gw i t hv i d e o d e c o d e r t h ep r o c e s s e dv i d e od i g i t a l s i g n a l s a r ep u ti n t od s pf o ri m a g e p r o c e s s i n gw i t hi m a g em o v e m e n tt e s t i n ga l g o r i t h m i fs o m e t h i n gw r o n g h a p p e n s ，d s pw i l la to n c et h r o wi n t e r r u p ts i g n a lt oa r m r e a lt i m ec o n t r o l l i n g i i i 太原理工大学硕士研究生学位论文 a n da p p l i c a t i o np a r ta n ds e n d sa l lp r o c e s s e dr e s u l t so u t a r mr e a lt i m ec o n t r o l l i n ga n da p p l i c a t i o np a r tr e a lt i m ec o n t r o l st h ed s p i m a g ec o l l e c t i n ga n dp r o c e s s i n gp a r ta n dc o n s t r u c t sh a r d w a r es t r u c t u r et o s u p p o r tt h el i n u xs y s t e ma n dp r o v i d e ss o m ei n t e r f a c e s ( s u c ha sn i cp o r t ， c o ma n du s b ，e t c ) f o rd a t at r a n s m i t i o n a sw e l la sd i s p l a y st h ei m a g ea n d m a k e saf r i e n d l yi n t e r f a c eb e t w e e nh u m a na n dm a c h i n e a r mr e a lt i m e c o n t r o l l i n ga n da p p l i c a t i o np a r td o e s n tc a r r yo u tt h ei m a g ei d e n t i f y i n ga n d p r o c e s s i n ga l g o r i t h m i to n l yd i s p l a y st h er e s u l t s a f t e rd s pf i n i s h e di m a g e p r o c e s s i n g a n dt r i g g e r se x t e m a lc o n t r o l l e ra t r i g h t t i m ef o r e x t e r n a l l y c o n t r o l l i n gf u n c t i o n t h i st h e s i se l a b o r a t e sd e s i g nt h o u g h t sa n di m p l e m e n tp r i n c i p l e so fv i d e o m o n i t o r i n ga n dc o n t r o l l i n g e m b e d d e ds y s t e mb a s e da r m + d s ei nt h i s s c e n a r i o ，t h es y s t e mi sd i v i d e di n t oc o n t r o lm o d u l ea n dv i d e om o d u l e ，w h i c h c a nb o t hb ed e s i g n e da n dd e b u g g e di n d e p e n d e n t l y t h et w om o d u l e sa r e c o n n e c t e db yh p i t h ed e g r e eo fs o f t w a r ea n dh a r d w a r em o d u l a r i z a t i o nh a s b e e ne n h a n c e d ，w h i l et h es t a b i l i t ya n dr e l i a b i l i t yh a sb e e ni n c r e a s e d i ta l s oi n t r o d u c e sb o o tl o a d e rd e v e l o p m e n ta n dl i n u xo sp o r t i n go ft h e s u b s y s t e md e v e l o p m e n tb o a r db a s e do na t 9 1r m 9 2 0 0 a tl a s t ，s o m en e w i m p r o v i n gm e t h o da n da d v i c ei sp r o p o s e d k e yw o r d s ：a r m ，d s p , e m b e d e e ds y s t e m ，l i n u x ，b o o t l o a d e r i v 声明尸明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：日期： 。关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文： 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) 。 签名：蒸垄垫 嘞 导师签名：以3 兰 日期： 太原理工大学硕士研究生学位论文 0 1 课题的研究背景 绪论 随着视频编解码技术、计算机多媒体技术、数字信号处理技术的发展，嵌入式系 统已广泛用在日常生活的各个领域中，并且带来了日新月异的变化和经济效益。 视频监控产品现在正从模拟化向数字化、网络化的方向发展，并在科学研究、工 农业生产、交通运输、资源的遥感探测、医疗卫生、空间探测、航大探测等各个领域 内应用越来越广泛【1 。2 j 。尤其是在航天航空和现代战争领域，视频监控技术极为重要。 在实际的工程应用中，监控系统基本上是不停机工作的，因此系统除了对算法本身有 很高要求以外，视频信号处理的速度和高可靠性是至关重要的。因此无论是从国家的 战略角度还是国民生产的具体需要，都急需要研制新一代的数字视频监控系统，而超 大规模集成电路和嵌入式软硬件技术的迅猛发展，为我们找到了一种解决问题的新思 路。即研制嵌入式结构的数字视频监控系统。 。i e e e 对嵌入式系统的定义为：嵌入式系统是“用于控制、监视或者辅助操作机器 和设备的装置”。国内普遍认同的嵌入式系统定义为：以应用为中心，以计算机技术为 基础，软硬件可裁减，适用应用系统对功能、可靠性、成本、体积、功耗等严格要求 的专用计算机系统。嵌入式系统应用的领域非常广泛，需求量也在急速增长。 基于嵌入式设备的监控系统的优点表现在：由于这种系统的硬件是一个同处理器 和软件结合较为紧密、功能专一、设计专门的独立的设备，不像插卡系统那样受通用 计算机系统中其它软件硬件的影响，因此性能上更稳定，且便于安装、维护，易于实 现系统的模块化设计，便于管理、维护、降低费用；另一方面，由于功能单一，只要 算法选择正确，系统的实时性就可以得到保证，而且控制功能较p c 系统容易实现且 更为强大。 0 2 国内外研究现状 视频监控系统的发展大致经历了三个阶段。在九十年代初以前，主要是以模拟设 备为主的闭路电视监控系统，称为第一代模拟监控系统1 3 l 。九十年代中期，随着计算 太原理工大学硕士研究生学位论文 机处理能力的提高和视频技术的发展，人们利用计算机的高速数据处理能力进行视频 的采集和处理，利用显示器的高分辨率实现图像的多画面显示，这种基于p c 机的多 媒体主控台系统称为第二代数字化本地视频监控系统。九十年代末，随着网络带宽、 计算机处理能力和存储容量的快速提高，以及各种实用视频处理技术的出现，视频监 控步入了全数字化的网络时代，称为第三代远程视频监控系统。 数字监控系统以计算机为处理核心，除了能够实现多媒体信息处理如压缩、传输、 存储和播放等基本功能之外，还能够实现自动异常报警、智能存储和快速检索等高级 功能，实现模拟监控无法实现的真正意义上的监控功f l 皂c 4 1 。由于数字式网络监控系统 功能强大、成本低、使用方式灵活而且应用广泛，蕴含巨大商机，受到了学术界、产 业界和管理部门的高度重视，计算机视觉和应用研究学者适时地提出了视觉监控的概 念。 而在国内，产品较多地是在外来芯片基础上开发视频采集压缩卡，或在现有的视 频采集压缩卡上开发监控软件系统，然后组成监控系统。常见的基于p c 机的图像监 控系统由p c 机加上视频采集卡构成，基于p c 的视频监控系统终端功能较强，便于 现场操作。但稳定性不好，视频前端较为复杂，可靠性不高。近年来，智能视觉监视 技术在公共保安领域中的应用带来了监控系统的巨大变革。而今，许多科研人员把最 先在军事制导中得以广泛应用的运动目标检测和跟踪技术成功引入到监控系统中，构 建出了新一代的智能化监控系统。这类系统克服了传统监控系统只提供监控人员“眼 睛”，仍需要监控人员时刻根据场景控制云台跟踪运动目标的缺陷，它自己就具有简单 的自主监控能力能实时的对监视场景的运动目标进行检测和跟踪。最近的趋势更 是把人体识别引入到监控系统中，设计能完全替代监控人员的、可用于无入值守情况 下的高智能化监控系统。 0 3 研究课题的意义 研制新一代的嵌入式视频监控系统有重要的意义，可以广泛应用在各行各业眨1 中，有小区安全监控，电讯行业有机站监控，银行系统有前台窗口监控，林业部门有 火情监控，交通方而有违章和流量监控等等。从功能上讲，视频监控可用于安全防范、 信息获取和指挥调度等方面。 随着国民经济的稳步增长和人民生活水平的提一：芎，保安防盗已经越来越被人们所 2 太原理工大学硕士研究生学位论文 重视，而智能监控系统则为人们的生活提供了现代化的安全保障。数字化家庭监控系 统可以自动检测在家中采集到的图像，当发现异常时通知用户。我国有上万公里的海 岸线和边境线，与多个国家毗邻。准确及时地掌握海防区域的军事情况，对于有效保 卫祖国的领海和领土，在未来战争中作出快速反应、掌握战争主动权有着极其重要的 意义。建立海防远程视频监控系统，对关键口岸、哨所和敏感地区实施监控，就能使 我军情报部门直观、及时地监视海防前线的情况，提高情报获取的实时性和综合处理 能力，也能有效防止偷渡、出逃、走私、贩毒等非法行为。 由于历史及观念上的原因，我国的安防产业较发达国家晚二三十年。但是近年来， 随着我国经济的快速发展、人民物质生活水平的提高和消费观念的改变，安防从过去 人防发展为以技防为主、人防为辅，并成为现代管理的重要手段。在2 0 0 0 年1 1 月的 安防产品展示会上，来自国内外的上百家厂商展出了各种产品和系统。 数字视频监控系统不仅符合信息产业的发展趋势，而且代表了监控行业的发展方 向，蕴藏着巨大的商机和经济效益。目前，虽然嵌入式系统的图像处理功能还不能完 全取代传统的计算机，但是随着嵌入式微处理器的迅速发展，其图像处理能力正在不 断地提高，同时嵌入式系统具有体积小、低功耗、低成本等特点，可以有效地克服传 统计算机的缺点。因此嵌入式视频监控系统的研究和嵌入式视频监控系统向微型化、 网络化、智能化发展具有重要的意义。 0 4 本文的内容安排 本课题的主要内容是基于a r m + d s p 的双核嵌入式视频监控系统的的设计与研 究。提出了系统的整体设计方案，实现了系统的硬件设计：系统的原理图设计，6 层 视频数据采集板和2 层控制板的p c b 设计、制作及调试等工作。进行了嵌入式操作系 统l i n u x 向a t 9 1 r m 9 2 0 0 的移植。具体内容安排如下： 第一章讨论了嵌入式系统的原理构成以及嵌入式视频系统的发展；第二章介绍了 系统的总体构架，并对t m s 3 2 0 d m 6 4 2 、a t 9 1 r m 9 2 0 0 芯片进行了详细介绍；第三章 提出了系统硬件的设计方案和实现过程，对各模块的设计做了解释和说明；第四章论 述a r m 子系统的b o o tl o a d e r 程序设计；第五章讨论l i n u x 操作系统在开发平台上的 移植，并对h p i 接口驱动进行了编写。最后，对本论文的工作进行总结，并对今后从 事嵌入式视频系统的开发与应用提出展望。 太原理工大学硕七研究生学位论文 1 1 嵌入式系统概述 第一章嵌入式系统原理 嵌入式系统是指以应用为中心，以计算机技术为基础，软、硬件可裁剪，适应应 用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统【5 】。 嵌入式系统是将先进的计算机技术、半导体技术、电子技术和各个行业的具体应 用相结合后的产物，这一点就决定了它必然是一个技术密集、资金密集、高度分散、 不断创新的知识集成系统。嵌入式计算机系统与商用、家用计算机一样都由软件、硬 件和操作系统构成，但与普通商用、家用计算机嵌入系统不同的是它一般并不独立使 用，而是作为板级模块或者芯片存在于应用系统中，承担中央控制及科学计算任务。 嵌入式系统在信息家电、远程医疗设备、工业控制设备等行业得到了广泛的应用。 作为一类特殊的计算机系统，嵌入式系统在不发展和完善。早期的嵌入式系统包 含有3 个部分：嵌入式硬件平台、嵌入式操作系统、嵌入式应用软件。随着嵌入式越 来越复杂的应用，如何简洁有效地使嵌入式系统能够应用于各种不同的应用环境，是 嵌入式系统发展中所必须解决的关键问题。经过不断的发展，原先嵌入式系统的3 层 结构逐步演化成为一种4 层结构( 如图1 1 ) 。这个新增加的中间层次叫硬件抽象层，有 时也叫板级支持包，是一个介于硬件与软件之间的中间层次。硬件抽象层通过特定的 上层接口与操作系统进行交互，实现操作系统对硬件的直接操作。硬件抽象层的引入 大大推动了嵌入式操作系统的通用化。 嵌入 嵌入式应 式系 用软件 统三 嵌入式操 层结 作系统 构 嵌入式硬 件平台 嵌入系统由三层结 构发展为四层结构 嵌入式应用 软件 嵌入式操作 系统 硬件抽象层 嵌入式硬件 厶 图1 - 1 嵌入式系统结构图 f i g u r el - 1o r g a n i z a t i o no ft h ee m b e d d e ds y s t e md i a g r a m 嵌入式计算机系统同通用型计算机系统相比具有以下特点【6 1 ： 嵌入 式系 统四 层结 构 太原理工大学硕十研究生学位论文 面向特定应用 嵌入式c p u 大多工作在为特定用户群设计的系统中，它通常都具有低功耗、体积 小、集成度高等特点。 科技含量高 嵌入式系统是将先进计算机技术、半导体技术和电子技术与各个行业的具体应用 相结合后的产物。 产品利润丰厚 嵌入式系统和具体应用有机地结合在一起，它的升级换代也是和具体产品同步进 行，因此嵌入式系统产品一旦进入市场，具有较长的生命周期，而且不易盗版。这些 特点为嵌入式系统提供了丰厚的产品利润。 应用前景广阔 嵌入式系统的技术发展一定与其广阔的应用密切相关。这个具有广阔前景的领域 集中了大量高科技人才，其产品能够有效地解决具体应用问题，并提供丰厚的利润回 报。是未来几十年最具竞争力的行业之一。 今天嵌入式系统给我们带来的工业年产值已经超过l 万亿美元。它正在成为信息 技术争夺的焦点之一。据统计，每年有超过1 万个新的嵌入式系统计划产生，它们被 广泛的应用到工业控制、仿真系统、医疗仪器、信息家电、通信设备等众多领域中。 1 2 嵌入式处理器 嵌入式微处理器是嵌入式系统的核心，其特点表现在：对实时多任务有很强的支 持能力，有较短的中断响应时间，从而使内部的代码和实时内核的执行时间减少到最 低限度；具有功能很强的存储区保护功能，避免在嵌入式软件模块之间出现错误的交 叉作用【7 1 。 大多数单片机m i p s 值低，缺少协议处理功能，外接e t h e m e t 时实现t c p i p 协议 困难。目前a r m 系列、m o t o r o l a 系列、m l l ，s 系列、s h h p r i s c 等系列c p u 性能价 格比良好、软件资源丰富、开发平台简单。不足之处是单个芯片运算处理能力相对较 弱，尤其对于视频数据的处理，光依靠a r m 或者d s p 芯片，很难做到控制和计算能 力都好。 本文采用a r m + d s p 构架的设计思想，a r m 主要负责系统控制功能，而d s p 主 6 太原理工大学硕士研究生学位论文 要负责高密度数据处理。移植嵌入式操作系统后可更大限度地发挥硬件作用，构成一 个良好的基于网络的嵌入式产品开发平台。 1 3 嵌入式操作系统 嵌入式操作系统作为一个最小的实时内核提供多任务管理、任务问通信和同步、 内存管理、时间管理等重要服务。 操作系统内核是管理微处理器时间的软件，确保所有实时性要求高的事件尽可能 高效地得到服务。操作系统内核也支持将系统分成多个独立的任务，每个任务处理系 统功能的一部分，从而简化了系统的设计过程。设计嵌入式实时内核就是要在资源有 限的嵌入式系统上实现高效的操作系统管理，从而将系统软件开销降到最低。 操作系统内核的主要功能包括内存管理、任务调度、任务间通信和同步、中断和异 步事件处理、系统时钟管理等f 8 1 。 内存管理 实时内核为每个任务在内存中创建并管理任务控制块( t c b ) 。它保存具体任务的 相关信息，记录任务的状态、任务优先级、指向任务堆栈顶的指针以及其它与内核有 关的信息。每个任务有各自独立的堆栈，能够访问大多数c p u 寄存器。内核由事件驱 动产在任务之间进行上下文切换，即保存c p u 寄存器内容到当前任务堆栈，保存堆栈 指针到当前任务的t c b 中，从新任务的t c b 中装载堆栈指针，并将新任务的上下文 装载到c p u 寄存器中。 多任务调度 确定性和实时性是嵌入式实时应用系统的重要特征。实时多任务操作系统在任务 之间分配c p u 执行时间，确保任务的时间要求及时得到满足。对实时性要求较高的场 合，一般不用时间片循环任务调度而采用优先级调度策略，为任务分配不同的优先级， 支持高优先级任务抢占低优先级任务，确保c p u 总是分配给优先级最高的任务。 任务间通信和同步 实时内核为任务间通信提供信号量、消息邮箱、消息队列等内部数据结构，实现 任务间消息传递、事件通知、互斥等机制。 信号量用于控制对共享资源的访问( 实现互斥) 、标记事件发生、保证任务间同步。 任务访问共享资源如数据关键区或f o 设备时，任务之间必须彼此同步确保互斥，避 7 太原理工大学硕士研究生学位论文 免共享变量或全局内存变量发生非正常的数据修改。在所有使用同一资源的任务中， 只有占有信号量的任务才能进入关键数据区，对共享资源进行操作。使用信号量实现 互斥机制必须维护一个等待该信号量的就绪任务队列。信号量还可用于计数来标记事 件发生。但是过多使用信号量会产生很大的上下文转换和c p u 开销。因此设计高效、 低开销的信号量是提高操作系统效率、减少额外开销必须考虑的因素。 实时内核提供消息传递和消息队列在任务之间、任务和中断服务例程( i s r ) 之 间的数据交换和消息传递。实时内核包含一个邮箱，也就是一个指针变量和等待该邮 箱消息的任务队列。一个任务可以使用内核提供的邮箱服务，等待邮箱中的消息。如 果此时邮箱中有消息，该任务就提取其中的消息，开始执行。如果邮箱中无消息，任 务进入该等待队列等待消息到来。消息队列与消息邮箱的工作方式相似，但消息队列 为指针数组，可存放多条消息。 响应中断和异步事件处理 实时内核利用中断服务例程i s r 处理中断事件，并提供重要服务对异步事件发出 通知。i s r 必须使用内核服务保存所有的c p u 寄存器，将i s r 己经进入事件告知系统 内核。系统内核使用嵌套计数器决定当前中断的嵌套级别。i s r 完成时必须通知内核 i s r 结束，激活内核提供的下一个服务。中断返回到上一级中断嵌套级别时，内核判 断如果没有优先级更高的任务就绪，那么内核恢复c p u 寄存器内容，中断任务继续执 行：如果有优先级更高的任务己经就绪，那么内核就保存中断任务堆栈到其t c b 中， 获取新任务的堆栈指针，装载新任务堆栈到c p u 寄存器并执行此任务。 系统时钟管理 实时内核为嵌入式多任务程序提供由硬件定时器完成的系统时间机制，并提供延 迟、超时等重要的系统服务。硬件定时器周期性中断c p u ，产生的中断服务例程i s r 激活内核服务，由此服务负责更新系统内部与时问有关的变量。任务挂起执行时间、 延迟任务等待时间都必须利用系统时钟提供的重要服务。 嵌入式系统使用闪速存储器( f l a s hm e m o r y ) 作为非易失存储r o m ，与硬盘相比 存储容量较小；p c 系统的网络协议体系结构复杂，直接将协议实现代码移植到小型专 用系统，则使用起来速度漫、效率低。必须使用相应实时多任务操作系统的各类协议 栈产品，如t c p i p 、v o i p 、n o 7 信令、m p 3 、语音识别、手写输入、红外传输等等， 才能简化产品开发难度、缩短产品开发周期，提升产品质量。 8 太原理_ t 大学硕士研究生学位论文 1 4 嵌入式视频系统 嵌入式视频系统是当今嵌入式系统发展的一个热门应用。今天，嵌入式视频监控 系统被广泛应用于银行、宾馆、商场、民航等领域的安全监控报警等。在这些领域， 数字化视频监控系统的前景十分广阔。同时视频系统也可以用于公司的市场评估、市 场调研等经济高层应用领域。随着银行等领域对监控质量、网络功能等高级功能的要 求日益迫切，基于嵌入式架构的数字化视频监控系统越来越受到客户的青睐1 9 】。 视频监控系统是安全防范系统的重要组成部分，它是一种防范能力较强的综合系 统，以其直观、方便、信息内容丰富而广泛应用于许多场合。近年来，随着计算机技 术、图像处理技术以及网络传输技术的飞速发展，视频监控技术也有长足的发展，目 前已经发展到第三代的嵌入式网络监控系统【6 】。 相对于传统的模拟视频监控系统而言，嵌入式数字视频系统在图像质量方面有了 很大的提高。新一代的d s p 产品的出现为大批量图像数据的处理奠定了坚实的基础。 誊嵌入式视频系统在与i n t e m e t 技术结合之后，数字化视频系统得到了更好的发展。 视频数据在网络上的传播为实现高清晰的远程视频监控创造了条件。大容量磁盘存储 器的发展为大容量视频数据存储提供了保障，而h 2 6 4 、a v s 等优秀图像算法的出现 解决了网络带宽不足和误码率高等问题，使嵌入式视频系统得到了迅速发展。 9 太原理工人学硕士研究生学位论文 第二章系统主芯片介绍 本课题是基于双核处理器的嵌入式系统开发平台，其中包括硬件平台和软件平台， 总体结构如图2 1 所示。 图2 1 基于t m s 3 2 0 d m 6 4 2 + a t 9 1r m 9 2 0 0 的嵌入式视频开发平台框图 f i g u r e2 一lb l o c kd i a g r a mo fe m b e d d e dv i d e od e v e l o p m e n tp l a t f o r mb a s e do nt m s 3 2 0 d m 6 4 2 + a t 9 1r m 9 2 0 0 2 1d s p 与t m s 3 2 0 d m 6 4 2 数字处理器( d i g i t a ls i g n a lp r o c e s s o r ，d s p ) 是针对数字信号处理的需求而设计的 具有特殊结构的微处理器。d s p 的内部采用程序总线和数据总线分开的哈佛结构，具 有专门的硬件乘法器，广泛采用流水线操作，提供特殊的数字信号处理指令，可以快 速地实现各种所需数值信号处理算法。d s p 的主要有以下特性： 采用程序空间和数据空间分开的哈佛结构，允许同时对数据和指令进行访问。 在一个指令周期内，可完成一次乘法和一次加法。 片内具有快速r a m ，通常可通过独立的数据总线在两块芯片中同时访问。 具有低开销或无开销的循环及跳转的硬件支持。 快速的中断处理和硬件i o 支持。 具有在单周期内操作的多个硬件地址产生器。 可以并行执行多个操作。 支持流水线操作，失取指令，译码和执行操作可以重叠执行。 太原理工大学硕士研究生学位论文 d s p 凭借其特有的优势应用越来越广泛，如在通信、图像处理、语音处理、地质 勘探、雷达和声纳、生物医学及其自动控制等领域。 t i 作为d s p 生厂商的代表，已成功推出t m s 3 2 0 c 2 0 0 0 系列、t m s 3 2 0 c 5 0 0 0 系 列、t m s 3 2 0 c 6 0 0 0 系列。其中t m s 3 2 0 c 6 0 0 0 系列d s p 芯片是t i 公司在1 9 9 7 年开发 的一种新型d s p 芯片，包括t m s 3 2 0 c 6 2 x 、t m s 3 2 0 c 6 4 x 两个定点系列，和 t m s 3 2 0 c 6 7 x 浮点系列三大类。 t m s 3 2 0 d m 6 4 2 是t m s 3 2 0 c 6 0 0 0 系列一员，它采用c 6 4 x 内核，具有先进的v l i w 结构。在其内核中，集成有6 个3 2 、4 0 b f f 的a l u ，在每一个时钟周期内，可支持单个 的3 2 - b i t ，或2 个1 6 b i t ，或4 个8 - b i t 的算术运算；集成的两个乘法器，在每一个时钟 周期内，可支持4 个1 6 1 6 位的乘法( 积为3 2 b i t ) 或8 个8 8 b i t 的乘法( 积为1 6 b i t ) ； 内部还集成有6 4 个3 2 b i t 的通用寄存器。 该芯片具有1 6 k b 的一级数据缓存，1 6 l 的以及程序缓存，另有1 0 2 4 k b 的二级 缓存。具有两个外部存储接口( e m i f ) ，一个是6 4 - b i t ( e m i f a ) ，另一个是1 6 一b i t ( e m i f b ) ， 寻址空间为1 2 8 m b ，可支持8 、1 6 、3 2 、6 4 b i t 的寻址。 该系列芯片有6 4 个增强型d m a 通道。i o 的供电是3 3 v , c p u 内核，在 4 0 0 5 0 0 m h z 时钟时是1 2 v , 6 0 0 m h z 时钟时是1 4 v 。本设计内核供压1 4 v 。 t m s 3 2 0 d m 6 4 2 虽然基于c 6 4 x 的内核，但它在c 6 4 x 基础之上，增加了很多的 外围设备和接口，使得它在现代实际工程中应用的更为广泛。在此t m s 3 2 0 d m 6 4 2 使 用5 4 8 引脚的b g a 封装，内部功能如图2 2 所示。 1 2 太原理工大学硕士研究生学位论文 图2 2d m 6 4 2 内部功能图 f i g u r e2 2i n t e m e lf u n c t i o no fd m 6 4 2b l o c kd i a g r a m 2 1 1d m 6 4 2 的c p u 结构 d m 6 4 2 采用基于c 6 4 x 的内核，扩展的高级甚长指令字( v e l o c i t l ) 体系结构，具有 6 4 个3 2 位通用寄存器，8 个独立计算功能单元( 2 个乘法器，6 个算术逻辑单元) 可以 并行运行，因此多条指令可同时执行。d m 6 4 2 可工作在6 0 0 m h z 时钟速率，每个指令 周期可并行运行8 条3 2 位指令，因此可达到4 8 0 0 m i p s 的峰值计算速度。d m 6 4 2 的 c p u 组成部分如下： 2 个通用寄存器组( a 和b ，各3 2 个3 2 - b i t 通用寄存器) 8 个功能单元( l 1 ，l 2 ，s i ，s 2 ，m 1 ，m 2 ，d i ，d 2 ) 2 个从内存读数据的数据通道( l d l 和l d 2 ) 2 个写内存的数据通道( s t l 和s t 2 ) 太原理工大学硕七研究生学位论文 2 个数据地址通道( d a l 和d a 2 ) 2 个寄存器组数据交叉通道( 0 x 和2 x ) 2 1 2d m 6 4 2 的c a c h e 结构 d m 6 4 2 采用高效的二级实时c a c h e 结构，第一级包括相互独立的程序c a c h el i p 和数据c a c h el 1 d ，第二级l 2 是一个统一的程序数据空间。 d m 6 4 2 的l 1 程序c a c h e ( l i pc a c h e ) 是一个大小为16 k b y t e s 的直接映射c a c h e ， 能够容纳4 k 条指令( 指令长度为3 2 位) 。d s p 算法，例如滤波和快速傅立叶变换等， 主要是由循环实现的，使用相同的指令来操作大量不同的数据，并且这些核心指令要 执行一段较长时间后，才会轮换为其他的核心指令进行执行。l i pc a c h e 的容量足以 装下这些核心指令，因此如果这些指令在内存中是连续存放的，那么在很多情况下， 都可以避免程序c a c h e 的不命中。又因为这些核心指令是顺次执行的，在l 1 pc a c h e 中不会出现颠簸，因此，l i pc a c h e 无需采用复杂的硬件实现，仅采用较简单的直接 映射模式就可以达到较好的性能。d m 6 4 2 的l 1 数据c a c h e ( l 1 dc a c h e ) 是一个大小为 1 6 k b y t e s 的两路组相联c a c h e 。在两路组相联c a c h e 中，外部存储器中的一个地址可 以与c a c h e 中的两个候选位置相对应，每一个候选位置位于c a c h e 中的一路。l1d c a c h e 的存储器有两个访问端口，每一路大小为8 k b y t e s ，两路可以同时进行访问。 d m 6 4 2 的l 2 存储器可存放数据和程序，其大小是2 5 6 k b y t e s ，可以整体作为 s r a m 映射到存储空间，也可以整体作为第二级c a c h e ，或是二者按比例的_ 种组合 来使用。通过配置一定大小的片内s r a m ，可以将关键代码和常用数据放到片内，减 少存取时间。 d m 6 4 2 具有6 4 个独立通道的e d m a ( 扩展的直接存储器访问) 控制器，负责片内 l 2 与其他外设之间的数据传输。容量较大的两级缓存和e d m a 通道是d m 6 4 2 高性能 的体现之一，若能合理使用和管理，将能大幅度提高程序的运行性能。 2 1 3d m 6 4 2 的硬件外设 为了适应视频处理的需要，d m 6 4 2 提供了多个硬件外设接口，主要包括： 3 个可配置的视频接口( v p 0 ，v p1 ，v p 2 ) v c x o 内插控制端口( v l c ) 太原理工大学硕士研究生学位论文 多通道音频串行端i ( m c a s p ) 1 0 1 0 0 m b p s 以太网d ( e m a c ) 数据管理输入输出模块( m di o ) 2 个多通道缓冲串行端h ( m c b s p o ，m c b s p l ) 3 个3 2 - b i t 通用定时器( t i m e r o ，t i m e r l ，t i m e r 2 ) 1 2 c 总线模块 主机端口接e i ( h pi ) 3 2 b i t 的p c i 接口 通用i o 端口( g p i o ) 6 4 - b i t 的外部存储器接口( e m i f ) 2 1 - 3 1v i d e o 接口 ，d m 6 4 2 有3 个可编程视频端口，每个端口又分成a ，b 两个通道，每个通道可以 提供3 个功能：视频捕获( c a p t u r e ) 模式，视频回放( d i s p l a y ) 模式和传输流接h ( t s i ) 捕获 模式。 蠢在视频捕获模式下，捕获速率达到8 0 m h z ；可以捕获2 路8 1 0 b i t y u v 4 ：2 ：2 的数字 视频输入，支持l 路y c1 6 2 0 b i t y u v 4 ：2 ：2 的数字视频输入，支持s m p t e 2 6 0 m ， s m p t e 2 7 4 m ，s m p t e 2 9 6 m ，i y u b t l1 2 0 等标准，还支持y u v 4 ：2 ：2 到y u v 4 ：2 ：0 的 水平转换，以及8 - b i t y u v 4 ：2 ：2 模式下的亚采样，并且能够同时将2 路1 0 - b i t 或1 路 2 0 - b i t 原始视频通过a d 转换器直连。 在回放模式下，回放速率达到1 1 0 m h z ；可以回放l 路8 1 0 b i t y u v 4 ：2 ：2 连续视频 输出，或者1 路连续y c16 2 0 b i t y u v 4 ：2 ：2 格式的数字视频输出；支持y u v 4 ：2 ：0 到 y u v 4 ：2 ：2 格式转换，能产生行同步，场同步信号和消隐信号。 在t s i 捕获模式下，传输流接口能以8 - b i t 并行，最大3 0 m b s 的速率接受数据； 传输流接口可以捕获m p e g 4 传输数据，传输流中将音频，视频，数据程序流全部复 合成一个传输流。m p e g 4 传输流使用定长的数据包，在分配信道容量给音频，视频 及数据服务方面有较高的灵活性；t s i 捕获模式还支持同步检测、纠错机制。 太原理工大学硕士研究生学位论文 2 1 3 。2e m i f 接口 - 喈 d m 6 4 2 的e m i f ( e x t e r n a lm e m o r yi n t e r f a c e ) 总线宽度为6 4 - b i t ，和同步内存高速 直连，最大总线速度为1 3 3 m h z 。e m i f 有4 个片选使能，能够支持8 - 1 6 3 2 6 4 b i t 的外部器件。e m i f 有3 个内存控制器：s d r a m 控制器，支持1 6 m b 2 5 6 m b 的 s d r a m 器件；可编程同步控制器，提供和各种同步存储设备的直连；可编程异 步控制器，提供同异步存储设备如异步s r a m ，r o m ，f i f o 和f l a s h 等的直连。该接 口有3 种时钟源可供用户选择：1 6 x c p u 主频、1 4 c p u 主频和外部输入a e c l k i n 。 e m i f 的输出时钟a e c l k o u t l 等于e m i f 输入时钟的频率，输出时钟a e c l k o u t 2 可以设置为e m i f 输入时钟的1 ，2