（信号与信息处理专业论文）基于dsp的运动物体视频检测系统的研究.pdf

太原理丁大学硕十研究生学位论文 基于d s p 的运动物体视频检测系统的研究 摘要 随着社会经济的发展，城市变得越来越拥挤，交通问题越来越成 为城市发展中的瓶颈，而通过增加基础设施的建设来改善交通状况的 能力不足，人们开始通过智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o n s y s t e m ) 的建设来解决当前所面临的交通问题。而交通信息的正确采 集是智能交通系统的基础。 以数字图像处理为基础的视频检测方法是目前车辆检测的发展方 向。而视频检测的系统方案多样，本文在分析了以往的几种常见的视 频检测方案后，提出了基于d s p 的运动物体视频检测系统。此系统特 点在于视频采集及数据的分析运算全部在d s p 处理板上完成，只把分 析运算的结果传送到控制中心，不仅充分利用了d s p 强大的视频数据 处理能力，也减轻了主控计算机的负荷。本文首先对本系统的总体框 架进行了论述，然后分析介绍了系统的硬件系统和检测算法。对于硬 件系统，本文对它的各个模块的具体实现进行了详细的介绍。整个硬 件系统以1 m s 3 2 0 d m 6 4 2 为核心，硬件设计着重论述了视频输入输出 模块、外部存储器模块、以太网模块以及电源模块等。本系统的p c b 属于高速p c b 设计范畴，对高速p c b 设计中板层堆叠、器件布局及布 线的经验和技巧进行了总结。 对于运动物体( 车辆) 的检测算法，本文首先对当前流行的一些 算法进行了论述，包括基于背景差分的视频检测方法、基于光流场的 太原理工大学硕士研究生学位论文 视频检测方法、基于块匹配的视频检测方法。并且对这些算法的优缺 点进行了评价。在此基础上，提出了基于虚拟检测线的运动物体( 车 辆) 视频检测算法。基于虚拟检测线的车辆检测算法是模拟实际埋设 于路面下的磁感应线圈。虚拟检测线顾名思义，检测线并不是真实存 在于图像上的，它是由人为设定的一条检测线。这条检测线只是用来 指定所要检测的区域，然后只对此区域的图像像素进行处理。对此算 法，作了详细的研究和论述。包括图像预处理、背景获取与更新、阈 值建立与更新以及在此基础上进行的车流量检测和速度检测。 最后，本文对视频检测系统的发展作出了展望并提出了本课题以 后需要深入研究的方向。 关键宇：运动物体，智能交通，d s p ，视频检测，虚拟检测线 太原理工大学硕士研究生学位论文 r e s e a r c ho fs y s t e mo fv i d e o d e t e c t i o n0 fm o v i n g0 b j e c t s b a s e do n d s p a b s t r a c t w i t ht h ed e v e l o p m e n to fs o c i a le c o n o m y , t h ec i t yh a sb e c o m em o r e a n dm o r ec r o w e da n dt h et r a f f i cp r o b l e mh a sb e c o m eo n eo fb o t t l e n e c k f a c t o r e st h a tr e t a r dt h ed e v e l o p m e n t i ti sl a c ko fc a p a b i l i t yt oi m p r o v et h e t r a n s p o r t a t i o nc o n d i t i o no n l yb ya d d i n gt h ei n v e s t m e n to ff o u n d a t i o n e s t a b l i s h m e n t s ot h ep u b l i c sh a sb e c o m et or e s o l v et h ep r o b l e mo ft r a f f i c j a m w h i c ho c c u rf r e q u e n t l yn o w d a y s b yp r o m o t i n g t h ec o n s t r u c t i o no fi t s t h eg a t h e r i n go f t r a f f i ci n f o r m a t i o ni st h ef o u n d a t i o no f i t s t h ev i d e od e t e c t i o nm e t h o db a s e dd i g i t a l i m a g ep r o c e s s i n gi s t h e d e v e l o p m e n td i r e c t i o no ft h ev e h i c l ed e t e c t i o n t h ep r o g r a mo fv i d e o d e t e c t i o ns y s t e mi sd i v e r s i f i e d t h r o u g ho ft h ea n a l y s i so ft h ep a s ts e v e r a l c o m m o nv i d e od e t e c t i o np r o g r a m ，i ti s p u tf o r w a r dt h a t ak i n dv i d e o d e t e c t i o no fm o v i n go b j e c t sb a s e do nd s p s t h es y s t e mf e a t u r e sa r et h a t v i d e oc a p t u r ea n dd a t aa n a l y s i sa r ea c c o m p l i s h e do nt h ed s pb o a r d ，t h e n t h er e s u l t sa r et r a n s m i t t e dt ot h ec o n t r o lc e n t e r , w h i c hn o to n l yt a k ef u l l a d v a n t a g e do ft h ep o w e f u lo p e r a t i n gc a p a b i l i t yo fd s p , b u ta l s or e d u c et h e b u r d e no nt h em a i nc o m p u t e r t h i s p a p e r f i r s td i s c u s s e st h ew h o l e 丘a m e w o r kf o rt h es y s t e m ，t h e na n a l y z et h eh a r d w a r es y s t e ma n dt h e d e t e c t o na l g o r t h m f o rh a r d w a r es y s t e m ，t h i sp a p e rd e c r i b e si nd e t a i lt h e c o n c r e t er e a l i z a t i o no fi t sv a r i o u sm o d u l e s t h ew h o l eh a r d w a r es y s t e mi s i i i b a s e do nt m s 3 2 0 d m 6 4 2 t h ed i s c u s s e so ft h eh a r d w a r ed e s i g nl a y e m p h a s i so nv i d e oi n p u ta n do u t p u tm o d u l e ，e x t e r n a lm e m o r ym o d u l e ， e t h e r n e tm o d u l ea n d ep o w e rm o d u l ea n ds o0 1 1 t h ep c bd e s i g nb e l o n g s t ot h ed e s i g no fh i g n s p e e dp c ba r e a ，t h i sp a p e rm a k e sas u m m a r yo fl a y e r s t a c k u p ，c o m p o n e n t sl a y o u ta n dp c br o u t i n go f t h ed e s i g no fh i g h - s p e e d p c b i nt e r m so fv i d e od e t e c t o na l g o r i t h m so fm o v i n go b j e c t s ，t h i sp a p e ri s b e g i n n e dw i t ht h er e s e a r c ho f t h ep o p u l a ra l g o r i t h m si n c l u d i n go ft h ev i d e o d e t e c t i o nm e t h o db a s e do nb a c k g r o u n dd i f f e r e n c ea n do p t i c a lf l o wf i e l d ， b l o c k - m a t c h i n ge t c a n de v a l u a t et h ea d v a n t a g e sa n dd i s a d v a n t a g e s o f t h e s e a l g o r i t h m s o nt h e s eb a s i s ，i ti sp u tf o r w a r dt h a tt h ev i d e o d e t e c t i o n a l g o r i t h mb a s e do nv i r t u a ll o o p t h ev e h i c l e sv i d e od e t e c t i o na l g o r i t h m s i m u l a t et h em a g n e t i ci n d u c t i o nc o i le m b e d e di nt h er o a d v i r t u a ll o o pj u s t a si t sn a m ei m p l i e si sn o tat r u el o o pi nt h ei m a g e ，b u tal o o ps e tf a c t i t i o u s l y t h el o o pi su s e dt om a r kaa r e ai nw h i c ht h ep i x e l sa r ep r o c e s s e d t h i s a l g o r i t h m ，w h i c hi n c l u d ei m a g ep r e p r o c e s s i n g ，b a c k g r o u n da b t a i n m e n t a n du p d a t e ，t h r e s h o l de s t a b l i s h m e n ta n du p d a t ea n dd e t e c t i o no ff l o wa n d v e l o c i t y t h ef i n a l ，t h i sp a p e ri n t r o d u c e st h ep r o s p e t i v ed e v e l o p m e n to ft h e v i d e od e t e c t i o na n dt h ed i r e c t i o no f t h o r o u g hr e s e a r c h k e y w o r d s ：m o v i n go b j e c t s ，i t s ，d s p , v i d e od e t e c t i o n ，v i r t u a ll o o p 声明 本人郑重声明：所呈交的学位论文，是本人在指导教9 币的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体己经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：叠垫日期：纠蛳哆论 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) o 导师签名：耻 日期：翻拈习印口 太原理工大学硕士研究生学位论文 第一章绪论 1 1 运动物体检测及数字视频处理技术介绍 1 1 1 运动物体检测技术简介 运动物体检测在国计民生的各个领域都有着广泛的实用价值，军事领域的各 种运动目标，如坦克、飞机、导弹的跟踪与识别，交通领域中各种交通工具如飞 机、轮船、汽车的管理以及停车场，超市等的智能监控中都大量使用了运动物体 检测技术。特别是在公路交通领域，运动物体( 车辆) 的检测构成了智能交通系 统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) 的核心。 1 1 2 数字图像处理技术 数字图像处理是近2 0 年发展起来的- - f l 新兴学科，是指用数字计算机及其它 相关数字技术，对图像施加某种运算和处理，从而达到某种预期的目的。它主要 研究的是数字图像的计算机图像技术。其研究内容概括起来包括：图像增强、图 像恢复、图像编码、图像重建【1 1 等。 近年来伴随着信息社会的数字化浪潮，数字图像处理技术成为数字化社会中 最重要的技术之一。它的历史开始于2 0 年代，在5 0 年代及以前计算机主要还是 应用于数值计算，还不能进行大数据量的图像处理。在6 0 年代，由于第三代计算 机的出现，以及快速傅立叶变换的发现和应用使得对图像的某些计算得以实现， 在7 0 年代，能进行图像处理的硬件相继出现。目前，图像处理技术已深入到人类 生活和社会发展的各个方面。 1 2 引入运动物体视频检测技术的原因 1 2 。1 交通监控领域常用的运动物体( 车辆) 检测技术 随着社会经济的发展，交通问题越来越成为城市发展的瓶颈，这个问题仅仅 太原理工大学硕士研究生学位论文 依靠增加基础设施的建设来根本改善已经越来越不可行。而通过积极利用智能交 通系统( i t s ) 的建设来解决目前城市经济发展所带来的交通问题已成为各界的共 识。 交通信息的采集则是智能交通系统的基础性和前端性工作。而运动物体检测， 在交通系统中主要是运动车辆的检测则是智能交通系统的重中之重【2 】。 就目前而言，交通领域的运动物体( 车辆) 检测技术可采用下述方式： 超声波检测：体积小，易于安装。它的缺点是性能随环境温度和气流影响而 降，这样就不能满足交通数据采集设备需要在各种天气环境下稳定可靠的工作的 要求，此外对安装的位置要求较高，必需安装在检测车道的正上方。 红外线视频检测：昼夜可采用同一算法而解决昼夜转换的问题，也可提供大 量交通管理信息，但是需要很好的红外线焦平面检测器，也就是要用提高功率， 降低可靠性来实现高灵敏度，而可靠性在交通数据采集设备的使用中十分重要。 声学检测：根据特定车辆的声学特征识别该车辆，为识别车辆需将接收信号 进行大量的除去背景静噪声的处理，所以它的可靠性也比较差，同时它不能提供 全面的交通信息。 磁力计检测：可检测小型车辆，适合在不便安装线圈场合采用。它的缺点是 很难分辨纵向过于靠近的车辆。同时它不能提供全面的交通信息。 激光雷达检测：方法可以不受光照环境的影响，即白天与夜晚都可以很好的 工作，且没有昼夜转换引起的误差；而且可以直接得知车辆的高度宽度，同时可 以克服车辆遮挡问题。它的缺点是激光雷达设备成本过高，而且它在大雨天不可 靠，无法给出全面的交通信息。 微波多普勒检测：可以在恶劣气候下有出色的性能，还可以直接检测速度， 但是它不能检测静止或低速行驶的车辆，这样就不能完成车辆排队长度这一重要 信息的采集，以向前方式用定向天线跟踪单车道，对于多车道则需要多个设备， 安装要求也会增加，它不能提供全面的交通信息。 微波真实再现检测：可以在恶劣气候下工作，还可以直接检测速度，能够检 测静止或低速行驶的车辆，可以侧向方式安装使用，不能提供全面的交通信息。 2 太原理工大学硕士研究生学位论文 感应线圈检测：经过几十年的发展到现在已标准化，技术成熟、易于掌握， 计数非常精确，同时系统非常稳定，不受环境的影响。它的缺点是安装过程对系 统可靠性和使用寿命影响很大；维修或安装需中断交通；破坏路面，影响路面寿 命；同时线圈易被重型车辆、路面修理等损坏，而且它的维护难度非常大。 1 2 2 视频检测技术的特点 作为线圈式车检的更新换代的产品，技术已日趋成熟，且在全国大部分省份 已得到成功应用。视频车检能有效地克服线圈式车检固有的缺陷，并有其独特的 优越性： 1 ) 无须破坏路面，施工完全在路面进行： 2 ) 可提供更全面的交通管理信息和异常交通事件的检测信息，如道路上车辆 的流量、速度、交通密度、车型分类、车辆排队长度、转弯等： 3 ) 可为管理人员提供可视图像，使管理更直观； 4 ) 单台摄像机可检测多车道，进行真正意义上的大区域检测； 5 ) 无须干扰正常交通，就可完成检测器的设置； 6 ) 用户可直观的观察检测状况，以确保检测器设置的最佳位置；检测器的重 新配置也简单方便； 7 ) 恶劣天气条件下，系统也能保证正常的检测； 8 ) 可使用多种传输方式，用户可免受其他现有传输设备的限制； 9 ) 无须因道路改建、维修而中断交通检测； 1 0 ) 检测区域设置灵活，用户可利用各种所需的检测器类型、移动检测器位置 或改变其大小，以满足不同的交通应用和道路覆盖范围等方面的要求； 1 1 ) 通过软件操作，不同的检测器之间以逻辑方式相连接，可有效消除跨道车 辆、压线车辆等不规则行车的影响，真正实现高精度检测。而且其检测器的输出 信号可根据不同的配时方案进行延迟或延长。 综上所述，视频检测技术与其它的检测技术相比，有其不可替代的优越性， 所以，视频检测技术近些年得到了长足的发展。 3 太原理工大学硕士研究生学位论文 1 3 国内外视频交通监控发展状况及本文研究内容 1 3 1 国内外视频交通监控发展状况简介 现在世界各国都在积极研究运动物体( 车辆) 视频检测系统，已有多种产品 应用于交通管理系统，如美国i s s 公司生产的a u t o s c o p e 视频检测系统，a u t o s c o p e 系列视频车辆检测系统专为满足智能交通系统( i t s ) 中复杂的应用而设计，它通 过智能处理视频图像以获得大区域范围内的交通参数和交通事故信息，为实时交 通管理或后端的分析应用提供数据。目前a u t o s c o p e 视频车检技术己非常成熟且在 高速公路领域已成功应用多年。 法国c i t i l o g 公司的自动事件检测系统。此系统是采用国际视频车辆检测领域 中最先进的车辆跟踪检测技术来实现交通事件检测的功能，对固定安装和云台安 装的摄像机图像都能进行交通事件自动检测。它基于工业p c 的专用软件处理方 式，采用高端稳定的工业计算机硬件和m i c r o s o f t 公司的w i n d o w s 2 0 0 0 操作系统及 以太网结构作为数据处理平台和网络结构。 国内厂家的产品多为国外产品的代理，真正拥有核心技术和成熟产品的寥寥 无几，这也是进行此研究的原因之一。 1 3 2 本文研究内容 本文主要通过比较分析当前视频交通监控领域中的多种运动物体( 车辆) 检 测系统的硬件及软件算法实现，设计了基于d s p 的运动物体视频检测系统硬件及 基于虚拟线的车辆检测算法，整篇论文内容安排如下： 第一章绪论对运动物体检测技术及数字图像技术进行简介，介绍运动物体视 频检测技术应用于交通领域的原因及选题意义。 第二章介绍了常见的几种车辆视频检测系统框架，在分析研究的基础上提出 了本系统的整体架构。 第三章介绍了基于d s p 的运动物体视频检测系统各个模块的硬件实现并对高 速p c b 设计中的技巧和经验进行了总结。 第四章介绍了当前的各种视频检测算法原理及优缺点。 4 太原理工大学硕士研究生学位论文 第五章在上一章理论分析的基础上，提出了基于虚拟检测线的算法并对算法 进行了详细论述。 第六章对本论文进行了总结并提出以后需要努力的方向。 5 太原理工大学硕士研究生学位论文 第二章基于d s p 的运动物体视频检测系统的整体架构 2 1 目前的车辆视频检测系统的整体架构 目前通过视频进行运动车辆检测的方式有很多种，其中有一种仅仅只是通过 视频检测系统采集图像数据，数据传输到数据中心后由专业的管理人员通过目测 对图像进行分析判断，然后发出控制指令。不过这不是真正意义上的视频监控， 所研究的视频检测系统除了要通过视频采集数据信息，视频数据还要通过数字图 像处理的方法由机器进行分析判断，从而通过分析结果由机器自动或人工发出控 制指令。 通过研究大量车辆视频检测系统后，从总体上把当前的视频检测系统主要分 为以下几种方式： 1 最早使用的车辆视频检测系统限于p c 机性能的低下以及传输网络的不发 达，整个系统被分为3 级结构。如图2 - 1 所示。 卧卧 卧匝丑一 日圈一 图2 - 1 车道级视频检测框图 f i g 2 - 1b l o c kd i a g r a mo f v i d e od e t e c t i o no f d r i v e w a yl e v e l 此种系统为每个车道配备一个视频处理模块( 计算机) 和一个视频采集模块 ( 摄像头加采集卡) ，车辆的视频图像被采集过来后直接交给各自的计算机进行处 6 太原理工大学硕士研究生学位论文 理，然后把分析的结果通过网络传给中央控制系统，中央控制系统根据分析结果 进行控制。 这种方式的缺点显而易见，那就是每条车道一个视频处理模块和一个视频采 集模块，成本明显很高。已经不适合当前车辆数量急速膨胀，道路多而杂的交通 情况。目前，此种方式已基本淘汰。 2 当前较为常用的一种方式是摄像机+ 视频采集卡+ p c 机的方式，如图2 2 所示。 图2 - 2 基于视频采集卡的视频检测框图 f i g 2 - 2b l o c kd i a g r a mo f v i d e od e t e c t i o nb a s e do nv i d e oc a p t u r ec a r d 在这种架构里，视频数据通过摄像机采集过来，摄像机可以监控一条车道也 可以监控多条，然后将取得的视频数据通过闭路电视系统传输到视频采集卡，视 频采集卡仅仅是把采集的模拟视频数据转换为数字视频，p c 再通过视频采集卡获 得数字视频数据，这些视频数据的分析处理则由p c 软件来完成，即可计算出所需 的各种交通数据，同时根据计算出的数据进行交通控制。 这种方式的成本相对上一种来说有了很大的下降，不过由于是多路视频数据 都要由一台p c 机来进行处理计算，这台p c 机的性能必须足够强大，但是由于p c 机架构以及视频图像数据的处理通常非常复杂而且非常耗时，p c 机在处理这些数 据时显得捉襟见肘，这与监控领域的实时性要求成为了一对很难调和的矛盾。 3 此种方式由外场摄像机、视频处理器、监控中心交通管理计算机及传输设 备组成，每个视频处理器可以同时接受、处理多路视频输入，每路视频可以监控 多条车道的交通流状态。传输系统可采用c a t v 等多种传输方式。管理计算机与 视频处理器通信来控制整个系统的工作。如图2 3 所示。 7 太原理工大学硕士研究生学位论文 圈嗍v - 中 央 可处理多 管 路视频信 理 圈咖v - 号的视频 计 处理器 算 机 网一 图2 3 基于多路视频处理器的视频检测框图 f i g 2 - 3b l o c kd i a g r a mo f v i d e od e w i o nb a s e do nm u l t i - c h a n n e lv i d e op r o c e s s o r 2 2 本系统采用的整体架构 通过分析以上三种已投入实际使用的检测系统架构发现，第一种方式由于一 个车道一个摄像机和一台计算机，另外计算机的体积庞大，造成了整个系统极为 臃肿不堪，而且系统处理的实时性很差。 第二种方式虽然只有一台计算机，系统结构简单，但是实时性也是很难实现。 第三种方式虽然能实现交通图像信息的实时处理，不过同时处理的视频信号 数量受到视频处理器本身处理能力的限制，而且由于通过摄像头采集来的视频数 据不经处理直接传输，造成了传输系统中的数据流较大。 借鉴以上各种实现方式的优缺点，本视频检测系统采用了以下的实现方式： 在整个系统的相当于车道级的位置上采用以d s p 为核心的视频图像处理系统，选 择d s p 的原因是因为d s p 具有哈佛结构( 或改进的哈佛结构) 和流水线结构，这 种结构特别适合对包括视频图像在内的数字信号进行快速并行的处理，能够很大 程度上提高信号处理系统的实时性和稳定性。 在系统的最低层，即车道一级，一个摄像机配合一块d s p 视频处理系统，这 个视频处理系统包括两个模块：视频图像处理以及通信模块。在道路合适的高度 及角度安装摄像机，摄像机可以采集多个车道的交通范围，可用来进行多车道检 8 太原理工大学硕士研究生学位论文 测，具体的检测区域可以由用户设定。视频图像采集到d s p 视频处理板后，直接 由d s p 视频处理模块对图像进行各种处理分析，鉴于d s p 的高速处理能力，所需 的交通信息在板级上就能予以实现，能实时得到上级系统控制交通所需要的各种 交通数据以及进行图像的压缩。同时每个d s p 视频处理板都有自己的通信模块， 比如以太网，可以通过它实现处理数据的实时传输。同时，经压缩后的视频图像 以及上级系统的控制信号也可通过它进行快速的传输。另外，视频处理系统的视 频输出功能可以将视频数据通过c a t v 传送到上级系统。 在上层的监控中心，可以通过对下级系统传输来的数据进行分析，发出控制 指令，同时可以根据需要显示交通视频图像。图2 - 4 是本系统采用的整体架构。 图2 - 4 视频检测系统框图 f i g 2 - 4b l o c kd i a g r a mo f v i d e od e t e c t i o ns y s t e m 本系统的特点在于是以数字信号处理器d s p 为核心的视频检测系统，实际上 它就是一种嵌入式系统，系统的体积小，速度快。它在交通的现场就能实现交通 信息的处理，同时将处理后的数据通过以太网传输到监控中心，监控中心的主机 只需对上传的数据利用自身所带的相关软件进行分析、处理并发出控制指令。另 外，视频图像可以通过多种方式( 以太网或c a t v ) 传输到监控中心，以方便管理 员观测现场的情况。这种方式减轻了主机的工作负担，能很好地实现系统的实时 性与稳定性。下面来详细论述基于d s p 的运动物体检测系统的硬件实现。 9 太原理工大学硕士研究生学位论文 第三章系统的硬件设计 3 1d s p 芯片的选型及系统硬件框架 3 1 1d s p 芯片的选定 对于图像技术来说，由于要处理的数据量巨大，计算复杂，计算的中间结果 也要有较高的精度，因此需要认真选择合适的d s p 芯片。总体来说视频对系统的 要求为：高速的运算能力，高速的数据传输，大容量的数据存储器，灵活专用的 视频接口及通信接口。 在选择d s p 芯片时首先要考虑对芯片速度的要求。由于现代高性能d s p 芯片 结构多样，单纯依靠指令执行速度m i p s 比较其性能是不全面的，现在一般采用单 周期的乘加次数，或采用数字信号处理中的基准程度如f f t 和数字滤波等的执行 时间来评测d s p 的速度性能。其次，还需要考虑如何选择定点或浮点d s p 芯片。 一般来说，浮点d s p 芯片的运算精度高，动态范围大，指令运算能力较强，但功 耗、成本较高。而定点d s p 芯片的运算速度在定点的数据位数和浮点d s p 芯片的 浮点的位数相同的情况下是相同的，而且功耗、成本较低。但是其动态范围较小， 需要防止计算溢出，指令运算能力稍弱。此外，在硬件方面还应考虑芯片的外部 总线结构、片上存储器结构、片上外设等因素p d i 。 目前市场上生产d s p 的厂家主要有德州仪器( t i ) ，朗讯( l u c e n t ) 、a d i 、摩 托罗拉( m o t o r o l a ) ，综合考虑芯片成本、配套芯片的可选择性、软件开发环境的 易用型以及开发资源的完备性。决定采用t i 公司的t m s 3 2 0 c 6 0 0 0 系列的高性能 d s p 芯片。 t m s 3 2 0 c 6 0 0 0 t s l t 6 胴系列是目前数字信号处理器中性能最高的产品。它有定点 和浮点两种。定点系列中有t m s 3 2 0 c 6 2 x 和t m s 3 2 0 c 6 4 x 两种系列；浮点有 t m s 3 2 0 c 6 7 x 系列。其中t m s 3 2 0 c 6 2 x 为c 6 0 0 0 系列中第一代的定点d s p ，它的 主要应用领域包括无线基站、数字用户环路( x d s l ) 系统、个性化家庭监控系统、 1 0 太原理工大学硕士研究生学位论文 工业扫描仪、精确仪器和多信道电话系统。t m s 3 2 0 c 6 7 x 是浮点d s p ，它主要用 于高精度的设计领域，能提供快速、精确、节电和较大的动态范围。主要应用在 医疗成像、仪器和汽车等要求苛刻的领域。t m s 3 2 0 c 6 4 x 系列的定点d s p 能提供 业界最高级别的数字性能。时钟速率高达1 g h z ，能以高达8 0 0 0 m i p s 的速率处理 信息，而成本只有不到2 0 美元。除了高速时钟速率外，在每个周期内，它还可以 使用内置扩展来完成更多工作。这些扩展包括加速重要应用领域( 如数字通信基 础设施和图像处理) 的性能的新指令。在t m s 3 2 0 c 6 4 x 系列d s p 的基础上，t i 公司专门为多媒体视频应用而设计开发了r i m s 3 2 0 d m 6 4 2 。 在整个c 6 0 0 0 系列中，预先选择了t m s 3 2 0 c 6 2 x 、t m s 3 2 0 c 6 4 x 和 t m s 3 2 0 d m 6 4 2 三个芯片。这三种型号采用了相同的c p u 结构，采用片内缓存 ( c a c h e ) 结构，程序和数据放在不同的存储区域。区别主要在于一些细节的片内 外设的配置和工作的时钟频率。三者都具备e m i f ( e x t e r n a l m e m o r yi n t e r f a c e ) 接 口、h p i ( h o s t p o r t i n t e r f a c e ) 接口和多通道缓冲串口m c b s p ( m u l t i c h a n n e l b u f f e r e d s e r i a l p o x ) ，其中的e m i f 接口支持各种存储器如f l a s h 、r o m 、f i f o 、s d r a m 等，有很高的数据吞吐率。同时还有增强型的直接存储器访问e d m a ( e n h a n c e d d i r e c tm e m o r ya c c e s s ) 接口，可以在没有c p u 参与的情况下完成d s p 存储空间 的数据搬移。在处理速度上，c 6 4 x 芯片占优；在功能的丰富性方面，d m 6 4 2 更显 有优势；而c 6 2 x 则更具成本优势。 c 6 2 x 的时钟频率较低，最高支持到2 5 0 m h z ，另外其片内外设资源与另外两 种相比较少，比如它没有e m a c ( e t h e m e tm a c ) 接1 2 1 ，与本系统要用到的其它 芯片都不能做到无缝连接，需要另外接1 2 1 芯片并增加软件的编程难度，因此使用 它来实现系统复杂性会很高，性价比会非常的差。 c 6 4 x 的时钟频率最高能够支持到1 0 0 0 m h z ，外设资源也相当齐全，具有c 6 2 x 没有的e m a c ( e t h e m e tm a c ) 接1 2 1 。另外，它还具有c 6 2 x 和d m 6 4 2 都没有的 v c p ( v i t e r b id e c o d e rc o p r o c e s s o r ) 和t c p ( t u r b od e c o d e rc o p r o c e s s o r ) 模块， 以及u t o p i a ( u n i v e r s a lt e s to p e r a t i o n sf o rp h yi n t e r f a c ea s y n c h r o n o u st r a n s f e r m o d e ) 接口，能够实现异步传输功能。但是，正因为它有着极为丰富的外设资源， 太原理工大学硕士研究生学位论文 造成了它的价格即为昂贵。 d m 6 4 2 采用了c 6 4 x 的核心，在处理速度上与c 6 4 x 相当，同时，它的外设资 源刚好适合本系统的需求，如1 2 c 、v i d e op o r t 和e m a c 接口。i 2 c 接口可用 来控制s a a 7 1 2 1 、t p s 5 1 5 0 ，e m a c 可实现接入以太网，同时它的价格适中。 综上所述，决定选择t m s 3 2 0 d m 6 4 2 芯片作为本系统的图像处理核心，另外 从国内市场情况考虑，选择了工作频率为6 0 0 m h z 的d m 6 4 2 。 3 1 2t m s 3 2 0 d m 6 4 2 芯片介绍 t m s 3 2 0 d m 6 4 2 5 胴是1 1 公司推出的一款针对多媒体处理领域应用的d s p ，它 是在c 6 4 x 的基础上发展而来的。t m s 3 2 0 d m 6 4 2 基于第二代高性能，先进的 v e l o e i t i 超长指令字( v e l o c i t l l 2 ) 结构。这个结构包括多个可并行运行的执行单 元，能让c p u 在一个时钟周期内执行多个指令。并行机制是此c p u 高性能的关键 所在。另外，第二代的超长指令字结构( v c l o c 汀1 1 2 ) 对上一代的超长指令字结构 ( v e l o c i t l l ) 进行了扩展，扩展包括一些新的专门对视频和图像处理领域优化的 指令，这些新指令能让c p u 在一个时钟周期内执行更多的工作。 d m 6 4 2 在6 0 0 m h z 的时钟频率下能够达到每秒执行4 9 0 0 万条指令的性能，它 的核心拥有6 4 个3 2 位的通用目的寄存器和8 个独立的功能单元一2 个3 2 位的乘 法器单元和6 个算数逻辑单元。它也拥有特殊应用硬件逻辑，片上存储器和另外 的片上外设。 d m 6 4 2 有一套两级的缓存结构和一套强劲而且可灵活设置的外设。其中一级 程序缓存( l i p ) 是一个1 2 8 k b i t 的直接映射缓存，一级数据缓存( l i d ) 是一个 1 2 8 k b i t 的双向缓存。二级缓存( l 2 ) 包括一个2 - m b i t 的存储空间，它被程序和 数据空间共享。l 2 存储器能被配置为映射存储器，缓存或者两者的组合。 d m 6 4 2 拥有极高的时钟频率和c p u 吞吐量。在极高的速率处理数据需要很大 的i o 带宽。为此，d m 6 4 2 提供了三个达到1 3 3 m h z 的外部总线。每个总线都有 其主要的使命。一条总线实现了与同步和异步存储器的快速无缝接口，这个速率 可以达到1 1 g b y t e s s e c 。另外一条总线接口连接速度较慢的外设，第三条总线支持 工业标准的主机接口。灵活的多通道缓冲串口能提供1 0 0 m b i t s s e e 的附加吞吐量。 1 2 太原理工大学硕士研究生学位论文 内部的d m a 引擎能提供6 4 个通道总计2 g b y t e s s e c 的i 0 带宽。 对于视频和图像的开发者来说，为了整个系统的高度集成化，需要特别的外 设接口来满足视频和图像的应用。如视频接口、以太网接1 3 、音频接口等。总起 来说，d m 6 4 2 丰富而灵活的片上外设都能满足系统的接口要求。它所提供的外设 组合包括： 1 ) 三个可配置的视频口； 2 ) 一个1 0 1 0 0 m b s 以太网口( e m a c ) ； 3 ) 一个v c x o 内差控制端口( v i c ) ； 舢数据管理输入输出模块( m d i o ) ； 5 ) 多通道音频串行端口( m e a s p ) ： 6 ) 1 2 c 总线模块； 力两个多通道缓存串口( m e b s p s ) ； 8 ) 三个3 2 - b i t 通用定时器； 9 ) 一个用户可配置的1 6 b i t 或3 2 b “的主机接口( h p l l 6 h p l 3 2 ) ； 1 0 ) 6 6 m h z 3 2 b i t 的p c i 接口： 1 1 ) 通用i o 端口( g p i o ) 1 2 ) 6 4 b i t 的外部存储器接口，支持同步或异步存储单元的连接。 3 1 3t m s 3 2 0 d m 6 4 2 的c p u ( d s pc o r e ) d m 6 4 2 的c p u 是基于c 6 4 x c p u 的，它是c 6 0 0 0 系列的一员。c 6 0 0 0 的d s p 系列采用v e l o c i t l l 架构来满足视频和图像处理的需要。而d m 6 4 2 在此基础上采 用了v e l o c i t l l 2 的新一代架构，这使其性能又有了进一步的提高。 d m 6 4 2 的c p u 主要组成部分为：两个通用寄存器组( a 和b ，分别拥有3 2 个3 2 - b i t 通用寄存器) ；8 个功能单元( l 1 ，l 2 ，s 1 ，s 2 ，m 1 ，m 2 ，d i ，d 2 ) ，执行逻辑、 位移、乘法、加法和数据寻址等操作，除取指令和存指令外的所有指令均对寄存 器产生影响，数据寻址单元( d a l 和d a 2 ) ；两个寄存器组数据交叉通道( 1 x 和 2 x ) ；两个读数据通道( l d i 和l d 2 ) ；两个存数据通道( s t l 和s t 2 ) 。 1 3 太原理工大学硕士研究生学位论文 3 1 4t m $ 3 2 d m 6 4 2 的c a c h e 结构【8 】 通常c p u 的速度与存储器相比，速度要大得多，为了解决c p u 和存储器之间 的带宽问题，存储器体系结构的设计显得非常重要，而存储器体系结构中最重要 的问题就是对存储器容量和速度以及成本之间的矛盾。片上存储器速度快，容量 小，成本高；片外存储器容量大，成本低，但速度慢，因此产生了多极存储器体 系结构。此结构是把存储器分为多个级别，离c p u 最近的寄存器速度最快，容量 最小；高速缓存( c a c h e ) 速度次之，容量较大；主存( m e m o r y ) 离c p u 最远， 速度最慢，但是容量最大。 d m 6 4 2 中的c a c h e 分为两级。c p u 和一级程序高速缓存及一级数据高速缓存 直接相连，两块缓存的大小都是1 6 k b y t e s 。这些缓存工作在c p u 全速访问状态。 二级缓存有2 5 6 k b i t ，它的分段和大小是可配置的。一种配置是二级缓存全部用来 作为外部内存的映射。其它的配置方式有直接映射和4 路集合相关法的方式。被 映射的内存被用作存储流媒体数据或中断服务程序。 3 1 5 硬件系统整体框架 视频处理模块 图3 - 1 硬件系统整体框图 f i g 3 - 1b l o c kd i a g r a mo f t h eh a r d w a r es y s t e m 1 4 输出模块 太原理工大学硕十研究生学能论文 根据本系统需要实现的功能，以t m s 3 2 0 d m 6 4 2 芯片为核心设计了系统的硬 件框架，总体框图如图3 1 。针对此硬件系统，在下面将对每一部分的设计作详细 的描述。 3 2 视频接口的电路设计 3 2 1d m 6 4 2 视频端口简介 d m 6 4 2 提供了3 个视频端口【9 】，其中视频口0 和l 也可以设置为多通道音频 串口( m c a s p ) 或s p d i f 接口。本系统中此三个视频端口都被使用了，其中，视 频端口0 和1 作为视频捕获端口，视频端口2 被作为输出端口。视频端口提供了 以下功能： 视频捕获模式： 一捕获速率可达到8 0 m h z 一为来自数字摄像机或模拟摄像机的视频提供两个8 1 0 b i t 的数字视频输入， 数字视频输入是8 - b i t 或l o - b i t 的y c b c r 4 ：2 ：2 格式 一一个1 6 2 0 位的y c 数字视频输入，视频格式为y c b c r4 ：2 ：2 格式 一y c b c r4 ：2 ：2 到y c b c r4 ：2 ：0 的水平转换和8 位4 ：2 ：2 格式的1 2 水平缩放 一两路r a w 模式( 2 路l o b