基于FPGA和双DSP的高速视频图像处理系统设计

1、第39卷,增刊 V01.39Supplement红外与激光工程Infrared and Laser Engineering2010年05月 Mav.2010基于FPGA和双DSP的高速视频图像处理系统设计苑爱博,鲁新平,李吉成,张志龙,杨卫平(国防科学技术大学电子科学与工程学院ATR重点实验室,湖南长沙410073摘要:介绍了基于XC5VSX95T和两片TMS320C6455的高速实时视频图像处理系统的设计原 理.其中Ff,GA模块主要完成图像实时采集和传输的逻辑控制及图像预处理任务,双DSP模块承担 特征提取、目标识别、跟踪等任务。工程应用表明,该系统实时性和稳定性均达到了设计要求,能够 实

2、现快速傅里叶变换、边缘检测、识别,跟踪等图像处理算法。关键词:图像处JE;DSP; FPGA中圈分类号l TP391. 文献标识码:A 文章编号:1007.2276(2010增(信息处理一0647.04Design of high speed video image processor based onFPGA and dual DSPsYUAN Aibo,LU Xinping,LI Jicheng,ZHANG Zhi-long,YANG Wei-ping(KeyLaboratoryforATR.CollegeofElectronic Science andEngineering.Nation

3、alUmve体ityofDefenseTechnology,ChangSha410073,ChinaAbstract:This paper designed a high speed realtime system of video image processing based on two chips of TMS320C6455and Xilinx FPGA of XC5VSX95T.The system uses DSPs to process the image data and accomplishes logic control of data catching and trans

4、mission with FPGA.which combines merit such US rapidity,agility and currency.Application of engineering shows that hardware architecture is effective and feasible;the performance meets the requirement of realtime processing.The system can realize the algorithm of image processing such as Fast Fourie

5、r Transform(FFT,edge detection, recognizing,tracking and SO on.Key words:Image processing;DSP;FPGA0引言图像处理技术已经被广泛应用于视频图像处理 的各个领域,可独立运行的高速实时数字图像处理平 台己成为图像处理领域的一个发展趋势。然而由于图 像处理和自动目标识别的算法复杂,运算量巨大,图 像处理系统通常包括分割、检测、标记、识别、跟踪 等复杂的过程12l,处理实时性要求高,同时系统的体 积也有严格的限制,因此在设计系统时必须综合考虑 这些特点,合理选用芯片并保留一定的余度。本文从 硬件设计的角度出

6、发研究高速实时图像处理系统。 以双DSP+FPGA的结构组成满足实时性要求的图像 处理系统,充分发挥FPGA加通用DSP结构的灵活 性及实时处理能力1。1核心芯片的功能和特点主CPU采用TI公司的TMS320C6455定点DSP 芯片。该芯片采用90am工艺,先进的VelociTlTM VLIW架构,拥有8个独立的功能单元,其中有2个收日期2010-04-08作介苑爱博(1985.男.黑龙江卉齐哈尔人,硕士.主要从事图像佰息处理方面的研究。竺 彗兰皇兰耋三垒耋兰兰量兰量 量:!童 t6位乘法器和0个算术逻辑单元,其最大峰值速度96410MIPS,最高主颇高达I 2GHz。它有16Mbit片内集

7、成大容最SRAM.拥有“位高性能外部存储器接口,可与多种同步或异步存储器直接相连,可接八大容量的SDRAM存储器.EMlFA的四个CE空间能接入高逃l G宁节;TMS320C6455拥有2个多通个EDMA通道以及HPI、GPIO等可灵活使用的资源bl。因此可吼很好地满足图像处理算法的复杂性、实时性承灵活性要求。系统使用的是Xilinx公司的Virtex5系列XCSVSX95T,Viaex5系列是H前最新、功能最强大的Flea,Viaex-5系列采用第.代ASMBLTM(高级硅片nl台模块列式架构,除了最先进的高性能逻辑架柑,Viaex.5FFGA还包含多种硬lP系统级模块.包括强大的36Kb

8、Block RAM/FIFO,第二代25x18DSPSlice、带订内置数拧m抗的SelectIOrH技术、ChipSyncTM源同步接口模块、系统监视器功能、带有集成DCM(数字时钟管理器和锁相环(PLL时钟发生器的增强型时钟符理模块以厘高级配置进项19o Virtex.5SXT为县有高级串行连接功能的高性能信号处理应用的子系列。XC5VSX95T具有14720个Viaex-5Slice 1每个Viaex.5Slice包含四个LuT和四个触发器.640个dr州I/O管脚,可满足系统逻辑连接要求。2系统结构和工作原理基于双DSP+FPGA框架的宴时图像处理系统结构如图1所示.该系统由预处理与控

9、制模块、高速处理器模块,视频输出模块、通信模块、电潭模块等部分组成。各功能模块特点及技术途径如下:囊熹-:一.叠。、xc;=;t.,.”.。%i.: 。二,、目 Fig.1 实时税额雷管赶系统结构框图2.1FPGA噩处理噩控曩块FPGA芯片是整个目标信息处理机预处理和控 制的核心,所有的数据都经过FPGA控制.并且FFGA 还直接承担着图像处理底层的大量的卷积和乘加运 算。所虬该芯片的设计直接决定若整个系统的运算速 度。在FPGA内部构建基于FIFO方式的EMIF接口 模式.片使能信号CE和异步输出使能信号AOE用十 产,上FIFO的读、写使能信号。同时,Xilinx Virtex系 列FFG

10、A内部塑成BlockRAM.可以配置成两个端12完全独立的真正的双口RAM。双端口Block RAM的 一侧被用来实现与上位机的通信,另一侧用于实现与 FPGA内部逻辑电路与通信”J。在接个图像处理的过程札前端的红外圈像预处理 主要任务是对图像进行滤波提高图像信噪比或进行边 界提取和阈值分割。本设计采用基于Nevafia-Babu算 子的方法进行边缘检测”该方法使用6个5x5的滤 渡模块(如图2所小在旷,30。,60。.坩,120。. 150等方向对图像边缘进r检测。.一_R_.。:_L。,上,.上。L 。上a【iIi.j_i L_i_上i_Li上叭上。.,L 广山氘k扯可k_山-J,一, .

11、 .一, L。1上=:=上i上i上if圈2方彤窗定义肛磋件实现渣程圈R92ql鲥叫c“耐呻耐Hw0flowd叫 为了使5行5刊共”个像素能够在一个时刻同 时输出.便于之后的核心算法模块进行流水线处理, 在5x5方形宙的硬件设计中,文采用了四个FIFO存 储器。其中FIFO地址宽度为WOe为图像宽度,这增刊 苑爱博等:基于FPGA和双DSP的高速视频图像处理系统设计 649样每个FIFO正好可以存储一行共W个图像数据,使得5x5方形窗生成模块的输出W11.W55正好构成5x5模板所对应的5行5列共25个图像数据值。经过寄存器R和FIFO的作用后,在每一个时钟周期时,.1 .1 O.1 .I0.1

12、 .I0.1 .10.1 .100000l I l 100 00 .1 .I .1 .1l ll lO O.1 .1.1 .190.1 匏.1 .讨.1 .I.1 .I.1 .I5x5窗函数生成模块同时输出WI 1.W55共25个待处 理图像的像素数据,构成了5x5方形窗,输出数据与 模板进行卷积运算,计算梯度并找l最大值,并与预 置的阈值进行比较,判断是否为边界像素。l ll ll l讨 l.芤 l.蛇.100l,o.图3Nevatia.Babu算子梯度计算模板Fig.3Templates for detection of image gradients with Nevada-Babu2.

13、2双DSP高速处理器模块高速处理器模块主要是进行图像的高层算法,其任 务是对经过预处理的数字图像进行目标检测、识别和跟 踪等算法。DSPI主要承担目标特征提取及目标识别任 务,DSP2完成图像跟踪功能。系统采用两片TI公司的 TMS320C6455为核心处理器,最大峰值速率为 19200MIPS,DSPI的64bit EMIFA连接FPGA与两片 FLASH存储器。用于加载DSP的启动信息、FPGA的 初始化配置和预加载基准图。DSP通过EMIF接口总线 连接到FPGA,EMIFA口的数据线、地址线、片选信号 等与FPGA的I/O连接。将FPGA内部存储器映射到 DSP地址空间。实现高速数据交

14、换13J。两片C6455之间 通过全双工串行多通道缓冲串口McBSP进行控制信号 的传送,通过两片C6455的EMIFA口连接至FPGA的 EMIF总线接口,可达到800MB/s的数据传输速率。 2.3视频输出模块号、消隐信号叠加后便可以在显示器上显示处理后 的结果。2.4串行通信模块模块要求实现2个422串口:传输速率为115.2Kbps、230.4Kbps。RS422转换器件采Jj MAX3490。 MAX3490采用单一的3.3V电源供电;可兼容5V 的信号输入:共模电压输入范围为.7+12V:支持 半双工和全双工:过载时具有电流限制和热关断的 功能;传输速率最大为12Mbps。2.5电

15、源模块图像处理系统需要多路数字电路电源及模拟 电路电源。为提高电源效率,降低板卡总功耗,数 字电路电源采用高效率的BUCK开关电源;为降 低模拟电路电源的噪声,设计采用BUCK+端滤 波器+LDO方式,高动态特性LDO能很好的滤除 中、低频分最噪卢。电源设计采用商频特性(ESR、 ESL比较好的陶瓷电容,三端滤波采用高频专朋 滤波器,再配合有损耗铁氧体磁珠吸收岛频EMI。3仿真试验结果本系统在实际的研制过程中,我们充分考虑了 电磁兼,容性的要求:采川磁珠隔离模拟电源j数字 电源,采_f滤波电容等降低电源的十扰与噪声。不 同功能模块采削独立的开关电源供电,不|Ii】模块之 间4i形成电流环路。板

16、卡的外部接U除射频输入外, 其他接口均采刖ESD保护I乜路加以保护。系统配有 啪m啪虬。搬椭" 啪!i! 兰:!皇兰兰三圣i查量兰兰兰量 茎:!童 RS422信号传输系统,n,在主控计,9:机的挣制下对各a口件进行监测.井将监测结果上报给主挣计算机,为验证本硬件系统(如图4所示的有效性.我们进行了大量仿真铡试试验。图3、图4分别为光学图像中机场跑道和油库的边缘检测与目标识别实验结粜。其中,边缘检澍算法(图5(b和圈6(btll FPGA顸处理模块完成.特征提取和日标酿别(吲5(c和豳“c由DSP高速赴理器实现,机场跑道椅测及识别运行时间为328ms.油库榆女i及识别运行时间为363瞄

17、。山j:迷仿真测试试验结果可知:凌图像处理系统具有良好的嘲像处理功能和实I甘处理能力,/一月4Fig 4陌l 二圈,边沿揎剥&lJ标识别仿真结果l(机蝻跑道Rg 5Bd胪deteoi帅and【眦u雌(terodmmemnway 4绩柬语本文深入研究,税频圈像的实时采集、圈像处理与 分析、数字嚣像台成与宴时显示等关键技术.井在此基 础上构建了基于'FPGA+裂Dsr架构的视频宴时瞬像 处理系统。(c脚6边沿检剥厦目杯识别仿真结果“油库Fig 6目p&andnc“ng(“smrage 该系统己获得实际应用,实现了基于红外图像 序列的目标检测、识别、跟踪等算法。该系统处理 速

18、度快,系统稳定性高,通用性好.完全满足设计 要求。考立:m聃XJhax FPGA&女#【Ml*¨*扎删 12】 圳M*#fF吣+扪P¨tNmn*8n*口q*W¨w冁蜮蛳s 目&%,l FFPaP女日目*#*I¨“m 口自voI 4207-瑚.o删 *§fDsP和R%#目*&itIJItt*“ 镕e"l 7”28&2舰zoos151*m.自*#DSp+F虻;A%nW镕*月§&*itm ¨L*nt*q"L12雕睇帆矾旧 ,.一Hf附+璐瞄*|H口t4ttt* 5鲫J1n目n【,I *d、脚+岵P“”目t#*2i叭“*St m8州12*螂l抽7懒删5F啊附m卿“gB口一IhIZl Texasl一hrmrl脚抛19I5r-,tmttymdm【zIXitiaI_lac 110tt