基于virtex5的快速目标捕获与实时稳像.doc

基于virtex5的快速捕获与电子稳像计划书申 请 人：王宣 宋玉龙 孙明超 E-mail: 指导教师：刘晶红中国科学院长春光机所2009年8月1日一、竞赛小组概况1小组主要成员基本情况指导教师：刘晶红项目负责人：王宣 成员专业从事的课题王宣信号与信息处理基于Fpga平台的图像实时处理算法开发宋玉龙信号与信息处理基于Fpga平台的图像实时处理算法开发孙明超信号与信息处理基于TI6446平台的图像融合算法2小组成员技术背景竞赛小组成员宋玉龙为中国科学院研究生院博士，具有深厚的学术造诣，有多篇高水平文章发表，且被EI检索。拥有发明专利一项。王宣、孙明超均为中国科学院研究生院研究生，有扎实的图像处理方面的专业知识，一直在使用FPGA实现各类图像处理算法，熟练掌握Xilinx公司的相关芯片和软件。二、项目背景及可行性分析1 项目背景稳定可定义为在偏移发生后，能使其返回到平衡位置或初始位置的行为。稳像技术是指对随机运动或抖动的摄像机所获取的动态图像序列进行修改、重排以使其在监视器的动态图像显示平稳的技术。稳像技术在广播摄影系统,救灾，民用航空测量中具有广泛的应用。例如在北京奥运会开幕式中的烟火大脚印，都是由安装在飞机上的动机座平台上的摄影机拍摄的，此系统就运用了电子稳像。航空地形测绘和灾区救援行动中，往往需要在显示器的像平面上得到稳定的测量基准，这就必须使用稳像技术，以便在仪器的测量面上提供一个相对稳定的坐标系，准确计算出受灾地区位置。数码相机，DV也广泛地应用了稳像技术，使其能克服由于无意识运动造成图像的模糊，提高系统的成像质量。如松下的N系列DV的电子稳像器就能克服在水平4”范围内抖动，当抖动引起要摄取的静态图像模糊时，即刻变为稳定而清晰的图像。以飞机或汽车为载体电视摄像设备在动基座上进行工作,由于使用载体受姿态变化和高空气流振动的影响,导致输出图像质量下降,比较典型的是图像帧内模糊和帧间不稳定。为获取稳定清晰的视频图像,必须消除图像运动模糊,实现图像序列稳定输出。传统的稳像补偿手段如光学补偿、机械补偿及机电结合补偿等,虽然可以解决这个问题,但由于设备体积、重量等因素影响,在实际应用方面受到一定的限制。近年来,采用电子学方法进行图像稳定清晰化的电子稳像技术已成为一门高技术的综合学科,与传统方法相比,它具有成本低廉、体积小、功耗低等优点。2项目名称、项目的主要内容及目前的进展情况项目名称：基于virtex5的快速捕获与电子稳像；项目的主要内容：用V5系列FPGA设计完成一个适用于安防，以及家用便携式系统的目标捕获，实时电子稳像平台。目前的进展情况：有完备的C及mathlab算法资源和测试图像，已经开始相关模块的实现。3项目关键技术及创新点的论述创新点：a) 相对于传统的TI公司的6000系列DSP稳像，用Virtex-5极大提高目标捕获及电子稳像的实时性。在电子稳像实时处理过程中，需要进行soble算子边缘提取，模板提取，原始模糊图像的Fourier变换和Winner滤波结果的逆Fourier变换，运算量极大。使用DAM6416(TMS320C6416)图像处理平台进行实验，处理2562568bit图像时间约1/25s。按此运算量和处理时间推算，处理102476824bit图像至少需要36(433)个DAM6416图像处理平台并行处理。即使能够采用某种方式实现36个DSP并行工作，系统也会变得非常庞大，而不适宜工程应用。图像电子稳像器用于解决由于抖动造成的视频图像模糊问题,根据视频图像模糊产生的机理,建立精确的图像补偿的数学模型,消除图像运动模糊,输出稳定清晰的图像。TMS320C6416最大频率1G，8GMACS，电子稳像共需368=288GMACS；而Xilinx Virtex-5针对DSP运算优化的SXT系列，XC5SX240T含有1056 DSP48E Slice，工作频率550MHz，最大可实现580GMACS运算速度。Xilinx Virtex-5 是实现电子稳像的最佳选择。关键技术（1）：维纳滤波的实现关键技术（2）：运动矢量估计的实现。3技术成熟性和可靠性论述应用于上海世博会中的高清安保系统已经由我部研制成功，见中科院网页链接 /10000/10003/10000/10003/2009/136967.htm 我项目组拥有成熟的基于DSP的电子稳像算法， 所以用Verilog改写耗时的C语言算法相对容易，电子稳像算法已经用mathlab编写完毕，准备用SystemGenerator和AccelDSP实现。SystemGenerator和AccelDSP是xilinx公司的系统级建模工具，在很多方面扩展了MathWorks的Simulink平台，提供了适合硬件设计的数字信号处理DSP建模环境，加速并简化了在FPGA平台上实现DSP信号处理的过程，必将成为未来流行的FPGA开发技术。XUPV5-LX系列的FPGA有大量的存储单元和乘法器，便于实现数字信号处理功能，可以有效地实现本项目所需的各个模块。团队成员均有比较扎实的FPGA基础和设计功底，和信号处理方面的专业知识，完全有能力保证该项目的顺利实施，最终完成项目。三、项目实施方案1需要的开发平台1、 项目所需资源：根据实际需要，我项目组需要10/100/1000 Ethernet MAC Blocks，RocketIO GTP Low-Power Transceivers接收数字视频信号，DVI视频输出。XUPV5-LX110T拥有4个10/100/1000 Ethernet MAC Blocks16个RocketIO GTP Low-Power Transceivers， 64个DSP48E Slices，完全能满足项目需要。2、 申请平台：本项目申请XUPV5-LX110T作为硬件开发平台，充分利用开发板上丰富的外设资源，为设计成果的验证提供支持。3、 开发板的利用：3.1视频采集：因需在整个会场范围内实施安防监控，根据距离远近，数字高清摄像机所采集的图像通过2种方法传入XUPV5-LX110T硬件开发平台 ：a)Cameralink数字视频信号通过NETLINK转为千兆以太网信号，通过XUPV5-LX110T硬件平台的10/100/1000 Ethernet MAC Blocks接收b) Cameralink数字视频信号通过我项目组研制的光纤板转为光信号，通过光纤传入XUPV5-LX110T硬件平台的SFP光模块，通过V5的RocketIO GTP Low-Power Transceivers接收 3.2图像处理：本方案需要实现1024*1024分辨率，数据位宽为24bit的彩色数字图像的滤波，sobel边缘提取算法，图像二值化，目标模板提取，以及相应的图像输入，图像输出，图像缓存，因此将设计分为8个大的模块，顶层模块，图像输入模块，图像缓存模块，滤波模块，sobel算法边缘提取模块，图像二值化模块，目标模板提取模块，图像输出模块。图像缓存模块利用块RAM和64-bit wide 256Mbyte DDR2 small outline DIMM (SODIMM)实现；滤波模块，sobel算法边缘提取模块，图像二值化模块，目标模板提取模块尽可能的使用DSP48E Slices结构来实现，以提高图像处理速度；3.3视频输出：通过XUPV5-LX110T作为硬件开发平台的DVI口输出处理后的数字视频，DVI视频可以直接连接到计算机监视器上，无需采集卡，便于调试。通过RS-232 port接收上位机指令4、 我项目组已经具备的软硬件： 应用于上海世博会中的高清安保系统已经由我部研制成功，见中科院网页链接 /10000/10003/10000/10003/2009/136967.htm1 我项目组拥有成熟的基于DSP的电子稳像算法， 所以用Verilog改写耗时的C语言算法相对容易，准备用SystemGenerator和AccelDSP实现2 camerlink转光纤板3 Toshiba高清数字摄像机 4 Netlink 的camerlink转千兆网采集卡 5 高速是示波器，逻辑分析仪2 方案基本功能框图及描述图1 FPGA电子稳像系统整体框图2.1 帧内电子稳像消除运动模糊帧内电子稳像消除运动模糊根据图像复原理论,在目标和摄像机之间存在相对运动情况下,单个物点在若干图像像素上扩散时就会产生运动模糊,可以通过建立空间运动模糊模型进行处理，对于线性平移不变运动模糊,模糊图像g ( x ,y) 为原始清晰图像f ( x , y) 和点扩散函数( PointSpread Function , PSF) h( x , y) 的卷积,即（1）式中, n( x , y) 表示加性噪声。式(1) 两边取傅里叶( Fourier) 变换,有（2）其中F( u , v) 、G( u , v) 、H( u , v) 和N ( u , v) 分别表示f ( x , y) 、g ( x , y) 、h ( x , y) 和n ( x , y) 傅里叶变换, H( u , v) 称为滤波函数2.1.1运动模糊点扩散函数根据式(2) ,滤波函数H ( u , v) 是解决问题的关键,文献 11 介绍了一种通过实验方法获得H( u , v) 的方法。Lim 等人归纳了5 种典型的一维点扩散函数12 。其中方波点扩散函数可以表示为（3）式中M 表示像移量, 可以通过飞行高度、飞行速度等运动数据计算13 。设系统像移量为M , 积分时间为T , 运动方向与CCD 靶面水平方向夹角为,则二维运动点扩散函数为（4）式(4) 的h( x , y) 进行Fourier 变换,得到的滤波数H( u , v) 为2.1.2 维纳滤波在噪声未知情况下, 可近似取F ( u , v) 的逆Fourier 变换作为恢复图像f ( x , y) ,即这就是逆滤波恢复方法。在一般情况下, 滤波函数H ( u , v) 随着u , v的增大而迅速衰减, 而N ( u , v) 却接近常数。逆滤波计算误差为当u , v 较大时,式(6) 表示的误差也很大。为解决H ( u , v) 在零点的误差问题, 通常采用维纳(Wiener) 滤波方法计算F( u , v) :式中H ( u , v) 表示H ( u , v) 的复共轭,是噪声对信号的功率密度比,取值范围一般在0. 000 10. 01 。对式(7) 的F( u , v) 进行Fourier 逆变换, 得到清晰图像f ( x , y) 为2.2帧间电子稳像2.2. 1 电子稳像原理帧间电子稳像是一种对视频图像序列进行补偿的技术,其目的是解决序列图像中帧间不稳定问题,从而保证经过补偿后的视频图像是平滑、稳定的。电子稳像技术主要包括运动检测和运动补偿,通过检测图像帧间运动矢量,采取图像处理技术补偿图像。其基本结构如图1 所示。图1 电子稳像系统基本结构2. 2.2 运动检测运动检测是实现电子稳像的关键环节,目前检测帧间运动矢量的方法很多,如代表点匹配法(Representative Point Matching ,RPM) 、灰度投影算法( Gray Projection Algorithm , GPA) 、位平面匹配法(Bit Plane Matching ,BPM) 、光流法、光度学图像分析法等。GPA 是以图像灰度变化作为特征依据的,可以比较准确地获取图像运动矢量。通过算法改进,能够进一步提高运动矢量精度和计算速本文采用以下两种算法：a)灰度投影算法简单，速度快，可以对整幅画面进行统计，便于硬件实现，但由于有背景噪声，目标本身的转动，异物进入视场等情况，灰度投影法的匹配精度较低，b)特征匹配算法运算速度低，按目前的运算速度只能对某一区域进行运算，但其精度高所以，本文将运动矢量估计分为两步，首先用灰度投影算法大致计算出图像位移，之后在一个小区域里提取物体边缘模板，精确计算出图像位移。如图1所示图像进入本系统后，分为两路并行处理，设图像中心坐标为（0，0），把第二路将图像平均分为4块，分别计算4个子区域的灰度投影，用4取3的原则，滤除整体图像中个别小物体的运动，估算出图像的大致漂移方向为（x*y），之后在以x*y为中心，（M,N）范围内的物体用sobal算子进行边缘提取，提取出物体的重心，与参考帧以（0，0）为中心的物体特征进行比对，精确计算出图像抖动量。之后运动偏移反方向做等量移动，以实现图像的行、列序重组，达到第二帧输出图像与第一帧输出图像重合，从而达到图像补偿稳定的目的，使监视器输出清晰的视频图像其原理如图2所示。图2根据计算出的抖动量进行图像平移2粗略计算晃动量-灰度投影算法 图像序列帧间图像重合区域内，灰度分布是相同的。本文采用灰度投影算法将图像上的二维图像信息映射成两个独立的一维波形，经过投影变换，算出图像行、列灰度曲线，它表征图像灰度分布的特点，相关值曲线中的峰值即为补偿图像的某一个方向的位移值， 参考图像 当前图像 参考图像投影曲线 当前图像投影曲线 互相关曲线其投影方法可用公式表示如下:式中(i), (j),分别为第k帧图像第j、第i的灰度值，(i,j)对图像进行灰度投影变换，所获取的分别是图像各列、行灰度相对图像平均灰度的偏差分布。由于投影匹配算法能将两维块匹配转化成两个一维的矢量匹配，因而能大大地提高了计算速度。之后将本帧图像的行、列投影波形与参考帧的图像的行、列的投影波形做互相关计算，根据两条相关曲线的唯一谷值即可确定被比较图像相对于参考图像的行和列的运动矢量。式中L min ci 表示使ci达到最小值时的i值。8*为正时表明当前帧相对于参考帧向右运动了阵像素;为负时表明当前帧相对于参考帧向左运动了阵x像素 3精确计算抖动量-目标特征匹配算法精确稳像分为两步，目标边缘提取和目标重心心提取1）目标边缘提取采用方面，我们采用Sobel算子来提取影像的坡度化，如式 (3.1)所示，分別用H1 和H2 两个互相垂直的方向去测量像素的坡度值，而其坡度值如式(3.2)所示，其中U 代表原始灰阶影像，g(m,n)代表像素在(m,n)位置的坡度值。(3.1) （3.2）经过目标区域分割后，目标已从背景中分离出来， 2）目标重心提取分割出目标边界后，我们把目标图像的灰度分布的质心认定为目标中心点，在一个M N的窗口中，其灰度质心位置由公式（3.3）求得:x=y= j1，.M ; k1.N ; （3.3）式中: f(j,k)是图像在(j,k)点的像元度值，M,N分别为窗口内的方位，高低方向的像元数3. 3 运动补偿图像序列运动补偿是根据运动检测算法求取图像运动矢量,通过对图像像元位置进行重组实现的。设图像中心为( x0 , y0 ) , 图像运动矢量为d x , d y T ,图像旋转角度为,则图像运动补偿公式为:式中, ( x, y) 、( x , y) 分别表示补偿前、后坐标。采用公式(12) 进行图像补偿,对于补偿图像的每一个像元坐标( x , y) , 只要其对应原图像中的点坐标在图像范围内, 都可以保证在补偿前原始图像中有一个对应的像元点坐标( x, y) 。所需要的开发平台为XUPV5-LX110T Board。因为用自适应滤波算法以及sobel提取边缘模块需要大量的乘法器和存储器，不需要其它配套的开发工具。需要USB和EMAC接口进行最终的测试验证。3方案实施过程中需要开发的模块本方案需要实现1024*1024分辨率，数据位宽为24bit的彩色数字图像的滤波，sobel边缘提取算法，图像二值化，目标模板提取，以及相应的图像输入，图像输出，图像缓存，因此将设计分为8个大的模块，顶层模块，图像输入模块，图像缓存模块，滤波模块，sobel算法边缘提取模块，图像二值化模块，目标模板提取模块，图像输出模块。图像输入模块利用Xilinx公司的rockerIO来完成；图像缓存模块利用块RAM实现；滤波模块，sobel算法边缘提取模块，图像二值化