基于fpga的b656数字视频解析方法

基于fpga的b656数字视频解析方法

如今，污染是人类面临的一个重要问题。同时，世界形势复杂，军事领域也是人们关注的焦点。星载干扰成像光谱的研究和应用变得越来越紧迫。星载干涉式成像光谱仪是通过干涉仪获取物质的干涉图,基于干涉图与光谱图之间的傅里叶对应关系,对干涉图按行进行FFT来复原物质的特定光谱一直以来,各种数字视频格式的相互转换已成为视频研究的重要部分,需要将亮度信号Y与色度信号U、V分别提取,并通过信号间的相互关系进行转化。但目前需要一种将BT.656数字视频信号的亮度信号Y与色度信号U、V通过FPGA分离并分别传输的有效方法,才能更好地进行后续研究。BT.656格式的标准数字视频是将视频信号的行、场同步以及有效数据复合在一路信号中的串行信号,因此需要将有效视频数据、行同步信号、场同步信号、奇偶场标志信号、数据有效标志信号等清晰地解析出来,之后才能对视频数据进行RGB变换、灰度变换、FFT等处理,因此对BT.656标准格式的数字视频信号进行有效解析是后续各种图像处理的前提。鉴于FPGA对大容量数据处理的快速高效性1sav、eav信号的前引BT.656是4∶2∶2格式的视频数据,并行接口为8bit,时钟频率为27MHz。BT.656信号同时传输4∶2∶2的YCbCr视频数据和含有行、列同步信号的水平控制信号。一帧视频图像数据共625行,23~311行是偶数场数据,336~624行是奇数场数据,控制信号分布在其余行中每行包含1728个字节的数据,数据由水平控制信号和YCbCr视频数据信号组成,并以Cb-Y-Cr-Y的顺序排列,一行的前288字节是行控制信号,其以4字节的有效视频结束信号开始,以“EAV”表示,其后是140个“80、10”固定数据,共280字节,最后是4字节的有效视频起始信号,用“SAV”表示。水平控制信号后是有效视频数据,共1440字节。偶数场与奇数场均为288行×720像素点的图像,BT.656图像整场为576行×720像素点的图像。“FF、00、00”是SAV和EAV信号3字节的前引,最后一字节“XY”用于辨别该行位于整个数据帧的位置,还能准确区分SAV、EAV信号。“XY”字节各比特位含义如图2所示。其中:F=0表示偶数场,F=1表示奇数场;V=0表示该行含有效视频数据,V=1表示该行无有效视频数据;H=0表示为SAV信号,H=1表示为EAV信号;P3~P0是保护信号,通过F、V、H三个信号异或生成,P3=VXORH,P2=FXORH,P1=FXORV,P0=FXORVXORH2bt.656视频信号分析对BT.656信号进行解析可以分为如下几个主要部分。2.1视频数据的编码BT.656信号对应的像素时钟信号为27MHz,设其为clk27M。由于BT.656信号每行的有效视频数据为1440字节,而像素亮度信号只有720字节,且每2个相邻亮度信号共用一组色差信号,因而每行的Cb或Cr信号只有360字节。为此,需对27MHz的时钟信号clk27M进行2分频、4分频,分别得到13.5MHz的时钟信号clk2及6.75MHz的时钟信号clk4。2.2像素计数信号分析在clk27M时钟驱动下,设输入FPGA的视频信号为bt_d0,而bt_d1、bt_d2、bt_d3分别为bt_d0的1~3个时钟周期的延迟,则其时序关系如图3所示。trs=(bt_d1==8′h00)&&(bt_d2==8′h00)&&(bt_d3==8′hff)。当trs为真时,bt_d0对应的位置为SAV或EAV信号;而当(trs&&~H&&~V)为真时,表示有效视频数据开始,这时令数据有效信号de_p为高电平,再设一像素计数信号pixel_cnt,若de_p为高电平,则pixel_cnt从零开始计数,计到1439时,令de_p为低电平,而de_p为低电平时,使pixel_cnt清零。这样,de_p为高电平时,表示bt_d0的有效视频数据,而pixel_cnt则对其有效视频数据进行计数。相应的VerilogHDL主要进程如下:2.3有效视频数据cb-y-cr-y的分解在clk27M时钟驱动下,当de_p为高电平,像素计数器低4位pixel_cnt[1∶0]=0、1、2、3时,可分别将bt_d0的有效视频数据Cb-Y-Cr-Y分解为Cb0、Y0、Cr0、Y1四路数据,对应VerilogHDL进程如下:2.4信号解析和处理设计一个2选1的数据选择器,在clk2驱动下,clk4作为选择信号,Y0、Y1作为输入信号,可将Y0、Y1合并成一路信号Y,Y就是从BT.656信号中解析出的图像亮度信号。同理,将Cb0、Cb0作为输入,可解析出色差信号Cb;将Cr0、Cr0作为输入,可解析出色差信号Cr。2.5视频控制信号输出在时钟clk27M驱动下,根据trs、de_p、pixel_cnt、F、V、H各信号的值,可以确定奇偶场标志field、行同步hs、场同步vs、数据有效de等视频控制信号,并分别输出。3模拟干涉图的解析由于进入光谱复原系统的为一路8bit数据,且最终的显示是以VGA的方式来实现,而经解析后的BT.656信号为三路8bit信号,故需将解析后的Y、Cb、Cr三路8bit信号转为一路8bit灰度信号来模拟干涉图数据。3.1浮点系数的转换将YUV信号转换为显示器能够识别的RGB信号,转化矩阵为:对于式(1)中的小数,因为整型运算较浮点运算快速方便,更适用于FPGA,所以可采用移位的方法将浮点系数转化为整型数据进行计算。在计算机中,乘以2的幂次可以用移位操作实现,即乘以2最终运算结果需右移8bit,可去掉数据低8位,实现对浮点的运算,由于RGB的取值范围为0~255,故用高位检测法将溢出的数据赋值FF,即结果中大于255的取值为255,结果小于0的则取值为0。3.2转换为灰份的转换信号人眼对于3种基色的识别度不同,但每种基色又都包含不同信息,丢失会产生较大误差,所以将3路彩色信号转换为一路灰度信号且保证色度信号包含信息不丢失的方法是将RGB值取和后取平均值并取整,取平均值后的信号I即为8bit的灰度图像信号。4彩条生成模块的实现Modelsim的仿真需要产生测试激励,为了满足仿真需求,依据BT.656数字视频信号的格式,设计了一个生成标准BT.656视频格式的八色彩条模块来模拟视频数据。模块设计原理是将一帧图像的数据有效部分的每行的有效视频部分均分为8份,每份由一种颜色数据重复出现,根据BT.656图像有效部分为576×720,即每种颜色在每行中占90个像素点,576行重复执行,同时hs、vs、de等同步信号已包含在数字视频结构中。由于外部时钟源为50MHz的晶振,而BT.656视频格式的时钟为27MHz,故需调用FPGA内部资源中的锁相环IP核生成27MHz的时钟信号。彩条模块的VGA显示效果如图4所示。该模块中的有效视频部分所选用颜色由白、黄、蓝绿、绿、紫、红、蓝、黑八色组成,通过VGA显示能够看出彩条生成模块的功能已成功实现。将该彩条生成模块输出作为BT.656解析模块的输入信号,供Modelsim进行仿真。5btd0的信号解析通过读取彩条模块的数字视频格式进行仿真,图5为利用Modelsim仿真软件的仿真结果。其中:bt_d0为利用彩条生成模块产生的BT.656格式的标准视频信号;FF000080为奇数场有效视频信号开始标志;bt_d1、bt_d2、bt_d3为其延迟信号;trs为SAV、EAV同步头检测信号;de_p高电平表示bt_d0的有效视频数据,而pixel_cnt对bt_d0的有效视频数据进行计数。Cb、Y1、Cr、Y2为从bt_d0分离出的4路有效视频数据。由于bt_d0是利用八色彩条图像产生的,其有效数据重复率较高,为便于观察,将pixel_cnt数据代替bt_d0数据分离到4路信号Cb、Y1、Cr、Y2中。利用二选一数据选择器将Y1、Y2组合为一路Y_out信号,Cb_out、Cr_out、Y_out是最后解析出的BT.656信号的色度及亮度信号。从仿真结果可看出,解析结果完全正确。图6为YUV转换为RGB并生成灰度图像的一行数据的仿真结果,采用的数据为八色彩条视频数据。其中Cb、Cr、Y为从八色彩条视频中解析出的色差信号与亮度信号的真实值,rgb_r、rgb_g、rgb_b为根据转换矩阵生成的RGB信号,Gray_out即为最终的灰度图像信号。6fpga视频压缩模块根据水平控制信号特点,利用信号延迟方法检测水平控制信号,并根据视频信号中亮度信号Y和色差信号Cb、Cr的4∶2∶2比例关系,通过不同时钟频率将BT.656数字视频信号在FPGA芯片中解析出亮度信号Y与色差信号Cb、Cr。利用分离后的Y、Cb、Cr将YUV颜色空间转换为RGB颜色空间并生成灰度图像来模拟干涉图数据。后续研究需将生成的模拟干涉图数据送入光谱复原系统中生成光谱图,并根据物质的特定光谱识别目标。FPGA芯片较其他芯片具有并行处理功能,且时延极低,能满足视频图