基于fpga的四通道视频缩放引擎的研究及设计

基于 FPGA 的四通道视频缩放引擎的研究及设计 数字视频缩小和放大（简称缩放）是视频处理的一个重要分支，是基于对数字视频每帧图像 的处理来实现的。常见的缩放算法有最近邻域法、双线性插值法、抛物线插值法、双三次插 值法和牛顿插值法等基于多项式的插值算法1 ，较容易在 FPGA 硬件上实现；也有 B 样条 插值法、基于小波插值和有理插值等比较复杂的算法，难以在 FPGA 上实现。 近年来随着液晶平板显示器件的广泛应用，对于定标器的研究越来越多且研究成果也很 丰富。但定标器的缩放比例有限，一般在 0.54 之间，在这个范围内采用 2 阶或 3 阶多点 插值算法，图像的边缘和细节可以较好保存。但是采用定点插值法，当文字缩小比例较大时， 会丢失较多的细节，出现字体笔画断裂或者锯齿现象。而采用低阶算法(例如多点均值插值)， 参与运算的点较多，可以有效提高文字的显示质量。 1 系统架构 系统架构如图 1 所示，先对输入视频的分辨率进行检测，将检测值送至 MCU，MCU 用 其确定缩放步长；然后对视频进行缩小操作。如果要对信号进行放大，则绕过该模式；接着 将视频数据送至 IFIFO 缓存，由仲裁器和 DDR2 控制器实现 4 个通道数据的帧率变换后， 视频数据送至 OFIFO 模块；接着数据被送至放大模块，完成放大操作。如果要对视频信号 进行缩小，则绕过该模式；最后将完成处理的 RGB 视频信号输出。整个缩放过程所需要的 缩放步长、通道选择等配置信号全部由 MCU 通过本地总线配置 FPGA。 其中， f(x，y) 为缩小图像某点的像素值，f(xi，yi)为图像子块中各点的像素值。 实现结果如图 5 所示，较好地保证了文字的正常显示。 4 帧率变换 4.1 输入缓存 IFIFO 每一路 IFIFO 都需要在 FIFO 中数据量大于 1/2 FIFO 深度时向仲裁模块发送占用 DDR2 总线的请求信号 REQ，应答信号 AGREE 有效时，向 DDR2 控制器发送数据。当完成一定 量的读出数据时，往仲裁模块发送一个发送结束信号 END，仲裁模块接收到 END 信号后将 DDR2 总线控制权收回，IFIFO 等待下一次应答。 4.2 输出缓存 OFIFO 其实现原理与 IFIFO 类似，只是该模块的输入端工作在 DDR2 工作时钟域，输出模块工 作在帧率变换后的视频图像的像素时钟域。 4.3 仲裁 共有 4 路输入和 4 路输出占用 DDR2 带宽，需要划分时间片来保证各个通道能够顺畅地 显示，优先级依次为第 1、2、3、4 通道读，第 1、2、3、4 通道写。本模块采用状态机控 制，状态机在上述 8 个状态中循环跳转，然后跳回 IDEL 状态，开始下一轮循环。 仲裁模块的另一个任务就是读写 DDR2 地址的生成。将 DDR2 的存储空间划分为 4 个部 分，每个部分存储一路视频信号，每路视频信号存储 3 帧。同时读 DDR2 时，命令设置为 读操作；写 DDR2 时，命令设置为写操作。 TO P 最近邻域插值法存在很强的波瓣，频率响应较差。当图像中包含像素值有变化的细微结构时， 最近邻插值会在图像中产生人为的痕迹，造成图像模糊或产生人为噪声点。 线性插值法频谱的旁瓣远小于主瓣，带阻特性较好。但通带内高频成分衰减过快，会使得插 值后的图像变模糊。 四点立方插值通带内高频成分衰减明显变慢，且旁瓣不超过 1%，具有较好的高频响应特性， 缩放后的图像能够保持更多细节。 六点立方插值算法的频率响应特性更加优越，通带内高频成分衰减更慢且旁瓣更低。 四点立方插值较好地保持了图像的细节，实现难度和占用逻辑资源适中。六点立方插值虽然 实现效果更好，但是占用的逻辑资源较多。故本设计采用四点立方插值算法实现视频的放大操 作。 5.2 插值基函数 图像插值缩放具有二维可分解的特点，可以将二维图像的插值分解为分别沿 x 和 y 方向的一 维信号插值3。一维方向上，利用插值点的四个临近像素点进行三次插值， Keys 将 sinc 离 散函数进行泰勒级数展开后，使三次分段多项式和原始信号的泰勒级数展开式尽可能多项吻合， 以此推导出插值基函数表达式4。 5.3.1 抽头系数的产生 将插值的系数存在 ROM 中，这样虽然使用三次方插值，但是不用在 FPGA 中实现三次方的 运算，提高了运算速度。例如原图像一行有 3 个像素，要求插值后的图像一行有 8 个像素，则 新图像一行的第 5 个点在原图像中映射的坐标为(5-1)2/7+1=15/7=2+1/7 b0010.1001，整数 2 为其原图像中左边临近的像素点坐标为 2，1/7 表示其与坐标为 2 的原 图像像素的距离为 1/7。此时将小数部分 1001 作为地址读出存储在该地址的抽头系数，将其 送给卷积器。 5.3.2 插值参考点控制 放大时，对缩放步长进行累加，当小数向个位数进位时，开始读取一个新的数据。例如计算 插值后图像某个点时，采用原图像的 x4、x5、x6、x7 作为插值参考点，则当步长累加器有进 位时，读取下一个像素值 x8，同时将 x5、x6、x7 移到 x4、x5 、x6 的寄存器位置，而 x8 则 存入之前 x7 的位置，这样就可以实现从原图像向目标图像的地址映射，避免从目标图像到原 图像地址映射过程出现的乘法运算。 5.4 行缓存 行缓冲存储器的主体为若干个存储容量相同的双口随机存储器(DRAM) ，每个 DRAM 存储 一行的有效像素数据。