视频图像缩放器设计与实现

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 视频图像缩放器设计与实现 摘要摘要：采用双线性插值和最 近邻域插值两种算法，设计了一种实用 的视频图像缩放器。该缩放器以较短延 迟的方式改变视频流大小，在需要配置 的参数中，数据宽度、颜色通道以及最 大视频分辨率可在编译前配置好，输入 输出分辨率、缩放因子以及大小改变类 型等参数可实时配置。 中国论文网 /8/view-12935541.htm 关键词关键词：图像插值；视频 缩放；Verilog HDL DOIDOI：10.11907/rjdk.171017 中图分类号：TP319 文献标识码：A 文章编号文章编 号：16727800（2017）005009303 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 0 引言 随着科技的进步，显示设备得到 快速发展，特别是移动手持终端设备使 得多媒体资源越来越丰富，格式多种多 样。但各种显示设备支持的分辨率、帧 率、刷新率等参数动态范围较小，基本 为固定的几种模式，如电脑显示器的刷 新频率一般为 75Hz，而常见的消费类 视频源信号刷新频率一般为 25 或 29.97 帧/秒， DVD 和 DTV 源素材可能仅仅 是 24 帧/秒1。为了有效解决视频图像 数据和显示设备之间这一矛盾，必须进 行视频的后期处理，即运用现代数字信 号处理技术，在数字域内对视频信号进 行各种数学运算。视频信号在不同的显 示终端显示时需要进行缩放处理，而缩 放质量的好坏会直接影响到视频播放质 量。 1 图像插值 实际操作中主要使用图像插值来 完成数字图像缩放，因此图像质量和失 真情况很大程度上依赖于插值算法的好 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 坏。数字图像的插值处理一般要满足两 个条件：图像在插值像素点的值在二 维空间是一个连续曲面；在源图像的 采样点，由插值计算得出的运算结果与 源图像的值相等2。本设计主要采用双 线性插值法和最邻近插值法。 1.1 双线性插值法 双线性插值法又称为一阶插值法， 通过空间几何变换分析，找出与目标像 素最邻近的 4 个源图像像素点，利用对 这 4 个点的像素值进行加权运算得出目 标像素值，每个邻近点的权值与插值点 距该邻近点的距离成反比3。假定一个 目标像素点通过反向变换得到的插值点 浮点坐标为（i+u，j+v） ，其中 i、j 为非负整数，u、v 为区间 0，1内的 浮点数，源图像中坐标为（i，j） ， （i+1，j） ， （i，j+1） ， （i+1，j+1）所对 应的最邻近 4 个像素值即可决定目标像 素点的值。 f（i+u，j+v ）=（1-u） （1- v）f（ i，j）+u （1-v）f （i+1，j） -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 +（1-u）vf（i，j+1） +uvf（i+1 ，j+1 ） （1） 如果目标像素点经过空间变换正 好处在 4 个源像素点的正中间，那么它 的值就是源图像与之相邻近的 4 个像素 值的平均4。 1.2 最近邻域插值法 最近邻域插值法又称为零阶插值 法，此方法计算灰度及色度插值最简单， 只需考虑距离目标像素点最近的一个源 图像像素，直接采用离插值位置最近的 源像素值进行插值5。通过空间几何变 换得到插值点的浮点坐标，该插值点像 素值即等于它最邻近源像素点的值。使 用最近邻域插值法等价于源图像像素与 矩形函数在空间域进行卷积运算6。 2 视频缩放器 IP 核架构 本视频缩放器系统框图如图 1 所 示，主要由 RAMFIFO、RAM 填充控制、 读控制以及数据合成控制等模块组成。 其中，RAM FIFO（RFIFO ）是 数据缓冲模块，也是各种控制操作的核 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 心。除了数据的输入输出是连接到块 RAM 以外，RAM 的操作主要利用 FIFO 结构完成。RAM 需要提供单写双 读端口控制，每个读端口同时读数据。 若选择双线性插值算法，伴随着串行的 视频行写 RAM 操作，需要为双线性插 值准备 4 个输出值。RAM 填充逻辑模 块负责根据系统配置来决定哪些输入数 据需要推入到 RFIFO 中，哪些输入数 据需要丢弃7。所有被输出部分使用的 行数据写到 FIFO 中，而未被输出部分 使用的行则丢弃。读控制模块为 RFIFO 的 RAM 端口提供地址驱动和读使能， 并推动 RFIFO 的读端口输出新的视频 行， RFIFO 读出 4 个像素插值的混合 值。数据合成控制模块取混合值 X Blend 与 Y Blend 并产生 4 个系数，将 系数与从 RFIFO 中读到的 4 个像素值 相乘之后求和，得到输出数据。而在最 近邻域算法模式中，只有一个值为 1.0 的系数，其余的值为 0.0，以上产生的 值都基于混合值 X Blend 与 Y Blend。 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 3 视频缩放器工作流程 视频缩放器采用 Verilog HDL 语 言实现，在每个视频帧开始时，起始信 号 start 由用户逻辑来声明，最小为一个 时钟周期，这将在上一帧之后复位缩放 器模块。接着缩放器可以在数据输入端 口读取视频流数据。一旦读取了足够的 数据就可以出现在输出端口。输入数据 以标准的光栅扫描方式从左上角像素开 始向右下角像素扫描读取数据，有效的 视频数据能通过缩放器。 控制信号指定哪些输入数据是有 效的。 控制信号在系统工作（读写数据） 时不能改变，如果改变会破坏一帧的数 据输出，控制信号的改变应该在读出完 成之后下一帧起始信号出现之前这段时 间。 下面以视频图像分辨率放大操作 为例阐述视频缩放器工作流程。 3.1 数据输入输出 数据输入输出时序波形如图 2 所 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 示，在 start 信号之前可由用户逻辑设置 控制信号。在帧开始读数据之前，用户 逻辑需要置位 start 信号一个或几个时钟 周期。缩放器读行数据直到缓冲区满为 止。如果控制信号指定丢弃，则输入数 据将在缓冲区填满之前丢弃。读入两行 后，就可以在 dOut 上读到数据。为了 避免提前读数据，dOutValid 将一直保 持低电平，直到数据有效橹埂谝汛 理的帧被读出之后，从缩放器连续读 数据是安全的，也不会导致读入额外的 数据。 3.2 写数据到 dIn 写数据到 dIn 波形如图 3 所示。 用户逻辑用 dInValid 信号维持有效原始 数据。nextdIn 是缩放器应答 dIn 的信号。 当 nextdIn 为高电平且 dInValid 有效时， 用户逻辑改变 dIn 到下一个值。 3.3 从 dOut 读数据 从 dOut 读数据波形如图 4 所示， 用户逻辑用 nextDout 请求从缩放器读出 数据。如果 RFIFO 数据读完，则 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 8 dOutValid 将保持低电平直到缓冲区足 够满为止。注意，从请求信号 nextDout 到数据出现在 dOut 总线上有 4 个时钟 周期延迟。 3.4 输出行切换 在输出视频行末尾，dOutValid 将变低一个时钟周期，以允许 RFIFO 切换 RAMs，如果用户逻辑在完成一行 读出之后（此时为实际显示时的水平消 隐期）使 nextdOut 低，dOutValid 的这 个跳跃周期将发生在 nextdOut 较低期间， 不会被用户逻辑捕捉。 如输出视频行的最后像素是 D9，则有如图 5 所示波形。 3.5 控制信号 本设计的主要操作由控制信号模 块控制。若从较小的 Y 方向输入分辨率 切割，则由 inputDiscardCnt 设定，而较 大的切割通过改变输入到缩放器的数据 来完成。inputDiscardCnt 像素会读入， 但在图像的开始处被丢弃。输入分辨率 信号 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 9 （inputXRes，inputYRes，outputXRes ，outputYRes）告知缩放器如何插值及 输出像素流。这些值必须设置为像素流 分辨率-1 。缩放比例通过 xScale 及 yScale 控制。视频通过 1/xScale 和 1/yScale 放大。 4 测试 为了更好地读取和显示 raw 文件， 采用 MATLAB 进行 raw 文件与 bmp 文 件转换，以方便对缩放器处理之后的数 据进行测试，并查看到由视频缩放器处 理之后的图像效果。 测试前先对软件进行例化，以便 对不同大小的输入输出图像进行处理。 测试软件包括缩放器的例化、部分参数 设置、工作时钟产生、raw 文件数据的 读写等。采用 ModelSim 软件进行仿真 测试，仿真波形如图 6 所示。 5 结语 本O 计针对图像