高清AVS视频编码芯片结构设计与FPGA验证

1、北京大学数字媒体研究所n支持AVS-P2 基准档次。n实时高清编码器：1920 x108030fps/1280 x72030fpsn支持I、P、B 帧n支持所有帧内预测模式(采用重构像素作为参考像素)n支持所有帧间预测模式n整像素搜索范围达到256x192(分层全搜索)，支持1/4 像素运动补偿. B 帧前后向各一个参考帧，P 帧2 个前向参考帧。 支持前向、后向、对称双向、直接、跳过等全部模式。 支持所有可变大小块模式16x16, 16x8, 8x16, 8x8。n支持率失真优化(RDO)模式选择n仅支持帧模式,不支持场模式。n支持去块效应滤波。n码率控制算法由嵌入式处理器软件实现。系统模型

2、系统模型RTL(寄存器传输级寄存器传输级)netlist生成生成FPGA/ASCI.VHDL/VerilogHDL细化C/C+描述综合更底层设计载入熵编码反量化反变换运动补偿预测控制数据量化后的变换系数运动数据帧内/帧间编码控制解码器运动估计变换/量化-0环路滤波帧内预测系系统统层层控控制制DDR SDRAM视视频频输输入入分层分层IME全搜索全搜索亚像素差值亚像素差值FMESmall Luma Ref. Pels SRAMsLuma Ref. Pels SRAMsCur/Ref.Reg Array率失真率失真模式选择模式选择DCT/IDCTQ/IQ熵编码熵编码去块滤波去块滤波分层分层IME全

3、搜索全搜索亚像素差值亚像素差值FMELuma Pred. Pels SRAMsCur. MB Org. SRAMs.Luma Pred. Pels SRAMsLuma Ref. Pels SRAMsCur/Ref.Reg ArraySmall Luma Ref. Pels SRAMsIntra预测预测Upper&Left pels SRAMIntra Pred. Pels SRAMsCodeNum MB SRAMRec. MB SRAMDeblock SRAMBitstream SRAMChroma Pred. Pels SRAMs色度像素色度像素滤波器滤波器Small Chroma

4、Ref. Pels SRAMsChroma Ref. Pels SRAMsChroma Pred. Pels SRAMs色度像素色度像素滤波器滤波器Small Chroma Ref. Pels SRAMsChroma Ref. Pels SRAMsDDR访问访问接口接口状态状态机机第一级（IME）第二级（FME）第三级（MD）第四级（EC/DB）NNN-1N-1NNN+1N+1n代价函数代价函数RDcost复杂度分析复杂度分析: DCT-H，DCT-V，Q，IQ， Zigzag Scan, VLC IDCT-H，IDCT-Vn候选模式复杂度分析候选模式复杂度分析 帧内模式帧内模式 Intra

5、：5x4 + 4x2 = 28次RDcost计算。 帧间模式 :运动预测方向+可变大小块分割模式 运动预测方向(前,后,双向对称)由IME FME完成选择 RDO MD仅仅选择可变大小块分割模式和直接模式 Inter ：6x6=36 次RDcost 计算。nI帧帧 Intra ：5x4 + 4x2 = 28次RDcost计算。nP,B帧帧 8x8, 8x16, 16x8, 16x16, skip/direct, intra 这些模式需要这些模式需要7x6 = 42 次次RDcost计算nRDcost计算计算 DCT-H，DCT-V，Q，IQ， Zigzag Scan, VLC, MD IDCT

6、-H，IDCT-V, MD MD块级流水周期T=25cycles 如果不作简化，需要如果不作简化，需要42+6=48T1200cycles 那么720P 30fps需要的系统时钟频率大约为: 108000MBs/sx1200 = 129.6Mhz 那么1080P 30fps需要的系统时钟频率大约为: 244800MBs/sx1200 = 293.7Mhz 8x8(1), 8x8(2), 8x16, 16x8, 16x16, skip/direct, intra 设RDO块级流水周期为25cycles，则RDO一级MB处理时间为25x37=925 cycles. MB级流水周期系统时钟频率：19

7、20 x1088x30/256 = 244800MB/s 244800 x 925 = 226.44Mhz 1280 x720 x30/256 = 108000MB/s 108000 x 925 = 99.9Mhz采用分层全搜索算法（3层）。搜索窗为256x192。搜索中心（0，0）点。P帧前向2个参考帧，B帧前后各1个参考帧。假设采用并行256 个PE 结构，每个时钟搜索一个侯选 MV，需要256192=49152个时钟完成整个窗口的搜索，如 果采用并行结构保证搜索速度，付出的硬件代价是无法接 受的。分层搜索思路可以快速实现搜索收敛。分层搜索的思想是：将当前帧和参考帧按照一定比例降采样，然后

8、逐层搜索。4:14:113fedcba9876542g13fedcba9876542g13fedcba9876542g13fedcba9876542gc84gfedgc84gfedgglevel-2层搜索： 搜索全部 -32 32 x-24 24区间64x48=3072个MV，选择SAD最小的3个 MV，以及预测得到的一个MV，保存这4个MV作为Level-1层搜索中心。13fedcba9876542g64481612level-1层搜索：在第Level-1层分别以level-2得到的四个MV为中心，在-8,8的范围内搜索，完成了4次迭代后,得到一个最优的点mv1，用于初步确定level-0层

9、实际运动的大致范围,即mvp= mv1。13fedcba9876542gMVP12896level-0层搜索：在第Level-0 层上以Level-1层得到的mvp这个点为中心在-12 12的范围内搜索，最后得到合适的MV。然后以这个点为中心进行亚像素运动估计。13fedcba9876542g25x25192256 YUV Image input 94 MB/sCurrent MB read 94 MB/sLuminance SW reference pixels read 1504MB/sBit Stream (VBV) W/R 40 MB/sChrominance displaced bl

10、ock read 94 MB/sReconstructed Reference Image write 94 MB/s1123456783123456786123456788123456784bc291079105bc整像素整像素1/2像素像素1/4像素像素一行一行14个整像素个整像素垂直滤波器垂直滤波器水平滤波器水平滤波器水平水平/垂直滤波器垂直滤波器PE1PE8实现8个1/2 精度MV 的代价函数计算（SAD +bits_MVD）帧内块预测方法I帧的帧内模式决策方法 （基于RDO模式选择） P,B帧的帧内模式决策方法（基于SAD模式选择） 简化的模式决策方法帧内块预测方法：帧内块预测方法：

11、采用原始像素替代重构像素，可以提高计算速度，但在一定程度带来编码失真I I帧的帧内模式决策方法：帧的帧内模式决策方法： 采用传统率失真优化的模式决策方法。采用传统率失真优化的模式决策方法。PBPB帧的帧内模式决策方法：帧的帧内模式决策方法：采用采用SADSAD判别的方法。判别的方法。简化的模式决策方法：简化的模式决策方法： 为了减小时钟资源，采用基于SAD和率失真优化联合判别的模式决策方法。 减少候选模式 （1）skip/direct模式发生的概率比较大，必选 （2）16x16 16x8 8x16 8x8-1 8x8-2 利用SAD判据选择出最优的三种模式， （3）基于SAD判据选择出的最优intra模式 基于RDO判据从5种可能模式中选择最优模式n代价函数代价函数RDcost复杂度分析复杂度分析: DCT-H，DCT-V，Q，IQ， Zigzag Scan, VL