第6讲 设计实例

1、2021-7-31 第第 5 5 讲讲 设计举例设计举例 H. 264H. 264运动向量估计运动向量估计 2021-7-32 目录目录 运动向量运动向量 图像数据块图像数据块 设计依据设计依据 总体设计总体设计 运算单元运算单元 基本模块基本模块 运行模式运行模式 存储组织与控制存储组织与控制 模块组合方式模块组合方式 向量产生器及输出控制向量产生器及输出控制 2021-7-33 5.1 5.1 运动向量运动向量 l 相邻两帧的视频图像是非常相似的，这种现象是基于“运动补 偿”的编码方法的基础。 l 当前帧图像用它与前一帧图像的差值来编码，差值越小，编码 效率越高。 l 一帧图像可以划分为若

2、干小块。通常，块越大，编码效率越高， 图像质量越低；块越小，编码效率越低，图像质量越高。 l 运动估计：对于当前帧中的一个图像块（当前块），按某种度 量标准在前一帧图像中寻找最为相似块。 l 运动向量：与当前块最为相似块的位置标识。 2021-7-34 5.1 5.1 运动向量（续）运动向量（续） l 相似块在前一帧与当前块相同位置的周围（搜索窗口）进行搜 索而得到。 当前帧 当前块 搜索 窗口 相似块 运动 向量 2021-7-35 5.2 5.2 图像数据块图像数据块 l H.624中几种不同大小、不同形状的图像数据块 116 16 2816 2168 488 848 884 1644 2

3、021-7-36 l 数据块组合 5.2 5.2 图像数据块（续）图像数据块（续） l 将全部16个44的数据块加起来。 l 将上面个和下面个44的数据块分别加 起来。 2021-7-37 5.2 5.2 图像数据块（续）图像数据块（续） l 数据块组合 l 将左边个和右边个44的数据块分别加 起来。 l 将上、下、左、右各4个44的数据块分别加 起来。 l 其它类似 2021-7-38 5.3 5.3 设计依据设计依据 l 相似度计算：设图像大小为M*N(行列)，搜索窗口大小x方向为 -p, p-1，y方向为-q, q-1，其中p=N/2，q=M/2。D(i, j)为向量(i, j) 所对应

4、的平均绝对值差（MAE），则 其中第m行的MAE为： 有： 其中r为当前块数据，s为搜索区数据。 1 0 1 0 , ),( M m N n jnimnm srjiD 1 0 , ),( N n jnimnmm srjiD 1 0 ),(),( M m m jiDjiD 2021-7-39 5.4 5.4 总体设计总体设计 主CPU 系统总线 DMA 图像数据 存 储 器 存储控制 16个 基本 模块 求和 向量 产生 系 统 存储器 2021-7-310 5.5 5.5 运算单元运算单元 l 绝对值电路 l 当|A-B|溢出时，输出为 +127； l 当A-B为正且没有溢出时， 输出为A-B

5、； l 当A-B为负且没有溢出时， 输出为结果的绝对值减1。需 要的加1（C0）操作留给后面 的处理单元电路在进行级联 相加时完成，这样可以节省 一级进行加法操作的时间。 ADDER A7 A6 A5 A4 A3 A2 A1 A0 B7 B6 B5 B4 B3 B2 B1 B0 1 Co S7 S6 S5 S4 S3 S2 S1 S0 0 Q7 Q6 Q5 Q4 Q3 Q2 Q1 Q0 图1 绝对值电路 2021-7-311 l 处理单元及行结构 5.5 5.5 运算单元（续）运算单元（续） 图2 处理单元(a)及行结构(b) (a) reg mux r s1 s2 a-b PEi Adder

6、 (b) PE0PE1PE2PE3 s1s2r MAE有多种实现的方法。一种经典的方法是用一行有N个处理单 元的电路对M行数据进行串行的行处理，另一种方法是用M行电路 同时对M行数据进行全并行处理。在本设计中，我们除采用了这两 种方法之外，还采用了界于两者之间的方法。 2021-7-312 5.6 5.6 基本模块基本模块 l 基本模块 l 一个基本模块由16个处理单 元排成一个方阵。这些处理单 元按从左到右，从上到下的方 式串联起来。图3是一个4*4基 本模块内部处理单元的连接方 式 。 图3 4*4基本模块结构 PE00PE01PE02 s1s2r PE10PE11PE12PE13 PE2

7、0PE21PE22PE23 PE30PE31PE32PE33 PE03 l 一个基本模块除了可被看成 是一个4*4的方阵外，还可以 被看成是一个2*8的矩阵，甚 至是一个1*16的行向量，这取 决于如何加载图像数据s和r。 2021-7-313 5.6 5.6 基本模块（续）基本模块（续） l 基本模块运行时序：表1表示的是一个4*4的基本模块，在大小为 7*7的搜索区间内工作时的时序。表中，每一个方格表示一个数据， 方格中的数字代表访问该数据的时刻。红色数码15-30分别对应 D(0,0)、D(0,1)、D(0,2)、D(0,3)、D(1,0)、D(3,3)完成的时间和 在电路中的位置，它们

8、在第三行最后一个处理单元被产生。 数 据 行 列（第一处理单元行）列（第二处理单元行）列（第三处理单元行）列（第四行处理单元） 0123456012345601234560123456 00123456- 1456789 1 0 456789 1 0 - 289 1 0 1 1 1 2 1 3 1 4 89 1 0 1 1 1 2 1 3 1 4 89 1 0 1 1 1 2 1 3 1 4 - 3 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 2 1 3 1 4 1

9、5 1 6 1 7 1 8 4- 1 6 1 7 1 8 1 9 2 0 2 1 2 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 5- 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 0 2 1 2 2 2 3 2 4 2 5 2 6 6- 2 4 2 5 2 6 2 7 2 8 2 9 3 0 表1 4*4基本模块时序图 2021-7-314 0123123423453456 00123123423453456 145675678678978910 289101191011121011121311121314

10、 312131415131415161415161715161718 145675678678978910 289101191011121011121311121314 312131415131415161415161715161718 416171819171819201819202119202122 289101191011121011121311121314 312131415131415161415161715161718 416171819171819201819202119202122 520212223212223242223242523242526 31213141513141

11、5161415161715161718 416171819171819201819202119202122 520212223212223242223242523242526 624252627252627282627282927282930 2021-7-315 5.6 5.6 基本模块（续）基本模块（续） l 表2是一个完整的4*4基本模块的详细数据流表。表中用不同 颜色表示不同的D(i,j)所对应的数据，其中右半部分用黑色表示 的数据，代表后续一帧图像的数据，与左半部分的数据类似。 2021-7-316 2021-7-317 5.7 5.7 运行模式运行模式 l 有7种不同的运行模式。在

12、任何一种模式下，全部基本模块同时 并行运行。 mode 44mode 42mode 24mode 22mode 21mode 11mode 12 00 01 02 03 10 20 30 11 21 31 12 22 32 13 23 33 图4 七种不同的运行模式 l 一个基本模块除可看成一个4*4的方阵外，还可看成一个2*8的矩 阵，或是一个1*16的行向量。用8个基本模块组成1个8*16的模块时， 每个基本模块是这个8*16模块中的1行，8行电路同时运行，得到8 个行的MAE，把它们加起来便是整块图像的MAE。用8个基本模块 组成1个16*8的模块时，每个基本模块是这个16*8模块中的2

13、行，等 等。 2021-7-318 5.7 5.7 运行模式运行模式 l 表3是用4个基本模块 组合成一个8*8模块时， 前2行（1个基本模块） 的工作时序表，电路时 延为15个时钟周期，共 需要79个周期完成运算。 事实上，在任何模式下， 电路时延均为15个时钟 周期。时延过后，每个 周期产生一个MAE，共 产生M*N个MAE，总共 需要15+M*N个时钟周 期完成运算任务。 数 据 行 列（第一处理单元行） 0123456789 1 0 1 1 1 2 1 3 14 00123456789 1 0 1 1 1 2 1 3 14 189 1 0 1 1 1 2 1 3 1 4 1 5 1 6

14、 1 7 1 8 1 9 2 0 2 1 22 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 30 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 38 4 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 46 5 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 5 2 5 3 54 6 4 8 4 9 5 0 5 1 5 2 5 3 5 4 5

15、5 5 6 5 7 5 8 5 9 6 0 6 1 62 7 5 6 5 7 5 8 5 9 6 0 6 1 6 2 6 3 6 4 6 5 6 6 6 7 6 8 6 9 70 数 据 行 列（第二处理单元行） 0123456789 1 0 1 1 1 2 1 3 14 189 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 22 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 30 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3

16、 5 3 6 3 7 38 4 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 46 5 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 5 2 5 3 54 6 4 8 4 9 5 0 5 1 5 2 5 3 5 4 5 5 5 6 5 7 5 8 5 9 6 0 6 1 62 7 5 6 5 7 5 8 5 9 6 0 6 1 6 2 6 3 6 4 6 5 6 6 6 7 6 8 6 9 70 8 6 4 6 5 6 5 6 6 6 7 6 9 7 0 7 1 7 2 7 3

17、7 4 7 5 7 6 7 7 78 表3 4*4基本模块组合成8*8模块时的工作时序图 2021-7-319 5.7 5.7 运行模式（续）运行模式（续） l 表4(a)和表4(b)分别表示在模式mode22下，电路中2个基本模块内 部，前32个时钟周期所对应的数据流，这2个基本模块分别对应8*8 模块的第0、1行和第2、3行，图中红色数据表示输出的时间和处理 单元的位置。将4个这样的基本模块的输出全部加起来便可以得到1 个8*8模块的输出。 2021-7-320 2021-7-321 2021-7-322 5.8 5.8 存储组织与控制存储组织与控制 l 图5(a)表示模式mode11下的

18、搜索窗口。图中共有31行、31列，对 应1个16*16模块的搜索窗口。为了方便，我们增加了第31列（用绿 色表示，其中的数据无意义）； l 窗口的左半部分为处理单元提供数据S1（红色），右半部分提供 数据S2（蓝色，见图2）； l 左半部和右半部的数据分别存储在2组共32个大小相同的存储器 里。每个存储器16个单元，每个单元存储2个像素的数据。以左半 部为例，第0行和第16放在0号存储器里，第14行和第30行存放在14 号存储器里，第15行存放在15号存储器里（这个存储器中的数据较 少）； 2021-7-323 5.8 5.8 存储组织与控制（续）存储组织与控制（续） l 第0-15行和第16

19、-30行分别位于相应单元的高位部分和低位部分。 这16个存储器同时分别向16个基本模块提供数据； l 图中红色符号（符号的上标是基本模块号，见图4，下标代表搜 索窗口的左半部或右半部）表示的是0时刻左半部分存储器向基本 模块提供的数据在搜索窗口中的位置； l 每经过1个时钟周期，红色符号从左到右移动1次。同时，后一个 存储器（下一行）当前读出的内容被写回到前一个存储器当前的单 元中，而第0号存储器的低位部分写回到第15号存储器的高位部分。 这些操作组合起来，相当于刚刚访问过的数据列由下向上移动了一 行。例如，第2个时钟周期过后，用红色细线围住的数据已经全部 向上移动了一行（见图5(a)）。右半

20、部分与左半部分完全类似。 2021-7-324 5.8 5.8 存储组织与控制（续）存储组织与控制（续） 2021-7-325 5.8 5.8 存储组织与控制（续）存储组织与控制（续） l 图5(b)所示搜索窗口只有23行，相应存储结构与图5(a) 完全一样， 只是第7-15号存储器中分别只存放了16个像素的数据（低位为空）。 2021-7-326 5.8 5.8 存储组织与控制（续）存储组织与控制（续） l 图6(a)是模式mode22下的寄存器组织示意图。图中按列分为4大 块，32个存储器被分为4组； l 搜索窗口由左起第0、第1和第3大块（在图6(a)的最右边）组成。 事实上，第2大块的

21、数据与第1大块的数据完全相同； l 每组前3个（0-2号）存储器存有32个像素的数据，第3号存储器 存有24个有效数据，第4-7号存储器只存储16个有效数据； l 如模式mode11类似，图中红色符号表示的是0时刻左半部分存储 器向基本模块提出的数据在搜索窗口中的位置。以后，每经过1个 时钟周期，红色符号从左到右移动1次。同时，后一个存储器当前 读出的内容被写回到前一个存储器当前的单元中，而第0号存储器 的低位部分被写回到第7号存储器的高位部分。 2021-7-327 5.8 5.8 存储组织与控制（续）存储组织与控制（续） 2021-7-328 5.8 5.8 存储组织与控制（续）存储组织与

22、控制（续） l 图6(b)、图6(c)与图6(a)类似，其中图6(b)中的有效数据在图6所示 的三种模式中最少，图6(c)最多。 2021-7-329 5.8 5.8 存储组织与控制（续）存储组织与控制（续） 2021-7-330 5.8 5.8 存储组织与控制（续）存储组织与控制（续） l 图7(a)是模式mode44下的寄存器组织示意图。图中按列分为8个 大块，每1个大块由4个存储器构成1个存储器组； l 搜索窗口由左边4个大块和最右边1个大块组成。左起第1、2、3 大块的数据与第4、5、6大块的数据分别完全相同； l 每组只有0号存储器存有28个有效数据，其它存储器均只存储了 16个有效

23、数据。 2021-7-331 5.8 5.8 存储组织与控制（续）存储组织与控制（续） 2021-7-332 5.8 5.8 存储组织与控制（续）存储组织与控制（续） l 图7(b)中每组第0号存储器存有32个有效数据，1号存储器存有28 个有效数据，其余的2号、3号存储器只存储16个有效数据。 2021-7-333 5.8 5.8 存储组织与控制（续）存储组织与控制（续） l 图8表示在不同工作模式下，如何控制搜索窗口内的数据在存储 器中移动。 2021-7-334 5.8 5.8 存储组织与控制（续）存储组织与控制（续） l 存储组织：为了 方便表述，对存储 器使用了不同的编 号方法，其相

24、互之 间的关系由表5所 示 。 对应搜索窗口左半部（S1）对应搜索窗口左半部（S2） DMA 传送 数据 移动 对应基 本模块 DMA 传送 数据 移动 对应基 本模块 00001000 21103110 42205220 63307330 84019401 1051111511 1262113621 1473115731 1680217802 1891219912 201022211022 221132231132 241203251203 261313271313 281423291423 301533311533 表5 各种情况下存储器的编号方法 2021-7-335 5.8 5.8 存

25、储组织与控制（续）存储组织与控制（续） l DMA控制：设想主控CPU采用DMA方式向本设计中的存储器装 载图像数据（包括参考图像数据和搜索区图像数据）； l 主CPU把搜索窗口内数据分为两部分（在图5、6、7中为用粗实 线分开的上下两块），并将对应行、列的数据组装成一个字，其中 前16行的数据位于字的高位，而16行以后的数据则位于字的低位； l 装载顺序按图像块从左至右、自上而下； l 在某些模式下，一个像素的数据可能要存储在多个不同的存储器 中。这时，我们将相关存储器的“片选”信号通过多路开关连接在 一起，把相同的数据同时一次性地写入到多个存储器中。 2021-7-336 5.8 5.8 存储组织与控制（续）存储组织与控制（续） l 图9为DMA传送时的地址控制原理图。图中有3个可编程计数器，