（电工理论与新技术专业论文）基于fpga的视频处理ip核设计.pdf

a b s t r a c t t h i sa r t i c l er e c o m m e n d e dt h ed e s i g no ft h ev i d e od e a l i n gi pc o r eb a s e do nf p o a t h i si pc o r er e a l i z et h em o d u l eo ft h eh 2 6 4c o d i n gs y s t e mt h a tc a l c u l a t ea b o u t9 0 a l g o r i t h mt i m e t h i sm o d u l e i st h ee s t i m a t em o d u l ei n s p o r t f i r s t l y ，t h ea r t i c l e a n a l y z e st h e c u r r e n t p r e v a i l i n gf p g as t r u c t u r ea n dt h ec h a r a c t e ro ff p g a ，a n d r e c o m m e n d st h ei pc o r ed e s i g np r o c e d u r e s e c o n d l y , t h ea r t i c l ee x p l a i n st h ek e y a l g o r i t h mm o d u l eo ft h eh ，2 6 4c o d i n gs t a n d a r d s p o r te s t i m a t em o d u l ea n dh o w t o r e a l i z ei t t h ea r t i c l ea n a l y s i st h es p o r te s t i m a t em o d u l ea n dt h em o d u l ei n v o l v e s d e t a i l e d ，a n di t l t r o d u c e st h er e a l i z a t i o no ft h cs p o r t e s t i m a t ea l g o r i t h mm o d u l eb a s e d o nf p g ad e v i c e t h ea r t i c l eg i v e ss y s t e mg r a d er e a l i z a t i o nb l o c kd i a g r a ma n dt h e m o d u l ei n t e r l a c ef i g u r e t h er e a l i z a t i o no ft h el o g i cg r a d eg i v e st h eb l o c kd i a g r a mo f t h es y s t e ma r c h i t e c t u r e i ti n t r o d u c e st h ed e t a i ll o g i cd e s i g nm e t h o d f i n a l l y , i ti s p r o v e dt h a tt h ed e s i g nm e t h o di sc o r r e c ta n df e a s i b l ef o rt h ek e ya l g o r i t h mm o d u l e w h i c hi ss i m u l a t e db yt h es o f t w a r e t h i sd e s i g nc a nm a d ei n t oi pc o r eu s e di nh 2 6 4 a n dt h ec o d ec a nb er e u s e db yt h es y s t e m w ec a r ip r e d i c tt h a ti tn o to n l yh a s f a r r e a c h i n gr e a l i s t i cm e a n i n g ，t b u t ：a l s oh a v ei n e s t i m a b l em a r k e tp r o s p e c t s k e y w o r d s ：f p g a ，h 2 6 4 ，i pc o r e t b m a 西北r 业大学硕士学位论文 第一章绪沦 第一章绪论 1 1 课题研究背景和来源 在低速信道上实现动态视频编码技术是目前视频处理领域的个研究热点， 为了让更多的多媒体信息进行在网络中传送，就必须对视频信息进行高效的压缩。 目前视频眶缩技术日趋成熟，出现了一系列压缩编码的国际标准，如针对宽带信 道的h 2 6 l 、m p e g l 、m p e g 一2 等都是基于s d n 、a t m 等宽带信道的，而针对窄带 信道的h 2 5 3 、m p e g 一4 、h 2 6 4 是基于低于6 4 k b i t s 的信道的。甚低码率 ( 6 4 k b i t s ) 是视频压缩的最后一个比特率范围，它在应用中的巨大潜力已日益 被人们所认识，如在p s t n 传送可视电话及监控，存移动网上传送各种可能的视频 音频业务。因此基于窄带信道的甚低码率视频编码技术将大有可为。 h 2 6 4 协议最初是由i t u t 起草的，在未来将成为i t u t 和m p e g 4 的联合标 准。h 2 6 4 因为提供了很高的编码压缩效率、友好的面向网络的接口，将成为下一 代新的视频编码标准。但是编码效率很高的同时，其算法的复杂度也提高了四倍， 这在很大程度上限制了它的实现。因此必须针对硬件的实现做改进和优化。h 2 6 4 的最初测试模型( j m ) 是为了取得高的编码效果而设计的。在这个测试模型中，有 很多的算法需要很大的运算量，但是编码效率的提高却不多，并且很多模块之间 是数据相关的，这。点限制了用并行处理加速硬件的实现。以前有文章分析过这 种新的视频编码的复杂度。但是这些研究大多是通过软件的分析得到i i 2 6 4 算法 的复杂度的。这些结果对在软件中的应用是精确的，但是当涉及硬件设计的并行 处理时，就4 i 再适用了。经过试验比较可以得出，在h 2 6 4 硬件实现上的关键点 是预测部分，因为此模块所占的计算时间儿乎是总时问的9 0 ，所以对预测部分 的运动估计模块算法的改进就显得格外重要，本文就将改进的运动估计模块算法 在硬件上得以实现。 1 2 课题意义 相应于甚低码率视频编码技术的迅猛发展，随着微电子技术的发展用可编程 逻辑技术把整个系统放到一块硅片上己完全成为可能，称作s o p c 。可编程片上系 统( s o p c ) 是一种特殊的嵌入式系统：首先它足片上系统( s o ( = ) ，即由单个芯片 完成整个系统的辛要逻辑功能；其次，它足可编程系统，具有灵活的设计方式， 可裁减、可扩充、可升级，并具备软硬件在系统可编程的功能。目前( 1 1 3 微米的 西北i 一业人学硕十学位论文 第一章绪论 a s t c 产品制造价格仍然相当昂贵，相反，集成了硬核或软核c p u 、d s p 、存储器、 外围i o 及可编程逻辑的s o p c 芯片在应用的灵活性和价格卜有极大的优势。s o p c 被称为“半导体产业的未来”，而具备高集成度、高速和商可靠性的f p g a 器件正 是实现s o p c 的基石，其时钟延迟可达纳秒级，结合其并行工作方式，在超高速应 用领域和实时测控方面有非常广阔的应用前景。 因此基于f p g aj 1 ：发具有自主知识产权的i p 核实现h 2 6 4 编码，不但为视频 信息高效的压缩提供了必要的保障，而且对于发展、振兴中国电子工业，进而推 动整个信息产业的腾飞具有重要意义。同时，s o p c 设汁也为国内的i c 设讨人员 提供了一个崭新的、充满希望的发展空间。 1 3 论文内容和结构 本文具体阐述了h 2 6 4 编码标准中的核心算法模块( 运动估计模块) 基于 f p g a 器件的实现过程。详细分析了运动估计模块涉及到的关键算法：用于估计运 动向量的块匹配算法( b m a ) 、宏块模式划分算法以及1 4 像素的插值。并且介绍 了运动估计模块算法基于f p g a 器件在系统级与逻辑级上实现的过程。 本文章节结构安排如下： 。 第一章简单介绍了本文的课题研究背景和来源、课题意义和论文内容与 结构。 第：二章简单介绍了f p g a 的技术。 第三章主要介绍h 2 6 4 的编码标准。 第四章主要介绍核心算法基于f p g a 的实现。 第1 i 章主要介绍了系统的仿真结果。 曲北【业大学硕 学位论文 第二章f p g a 技术简介 # - 自e = = ! ! s 自e = = = 日= t = e l e = g 目e = = = j i 一_ 第二章f p g a 技术简介 2 1 引言 随着大规模集成电路技术的迅速发展，数字电路的设计也出现了很多新的思 路和方法。现场可编程门阵列( f p g a ) 的出现，更是带来了巨大的变革。f p g a 是 种可以由用户自行定义配置的高容量密度的专用集成电路( a s i c ) 。如图2 1 列如了 它在数字电路中的分类位置。 图2 1 数字电路分类图 ”f p g a 在集成电路 厂罩生产，然后由用户利用专门的开发系统，根据特定的 应用要求，在现场进行设计编程，从而在一个f p g a 器件中实现了以往需要大量门 电路与逻辑器件才能实现的功能。对于某个具体的任务，f p g a 可以有针对性的设 计专用的数字电路完成计算及时序逻辑等工作。而且许多f p g a 是可以无限制的重 新编程的，加载速度也非常快。因此，它既有定制i c 的优点，同时又具有极大的 灵活性。f p g a 的这些特点使其与单片机相比有很多优势，因此受到工程界广泛重 视。近年来，在电力电子系统中f p g a 的应用也同益增多。 2 2f p g a 的结构与特点 f p g a 的主要由三部分组成：可编程逻辑块c l b ( c o n f i g u r a b l el o g i cb l o c k s ) 、 荫此1 1 业大学硕十学位论文第二章f p g a 技术简介 输入输m 模块l o b 和可编程内部连线p i c ( p r o g r a m m a b l ei n t e xc o n n e c t ) 。f p g a 采 用了逻辑单元阵列( l c a ) 的结构，使之具有门阵列和p l d 的双重特征。l c a 通过内部 的可编程布线通道把c 【月按设计要求连接在一起实现综合阵列中的逻辑功能。f p g a 的逻辑功能的配置基于内部阵列分布的s r a m 原理，通过对分布的s r a m 进行不同的 加电配置，来决定各个部分的逻辑定义。即由加载t - s r a me 的数掘来决定和控制 各c i b 、l o b 及p l c 。l c a 叮以加载新的数据配置s r a m 单元，从而实现芯片的新的逻 辑配爱，因此，f p g a 可咀不断更新反复使用。f p g a 具有很多自由的门，通过这些 门的联接可以根据需要形成许多加法器、乘法器、寄存器、地址发生器等等。而 且许多常用的算法比如快速傅立叶变换等已经由开发工具定制好。f p g a 还包含大 量实现组合逻辑的资源与相当数量的触发器，可以完成较大规模的组合逻辑电路 设计和较复杂的时序逻辑功能。与单片机或者d s p 相比，f p g a 的这个特点非常适合 于在短时间内完成复杂的大计算量的任务。例如，当采样率超过几m h z 时，d s p 仪 能对数据进行简单运算。而这种计算用f p g a 很容易实现，其采样率呵以高达上百 m t l z 。 但是，f p g a 主要适合于完成计算最大、计算结构简单、重复计算多的任务。 对于整体上较为复杂的程序，f p g a 目前还不能很好的胜任。因此一般的方案都是 f p g a 午f f 微处理器协作应用，发挥各自的优势。 2 3f p g a 的设计 “。f p g a 的设计大体上有设计输入、设计综合、设计仿真、设 实现和配置下 载几个步骤。曰前，有很多e d a 的工具可以用于f p g a 的设计，大大简化了设计过 程。 2 3 1 设计输入 。”f p g a 的设计输入可以使用原理图和硬件描述语言h d i 。输入两种方式。原理瞄 输入在顶层设计、数据通路逻辑、手工优化电路方面具有图形化的优势，可调用 所用f p g a 厂家的元件库，可以直观的形成硬件电路。而h d l 是当前设计大规模集成 电路的主要方式，各f p g a 厂家也推出了自己的专用标准的h d l 。它在状态机、控制 逻辑和总线等方面功能较强，可以简化操作过程，提高输入效率。用h d l 描述的电 路在可以用具体硬件电路来较好的实现。现在常用的方式是以h d l 语言为主，原理 图为辅，进行混和设计。近年来出现的很多图形化h d l 设计r t 具，把二者结合在一 起，可以把逻辑结构图、状态转移图、数据流图、控制流图等图形转换成相应的 两北1 业大学硕十学何论文 第二章f p g a 技术简介 h d l 语言描述的文本。由f p g a 厂家提供的7 1 ：发软件设计了与很多第三方软件的接 l i 。用户可以使用自己习惯的第三方软件进行设计输入，然后通过接口导入开发 软件进行布局粕线等。布局工作完成后，还可以将生成的文件导出到第三方软件 进行后续处理。 2 3 ，2 设计综合 对于输入的h d i j 文件，依照它所描述的逻辑功能要求和必须满足的约束条件， 对奠进行计算机优化处理，得到一个符合要求的电路设计方案，就是设计综合的 过程。综台的过程是由厂家提供的设计综合器来完成的，它得到的是同时满足预 期功能和约束条件的硬件电路的实现方案。这个方案可能有多个，综合器会在用 户的指令下或者自动产生一个接近最优的方案。由s y n o p s y s 公司提供的综合器 f p g a c o m p i l e r 是目前一个比较完善的f p g a 逻辑分析、综合和优化的工具。它对未 经优化的输入文件，按照s y n o p s y s 标准的h d l 语言规则自动进行分析并纠正语法错 误。然后以选定的结构和器件为目标，对h d l 和f p g a 网表文件进行逻辑综合。对 于较大的设计模型，还可以采用层次化方式进行综合，先综合下级模块，再综合 上级模块。最后根据用户的设计约束进行逻辑优化，产生一个优化的f p g a 网袋文 件，供后续的f p g a 设计专用软件进行布局和布线。综合完成后，综合器会输出报 告文件，列出综合状态与结果，比如资源的使用情况、综合后的层次等，供用户 参考。 2 3 3 设计仿真 要成功的进行f p o a 应用系统的设计，在过程中就至少需要两次仿真。一是逻 辑功能仿真，即对综合后得到的结果进行功能性的验证，考察所设计的系统逻辑 图有无错误，能否达到设计的功能要求，而不考虑硬件电路的影响。二是对布局 布线，也就是下一节中的设计实现后所进行的时序仿真，这里要考虑不同的布线 方式、分区规划和硬件电路所产生的各种对延对系统功能的影响。仿真是f p o a 设 计中的重要一步工作。f p g a 和第三方厂家都提供了不同的仿真工具，用户可以根 据需要选择。 2 3 4 设计实现 在经过了功能仿真后，就要利用实现工具把逻辑映射到目标器件的资源中去， 确定逻辑的最佳布局，选择逻辑与输入输出模块连接的通道并进行布线，最后产 两北i 一业大学硕埒e 位论文 第二章f p g a 技术简介 生相应的配置文件和报告。通常可分为以下几个步骤： ( 1 ) 映射：把嘲表文件中的逻辑门映射成物理元素，即由原理性的逻辑设计得 到可编程逻辑阵列中可以配置的逻辑块、输入输出块以及其他资源的配置。 ( 2 ) 布局与布线：布局是指从映射中取出定义的c l b * nt o b ，并把它们分配到 f p g a p h 部的物理位置。布线是指利用自动布线软件使用的布线资源选择路径完成 所有的逻辑联接。布局和布线的工怍，把前面的逻辑原理图转化成t f p g a 内部实 际的硬件电路。 ( 3 ) 时序提取：曰盼的设计实现工具都足时序驱动的，在布局布线过程中同时 提出时序信息形成报告，以供后续的时序仿真使用。 ( 4 ) 配置：形成下面f p g a 配置过程中所需的位流文件。 2 3 5 下载实现 在功能仿真与时序仿真都正确的前提下，就可以把前面设计得到的配置文件 f 载到f p g a 芯片中了。一般有两种方式：可以直接由计算机经过专用的下载电缆 进行配置下载；也可以由外置芯片进行上电时的自动配置。由于f p g a 在掉电后会 丢失信息，所以必须由外部进行下载配置。初期可以由计算机下载进行验证，通 过后再烧录到配置芯片中。把位流文件下载到f p g a 器件内部后，可以进行实际的 物理电路的测试，验证整个设计的最终正确性。 2 3 6i pc o r e 的设计流程 在s o c 设计中，基于f p g a 器件设计工艺的发展使得越来越多的功能集成到一个 芯片成为可能。为实现这一目标，有一种非常实用的s o c 设计方法，称为基于核的 设计，它将系统的功能划分为不同的核，采用i p ( i n t e l l e c t u a lp r o p e r t y ) 核柬完 成特定的设计功能。 i pc o r e 的设计流程主要是针对i p 的生产开发而言。根据v l s i 设计思想和i p c o r e 设计的特殊性，一般认为i pc o r e 的设计可划分为设计规范的建立、行为建模 与测试、模块的划分、模块的硬件( h d l ) 描述实现、i pc o r e 的h d l 牛成、综合验 证、i p 的实现和封装等几个部分。其中i p 的验证在设计规范建立之后可与模块化 分、模块的硬件( h d l ) 描述实现并行进行，如图2 2 所示为i pc o r e 的设计流程。 2 4 本章小结 本章介绍了f p g a 的结构与特点，并且给出t f p g a 的设计过程及t pc o r e 雕j 设计 6 西北i 业大学硕士学位论文 第一二章f p g a 技术简介 = ! = | ! _ = = = ! = = 自e ! ! = ! 目e = ! ! j t ! = ! = t e ! 一e 一： 流程，根据这个设计流程我们就可以将后面利用v h d l 语言所编写的基于f p g a 器件 的h 2 6 4 算法核心模块封装成i p 核，柬完成基于f p g a 的视频处理i p 核设计。 图2 2i pc a r e 的设计流程 曲此k 大学硕十学位论文 第二三章h 2 6 4 编码标准介绍 第三章h 2 6 4 编码标准介绍 3 1 h 2 6 4 编码标准的发展历程 在制定完最初的h 2 6 3 标准之后，】1 【j t 的视频编码专家( v c e g ) 将开发工作分 为两部分：一部分称为“短期”计划，目的是给h 2 6 3 增加一些新的特性( 这一计划 定出了h _ 2 6 3 + ，h 2 6 3 + + ) ；另一部分被称为“长期”划，其最初的目标就是要制定 出一个比当时其他视频编码标准效率提高倍的新标准。这一计划在1 9 9 7 年开始， 其成果就作为h 2 6 4 前身的h 2 6 l ( 起初叫h 2 6 3 l ) 。在将近2 0 0 1 年，由于h 2 6 l 优 越的性能，i s o i e c 的m p e g 专家组加入到v c e g 中来，共同成立了联合视频小组 ( j v 。i ) ，接管了i t 2 6 l 7 r 发工作。这个组织的目标是：研究新的视频编码算法，其目 标足在性能上要比以往制定的最好的标准提高很多。 这一标准i f 式成为国际标准是2 0 0 3 年3 月在泰国举行的j v t 第7 次会议上通过 的。由于该标准是由两个不同的组织共同制定的，因此有两个不同的名称：在i t u t 中，它的名字叫h 2 6 4 ；而在i s o j f c 中，它被称为m p e g 一4 的第1 0 部分，即高 级视频编码( a v c ) 。h 2 6 4 的应用场合相当广泛，包括可视电话( 固定或移动) ，实时 视频会议系统，视频监控系统，因特网视频传输以及多媒体信息存储等。 目前在国际上，加拿大的u bv i d e o 公司开发出一套基于t m s 3 2 0 c 6 4 x 系列的 h 2 6 l 实时视频通信系统，它可以在1 6 k b i t s 的码率下获得与1 1 2 6 3 + 在3 2 0 k b i t s 下相同的图像质量。另一家加拿大公司v i d e o 。o c u s 通过在系统中插入一块基于 f p g a 的硬件扩展卡，在p 4 平台上实现了h 2 6 4 的实时编解码。 3 2h 2 6 4 a v c 最小系统定义 i i 2 6 4 a v c 协议可以分为3 个子集，即基本层、主要层和扩展层。基本层只 包含了实现h 2 6 4 & v c 协议的最基本的模块。主要包含有i 帧编码、p 帧编码、 c a v i 。c 、s 1i c e 结构划分以及冗余帧编码4 个大的模块。为了提高编码系统的适应 性和码流的鲁棒性，协议标准又在基本层之上定义了主要层和扩展层。主要层在 基本层的基础上去掉了s i i c e 结构划分及冗余帧编码部分，而添加了b 帧编码、 权重预测、场图像场宏块的编码以及c a b a c 等模块。而扩展层则是在基本层的基 础上添加了b 帧编码、权重预测s p 与s i 帧编码和对s l i c e 进行分区编码与差等 保护等模块。 实际卜，基本层协议子集从较细的角度来划分，应该可以划分为以下3 1 个模 i j t i 4 k , j 一业火学硕士学位论文 第二章h 2 6 4 编码标准介纠 块：9 种模式4 x 4 亮度块帧内预测、4 种模式1 6 x 1 6 亮度宏块与8 x 8 色度块帧内预 测、帧内预测模式选择、整像素运动估计、1 4 像素插值、1 4 像素运动估计、帧 间预测块模式选择、多参考帧预测、参考帧缓存管理、运动矢量的时空域预测、 4 x 4 a c 系数块整数变换、2 x 2 d c 系数块h a d a m a r d 变换、分级鼍化、4 x 4 a c 系数块 整数反变换、2 x 2 d c 系数块t t a d a m a r d 反变换、分级反量化、z 形扫描、游程编码、 u v l c ( 或c a v l c ) 编码、序列参数集、图像参数集、s 1 i c e 封装、n a 。u 封装、a n n e x b 封装a r p 封装、解块效应滤波器、f 、伪随机i n t r a 宏块刷新、码率控制、补 充增强层、冗余帧编码、漏桶缓存设计。 t h 2 , 进入步骤3 ，否则，进入步骤5 。 3 ) 以预测点为中心，确定一个7 x 7 的搜索窗。假设搜索窗内s a d 的分布是单 调的，采用步长由粗到精的矩形搜索。首先取s t e p = 2 ，搜索中心点及周围九个点； 4 ) 以最小m c o s t 对应点为中心点，步长减半，s t e p = l 搜索中心点及周围九 个点，取最小m c o s t 点刈应位移矢量为最佳运动矢量； 5 ) 以预测点为中心，确定一个5 x 5 的搜索窗。假设搜索窗内s a d 的分布是单 调的，取s t e p = l ，搜索中心点及周围九个点：以最小m c o s t 对应点为中心点，继 续以s t e p = l 搜索中心点及周围九个点，取最小m o o s t 点对应位移矢量为最佳运动 矢量： 6 ) 在搜索每一个候选点时，采用搜索中途截止策略，比较m c o s 与门限 当m c o s t ( i 时，搜索截止，取当前搜索点对应位移矢量为最佳运动矢量。 ( 3 ) 搜索窗中心预测不成功时的处理 在大多数情况下，采用以上5 种预测方式预测得到的预测矢量进行择优后总 能很好的落在全局最优点附近s a d 单调的区域之内。然而会有极少数情况下，预 测值与最优点偏差较大。例如当前块的运动矢量与各种模式下的预测矢量相关性 都很小，或当候选预测矢量集合中的矢量过少时，会导致预测不成功。如果对当 前块的运动矢量预测值与真实的最佳矢量偏差太大，在6 x 6 的搜索窗内进行有限 的搜索会导致陷入局部最小点或边界极值点，影响运动估计精度。因此必须对运 动矢量预测是否成功进行有效的判断。最直接的判断方法是设置一个门限值，将 候选预j 贝4 矢量对应的最小s a d 与门限比较，如果小于门限则说明s a d 已经收敛到 一定程度，预测矢量与最优矢量位于同一单调区域内，可以判定预测成功，否则 判定预测不成功。这罩门限定义为： t h r e s h o l d = ，s 爿d ，“$ ( 1 + b e t a ) ( 2 ) 其中删为鲫口的预测值，这罩采用u p l a y e r 预测、相邻参考帧预测和空 问中值预测三种方式来得到鲥毋。 1 ) s a 历，。的中值预测 如图4 一所示，若当前块为e ，用到左邻、卜邻、右卜邻三个块a ，b ，c ，对 应各相邻块的m v 为枷，m 名， 形，相应的s a d 为鲥珥，刚畴，a n d 旦堕型人学硕士学位论文 第四章基于f p g a 核心算法模块的实现 。5 2 2 2 2 2 2 2 2 2 2 。2 2 _ ! ! = 自= e ! ! = ! = 自! = 自! e 。- ! ：! ： 删d ，则翻倪的预测值为： s a d ，“一m d = r a i n ( s a d h 。e d * a p ，s a d 。m 。) ( 3 ) 其中： 剐d k 。= 矗d ( z x m e d i a n ) v x m e d i a n = m e d i a n ( m v a ( z ) ， ，( 工) ， ，打：( 工) ) s a d 叶一。，= ，“n ( v y m e d i a n ) v y m e d i a n = m e d i a n ( m v _ ( y ) ， 彳( y ) ，m y , ( y ) ) f 毛n ( m v a ( x ) ) = ，品( m 圯( 一) ) = s a 见 毛。( a 叱( z ) ) = 氏。( 形( y ) ) = s a 玩 ( 4 ) l 厶n ( a 形，( 力) = 矗。( 形( 朔= s a 嘎 即取m 圪，a 盯；，m f , ，中x 分量为中间值的运动矢量对应块的s a d 与y 分量为中间值的运动矢量对应块的s a d 的最小值作为预测值翩d 。， 2 ) u p l a y e r 预测 u p l a y e r 预测的方法很简单，只需用相同宏快的大尺寸块的s a d 除以2 去预 测小尺寸块的s a d 就_ j 以了。 s a d l = s a d 【j 口i 。f 2 3 ) 相邻参考帧预测： 假设当前块位于第t 帧，当前参考帧为t f f f f 一，j 帧，当前块对应参考 帧t 十，的s a d 为蜊，则 s a d p 。dn 亍s a d ” 0 6 j 1 s a d 的预测方式选取原则如下： 如果参考序号 0 时，采用相邻参考帧预测 否则，如果当前块尺寸小于 1 6 1 6 ，采用u p l a y e r 预测；否则，采用中值预测。 如果直接采用s a d 。作为l 】限有些严格，会导致大部分块的中心预测被判 定为不成功，从而无法进入小搜索窗进行局部搜索。因此需要加入一个调节参数 a l p h a ，来扩大门限。设定a j p h a 调节参数，通过对a l p h a 取不同的值，米获得预 测成功与否判定门限t i l l 和搜索窗尺寸决定门限t h 2 ： t i l l = s a d + ( 1 一a l p h a l ) + b e t a ( 7 ) t h i = s a d + ( 1 一a 咖h a 2 ) + b e t a ( 8 ) 其中a l p h a 为调节参数，对于7 种块模式，分别有：a l p h a l = 0 0 1 ，0 0 1 ， 0 0 l ，0 0 2 ，0 0 1 3 ，0 0 3 ，0 0 4 ：a l p h a 2 = 0 0 6 ，0 0 7 ，0 0 7 ，0 0 8 ，0 1 2 ， 0 】i ，0 1 5 。b e t a 为常数，对于7 种块模式，分别有：b e t a 乏9 2 ，1 4 6 ，1 4 6 ， 2 l 西北l 业人学硕l ：学位论文 第四章基于f p g a 核心算法模块的实现 7 3 。 如果预测成功，采用2 2 中介绍的7 x 7 或5 x 5 搜索窗内的2 步矩形搜索即可： 如果预测不成功( 大部分预测不成功的情况都出现存候选矢量集矢量过少时) ，运 动矢量的搜索在原始搜索窗范围内展开，采用步长s t e p = 4 ，2 ，l 的三种步长分层搜 索确定运动矢量。全局搜索与传统的3 步搜索很相似，只不过将3 步搜索中步长 为8 ，4 的两步合为步，采用步长为4 的5 组搜索点代替。如图4 1 0 所示，将 当前搜索窗分成5 个区域( 互相有重叠) ，首先采用s t e p = 4 在5 个区域罩搜索一 共4 1 个点，然后以4 1 个侯选点中对应s a d 最小的点为中心，步长减半搜索9 个 点，最后再以s t e p = 2 的9 个候选点中s a d 最小的点为中心，取步跃s t e p = 搜索 9 个点并结束搜索。这样全局搜索策略中一共需要搜索4 1 + 9 + 9 = 5 9 个点。 稳，是灞j 强 ，蘸誊；篆 ，侧j 蹁镱毋 i l i ：；“j甓茜；0 ：t 1 1 ) ( o 1 l ( 1 1 ) 、；t - - u - + ：粤，曼。 ot ”：* ot 一 f ir s t s t e d s e c o n ds t e i j t h i r ds t e p l zbquqh l z 图4 1 0c p e t s 算法中大位移矢量的搜索路径 采用c p e t s 法的优点是保持了t s s 法的矩形搜索的特点，便于整个块匹配搜 索过程在硬件结构设计时采用统“的并行处理结构。 ( 4 ) 中途截止策略 根据全零量化块的编码特性，在搜索最佳匹配点的过程中可以采用搜索中途 截止策略。全零量化块指的是经过4 x 4 整数变换及量化后所有系数幅值均为0 的 块。如果在运动预测过程中，即变换与量化操作之前能够提前预测这种块，那么 搜索至全零块对应的点时，运动搜索就可以提f ； 截止。因为全零块进行熵编码已 经可以获得最大的压缩率，因此再进行搜索获取更精确的匹配块不会进一步提高 压缩效率，也就没有什么意义了。同时，如果能提前预测全零块，也可以省去这 些块的变换与量化步骤，进一步简化计算。中途截止策略的基本方法就是当搜索 至某一点时，比较对应的块失真s a d 与某一预定门限，若s a d 小于门限时，就停 i 卜搜索，并将该点作为最优匹配点，对应的位移矢量作为最佳的运动矢量。中途 截止策略的关键在于如何确定截止门限。门限定得太小，会使搜索过早停止，城 差块量化后为非全零块，却被误判为全零块，会丢失图像信息，造成不必要的图 西北l 业大学硕t 学位论文 第四章基于f p g a 核心算法模块的实现 像内容损失；门限定得太大，起不到使搜索过程提| j 截止，简化计算量的目的。 通常d c 系数是变换系数块中所有系数幅值最大的，所以如果d c 系数量化后为o ， 则该4 x 4 块成为全零块。心此可以用d c 系数预测全零块。对于4 x 4 块，量化后d c 可 以用下式表示： d c = f ( x ，y ) ( ( 2 “- f ) q e q 。，】【o 】 o ) ( 9 ) r ；0y = o 有z z s ( ，y ) z e i f ( x ，y ) | ，而z z i f ( x ，y ) j 恰好就是4 x 4 块的绝对差之和 0 * ur 一0 ，一0l = 0 ，；o s a d 。因此如果满足式( 7 ) 的条件，则所有系数量化后必定全为零。 ，( x ，y ) l f r a m e t m 0 ，可以采用相邻帧对应块预测，状态机跳至c b p r e d i c t i o n ； 要不然，如果当前不是左边缘或上边缘块，即e l s ei fc ( ) ! = ，0 a n d r o w = 0 ，可以采用空闻中值预测，状态机跳至m e d i a nj r 髓i c t i o n ；以上 条件都不满足时，采用零矢量预测，状态机跳至z e r o p r e d i c t i o n 。 零矢量预测被用于所有情况的块，所以对于前4 种预测方式，当预测点( 以 预测矢量为中心的9 个点) 检查完毕后，应该继续检查零矢量位置周围的9 个点。 所以在u p l a y e rp r e d i c t i o n ，n r fp r e d i c t i o n ，m e d i a n p r e d i c t i o n 状态下， 当m a t c he n d = l 时，状态机跳至z e r o p r e d i c t r o n 。对于做c b p r e d i c t i o n 预测的块，检查完毕时域预测点后，应当判断当前块是否是左边缘或上边缘块， 如果不是，还需进行空间中值预测。因此当m a t c h e n d = 1 时，判断是否 c 0 1 = 0 a n dr o w = 0 ，如果是，状态机跳至m e d i a n p r e d i c t i o n ，否则状态 机跳至z e r o p r e d i c t i o n 。 西北r 业火学硕士学何论文 第四章基于f p g a 核心算法模块的实现 当零矢量预测完成后状念机跳至 u d g m e n 7 1 1 ，对最优预测点的s a d 值与两个 门限c pt h l ，c p _ t h 2 进行比较，以确定搜索窗的大小及搜索步长。当m i i qm c o s t c p t h 2 时，搜索窗取5 x 5 大小，搜索步长取s t e p ：l ，状态机跳至s e a r c hs t e p l ： 要不然当m i n _ m c o s t c p t h l 时，搜索窗取7 x 7 大小，搜索步长取s t e p - 2 ，状态 机跳至s e a r c t t s f e p 2 ；否则，搜索窗取原始大小，搜索步长取s t e p = 4 ，状态机跳 至s e a r c h s t e p 4 。往状态s e a r c h s t e p 4 下，s t e p = 4 搜索完4 1 个点后，步长要减 半以最优点为中心继续搜索9 个点，所以当m a t c h e n d ：i 时，状态机跳至 s e a r c t t _ s t e p 2 。同样，在状念s e a r c h s t e p 2 下，s t e p ：4 搜索完9 个点后，步长 要减半以最优点为曲凸继续搜索9 个点，所以当m a t c h e n d - 1 州，状态机跳 至s e a r c h _ s ，r e p l 。 在搜索的每个步骤，包括中心预测步骤，都要判断候选矢量点是否已经满足 搜索提前截止条件。即对于u p ，a y e rp r e d i c t i o n ，n r fp r e d i c t i o n 。 c b 1 1 r e d i c t i o n ， m e d i a n p r e d i c t i o n ，z e r o p r e d i c t l 0 n ， s e a r c hs t e p 4 ， s e a r c h _ s t e p 2 ，s e a r c l l 一s i 、e p i 八种状态，在跳转到f 一状态之前，首先要检查是 否满足搜索提前截止条件。如果满足，即m i n _ m c o s t a ( 3 ，1 )b ( 2