（精密仪器及机械专业论文）基于TMS320DM642的通用图像处理和传输平台设计(精密仪器及机械专业优秀论文).pdf

摘要 图像是人类能得到的最丰富的信息，图像信息的数字处理和传输又是现代 数字处理的难点之一。本文设计了的基于t m s 3 2 0 d m 6 4 2 的通用图像处理和传 输平台，它具有体积小、功耗低、速度快的特点。课题首先比较了基于计算机、 现场可编程门列阵( f p g a ) 、数字信号处理器( d s p ) 三种不同的图像处理和 传输平台，确定了基于t m s 3 2 0 d m 6 4 2 的方案。其次，由于数字图像编解码技 术最能体现图像处理和传输平台的性能，所以选择了基于h 2 6 4 图像压缩作为 验证软件：在阅读大量文献和标准的基础上，对h 2 6 4 图像压缩标准进行简要 的说明。接下来的硬件设计，是本文的重点和难点，在进行器件选型并详细分 析其功能之后，实现了电路板的设计，并且将很大的精力投入到电磁兼容和高 速电路布线设计上，以保证平台的稳定可靠。完成硬件设计之后，是对h 2 6 4 核心编解码算法的软件实现，本文实现了h 2 6 4 的帧内和帧间算法以及基于运 动补偿的改进钻石搜索法( d s ) 。最后，通过实验验证了软硬件，h 2 6 4 图像编 解码算法达到设计要求，硬件平台长期运行稳定可靠。 关键字：t m s 3 2 0 d m 6 4 2d s p ，h 2 6 4 图像压缩标准，运动补偿，钻石搜索 法 a b s t r a c t i m a g ei st h em o s tp l e n t yi n f o r m a t i o nw h i c hh u m a nc a ng a i na n dv i d e oi st h e m o v i n gi m a g e ，a tt h es a m et i m e ，t h ed i g i t a lp r o c e s s i n ga n dt r a n s m i t t i n go fi m a g ei sa m a i np r o b l e m t h i sp a p e rh a sd e s i g n e dt h eg e n e r a lp l a t f o r mo fp r o c e s s i n ga n d t r a n s m i t t i n gi m a g eb a s e do nt m s 3 2 0 d m 6 4 2 ，i th a sc o m p a c ts t r u c t u r e ，l o wp o w e r a n dh i g hs p e e d c o m p a r e dw i t ht h r e ep l a t f o r m so fp r o c e s s i n ga n dt r a n s m i t t i n gi m a g e b a s e do nc o m p u t e r , f i e l dp r o g r a m m a b l eg a t ea r r a y ( f p g a ) a n dd i g i t a ls i g n a l p r o c e s s o r ( d s p ) a tf i r s t ，a n dd e f i n e dt h es o l u t i o no nd s en e x t , t h i sp a p e rc h o s e h 2 6 4v i d e o e n c o d i n ga n dd e c o d i n g s o f t w a r ea s v a l i d a t i n g s o f t w a r es i n c e t e c h n o l o g yo fv i d e oc o d i n gc a nr e p r e s e n tt h eh i g h e s tp e r f o r m a n c eo ft h ep l a t f o r m i t a l s oi n t r o d u c e dh 2 6 4v i d e oc o m p r e s s i o ns t a n d a r ds i m p l ya f t e rr e a d i n gam o u n to f p a p e ra n db o o k sa b o u th 2 6 4 t h en e x ti sh a r d w a r ed e s i g n ，i ti st h ei m p o r t a n c ea n d d i f f i c u l t yo ft h i sp a p e r t od e s i g nt h ep c bb o a r da f t e rc h o o s i n ga n dc a r e f u la n a l y z i n g t h o s eu s e dc o m p o n e n t s ，m a i n l yc o n c e n t r a t e do ne l e c t r om a g n e t i cc o m p a t i b i l i t y ( e m c ) a n dh i g hs p e e dc i r c u i tl a y o u tw h i c hc a ng u a r a n t e er e l i a b i l i t yo fh a r d w a r e p l a t f o r m t h et h i r di ss o f t w a r ei m p l e m e n to ft h ec o r ea r i t h m e t i co fh 2 6 4 ，t h i sp a p e r r e a l i z e da r i t h m e t i co fi n t r af r a m e ，i n t e rf r a m ea n dt h ea d v a n c e dd i a m o n ds e a r c h ( d s ) m o t i o ne s t i m a t e da r i t h m e t i co fh 2 6 4 a tl a s t ，a f t e rt e s t i n gt h es o f t w a r ea n d h a r d w a r eo fp l a t f o r m ，s o f t w a r eo fh 2 6 4i sp r a c t i c a b l ea n dh a r d w a r ei sr e l i a b l e k e y w o r d s ：t m s 3 2 0 d m 6 4 2d s p ，h 2 6 4v i d e oc o m p r e s s i o ns t a n d a r d ， m o t i o ne s t i m a t e ，d i a m o n ds e a r c h ( d s ) 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：彩翼 签字日期：7 口。7 年多月日 学位论文版权使用授权书 本学位论文作者完全了解苤盗盘堂有关保留、使用学位论文的规定。 特授权叁洼盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：弓并墨 签字日期：加吖年岁月日 聊躲如i 谈 签字日期：z 口7 年z 月2 多日 第一章绪论 1 1 课题的提出 第一章绪论 图像就是用各种观测系统观测客观世界获得的并且可以直接或者间接作用 于人眼而产生视觉的主体。视觉是人类从大自然中获取信息的最主要手段。据 统计，人类获取的信息中，视觉信息占6 0 ，听觉信息约占2 0 ，其它方式加 起来才约占2 0 【1 】【2 】。由此可见，视觉信息对人类非常重要。同时，图像又是 人类获取视觉信息的主要途径，是人类能体验的最重要、最丰富、信息量最大 的信息源。 图像的存在方式多种多样，可以是可视或者不可视的，抽象的或者具体的， 适用于计算机数字处理的和不适于计算机处理的。但就其本质来说，可以将图 像分为以下两类，即模拟图像和数字图像。其中，模拟图像包括光学图像、电 视图像等。对模拟图像的处理速度快，但精度和灵活性差，不宜于计算机查找 和判断。数字图像是将连续的模拟图像经过离散化处理后得到的计算机能够辨 识的点阵图像；严格的说，数字图像是经过等距离矩阵网格采样，对幅度进行 等间隔量化的二维采样数组。通常，一幅数字图像是由若干个数据点组成，每 个数据点称为一个像素。数字图像相对于模拟图像来说有三个优点：精度相对 较高，方便处理，易于存储。 数字图像处理就是采用一定的算法对数字图像进行处理，以获得人眼或者 某种接收系统所需图像的过程。数字图像相对于模型图像虽然有明显的优势， 但数字图像处理起来却有一些实际的困难，概括起来包括以下两点： 1 ) 信息量大，要求处理速度较快。比如对于5 1 2 5 1 2 的8 位亮度图像， 需要2 5 6 k 字节数据量；如果要求处理3 0 帧每秒的视频黑白图像，则每秒 需要处理约7 5 m 字节的数据量，因此，对于数字系统的计算速度、存储 容量要求较高。 2 )传输占有带宽高，因为是数字信号并且数据量大码率高，就其频谱而言， 数字图像频谱占用几乎整个频带，所以，对频带压缩技术提出更高的要求。 有鉴于此，数字图像处理必须采用一个有效的方法，借助一些特殊的手段 才能进行有效的处理。 1 2 数字图像处理和传输技术的现状 1 2 1 课题的现状 目前数字图像处理和传输的方法主要有以下三种，基于计算机、基于f p g a 第一章绪论 和基于d s p ，下面对这几种方法进行分别的介绍。 较早的图像处理和传输系统主要包括模拟图像采集部分，模拟图像传输通 道，以及一个带有图像采集卡和相应处理软件的计算机 3 】【4 】。具体如图1 1 ， 其中模拟图像采集部分主要是由c c d 完成，模拟图像传输主要包括同轴电缆或 者模拟光端机，图像采集卡主要负责将模拟图像进行一定的预处理并转换为数 字图像，转换好的数字图像通过p c i 、u s b 等总线传输到计算机，经过相应软 件处理后的数字图像可以存储在相应的媒体介质或者进行传输。这种基于计算 机的图像处理和传输系统处理数字图像相当灵活，主要是因为相关的处理软件 比较多，并且功能也相当强大，比如使用v i s u a lc + + 的图像处理库和m a t l a b 数 学处理软件的图像处理模块，可以很方便的对图像进行处理、格式转换、存储 等。但它也存在一定的不足，比如体积相对庞大，功耗相对大，最主要的是处 理速度一般较慢，因为这些处理软件大都基于庞大的w i n d o w s ，并且w i n d o w s 本身不是实时操作系统。另外，模拟图像本身占有带宽较大( 基带视频信号带 宽约8 mh z ) ，使用同轴电缆较长距离传输高频信息损耗较大，使用模拟光端机 成本又太高。 带图像 数字图 模拟图 卜模拟传卜采集卡 像存储 像采集y输通道v的计算 机 及传输 图1 1 传统图像处理和传输原理框图 使用f p g a 作为核心处理器的数字图像处理系统 5 】【6 】是最近几年发展起 来的一种快速图像处理手段。它的出现是由于近年来大规模集成电路的飞速发 展，比如x i l i n x 公司的s p a r t a n 3 系列f p g a 集成了5 0 0 万系统门，而v i r t e x 一2 和v i r t e x - 4 系列f p g a 集成的系统门更多。使用f p g a 完全是基于硬件处理的， 由于硬件设计上的并行性，多个相同的处理单元可以同时工作，这带来两方面 的好处，一是在外部时钟比较低时就可能完成相应的操作，此时功耗相对小， 如果外部时钟频率较高的话，可以完成更多的处理工作。使用f p g a 作数字图 像处理的最大缺点是不太灵活，这是因为开发软件相对比较单一，一般多使用 硬件描述语言v h d l 、v e r i l o gh d l ，而用过这些开发语言的人都知道，使 用它们编写比较复杂的算法是非常困难的，另外使用硬件描述语言又需要较丰 富的硬件知识，对大多数算法开发者来说是非常困难的。基于f p g a 的图像处 理和传输系统原理图如图1 - 2 ，因为处理部分体积较小，所以，图像采集和处理 第一章绪论 部分可以靠的很近，也就省略了模拟传输通道部分。其它部分和基于计算机的 处理系统非常相似，模拟图像经过视频a d 转换为数字图像信号，经过f p g a 处理后可以存储在媒体介质或者进行传输。 模拟图模数转 卜 f p g a 入 数字图 像存储 像采集换器 及传输 图1 2 基于f p g a 的图像处理和传输原理框图 基于d s p 和基于f p g a 的图像处理和传输系统从结构上来说非常相似，只 是处理芯片由f p g a 换成了d s p 。从硬件上来说，d s p 是专门用来开发比较复 杂的算法，比如f f t 算法，在硬件上包括了f f t 使用的乘加运算和位反转寻址； 但是，一般情况下，d s p 和计算机c p u 一样属于硬件上的顺序执行，速度上不 如f p g a 高。使用d s p 进行软件开发相对f p g a 来说灵活性大，比如使用t i 公司的d s p ，开发工具可以是汇编语言或者c 、c + + 语言，开发难度比硬件描 述语言要小的多。基于d s p 的图像处理和传输系统如图1 3 。 模拟图 八模数转卜 d s p 八 数字图 像存储 像采集 换器 及传输 图1 3 基于ds p 的图像处理和传输原理框图 下面，以表格的形式对这三种系统进行比较。 表1 1系统比较 开发工具 开发难度 体积功耗 速度 成本 v i s u a lc + + 计算机容易大大低 高 或_ t a t l a b 等 d l或 f p g a 最难小小高适中 v e r i l o g d s p 汇编或c适中小小适中低 1 2 2 相关技术的发展 计算机方面，i n t e l 的c p u 双核技术目前谈的最多，它的目的是为了增进 - 3 - 第一章绪论 指令的并行性，也就是单位时钟周期内最多可并行运行两条指令，对于特定程 序来说，运行速度最多增进一倍。但就其本质来说，i n t e l 的c p u 仍然是一个 顺序执行机制，并且它的c p u 中一般没有为实现快速数字处理的特殊硬件，所 以，对大量乘加运算的视频处理算法来说，执行速度仍不理想。 最近几年的f p g a 发展比较迅猛，s o c ( 系统在片) 已经是一个明确的发 展方向。x i l i n x 的v i r t e x - 2p r o 及以上系列的f p g a ，内部集成了d s p 乘 法和加法运算模块，增加运算能力的同时减小开发难度，同时这些f p g a 内部 集成了大量的高速外设接口，如r o c k e ti o 接口速度达到千兆；最主要的是 它们内部集成了p o w e r p c 4 0 5 的c p u 内核，运行速度在3 0 0 m ，执行一条指 令只需3 3 n s 。所有这些改善措施，一方面在增加运送能力的同时，也增加了执 行复杂算法的能力；另一方面也使芯片体积减小，功耗变低。目前的缺憾是开 发软件和仿真工具不太理想。从长远来看，这种f p g a 芯片是发展方向。 电子和相关数字技术的发展，也带来了d s p 的快速发展。比较典型的是 t i 公司的c 6 0 0 0 系列，这种d s p 的c p u 内核采用v c l o c i t i 甚长指令字结构， 也就是通过一个超长的机器指令字来驱动c p u 内部的多个功能单元并行工作。 这种d s p 内部集成了两套乘法、加法、移位、地址生成单元，硬件上保证可同 时执行两次乘加及移位操作，执行复杂算法的能力大大增强。传统的d s p 大都 是运算能力强而接口能力弱，1 r i 公司的d m 6 4 x 系列d s p 的出现改变这种状况， 一方面d m 6 4 x 运行速度达6 0 0 m ，执行一条指令仅有1 6 7 n s ；另一方面，d m 6 4 x 系列集成了包括视音频、1 2 c 、串口和以太网等多种外设，对于图像和音频处理 来说，也实现了s o c 功能。另外，d s p 的开发软件相对f p g a 使用简单，目前 来说，选择d m 6 4 x 系列d s p 进行图像平台的开发是个不错的选择。本课题也 是采用这种方式。 1 2 3 课题采用的方案 一 本课题的目的是设计一个通用的图像处理和传输平台。模拟图像通过c c d 采集，视频编码器( 视频a d ) 负责处理将模拟图像进行预处理，同时将它转 换成一定格式的数字图像信号，然后，数字图像信号通过数字媒体处理器( d s p ) 的视频接口后又处理器进行相应的处理，得到的处理信息最后通过以太网接口 传输到计算机做后续处理。具体方案如图1 4 。 图1 4 通用图像处理和传输平台原理框图 4 l i * 第一章绪论 本课题的验证软件采用数字图像压缩算法h 2 6 4 的核心处理部分。主要原 因是数字图像压缩算法运算量大，算法覆盖的c p u 资源比较全面，更能体现本 处理平台的性能。另一方面，笔者在工作期间，长期从事数字视频通讯的研发， 对这部分相对比较熟悉。 1 2 4 数字图像处理和传输技术的应用 数字图像处理技术已经在许多不同的应用领域中得到重视和发展，比如遥感 图像处理、医学图像处理等，其他的比如计算机图像学、模式识别、人工智能 和机器人视觉等也和图像处理技术密切相关。下面主要介绍它在数字电视和非 接触图像测量中的应用。 数字电视的核心技术之一是图像压缩编码。通过视频编码器转换的数字图 像数据量非常大，目前的数字电视传输带宽远远不能满足。因此，必须对数字 图像数据进行压缩编码，进行图像压缩编码的物理根据是同一帧图像的行间相 关度大，相邻图像帧之间的对应块的相关度大，另外数据的还存在统计冗余。 应用图像编码压缩就是要去除图像间的相关度和冗余，大大压缩图像描述的数 据量，使之适应数字电视的传输通道要求。对于图像通信来说，主要应用包括 数字有线电视和数字会议电视等。 非接触图像测量的主要算法都是通过对图像的处理进行的。通过一定的标 定措施，检测所摄取的物体的特定特征来描述物体表面的三维坐标。目前图像 处理主要由计算机进行，速度上一般比较慢。天津大学精仪学院国家重点实验 室开发的白车身测量系统就是一个典型应用【7 】【8 】。它的原理框图如图1 5 ， 图1 5白车身检测系统原理图 其中电气控制采用c a n 总线，用于控制视觉传感器的图像采集时间和控制激光 器等；网络控制总线用于模拟图像信号的传输：工作站系统主机包括l 2 个图 第一章绪论 像采集卡，将模拟图像转化5 1 2 5 1 2 的计算机可识别的数字图像，工作站系统 主机也包括图像处理软件，用于确定图像特征点的坐标信息。本系统采用模拟 总线传输图像信号，易受干扰；另外，所有的图像处理工作由工作站系统主机 完成，速度较慢，测量一个白车身约1 分钟。采用通用图像处理和传输平台后， 图像在终端完成数字视频转换和一些完成图像模式识别及图像压缩的简单算 法，之后的数据通过工业以太网传输到工作站系统主机；由于此时数据量减小， 所以工作站系统主机检测速度会得到改善。这里，被测物可以是白车身或者大 尺寸船体分割块等：采用通用图像处理和传输平台后系统原理图如图1 - 6 ： 图1 - 6 基于通用图像处理和传输平台的白车身检测系统原理图 1 3 课题的主要工作 本课题的主要目的是通过设计一款通用的高速图像处理平台，实现高速图 像处理设备的微功耗和小型化，为将来的数字图像处理嵌入化打下坚实的基础。 另一方面，通用图像处理平台来熟悉t i 的数字媒体处理d m 6 4 x 系列d s p 的设 计开发过程，为今后的高速图像处理作软硬件应用准备。本课题的主要工作包 括： 1 、检索并查阅了国内外关于数字图像的处理方法、实现手段等相关的文献 资料，并通过对它们进行了分析和归类，确定基于d s p 的图像处理和传输的设 计方案。 2 、另一方面，对于验证软件，查阅了大量的关于h 2 6 4 数字图像压缩方面 的中英文资料，并且分析了h 2 6 4 标准的核心算法所涉及的基本模块和设计方 法。 3 、设计了硬件平台。首先进行原理图设计，在设计开始，首先是器件选型 第一章绪论 以及对器件的主要作用，包括视频编码器t v p 515 0 ，媒体处理器d m 6 4 2 及其 主要的视频和增强型直接内存访问器e d m a 模块，最后是以太网接口芯片 l x t 9 7 1 ；然后分别对电路的不同模块的进行设计。其次，设计了p c b ；由于本 设计属于高速电路，所以在设计过程中，同时考虑了电路板的电磁兼容和高速 电路信号布线。 4 、实现了h 2 6 4 标准核心编解码算法。包括快速4 x 4d c t 变换，帧内图 像压缩变换和图像的快速搜索算法以及帧间编码。另外，包括开发过程中涉及 的t id s p 开发环境c c s 以及基于c c s 的d s p b i o s 实时操作系统也进行了较 深入的研究。 第= 章h 2 “算法的原理目使月 第二章h 2 6 4 算法的原理和使用 模拟视频信号转换为数字视频信号后其信息量相当大。比如对于2 5 帧 5 1 2 x5 1 2 的p a l 制式图像序列，色差格式为4 ：2 ：2 ，每个采用点8 比特量化后， 每秒的数据量约为1 0 0 m 比特。如果直接采用47 0 格式的d v d 光盘进行存储， 则只能存储3 7 6 秒的内容，因此无论是存储还是传输，数字视频都必须经过极 大的压缩才有实际应用意义。 2 1 视壤压缩的可能性 9 】 视频编码的目的是实现对视频的压缩其核心思想是去除相关性。通过减 少视频序列间的相关性，降低视频内容中的冗余用较少的比特数来表示视频 内容，从而实现对视频的压缩。视频序列中的冗余主要有以下几个方面； 1 空间冗余 空间冗余是指在同一帧画面中，相邻的像素间存在的相关性，特别是当这 些相邻像素位于同一个视频对象中时，相关性极强。例如在图像的背景区域。 2 时间冗余 通常对视频序列而言，除非发生场景切换，否则相继帧在时间上都是连续 的。在前后两帧中往往包含与当前帧相同的背景和对象。只是由于镜头的转动 或对象的移动使得空间位置发生变化。运动越缓慢，位置的变换越小。因此视 频序列在时域存在极强的相关性。如图2 - 0 ，图a 和图b 是相邻两帧，图c 是图a 和图b 的差值，灰色部分表示图像相同，较黑和较白的部分表示两帧图 像不同。由这三幅圈可知，连续图像序列的相邻图像间相关相强。 震簋 3 编码冗余 b ) 圈2 - 】连续运动图像及差值 瓣 第二章h 2 6 4 算法的原理和使用 对于编码符号，其平均码长高于所表示信息的信息熵，这个差值就形成了 编码冗余。编码冗余、空间冗余和时间冗余都依赖于图像数据的统计特性，可 以统称为统计冗余。 4 人眼视觉冗余 由于人眼视觉的非均匀性，使得人眼视觉对某些空间频率感觉迟钝。因此 视频中不同频率成分的内容对于人眼系统而言其重要性是不同的。也就是说存 在频域冗余。例如人眼视觉系统对亮度信号变化的敏感性高于色度信号变化。 因此可以对色度分量进行降采样，同时保持主观视觉质量不变。y u v 4 ：2 ：0 色差 格式就是对色度分量在水平和竖直两个方向进行2 ：1 的降采样。另一方面对信 号频域的各个分量可以采取不同的量化步长，将人眼视觉不敏感的分量去除， 而不会引起主观质量的下降。 2 2 视频编码的主要技术 信源编码的方法按照压缩数据能否被准确恢复分为两大类：无损编码和有 损编码。虽然无损编码可以无失真的恢复原始数据，但其压缩效率十分有限。 因此在视频压缩中都是将无损编码和有损编码结合使用。视频编码中主要压缩 技术有以下几种。 1 预测编码 预测编码不是对一个像素直接编码，而是用同一帧( 帧内预测编码) 或相邻 帧( 帧间预测编码) 中的像素数值来进行预测，然后对预测残差进行量化和编码。 显然预测编码实际是利用了图像数据中的空间和时间冗余。线性预测编码又称 为差分脉冲编码调制d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) ，由于算法简单， 易于硬件实现，己被各种视频编码标准采纳作为帧内预测编码。 帧间预测编码的主要方法有帧重复法、帧内插法和运动补偿法等。其中运 动补偿法在视频编码中使用的最为广泛。运动补偿预测通常可以采用单向预测 ( 一个参考帧) ，双向预测( 两个参考帧) 和插值预测( 取两个参考帧预测值的平均) 来实现。由于运动补偿预测可以有效的减少视频序列的时域冗余，因此成为构 成当前主要视频编码标准最基本的技术之一。 2 变换编码 变换编码是构成当前主要视频编码标准的另一项最基本技术，用来消除图 像的频域( 变换域) 冗余【1 1 】。 正交变换编码通常是将空域相关的像素点映射到另一个正交矢量空间，使 第二章h 2 6 4 算法的原理和使用 得变换后的系数之间相关性降低。常见的正交变换有，k l ( k a r h u n e n l o e v e ) 变换、离散傅立叶变换d f t ( d i s c r e t ef o u r i e rt r a n s f o r m ) 、离散余弦变换 d c t ( d i s c r e t ec o s i n et r a n s f o r m ) ，沃尔什哈达玛( w a l s h h a d a m a r d ) 变换和哈尔 ( h a r r ) 变换。k - l 变换是均方误差准则下的最优变换，但实现困难。在现行视频 编码标准中几乎都采用了性能最接近k l 变换的d c t 。实际上当自相关系数为 l 时，k l 变换就退化为d c t 变换。d c t 变换是1 9 7 4 年a h m e d 提出的，它具 有一组固定的基函数( 和图像内容无关) ，以及很好的能量压缩和去相关特性。 d c t 变换和d f t 变换密切相关，n x nd c t 可以由它的偶对称扩展2 n 2 n d f t 变换表达出来，这样利用d f t 变换的可分级特性以及若干f f t 变换算法 中的一个，计算出n x nd c t ，除此之外，目前已经有了许多更为实用的d c t 变换快速算法。由于d c t 变换采用实数计算，加上有效的快速算法出现，使得 硬件实现成为可能，因此被广泛的采用。 2 3 视频编码的h 2 6 4 标准 随着网络和多媒体技术的发展，越来越多的数字视频业务不断涌现，i t u 组织正是为了适应其发展，制定h 2 6 x ( x = l ，3 ，4 ) 视频压缩标准，其中h 2 6 1 是最早制定满足视频电话和电视会议需求；h 2 6 3 标准为了满足低比特率视频 信号压缩需求。h 2 6 4 是最近制定的标准，各方面性能相对以前有了很大提高。 下面对其作简单介绍。 2 3 1h 2 6 4 编码器和解码器原理 h 2 6 4 编码器和解码器的原理框图分别如图2 2 和图2 3 所示，编码器中 也包含了部分解码器模块。编码器包括两个方向的数据流处理途径：一个是前 向( 由左到右) 通道，另一个是重建( 右到左) 通道。编码时，首先把当前帧 f n 划分成小的宏块，而宏块具有帧内和帧间两种模式：帧内模式采用的是根据 当前帧内己编码的宏块进行预测；帧间模式则是采用以往一个或多个帧作为参 考进行运动预测。分块后，对预测值和原始值的差进行变换、量化、重新排序 和熵编码。在解码是，只需对量化系数进行反量化、反变换，并和预测系数相 加，就可得到未经滤波的u f 帧，再对u f 帧进行块间滤波，就可得到当前的重 建i 侦f n 。 第二章h 2 6 4 算法的原理和使用 图2 - 2h 2 6 4 标准编码器框图 解码的数据流处理途径如图2 3 所示，按照从右到左的顺序说明了编码和 解码的相似性。解码过程相对比较简单，对应于编码器的各部分进行反向操作， 结果反量化、反变换后通过滤波器得到输出重建图像。 图2 3h 2 6 4 标准解码器框图 2 3 2h 2 6 4 的关键技术及算法 1 运动补偿 帧间编码是根据图像帧之间具有空间相关性原理实现的，这样可以减小空 间冗余度。如果将连续运动图像的前后两帧相减得到的误差作为编码所需的比 特流，则比直接对图像进行编码所需的比特少，而且帧间误差集中在零值附近， 可以用较短的码字进行传送。 实现帧间编码的方法是运动估计和运动补偿，图2 4 说明了运动补偿的处 理过程，为此，这里详细说明如下： 第二章h 2 6 4 算法的原理和使用 图2 _ 4运动补偿处理过程 首先，利用当前帧在参考帧窗口中寻找最匹配部分，从中得到运动矢量。 然后，根据运动矢量，将参考帧进行位移，求得对当前帧的估计。 将当前帧估计和当前帧相减，就可以求得估计误差，再将运动矢量和估计 误差送到接收端去。接收端根据接收到的运动矢量将参考帧数据作位移( 也就 是对当前帧的估计) ，再加上接收到的误差，就得到当前帧。 实际上，在作运动估计和运动补偿时，是以1 6 1 6 宏块内的图像块为单位 逐个进行的。对每一个宏块都在大小为删+ 2 w x ) ( n + 2 w y ) 的范围内进行搜索， 就可求得最佳匹配，从而得到运动矢量的估值。衡量匹配好坏的标准和搜索方 法有很多种，具体参照第五章的软件实现。 h 2 6 4 支持形状不同的宏块划分。宏块划分方法有1 6 x1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 8 、4 x 4 ，如图2 5 所示。将图像划分为更小的、更多形 状的块，能最切合图形中实际运动物体的形状，这将很好改善运动补偿的精度， 较好地实现运动隔离，提高图像的质量和编码效率。 2 帧内编码 匡匝圈 目匝圈 图2 - 5宏块划分示意图 第二章i - 1 2 6 4 算法的原理和使用 帧内预测可以减少空域和频域的冗余度，获得高的压缩效率。当对宏块进 行帧内编码时，基于4 x 4 的亮度和色度样本有多种预测方式。而对于帧内4 4 模式，每个4 x 4 块中的像素将通过相邻块中已经编码的1 7 个像素( 如图2 - 6 a 中的a q 像素) 进行预测。预测模式分为9 种( 模式0 8 ，如图2 - 6 b ) ，其中， 模式0 为d c ( 平均值) 预测，其他8 种模式为方向预测，下面只对模式0 进行 说明。模式0 有4 种情形： q i j k l m n o p abcdefgh 心彦 刁 蕊 j a ) 像素点分布b ) 模式预测 图2 - 6帧内预测模式 1 ) 若a ，b ，c ，d ，i ，j ，k ，l 均在图像之内，则a p 均由如下公式计算 ( a + b + c + d + i + j + k + l + 4 ) 8 ( 2 - i ) 2 ) 若a ，b ，c ，d 在图像外，i ，j ，k ，l 在图像之内，则a p 所有像素均为 (i+j+k+l+2)4(2-2) 3 ) 与2 ) 相反，若a ，b ，c ，d 在图像内，i ，j ，k ，l 在图像之外，则 (a+b+c+d+2)4(2-3) 4 ) a ，b ，c ，d ，i ，j ，k ，l 均在图像外，a p 均取值1 2 9 。 对于帧内1 6 1 6 模式，被预测的像素用s ( x ，y ) 表示，x ，y = o 1 5 ，被 预测块左邻块的边界像素值为s ( - 1 ，y ) ，y = o 1 5 ，被预测块的相邻块边界像 素为s ( x ，- i ) ，x = o 1 5 。定义4 种预测模式，分别是垂直预测、水平预测、 d c 预测和平面预测，预测方式和4 4 预测相同。 3 变换和量化 h 2 6 4 采用的是准d c t 算法，就是利用1 6 位整数近似计算，但是精度比 较高。正常的d c t 变换核可以表示为 w = f x f t ( 2 4 ) 这里f 和f 都是浮点数。1 6 位整数变换的变换核为 y = ( c x 口) 圆p f( 2 5 ) 第二章i - l 2 6 4 算法的原理和使用 表示矩阵乘，o 表示矩阵点乘，其中 p f = l1 21 1一l l一2 2 a a b 2 2 a a b 2 ll 一12 一ll 2一l a b 2 6 2 4 a b 2 b 2 4 2 a a b 2 2 a a b 2 ，c 7 是c 的转置矩阵。 a b 2 b 2 4 a b 2 b 2 4 ，其中a _ 三，b = 这里的计算牵涉到非整数计算，h 2 6 4 的解决办法是将p f 和量化过程放在 一起。量化后的公式为 乙，z q b i t s ( 2 - 7 ) 第二章h 2 6 4 算法的原理和使用 i q 抽扭q 如扭 这里，厂= 兰- ( 帧内) 或厂= 兰- ( 帧间) jo 由上面讨论的d c t 过程不难推导出，i d c t 的变换公式为 x = c r ( yoe ，) c ，= l l 2 1 2 1 ll 2 一ll ll 11 2c y 。p f 。；2 兰i 一 1 ：2 一j 1 ：2 这里，先计算变换核w _ y pp f ，同时为了避免四舍五入产生误差，引入因 子6 4 ，于是变换核的反量化公式为：w = z i j x q s t e p x p f x 6 4 x 2 f l o o r ( q p 6 ) ， 同时利用i d c t 公式对w 作i d c t 变换，之后再除以6 4 ，得到解码系数值。这里 令v = q s t e p x p f x 6 4 。因为变换矩阵c 。中存在1 2 ，所以将矩阵c 。和c 。乘上2 ，最 后得到的值除以4 后，得到恢复值。 4 去除块效应滤波器 h 2 6 4 采用去除块效应滤波器，应用于所有的宏块。通过对宏块边缘的平 滑滤波，可以减轻视频编码中的块效应。若某块边界两边变化较小，则使用该 滤波器将该差别“平滑”掉；若边界上图像特征差异明显，则不使用滤波器。 这种选择性的滤波器使用方法既减弱了“块效应刀的影响又避免滤掉图像的客 观特征。 5 熵编码 h 2 6 4 使用两种熵编码方法，即自适应变长编码( c a 、厂l c ) 和自适应二进 制算术编码( c a b a c ) 。采用这两种编码，可以去除码流中的统计冗余。 2 4 本章小结 由于通用图像处理和传输平台的验证软件是基于h 2 6 4 编码。所有本章首 先介绍图像编码的基本知识，包括为什么进行图像压缩和压缩的基本方法，然 后，较为详细的介绍h 2 6 4 编码标准的一部分核心算法。通过对它们的应用， 可以充分发挥d s p 的性能，为今后视觉检测中的图像压缩作先期理论准备。 第三章通用图像处理和传输平台的硬件设计 第三章通用图像处理和传输平台的硬件设计 通用图像处理和传输平台的主要功能是将c c d 采集模拟图像经过一定的数字处理 和压缩后，通过i o i o o m 以太网传送到相应的图像解码平台。由于采用h 2 6 4 图像编 码技术，所以处理的图像是运动而且实时的，也就是对p a l 制式的图像需要每秒显示 2 5 帧，对于n t s c 制式的图像需要每秒显示3 0 帧，图像格式p a l 制式7 2 0 5 7 6 ，n t s c 制式7 2 0 4 8 0 。 根据上述要求，通用图像处理和传输平台的设计如图3 - 1 所示。首先，视频编码 器将c c d 采集的模拟图像变换为b t 6 5 6 格式 1 3 的数字图像；之后通过d m 6 4 2d s p 的 视频接口由增强型的直接内存访问器e d m a 模块将b t 6 5 6 格式的数字图像传送到s d r a m 中；当s d r a m 中的数字视频数据达到1 帧后，通知d m 6 4 2 的c p u 开始对接收的数字视 频数据进行压缩编码处理，处理完成的数据经过d m 6 4 2 的以太网媒体控制器m a c 由外 部l x t 9 7 1 以太网物理接口p h y 发送到外部网络。理论上，压缩后的视频数据需要通 过数字视频解码器来解码。而根据数字编码器的原理框图可知，编码过程中包含了解 码功能，所以如果需要观测编码效果，只需一个编码器即可。这里，需要视频解码器 将编码器中的解码图像传输到模拟电视进行显示。 视频编码器 t v p 5 15 0 面 阵 ccd d m 6 4 2 媒 体处理器 篓餐解码器h电视机7 1 1 4 saal l 。 慧t 9 ，7 i 物h 理接口卜叫 以太两 l x 图3 - 1 通用图像处理和传输平台原理图 3 1 芯片选型和介绍 1 视频编码器 本课题选择的是t i 公司生产的t v p 5 1 5 0 1 4 ，它的主要作用是将c c d 产生的模拟 视频信号转换成b t 6 5 6 格式的数字视频信号。其中，p a l 制式的图像格式为2 5 帧的 7 2 0 5 7 6 ，n t s c 制式的图像格式为3 0 帧的7 2 0 4 8 0 。 t v p 5 1 5 0 是一款超低功耗的p a l 、n t s c 视频解码器。极小的3 2 脚t q f p 封装， t v p 5 1 5 0 将p a l 、n t s c 视频信号转换为8 位的b t 6 5 6 格式，同时包括离散的同步信号。 它使用1 8 v 电源为模拟和数字部分供电，3 3 v 为i o 供电。 第三章通用图像处理和传输平台的硬件设计 t v p 5 1 5 0 将基带p a l 、n t s c 信号转换为数字y u v4 ：2 ：2 格式。彩色载波控制输 出为下面的视频编码器提供同步功能。t v p 5 1 5 0 使用多种方法用于v b i ( 场( f r a m e ) 消隐间隔) 数据的恢复。 一 支持输入n t s c ( n ，4 4 3 ) ，p a l ( b ，d ，g ，h ，i ，m ，n ) 格式：高速9 位a d ；2 个复合视频和1 个s - v i d e o 输入；带有输入电压钳位和自动增益控制a g c 的全微分 c m o s 模拟预处理通道；模拟图像的亮度、对比度、饱和度、色调、尖锐度( s h a r p n e s s ) 通过1 2 c 可调；4 线( 3 行延迟) 梳状滤波器，可防止亮度、色度交叉干扰；锁定微 弱、带噪声、不稳定信号的专利电路部分；只需一个1 4 3 1 8 m h z 晶体，可适合所有标 准( p a l 、n t s c 等) ；内部包括锁相环电路。视频编码器原理如图3 - 2 所示： 图3 - 2视频编码器原理框图 2 上电引导芯片 闪存f l a s h 芯片选择h 1 2 9 l v 0 3 3 c 1 5 ，它是一个4 m 字节的f l a s h 存储器，用来 存储d m 6 4 2 的启动和执行代码，在d m 6 4 2 上电后，将f l a s h 中的执行程序拷贝到s d r a m 中运行，这就是所谓的b o o t l o a d e r 技术。 3 动态存储器 s d r a m 芯片选择m t 4 8 l c 4 m 3 2 8 2 1 6 ，它是一个1 2 8 位的s d r a m ，按w o r d ( 3 2 位) 组织。它是数字视频数据存储和处理的存储器空间，另外，也是d m 6 4 2 的程序执行空 间。本款s d r a m ，大小为4 m 字，操作时钟最快1 6 6 mh z ，课题中，s d r a m 的控制时钟 为1 0 0 mh z 。 第三章通用图像处理和传输平台的硬件设计 4 媒体处理器 1 ) 主要功能简介 t m s 3 2 0 d m 6 4 2r l t 是t i 公司生产的一款新型d s p ，由于它集成了数字视音频、 i 护e g 2 的t s 流接口，所以又称为数字媒体处理器。它是t i 公司c 6 0 0 0 系列中性能非 常高的一款定点d s p ，其代码和c 6 4 x 系列定点d s p 兼容。d m 6 4 2 的主要特点是它集成 了丰富的数字视频处理外设和基于c 6 4 x 的c p u 内核对数字图像高效处理的硬件结构 和指令集。d m 6 4 2 的总体结构框图如图3 3 。 视音频同 步接口 视频口 o 一1 - 2 音频i = l o 多通道串 口o 1 以太网 接口 l 2 存 储 器 或 高 速 缓 存 c a c h e l i p 程序高速缓存器 指令通道 数据通道ai 数据通道b 寄存器ai 寄存器b 功能单元al 功能单元b c p u 寄 存 器 l 1 d 数据高速缓存器 图3 - 3d m 6 4 2 原理框图 d m 6 4 2 集成的数字视频接口包括3 个数字视频接口( v p o 2 ) ，1 个数字音频接口， 1 个控制视音频同步的v c x o 接口。数字视频接口用来实现和视频编码器及视频解码器 连接，用来实现模拟视频的采集及回放。数字音频接口可用来实现音频a d 或d a 和 d m 6 4 2 的无缝连接。v c x o 接口在数字视音频同时编码时，实现视频和音频的同步，在 回放的视频中表现为音唇同步。同时，d m 6 4 2 还集成了包括1 个e m i f ( 外部数据接口) ， 用来实现d m 6 4 2 扩展r a m ；1 个1 2 c 接口，主要用来控制视频编