（核能科学与工程专业论文）机舱现场图像实时监控系统的研究.pdf

哈尔滨工程大学硕士学位论文 摘要 当今科学技术在不断的飞速发展，计算机、信息技术成为发展的主流。 这几年多媒体技术的应用成为一主要的发展方向。本文将对多媒体图像在机 舱监控系统中的应用进行一些探索性的研究。 图像监控的实现有三个基本的组成部分：现场图像的实时采集压缩、传 输、异地回显。而其中最主要的是传输过程带来的问题，即数字图像需要压 缩。所以本文首先介绍了近年来发展起来的在多媒体图像压缩方面的一些技 术，和由此而产生的一系列标准，并对其进行了分析；根据h 2 6 3 标准的特 点：码率低于6 4 k b s ，适用于远程监控和可视电话，本文选择它作为图像压 缩标准，并重点介绍了它的内涵；最后本文通过软件的方法实现了图像采集、 基于h 2 6 3 标准的压缩编码器、解码器和图像的回显，实现了数字图像的实 时传输。虽然这仅仅是初步的，但它为进一步的开发和应用提供了参考和对 一些编码算法的研究提供了实现的环境。 关键词：h 2 6 3 ，图像，编码，压缩 哈尔滨工程大学硕士学位论文 a b s t r a c t t o d a y s c i e n c ea n d t e c h n o l o g yd e v e l o p m e n tc o n t i n u a l l y c o m p u t e a n d i n f o r m a t i o nt e c h n o l o g yi st h em o s ti m p o r t a n t t h e s ey e a rm u l t i m e d i ah a v eb e e n o n eo ft h e s et e c h n o l o g y s ot h ep a p e rw i l lf i n i s hp a r t l ye m p l o yo fm u l t i m e d i a r e s e a r c ha b o u te n g i n e r o o mr e a l - t i m e p i c t u r i n g m o n i t o r s y s t e m t h e r ea r et h r e e p a n s a b o u tr e a l i z a t i o no fr e a l t i m e p i c t u r i n g m o n i t o r ： r e a l t i m ec a p t u r i n ga n de n c o d i n go f p i c t u r i n g ，t r a n s l a t i n g ，a n dr e c e i v i n g i nf a c t t h ek e yp r o b l e mi sp i c t u r i n ge n c o d i n ga n dc o m p r e s s i n g s ot h ep a p e ri n t r o d u c e s s o m et e c h n o l o g i e so fm u l t i m e d i ac o m p r e s s i n gf i r s t l y b e c a u s eo fc h a r a c t e ro f h 2 6 3t h e p a p e re m p l o y s h 2 6 3a ss t a n d a r do fp i c t u r i n g c o m p r e s s i n g a n d i n t r o d u c e si t sc o n t e n tm a i n l y f i n a l l yt h ep a p e rf i n i s h e dt h ep i c t u r i n gm o n i t o r s y s t e m ，w h i c hi sb a s e do nh 2 6 3 i t sc a p t u r i n go f p i c t u r i n g ，e n c o d i n g ，d e c o d i n g a n d t r a n s l a t i n gi sf i n i s h e db ys o f t w a r e t h ep a p e rg i v e ss o m et h o u g h t sa b o u te m p l o yo fm u l t i m e d i at h o u g hi ti s i n i t i a 】 k e yw o r d s ：h 2 6 3 ，p i c t u r i n g ，e n c o d i n g ，c o m p r e s s i n g 咯尔滨工程大学硕士学位论文 _ ；i _ # ；_ _ ；i _ g - _ ；i _ _ _ _ _ i i i # i 日 1 1 弓l 言 第l 章绪论 在魂代计算机技术、控翻理论帮控裁技术发袋静蘩础上，它不鞭静被应 用到生产生活的各行备业中，并且产生了无比酉大的摇动力，大大的提高人 稻的生灞水平，改善入们的生产生活环境。人炎上九天揽胃，下五洋捉鳖的 梦想一个一个的成为现实，无不与这两技术豹应月畜蕾直接熬联系。 这几年多媒体技术的应用成为一主要的发展方向。如果搬这一技术应用 在鼹爰动力装甏监控域无久撬憝锾竣，囊获取襞场鹭像、声警使工伶久灵瓿 屏幕上实时的了解机舱、动力装置的情况，进行及时的判断，甚至于预，无 疑将有赣子挺鬻篮控系统静可靠往每适藤往。本文裁将对多媒俸技术在梳舱 监控系统中的应用进行一些探索性的研究，从髓实现机舱现场图像的实时传 输。 1 2 国内外的研炎状况和选题背景 在许多工稷应用颥域，都会遇戮需要对大蠢胬像数据进行传输与存储静 问题。例如，谯传输方面：数字电视、遥感照片、由雷达、飞极等撼供的萃 事侦察图像、可视电话、会议电视和传真照片等；在存储方面：教育、商业、 警理等臻城豹辫文资姆、e t 瓿、x 瓣线极祷设荟瓣疰翅图凑、天气云疆等等， 几乎涉及各个行业。为了利用有限的存储餐量存储更多的图片，或者为了最 短戆露瓣传遂尽茸麓多鹩圈片，或麓为了在寄隈的带宽条 孚下棒输尽可能多 的活动图像，就要研究怎样才能最大限度的压缩图像数据，并且保诞压缩后 的重建图像能够被用户所接受，这就是圈像编码所要解决的问题。与此相似 本文的研究的现场厘象赛时蠛控系统正是婺解决嗣撵豹闽题。 l9 4 8 年提跑电视信号数字化后，就开始了对图像压缩编码技术的研究工 馋，至今已有5 0 多年敬爱变。5 0 稻6 0 年代，爨予客鼹条锌， 叉对枣雯两颈测 哈尔滨工程大学硕士学位论文 -i iii i i i i i i i i ；# ；i i i i i ；= ；= # 法和亚取样内插复原法进行研究。1 9 6 6 年j b o ? q e a l 对比分析了d p c m 与 p c m 并提出了用于电视的试验数据。1 9 6 9 年进行了线性预测编码的实际试 验。1 9 6 9 年举行首届图像编码会议( p i c t u r ec o d i n gs y m p o s i u m ) 。7 0 年代开始 进行帧涮预测编码的研究。8 0 年代开始对运动补偿( m c ) 所用的运动估值( m e ) 算法进行研究。变换编码是1 9 6 8 年h c a n d r e w s 等人提出的，采用的是二 维离散傅里叶变换。此后相继出现了其他的变换编码方法，其中包括二维 d c t 。对模型编码的研究始于8 0 年代初。 进入9 0 年代以后，i t u t 和i s o 制定了一系列图像编码国际标准。如： 1 )1 9 9 0 年为会议电视和可视电话制定的h 2 6 1 标准。 2 ) 1 9 9 1 年为静止图像编码制定的j p e g 标准。 3 ) 1 9 9 1 年为电视数字图像存储而制定的m p e g 一1 标准。 4 )1 9 9 3 年为活动图像及其伴音压缩而制定的通用编码国际标准 m p e g 2 。 5 ) 1 9 9 4 美国“大联盟”公布数字h d t v 系统的说明书草案。美国“先 进电视系统委员会”拟定“数字电视标准”。 6 ) 1 9 9 6 年h u t 为甚低码率视频编码而制定的h 2 6 3 标准。 7 ) 1 9 9 8 年i t u - t 拟定h 2 6 3v e r s i o n 2 草案，即h 2 6 3 + 。 8 ) 1 9 9 8 年拟定m p e g 一4 草案，首次在编码中引入了视频对象( v i s u a l o b j e c t ) 平 基于内容编码的概念。 这些标准的制定极大地推动了图像编码技术的实用化和产业化。会议电 视等各类使用图像编码技术的产品纷纷推出，数字激光唱盘( v c d ) 等产品以 百万台的数量级走向市场，进入家庭，从而迎来了数字图像通信的黄金时代。 另一方面，图像编码技术产业化进程的加快也推动了图像编码技术以更 快的速度发展。目前的研究工作主要分为两个方向： 1 ) 更好地实现现有的图像编码国际标准 研制出集成度更高、性能更好的图像编码专用芯片( a s i c j ，使编码系统 成本更低，可靠性更高。几个国际标准的单片( 或两片) 系统级解码a s i c 均己 推出，其中包括对运算速度要求很高的m p e g 2 解码芯片。不久还将推出要 求更高的h d t v 的单片视频解码芯片。符合m p e g 2 标准的单片或多片视频 编码a s i c 也已推出。 哈尔滨工程大学硕士学位论文 解决好现有的图像编码系统开发中的技术问题。例如：提高图像质量， 提高抗误码能力。在a t m 网等变速信道上的应用等。如果拿现在生产的符 合m p e g 1 的v c d 图像质量和几年前m p e g 一1 刚制定时的v c d 图像质量相 比，就可以看到虽然用的是同一个国际标准和同样的数码率( 1 5 m b p s ) ，但图 像质量大大提高了。这就是近几年来对m p e g 一1 编码器具体实现算法作深入 研究的成果。国际标准的开放性结构为这种深入的改进提供了前提，它允许 人们在不影响兼容性的前提下发挥自己的创造性，对标准中的开放部分进行 改进。这些开放性部分包括运动估值和运动补偿方法，自适应量化系数和缓 存器控制策略等。在国际标准规定的约束下，对这部分算法作更合理的细化 有助于提高编解码器的性能。如：复原图像质量，提高抗误码能力等。 2 、对图像编码理论和其他图像编码方法的研究 目前已提出和正在进行研究的图像编码方法有以下几种： 多分辨率编码。最早提出的是金字塔编码，后来是子带编码，最近 是用小波变换进行图像编码。 基于表面描述的编码方法( 三角形逼近法) 。 模型编码。它可分为物体模型未知的物体基编码和物体模型已知的 语义基编码。 利用人工神经网编码。 利用分形几何的图像编码( i s f 编码) 。 利用数学形态学的图像编码等。 1 3 图像压缩编码技术的应用 图像编码一系列国际标准的提出标志着图像编码技术已经成熟，开始由 学术研究转为产业化，前景十分诱人。早在1 9 9 1 年就有人预言，图像编码技 术的突破具有十分巨大的意义。其意义之大已到可以促使现有信息产业的结 构发生巨变的程度，它使通信，广播，计算机产业的界限变得模糊了。近几 年采的实践也证实了这个预言。目前，国外已出现了有线电视公司和通信， 计算机公司之间的相互合作，如：美国最大的有线电视公司和软件公司合作 开发交互式电。视等。 哈尔滨工程大学硕士学位论文 图像编码技术对数字电视的发展起着至关重要的作用。数字电视具有图 像质量高、频谱利用率高、可以实现多种业务的动态组合和统计复用、易于 加密、具有可扩展性、可分组性和互操作性、可以灵活组成交互式电视系统 等优点。这些优点是模拟电视所无法比拟的。可以断言，下一代电视必定是 数字电视。但是数字电视受到数据量庞大的约束，所以近几年来图像编码研 究主要集中在视频压缩上，以改进数字电视的性能，从而促使各等级的数字 电视的成功实现，扩大其应用领域。这从今年来制定的图像编码国际标准 中视频压缩编码和静止图像编码国际标准的数量比例中即可窥见一斑。以分 辨率为基础，数字电视可分为四个等级：可视电话、会议电视、数字标准清 晰度电视和高清晰度电视( h d t v ) 。 图像编码技术在其它方面同样有很多应用，如： 1 ) 电视计算机( t e l e c o m p u t e r ) 。它是介于电视与计算机之间的应用。它 将个人计算机和电视融为一体，构成一个多媒体工作站。 2 ) 多媒体出版物，包括电子图书，电子：t e 千l j 等。 3 ) 各种图像信息系统，如指纹库，遥感图像数据库等。 图像压缩技术已经为开创新的应用领域提供了良好的技术基础。如 m p e g 一4 专家组为m p e g 一4 制定的功能目标指出，m p e g 一4 的目标不仅是改 进的可视电话，而且应该满足广播，通信，计算机领域相互渗透的要求，以 交互性，高压缩比以及多种存储与通信信道相连为特色，从而构成现有的国 际标准不支持的，全新的视听应用标准 ”。总之，图像压缩技术为开拓全新 的应用领域打下了坚实的基础。 显然，本文的机舱现场图象实时监控系统也是该技术的又一应用1 1 3 本文的主要研究内容及方法 本文的图像监控就是要对机舱的现场状况进行实时的图像采集，然后传 输到监控计算机上并实时的显示出来。这样它就提出这样几个问题：现场图 像的采集，图像数据的传输，图像的回显；而在图像数据的实时传输中，系 列图像的数据量和有限的带宽突显矛盾，现在流行的技术就是应用数字图像 处理技术对图像进行压缩编码，所以本文的研究内容主要包括如下几部分： 哈尔滨工程大学硕士学位论文 第一部分：图像的压缩编码，解码的基本原理； 第二部分：介绍h 2 6 3 标准及基于它的现场图像监控系统的实现。 荛釜董兰耋奎兰篓言鬈基鎏兰。；一 第2 章图像的编解码 随着圈像压缩和图像处理技术的发展，视频通信和多媒体技术将逐渐走 进我 3 懿社会生活、生产串，援额通信的饪努建实时双囱静传埝彩色强缳序 鬟，这一功襞综合在逶痿系统中胃形袋多耱裰颓监务，院蟊低码攀褫频会议， 远程低码率多媒体协同工l 乍，窄带无线视频般务，远程监控等+ 可怒由于可用 信道太窄( p s t n ，i n t e n e t ，窄带无线视频释) 而图像序列数据羹睡大，因此 很有必要对视频图像序列邂行压缩。 鞠像数据可以进行压臻蠢几方面的原因。曾先，原始图像数攘在窒闷和 露瓣主蹩离度鞠关戆，存在缀大懿冗余震数掇冗余造痰毙特数滚赘，游除这 些冗衾w 以节约码字，墩就是达到数据压缩的醚的，大多数图像随相邻像数 之间有较大的相关性，这称为空间冗余度；序列图像前后帧之间谢较大的相 关性，这称为时间冗余度。多光谱遥感图像锫谱间有相关性，这称为频率域 冗余艘 2 j 。其次，若用楣间的码长表示不同出现概率的符号也会造成比特数 豹渡癸，这耱滚费稳隽籍譬冗余凄。蘩暴采薅爵交长壤玛技拳，黯窭瑷疆率 商的符号蒋短码字表示，黯趱现橛率低的符号用长码字，就可醣消除符号冗 余度，从而节约码字。 允许图像编码有一寇的失真也是图像压缩的一个重要原因。在许多应用 场合，并不要求经压缩恢复后的图像和原图巍众相同，而允许有少照失真， 只要这蹙失真芳不会被人鼹瑟察觉，在诲多猿淡下是哥班接受懿，这绘压缓 比於爨麓捷供许多条件。胬像质量允诲静损失愈多，可以实瑗酌压缩比就越 高，这种有失真的编码称为限失真编码。在多数应用中，人眼往往是图像信 息的最终接受者。如果能充分利用人眼的视觉特性，就可以在保证所要求的 图像主观质量的前提下实城较高的压缩比，邀藏利用了视觉冗余度。其实人 类豹巍觉系统是有缺簇豹，瓣巢些失真不敏感，罐数觉察，个黧豫绫玛方 法螽巢熊秘露这些特 茔，靛可取得较好的效暴，帮在傈证蚕像圭溅瑷鳖的前 提下获得较高的压缩比。 此外还可以用先验知识实现图像压缩，在某些特定的应用场合，编码对 象的巢热特性可预先知道。例如在可视电话，编码对象是人的头扁像，这时 6 哈尔滨工程大学硕士学位论文 可利用对编码对象的先验知识为编码对象建立模型，对参数进行编码而不对 图像进行直接编码，可以达到非常高的压缩比，这就是模型编码的基本思想， 在这旱运用了知识冗余度。 2 1 视频图像压缩编码技术发展简介 1 9 4 8 年提出电视信号数字化后，就同时开始了对视频图像压缩编码的研 究工作。开始时，即5 0 和6 0 年代，限于客观条件，仅对帧内预测法和亚抽 样内插复原法进行研究，对视觉特性也做了一些极为有限但可贵的工作，1 9 6 6 年j b 07 n e a l 对比分析了d p c m 和p c m 并提出了用于电视的实验数据。1 9 6 9 年进行了线性预测编码的实际试验，1 9 6 9 年举行首届图像编码会议，7 0 年代 开始进行了帧间预测编码的研究。8 0 年代初开始对作运动补偿所用的运动估 值进行研究，变换编码是1 9 6 8 年h c a n d r e w s 等人提出来的，采用的是二维 离散傅立叶变换。此后相继出现了其他变换方法的变换编码，其中包括二维 d c ，对模型编码的研究始于8 0 年代。于1 9 8 8 年形成草案、1 9 9 0 年通过的 i t u th 2 6 1 建议，是图像编码技术走向实用化的重要一步，它是图像编码 4 0 年研究成果的结晶。9 0 年代初相继提出的视频压缩编码标准 m p e g l ，m p e g 一2 ，m p e g 一4 ，m p e g 一7 ，h 2 6 3 等都是在h 2 6 1 基础上的发展和改进 的，这些国际建议普遍采用的混合编码技术是当今最实用的高效编码方法， 得到了广泛应用，业已成为当今图像编码方法的主流。下面简要介绍m p e g l 、 m p e g 一2 、m p e g 一4 、h 2 6 1 标准和h 2 6 3 标准。 1 ) m p e g 一1 ： m p e g l 标准是v c d 工业标准的核心，现在已经走向千家万户：利用m p e g l 音频算法第三层的m p 3 音乐格式也备受青睐。m p e g - 1 主要应用于连续传输速 率高达大约1 5 m b i t s 的数字存储介质，例如c d 、数字音带( d a t ) 和硬盘。 适用于分辨率约为3 5 2 2 8 8 象素线，画面速率大约在2 4 h z 和3 0 h z 的非隔 行的视频信号格式。由于使用的方法比较通用，因此能得到广泛的应用。但 可以看出，它所适用的视频信号的分辨率只有c c i r 提出的数字电视演播室建 议的格式( 7 2 0 5 7 6 ) 的l 4 大小，很难满足人们曰益增长的要求。 哈尔滨工程大学硕士学位论文 2 ) m p e g 一2 ： m p e g 一2 克服并解决了m p e g - i 不能满足的多媒体技术、数字电视技术对 分辨率和传输率等方面的技术要求的缺陷，并保证与m p e g l 视频体系向下兼 容。但对于m p e g 一1 其重要的改进就是增加了对隔行视频的处理，这样就引入 了一系列对运动估值的改进算法，使得编码的质量得到了很大的提高，但同 时也使得编码器的实现更为复杂，难度更大。例如在逐行序列中，不但可以 进行帧d c t 变换，还可以进行场d c t 变换，甚至可以每个宏块有不同得帧 场d c t 变换。此外每帧图像不但可以是帧预测，还可以进行场预测，或者每 个宏块有不同的帧场预测。除了一般的帧、场预测外，m p e g 一2 还定义了一 种特殊的预测方法一双基预测。 3 ) m p e g 一4 ： m p e g 一4 的初衷是为了针对视频会议、视频电话的甚低比特率编码，但在 调查过程中，m p e g 感受到了两大变化，并据此立即修改计划，制定了现在意 义上的m p e g 一4 。这两大变化是：1 ) ，物质基础变化：高性能通用芯片性价比 的提高使得基于软件平台的压缩编码方法具有实用的可能；物体基编码方法 的研究掀起了热潮；2 ) ，应用需求的变化：对多媒体信息，特别是视频信息 的应用要求由播放型转向基于内容的访问、操作型。这意味着，需要将基于 内容的检索与编码结合起来考虑，这样在压缩数据中就应有描述视频内容的 信息，从而使对多媒体信息的内容的访问可以直接针对压缩数据进行，这种 压缩编码方法就叫做基于内容的压缩编码方法，打破了原来压缩编码方法基 于专用硬件的限制，可以引入涉及到图像分析的较复杂的算法。于是m p e g 一4 新的目标就定为：支持多种多媒体应用( 主要侧重于对多媒体信息内容的访 问) ，可根据应用要求的不同来现场配置编码器。编码系统是开放的，可以随 时加入新的有效的算法模块“1 。 4 ) m p e g 一7 ： m p e g 7 已经更多的倾向于是描述多媒体的各种特征，定义一种描述音像 信息内容的格式，而不是进步追求更高的压缩比。它的正式名称是“多媒 体内容描述接口”，将为各种类型的多媒体信息规定一种标准化的描述，这种 描述与多媒体信息的内容本身一起，支持用户对其感兴趣的各种r r 资料”的 快速有效的检索、查询。这种标准化的描述可以加到任何类型的多媒体资料 哈尔滨工程大学硕士学位论文 上，不管多媒体资料的表示格式是如何，或是什么压缩形式，加上了这种标 准化描述的多媒体数据就可以被索引和检索了。 4 ) h 2 6 1 ： h 2 6 1 用于在综合业务数字网上以p 6 4 k b p s ，p = l ，2 ，3 3 0 的速率 开展视频会议、远程监控和可视电话业务。例如6 4 k b p s 适合低品质的可视电 话业务，其中视频信号传输占用4 8 k b p s 的带宽，剩下用于音频信号传输。视 频会议业务通常需要较高质量的图像质量，在p = 6 时即传输速率达到 3 8 4 k b p s 即可达到这种图像质量的要求。 l2 6 1 标准除了是以后视频压缩标准 的基础外，它还提供了两个重要特征： 由于h 2 6 1 主要用于双向视频通信，因此它规定最大编码延迟是 1 5 0 m s ，已经证明，如果延迟超过1 5 0m s ，就不能给观看者在视觉上产生直接回 传的效果。 h 2 6 1 可以用低成本的v l s i 实现，这一点对大批量生产可视电话和 会议电视设备尤其重要。 ， 5 ) h 2 6 3 ： 关于h 2 6 3 将在本文的后面有详细介绍。 2 2 视频图像压缩常用的方法 视频图像编码技术应用面广泛，一直受到普遍重视，已研究出很多压缩 编码方法，各自基于不同的思想和技术途径，适用于不同的应用场合，内容 十分丰富。这里主要介绍视频图像压缩的常用方法，如：预测编码、变换编 码、根据视觉特性的量化和变长编码以及综合了这几种编码方法的混合编码 方法等。 2 2 1 预测编码 所谓的预测编码就是对编码图像进行预测，并将预测差输出，供量化编 码，而在接受端将预测差的码子解码后再与预测值相加以恢复图像。若收发 两端的预测器完全相同，且发送端不经过量化，那么在接受端完全可以实现 篷釜鎏三鍪查兰鎏耋耋堡筌兰； 无失爨地恢复原图像，预测本身并不弓l 入误麓。然而在实际壶瘸中常常使焉 量化器以提高压缩比，因此，在接收端经解硝得到的预测差值存在凝化误差， 最终恢复的图像会有失真。下面详细介绍近年来在视频图像压缩中得到广泛 应用的运动补偿帻间预测方法和运动补偿帧内糖方法。 2 。2 + 1 ，1 运动静谣委蠹阕该瓣方法 采用帧间预测编码可以减少时间域上的冗余度，将上一帧相同空间位置 的象索值作为待编码的当前帧的预测值，这种方法对于图像中的静止部分将 是很裔效的。但是对于运幼部分，这种不考虑物体运动的简单的蟆间预测效 果并不好。魏票舂办法在蹲当蔻骥菜象素( 或蒙豢涣) 遴雩亍颈嚣时翘道这个 象素( 或象素块) 是上一蜮的哪个位置移动过来的，在傲预测嚣寸戳那个位置 上的魏索值作为预测值，则预测的准确性将大大提高。也就是说澈用运动补 偿幞间预测可以使预测麓的方差大大减小，从而减低码率，提高滕缩比。也 就是说通过运动补偿帧间预测可以更好的利用序列图像的时间冗余废，这项 技零毫广泛碰爰于若干令溪凌夔缘编璃静园瓣拣港中，致褥擐磐戆效渠。运 羲李 镄襁阉预铡的关键搜邀动信值，丽运动嵇德技术主要分兔两大粪：象素 递归滋和块匹配法。考虑剿计算复杂度和实时实现的要求，块匹配法已成为 目前墩常用的方法。下面主要介绍块匹配法，有关象素递归法请读者参看相 关资料。 块题醚法( b 激) 是嚣 i 巷鼓掌臻斡一秘运韵偿毽算法，在有关j 擎捌圈像缡 璃靛瓣辩标准中，均采焉了该方法。将图像分裁成麓k 小涣，假设块雨各象 素作榻阉运动，且只作平移运动。虽然实际上块内各点运动不怒相同，也 不定作平移运动，但当m n 块很小时，上述假设是可以成立的，这样做的 目的只是为了简化运算。块匹配法对当前帻图像的每一块，在上帧豹一定 范围内搜索最优疆配，并认为本块就是从上一姣攫往匹配决位曼延平移过采+ 设霹耱敬最大镐移矢萋怒( 威。；，魂。) ，裂援索范蘑为( 掰“+ 2 武。) x ( r 十2 帆。) 。随着图像聪缩编码技术的发精和对压缩效率愈涞愈商的要 求，在很多场合均要求运动矢量精确到亚象素缀，也就是所说的半敷綮精度。 哈尔滨工程大学硕士学位论文 图2 1 待匹配像素块与搜索区的几何关系 n 象素块 在块匹配法中最为关键的是最佳匹配准则的选择。目前，有三种常用的 匹配准则，它们是最小绝对差( m a d ) 、最小均方误差( m s e ) 和归一化互相 关函数( n c c f ) ，分别定义如下： 最小绝对差 m a d ) 2 ( 1 删) 薹善厂即，旷，。( 川，州) f ( 2 _ 1 ) 式中，( f ，) 为位移矢量，若在某一点( f ，_ ，) = ( 出，咖) 处m a d ( f ，- ，) 达到最小，则 孽掌譬是要找的最优匹配点，这里 ，。和，。分别是当前慎和上一帧 的灰度函数。 最小均方误差 m s e ( f ，- ，) 2 ( 1 胁) 善m 善n 陟。，胛) 一。+ 珈+ _ ，1 ( 2 2 ) 同样是以m s e 值最小为最优匹配点。 归一化互相关函数 堕玺鎏三垒奎兰堡圭耋垡笙苎 ；一 n c c f ( i ，) = m n 厂。( m 川f k 一。沏+ f ，n + ，)厂。( m 川一。沏+ f ，n + ，) m = 1n = l 一 ( 2 3 ) 这里，最优匹配相应于找n c c f 的最大点。 上述三准则，由于m a d 准则不需要乘法，实现简单、方便，所以用得 较多。 有了匹配准则，剩下得问题就是寻找最优匹配点的搜索方法。最简单的 方法就是全搜索，但是全搜索的计算量大的惊人，于是发展了许多快速搜索 方法。下面就介绍全搜索及几种常见的快速搜索方法。 1 全搜索方法 全搜索( f s m ) 是对搜索范围( m + 2 d x 。) x ( n + 2 龟。) 内所有可能 的候选位置计算m a d ( j ，7 ) 值，从中找出最小的m a d ，其偏移量即为所求的运动 矢量。此法虽然计算量大，但是最简单、可靠，找到的必为最优点。以h 2 6 1 中c i f 格式3 5 2 2 8 8 大小的图像为例，若取m x n = 1 6 1 6 ，d x 。= 咖。= 7 时，则实时需1 4 6 0 m o p s 的运算速度。但由于该算法简单单一，因此很适合 f p g a 和a s i c 实现，因此非常具有实用价值。”。 2 一次一个方向搜索 一次一个方向搜索( o t s ) 法又称为共轭方向搜索法( c d s ) ，它是一种 快速搜索法。其思想如下： 首先固定d y = 0 ，改变出，找到使m a d 最小时的出值，设为出o ，然后 固定d x = d x 。，改变砂，找出在巩。上使m a d 最小的咖值，设为咖。，由 此求得最优匹配点的位移矢量协。、咖。l ，设搜索范围为出一= , y 。、= w ，则 该方法最大搜索点数约为2 w + 3 ，相对于全搜索法( 2 w + 1 ) 2 次搜索来说，运算 量大大减少了。但是该方法搜索得到的不定是全局最优点，下图2 2 就是该 算法的示意图。 j + 5 j “ j + 3 j + 2 j + 1 j 3 二维对数法 哈尔滨工程火学硕士学位论文 ii + li + 2 8 夕 7 ， 6 ， 5 ， 4 茇 ll23 4 图2 2o t s 或c d s 算法示意图 i 一2 i 1ii + l i + 2 3545 5 ， 55 32 上 3 l 7 2 1 | 2 | 11 1 图2 3 t d l 算法示意图 6 5 4 3 2 1 仆什王f什h一心 哈尔滨工程大学硕士学位论文 ；i ；i i ；i ；j i _ i ；i j i j i j ；i ； 二维对数法( t d l ) 的基本思想是通过快速搜索跟踪最小m a d 点，从运动 矢量f o ，o ) 开始，以十字形分布的五个点构成每个搜索的点群，求出m a d 最小 点，如m a d 最小点出现在十字形点群的边缘点，则下次搜索以该点为新十字 形搜索点群的中心点，而步长不变。但若m a d 最小点出现在十字形之中心点， 则下次搜索仍以该点为中心点构成十字形点群，但步长减半，依此类推，直 至步长为1 ，此时所找到的m a d 最小点即为所求最优匹配点。注意，在上述 搜索过程中，如发现新的十字形点群的中心位于搜索区的边缘，则步长也减 半。该方法的前提是假设搜索区内只有一个谷点，但如果搜索区内存在多个 谷点，则该方法找到的可能是局部最小点。不能保证找到全局最优点也正是 大部分快速搜索方法的通病，该方法的最大搜索点数为2 + l o g ，。如图2 3 就是该算法的示意图。 4 三步搜索法 三步搜索法( t s s ) 与二维对数法类似。从( 出，咖) = ( o ，o ) 开始，以最大 搜索长度的一半为步长，检测中心点及周围8 个领点的m a d 值，找出m a d 最 小的点。下一步以该点为中心，步长减半，并在缩小的方形边上9 点中找出m a d 最小点，依此类推，直至搜索的精度满足要求“1 。例如，d r 。= 咖。= 7 ，搜 索精度为一个象素，则最初步长为4 ，以后递减到2 ，1 ，共需三步搜索即可满 足要求，这也是三步搜索法的由来，实际上当搜索范围大于7 时，仅用三步是 不够的。搜索步数的表达式应为l o g ：0 一+ 1 ) ，最大搜索点数为1 + 8 l o g 2 。 图2 4 就是该算法的示意图。 5 交叉搜索法 交叉搜索法( c s a ) 是在t d l 法和t s s 法基础上为进一步减少计算量而发 展起来的快速搜索法。设出。= 咖。= 矽，从( 矗，砂) = ( o ，o ) 开始，起始步长 为w 2 ，搜索点群由呈x 形或十字形的5 个象素构成，找t v i a d 最小点。下一 步以该最小点为中心，步长减半，继续做x 形或十字形的5 点搜索。依此类推， 直至步长减为1 。至于做的十字形搜索还是x 形的搜索，那得取决于m a d 最 1 4 哈尔滨工程大学硕士学位论文 = ；j _ ；自；i i i 目。5 5 。一 333 2 ，炙2 32 | 3 o0 3 3 l1 也12 l声 |7 22 1 沙 1 11 1 图2 4t s s 算法示意图 l1 3 j 十3 2 l1 2 7 1( o ，o ) 戈x 1l 图2 5c s a 算法示意图 小点的位置，如果m a d 最小点位于中心点、左上角点、右上角点时，做十字 形搜索；否则，做x 形搜索。c s a 法的最大搜索点数为5 + 4 1 0 9 ：。图2 5 就是该算法的示意图。 拍钙“怕屹 o 之 ：1j：，jj 哈尔滨工程大学硕士学位论文 - _ _ ；i i i i i ；= 4 _ _ _ _ _ t ；自i ； ；# 6 分层块匹配算法 块匹配的前提是块内各象素做相等的平移运动。由于传统的块匹配法以 固定大小的块作匹配，因此常常难以满足该前提假设。为此b i e r l i n g 提出一 种分层结构，在不同的层上使用不同大小的块，通过递归的方法估计运动矢 量，从而克服运动矢量场的不一致问题。为方便起见，我们称不同大小的块 为测量窗。在开始估值时，用大测量窗，在进入下一层匹配时，测量窗大小 随之减小，且每一层的运动估值都作递归。即上一层的运动估值将作为下一 层估值的初值。这样第一层由于用大测量窗，运动真实性好，可以估计大范 围运动。从上一层转到下一层时，测量窗变小，可作进一步精确的估值，达 到最后一层时，测量窗也达到最小，可得到最后精度的运动矢量。另外，每 进入下层估值，估值的范围都将缩小，由于上一层保证运动矢量在整体上 的一致性，因此可以克服小测量窗可能造成的误匹配问题。 7 利用图像金子塔进行运动估值 将图像金字塔应用到运动估计中是一项新技术。考虑到运动估计的特点， 均值金字塔结构较好地适合于运动估计。 以三层金字塔结构为例，原始图像按4 4 象素块为基本单元进行金字塔 分层。中间层金字塔的一个象素是底层相应4 x 4 象素块的均值，顶层可以相 同方式由中间层形成。尽管理论上按2 x 2 象素块为基本单元进行金字塔分层 可以得到更为精确的运动估值，但考虑到非常小的金字塔有利于测量大范围 运动，以2x 2 象素快为基本单元将需要更多层才能达到足够小的顶层金字 塔，从而造成计算量过大。估值过程是自上而下实现的，且运动估值越来越 精确。首先，运动估计从顶层开始，对每个象素按最小灰度差准则搜索其8 个相邻象素组成的邻域。此时搜索距离相当于原始图像中1 6 个象素间距。然 后，利用顶层运动矢量作为中间层运动矢量的初值，中间层运动搜索范围为 2 个象素，此时1 个象素相当于原始图像4 个象素间距。最后，底层以同 样方式搜索，最终得到原始图像中每个象素的运动矢量。通过上述由粗到细 的过程，原始图像中每个象素均可得到精确的运动矢量。该算法与象素递归 法对应，并具有搜索快速的优点。 1 6 哈尔滨：【程大学硕士学位论文 虽各种算法都在被应用和改进，各种搜索方法有自己的优缺点： 1 ) 全搜索方法的最大优点是能保证全局最优，同时算法简单，易于实现。 但缺点是计算量较大，特别是搜索区很大时，难于实时处理。 2 ) 传统快速算法虽然减少了计算量，但实现比较复杂，而且由于在搜索 区中存在大量的搜索空区，所以就存在搜索到非最优点的情况，从而使得帧 间预测误差增大。 3 ) 分层块匹配估值得到的运动矢量场更接近于物体的真实位移，也大大 减少了计算量，其适用于大范围内的搜索。 围绕着实时性与估计精度这一对矛盾，最近提出了一种新的块匹配算法： 多精度多预测运动估计算法( m u l t i g r e c i s i o na n d6 f i u l t i p r e d i c t i o n a l g o r i t h m ) 。该算法引入了预测和分层搜索的思想，通过分层进一步减少计 算量，通过预测减轻匹配误差局部最小点对位移矢量搜索的影响，较好地实 现了图像的运动估值。 2 2 1 2 运动补偿帧内插 在视频图像编码时，通常采用隔一帧或几帻的方法编码，然后在接收端 通过内插来恢复不传输的帧是减低码率的一种有效方法。这一方法实现的关 键是怎样在接收端尽可能恢复没有传输的帧。若没有传输的帧较多，则动作 会有突调和不连续感。简单的做法是利用简单的线性内插，隔2 抽l 时线性 内插公式为 一( x ，_ y ) = 昙阮g ，y ) + 五一：g ，州( 2 - 4 ) 但这样做往往造成运动区域模糊，于是很自然地便会想到 时考虑到运动补偿，也许能克服模糊，即改用下式内插： ：一，g ，y ，= 丢 一，：( 工+ 鲁，y + 譬 + 以一：( x 一鲁，y 一鲁 假如在内插 ( 2 5 ) 但实验结果仍不理想，问题出在边界上，即运动物体边界模糊，可见为了得 到较好的内插，最理想的条件是知道不传输帧即内插帧上每一点象素的运动 哈尔滨：瑶大学骚士学位埝文 宣暑罱i i 罱鞲黼删_ 等宣昌i ；i i i 苷_ 黼黼黼赫昔掌篇； 矢量，且运动矢量精度达戮豫象素级，只有这样才能保证经内插恢复的匿像 不模糊，这就是运动补偿懒内插的基本思想。 2 2 2 变换编码 黧豫信号一般翼毒较懿瓣耱关往，蘩莱酝逡鬻懿正交矢蠢空瓣戆鏊矢量 与鹜像本身的主要特征狠接近，那么在这种正交矢量空阃中描述逸一萄像信 号将会鼹简单些。从本质上说，图像经过正交变换后之所以能够宓现数据压 缩，熄因为经过多维坐标祭适当的旋转变换麟，把散布在各个原嫩标轴上的 原始图像数据集中到新燮橼系的少数坐标轴上了，从丽为最继的爨化和编码 疆供了裹效数据鋈绩懿霹戆魏。爰予蚕豫姓壤瓣浚袈交换痤潢是三方瑟夔要 求： 1 ) 变换是可逆的，它必须保证图像缀变换后，还可以反变换回来； 2 ) 变换必须有好处，也就是变换应有利于图像压缩或改替图像质量： 3 ) 变换算法不复杂，因为很多编码威用是是实时的，算法矮保证一 定嚣遮簿速疫。 鼷魏，在图像中广泛臌髑的是二维正交交换。假设( m ，珂愚一个m x n 矩阵，g 如，n ；s ，f ) 和 0 ，t ；m ，n ) 分别表示正反变换核，则图像从空间域经某种 正交变换转到变换域的运算可表达为： m - ! 一1 f 0 ， ) = i ( m ，n ) g ( m ，n ；s ，f ) ( 2 6 ) 冀中，m ，n 和s ，f 郝楚整数，它们的取德范围： 0 m ，s m 一1 ；0 蔓i 1 ，t s n 一1 其相反的变换过程w 以表示为： ，k ，拜) 直f l 一l f 0 ，；弦，t ；m ，跨) s = ot = o ( 2 - 7 ) 如果g ( m ，n ；s ，f ) 可表示为：g ( m ，n ；s ，r ) = “如，s 弘0 ，f ) ，则称g ，n ；s ，f ) 为 可分离变换核，这时f ( s ，f ) 可以表示为： 哈尔滨工程大学硕士学位论文 吖一1i - n l1 f ( s ，f ) = l 厂( m ，n 弘0 ，f ) l “，s ) ( 2 8 ) m = ol n = oj 这样二维正交变换就可以分解为双重一维正交变换，即先以 为变量， 对图像厂，”) 的每一行逐行进行一维变换得n - 个中间结果厂，) ，再对 中问结果以m 为变量，逐列进行第二个一维变换，得到最终的变换结果 f br ) ，上述过程也适用于反变换过程。二维正交变换是满足能量守恒定律， 所以经二维正交变换后，信号的能量没有改变，但是分布却发生了很大的变 化，能量分布更集中了。为了保证平稳性和相关性，同时减少运算量，在变 换编码中，一般在发送端的编码器中，先将原图像厂( m ，”) 分成子象块，然后 对每个子象块进行正交变换，形成变换域中的系数矩阵f ( s ，f ) 样本，( 系数) 选择器再选择其中的若干主要分量进行量化、编码和传输。接收端解码器经 解码、反量化后得到带有一定量化失真的变换系数f ( s ，f ) ，再经反变换就 得到复原图像，。，n ) 。显然复原图像也带有一定的失真，但只要系数选择器 和量化编码器设计得好，这种失真可限制在允许的范围内，因此变换编码是 一种限失真编码。 通过选择不同的正反变换核，就可以构造出不同的二维正交变换，常见 的有k l 变换、离散傅立叶变换( d f t ) 、沃尔什一哈达玛变换( w h t ) 和离散 余弦变换( d c t ) 。在理论上，k l 变换是最优的正交变换，它能完全消除子 像块内象素间的线性相关性。经k l 变换后各变换系数在统计上不相关，其 协方差矩阵为对角阵，因而大大减小了原数据的冗余度，如果丢弃特征值较 小的一些变换系数，那么，所造成的均方误差是所有正交变换中最小的，但 是k l 变换在工程上实现很困难，这主要是由于其变换基不固定，且与变换 对象的统计特性有关，所以一般只将它作为理论上的比较标准。 实际上用的最多的是离散余弦变换( d c t ) ，它的性能最接近k l 变换。 由于d c t 有固定基，因而它是变换法的主流，在现有的几个国际标准中都选 中了d c t 。由于图像是二维的，因此下面详细介绍二维d c t 变换。 尺寸为m n 图像的二维d c t 变换定义为： 哈尔滨工程大学硕士学位论文 i i i ；j i i i i ；i i i i ；i i i ；i i ；i 俐叫) 岳笠m = o 窆n ；o 职小。s 去m ，扣 c o s 素鼢m ( 2 9 ) c g ) ： 老，舻o u ，1 ss m 一1 c o ) ：j 万i ，r = 。 1 1 , 1 t n 一1 二维i d c t 的变换定义为 删= 忘蓦篓c 嘲m c o s 匕c z 川b c o s b 协州 ( 2 1 0 ) 其中s ( m ，”) 为图像在空间域的表达式，而f ( s ，t ) 为图像在频域的表达 式。另外由于d c t 变换核是二维可分离的，所以在工程领域经常采用两个一 维d c t 变换来实现二维d c t 的功能。通常的做法是：先对输入矩阵做行的一 维d c t 运算，然后再对中间结果矩阵做列的一维d c t 运算并得到最终的结果 就是二维d c t 变换得到的最终结果。一维d c t 的表达式为： 州= 1 - 面2 - 刍n - i 枷s 竽 2 ，州 p y ( o ) 5 专荟x o ) ( 2 - 1 2 ) 一维i d c t 的表达式是： 酬= 粤十1 | 万- n 白- i 怖s l 胁- - - 丽“- - 蛔- ( 2 - t ，) 二维离散余弦变换是从傅立叶变换推导出的，它不仅具有d f t 的能量集 中的特性，而且所有运算均为实数运算，因而在工程中比较适用，当然1 3 c t 算法的复杂度也是要解决的问题，在实际应用中多采用快速d c t 算法。 哈尔滨工程大学硕士学位论文 2 2 3 量化 量