【毕业学位论文】（Word原稿）结合取样与量化之最佳化于MPEG-4视讯编码之研究-義守大學资讯管理研究所

义 守 大 学 资 讯 管 理 研 究 所 硕 士 论 文 结合取样与量化之最佳化于 讯编码之研究 A 究 生：廖进辉 指 导 教 授：陈孟峰 博士 共同指导教授：王隆仁 博士 中华民国九十二年六月结合取样与量化之最佳化于 A 究 生： 廖进辉 导教授： 陈孟峰博士 隆仁博士 守 大 学 资 讯 管 理 研 究 所 硕 士 论 文 A of 2003 华民国九十二年六月 I 结合取样与量化之最佳化于 研究生：廖进辉 指 导 教 授 ：陈孟峰 博士 共同指导教授：王隆 仁 博士 义守大学资讯管理研究所硕士班 中文摘要 多媒体视讯在一般生活中是非常常见的，但由于其数位化后的容量极为庞大，因此必须倚赖数位压缩技术来减少其资料量，以方便我们做储存或传输。而在诸多的视讯压缩标准中， 主要原因是， 此，适合在有限的网路频宽与低位元率下做传输，且仍能保持良好的视讯重建画质。但是虽然高压缩率可以达到大量缩减资料的目的，但其解码后的视讯画质将会造成极为严重的方块效应 (此负面的效应将会影响到重建视讯画质。 为了改善方块效应的产生，本论文依循 讯标准提出一种改良式的 讯编解码器，称为 解码器。并提出用前处理取样(方式，来降低量化 (差，找出在位元率与失真理论(的取样点，并结合适应性量化参数 (设计出 电脑模拟证明，本论文所提出的 重建后的视讯画质，明显优于标准 时根据实验后的 一般压缩率下， 在较高压缩率以上， 如：在 100200压缩率，以 352 288大小的视讯而言，多了约 640 480大小的视讯而言，多了约 关键词：方块效应、位元率与失真理论、量化参数 r. is in of is so of is In is of is at is to a In to a is a in to on an is to a O a of 谢 本论文的完成最感谢的是指导教授 王隆仁博士，在这两年的研究所过程，给予我相当充裕的资源，无论在学业或做人处事方面，亦提供相当多的宝贵意见，让我在学习的过程 中获益良多，其亦师亦友的态度，更让人倍感温欣。同时还要感谢口试委员 谢文雄博士、陈孟峰博士与杨崇宏博士，于口试期间给予指正及建议，让本论文完善严谨，不胜感激。 其次要感谢 智慧型资讯系统研究室的 同学毓庆、清俊、敏峰、沛原、瀚威、守维、夏颢、孟廷，在研究过程中的陪伴与成长，以及博士班娴梓学姐，给予大家相当多的帮助，当然还有曾帮助过我的人，在此亦一并感谢。 最后，感谢父母亲的关怀与支持，让我顺利完成学业，仅将本论文献给所有关心我的人，愿与大家分享这份荣耀。 廖进辉 谨志 民国九十二年七月二日 录 中文摘要 . 错误 !未定义书签。 . 错误 !未定义书签。 致 谢 . 错误 !未定义书签。 目 录 . 错误 !未定义书签。 图目录 . 错误 !未定义书签。 表目录 . 错误 !未定义书签。 第一章 绪论 . 错误 !未定义书签。 究背景 . 错误 !未定义书签。 机与目的 . 错误 !未定义书签。 文架构 . 错误 !未定义书签。 第二章 . 错误 !未定义书签。 . 错误 !未定义书签。 . 错误 !未定义书签。 . 错误 !未定义书签。 . 错误 !未定义书签。 第三章 取样与插补法及其应用 . 错误 !未定义书签。 样 (插补法 (. 错误 !未定义书签。 的应用 . 错误 !未定义书签。 射映对凸面集 (. 35 通滤波器 (. 错误 !未定义书签。 良式 . 错误 !未定义书签。 良式 . 错误 !未定义书签。 第四章 结合取样与量化之最佳化 . 错误 !未定义书签。 元率失真分析 (. 错误 !未定义书签。 码演算法 . 错误 !未定义书签。 码演算法 . 错误 !未定义书签。 第五章、实验结果 . 错误 !未定义书签。 观评估方法 . 错误 !未定义书签。 观评估方法 . 错误 !未定义书签。 第六章、结论与未来研究 . 错误 !未定义书签。 论 . 错误 !未定义书签。 来研究 . 错误 !未定义书签。 参考文献 . 错误 !未定义书签。 V 图目录 图 24:2:0取样格式 . 6 图 2面群 (. 错误 !未定义书签。 图 2. 错误 !未定义书签。 图 2. 错误 !未定义书签。 图 2. 错误 !未定义书签。 图 24:2:2和 4:4:4取样格式 . 12 图 2. 错误 !未定义书签。 图 2错画面 . 错误 !未定义书签。 图 2. 错误 !未定义书签。 图 2讯物件 (. 错误 !未定义书签。 图 2件可调性之编解码器 . 错误 !未定义书签。 图 2. 错误 !未定义书签。 图 2. 错误 !未定义书签。 图 2. 错误 !未定义书签。 图 2. 错误 !未定义书签。 图 2动向量预测方式 . 错误 !未定义书签。 图 2权矩阵 . 错误 !未定义书签。 图 2a)、 . 26 图 2b)、压缩比为 250:1下的 . 26 图 2c)、压缩比为 300:1下的 . 27 图 3近相邻插补法 . 错误 !未定义书签。 图 3线性插补法 . 错误 !未定义书签。 图 3见的插补函数 . 错误 !未定义书签。 图 3性样条插补法 . 错误 !未定义书签。 3方样条插补法 . 错误 !未定义书签。 图 3性插补法之线形 . 错误 !未定义书签。 图 3性样条插补法之线形 . 错误 !未定义书签。 图 3方回旋插补法之线形 . 错误 !未定义书签。 图 3方 . 错误 !未 定义书签。 图 3方回旋样条插补法之线形 . 错误 !未定义书签。 图 3良式 . 错误 !未定义书签。 图 3缩比为 100:1的重建影像 (a)原始 b)标准 影像之重建影像， c)最佳化 影像之重建影像， d)改良式 影像之重建影像， . 37 图 3用压缩比为 4:1的 . 38 图 3良式 . 错误 !未定义书签。 图 3缩比为 365:1下之视讯重建例子 (30 . 39 图 3缩比为 500:1下之视讯重建例子 (30 . 40 图 4. 错误 !未定义书签。 本章节将会介绍 主要是利用位元率失真分析 (拉格朗乘法子 (找出 能够小于或等于 . 错误 !未定义书签。 图 4. 错误 !未定义书签。 图 4. 错误 !未定义书签。 图 4用位元率失真定理找出最佳取样点 ( 2 50),()( . 45 图 4用位元率失真定理找出最佳取样点 ( 150),()( . 45 图 4. 错误 !未定义书签。 图 4. 错误 !未定义书签。 500建后的第 31张画面。 (a)原始视讯页框 (b)c)d). 50 图 5玟 40建后的第 46张画面 (局部放大 )。(a)原始视讯页框 (b)c)d). 51 图 5 误 !未定义书签。 图 5峰时刻 (640 480)于 . 54 图 5Y)效能比较 错误 !未定义书签。 图 5峰时刻 (640 480)Y)效能比较. 55 目录 表 2. 4 表 2. 错误 !未定义书签。 表 2框编码效能比较 (. 错误 !未定义书签。 表 2框编码效能比较 (. 错误 !未定义书签。 表 2. 错误 !未定义书签。 表 3种插补法之重建影像的 较表 . 错误 !未定义书签。 表 3准 佳化 良式 . 错误 !未定义书签。 表 552 288，位元率为 500. 52 表 540 480，位元率为 1000. 53 1 第一章 绪论 本论文提出一种改良式的 为 果能在高压缩比下，运用此压缩方法，则可以大幅地提高重建后的视讯画质。经由电脑模拟实验证明，在相同的高压缩比下，本论文所提出的 重建后的视讯画质，远优于标准 究背景 由于资讯科技的急速发展，使得网际网路与多媒 体压缩技术不断进步，相关的应用也不断的推陈出新。回顾过去，有许多各式各样多媒体结合通讯网路的应用与服务，如视讯会议、随选视讯、远距教学，乃至于数位影音光碟应用，在这些应用中，所产生的资料量是相当可观地，因此数位影音压缩技术在现在与未来扮演着相当重要的角色。由于多媒体的资料量极为庞大，尽管目前的网路技术已经到达宽频的时代，但随着使用人数的增加与对视讯品质的要求，势必仍会造成网路频宽不足的问题，因此，我们需要数位影音压缩技术来将这些庞大的资料做压缩处理。所以，数位影音压缩的目的即是在固有的储存媒体内，减少原有的视讯以及音讯的资料量，以增加较多的储存数量，同时亦能缩减在通讯网路上的传输时间。 以 有一全彩视讯大小为 320 240，每秒 30张的页框率，要储存一秒钟的资料量需要 3024240320 =54储存空间，光是在视讯部份就需要极大的储存空间，若再加上音讯部份，所需的储存空间势必更为庞大，因此，要有效地储存这些影音资料，数位影音压缩技术是多么重要。而在数位影音压缩技术里，以视讯压缩最为重要。目前的数位视讯压缩技术标准主 要有 中 这些标准中，以 2 机与目的 我们都晓得 适合应用在即时网路传输，但往往使用者考量到高压缩率时，相对的就必须牺牲视讯画质，通常为了保持视讯重建的画质，其压缩率仍有上限存在。且当 高压缩比率时，会因量化而造成极大的误差，以致解码后的重建视讯会有极为严重的方块效应 (题 8，此负面的瑕疵将会影响到重建的视讯画质。 基于上述之原因，本论文提出一种改良式的 讯编解码器，称为解码器，它是以前处理取样 (方式，来降低量化(差，但由于取样方式亦会造成取样上的误差，因此，如何使取样方式的取样误差与量化误差总合能够小于原始的量化误差，则是利用位元率与失真理论 (得到取样点，之后再结合适应性量化参数，设计出 电脑模拟证 明，本论文所提出的 重建后的视讯画质，明显优于标准 法。同时根据我们实验后的重建影像以及 一般压缩率下， 在较高压缩率以上， 出很多，以 352 288大小的视讯而言，大约多了 对于 640 480大小的视讯而言，则多了约 文架 构 本论文共分为六章。第一章主要介绍本论文之研究背景、动机与目的，以及整篇论文的架构。第二章将说明目前的视讯压缩技术 简单 缩标准的特色及其差别，以及在这些标准下，可能引发的方块效应问题做一详细说明。第三章将介绍一些取样与插补法的方法，以及目前有那些技术可以去除方块效应，并提到插补法运用到 四章介绍本论文所提出的改良式 何利用演算法找出位元率与失真理论下的取样点， 以及最适化之量化参数。而从第五章的实验结果中，可以证实本论文所提出的 够比 能有效地防止方块效应的产生，由视讯画质及 来看， 有较佳的效能表现。最后，第六章为本论文的结论以及未来相关的研究方向。 4 第二章 时也是最多相关应用的多媒体影音压缩技术。 是由一群专家在 与 ，所制定用来压缩视讯与音讯的标准，并陆续制定出 已成为目前视讯压缩的主要技术，为了更清楚地了解 订定的标准历史，表 2列出了 标准的制定时程表。而在下面的节次中，我们将会介绍 表 2标准 开始制定 评估测试 草案制定 国际标准 988年 5月 1989年 10月 1990年 9月 1992年 11 月 990年 12月 1991年 11 月 1993年 11 月 1994年 11 月 1) 1993年 7月 1995年 10月 1997年 10月 1999年 5月 2) 1999年 3月 2000年 2月 讯压缩基本原理 1中，主要是在分析影像资料在空间域 (时间域 (相关性，其目的是在去 除影像资料中的冗余性 (料，以及降低影像储存空间或资料量，以达到资料压缩以及减少储存记忆体的目的。其中去除冗余性资料是利用资料间具有的相关性特质，来去除之间的重复性资料，以达到资料压缩的目的。资料压缩主要是利用以下三种方式来进行： (1)去除资料在空间上的重复：这种方式通常是透过转换 (量化 (程来达到此目的。转换是指将资料由空间域转到频率域 5 (过程，一般是以离散余弦转换 (做转换。而量化过程在于将高 频讯号给过滤掉，以达到资料缩减的效果。 (2)去除资料在时间上的重复：对于视讯而言，通常画面间的物体移动差异性并不大，因此可以利用移动估计 (得出物件的移动向量 (所以只要传送画面间的移动向量及巨方块间的差值，便可以达到去除多余资料的目的。 (3)去除资料在编码时的重复：在压缩过程中，编码会使用到行程长度编码 (它是记录位元样式为零的出现的次数，再利用可变长度编码 ( 进行编码，如此便能够去除编码时位元样式的重复。 (1)色相转换 (当我们在做影像压缩时，通常所输入之影像皆为全彩影像，也就是 是 一个像素是以 Y、 表示，其中 表示彩度值 (因此我们必须将、 式。一般 、 式所使用的公式会因定义的不同而有所差异， (由 司所定义的 (在做取样时，会先将画面分割成许多互不重迭的 16 16 的巨方块(例如：在 缩标准，它会对亮度与彩度做 4:2:0 的取样格式。所谓的 4:2:0 格式是指，每一个巨方块是由四个 8 8 的亮度方块 (Y)、一个 8 8的彩度方块 (及一个 8 8的彩度方块 ( 所组成，如图 2 6 亮 度 取 樣 點 ( Y )彩 度 取 樣 點 ( C b 、 C r )图 24:2:0取样格式 (2)离散余弦转换 (当做完色相转换后，再来要将空间域 (的资料转换成频率域(的资料，在视讯压缩技术中，最广泛使用的转换方法为离散余弦转换。在一般影像中，我们可以发现影像上大多数的区域内，颜色的变化都不大，因此，若以 这些影像资料做分析，就会发现高频的系数值都比较小，而低频的系数值比较大，这表示转换后的系数会集中在某些低频的讯号上，而多数的高频讯 号系数值则会趋近于零。目前有许多的压缩标准皆采用此方法做转换，诸如： 个 8 8的二维 示： 7070707016)12(c o 2(c o D C 2(c o 2(c o F D C Tu (其中,( 置上的频率系数值，,( 置的值减去 128后的数值， o th e rw is 10 , 21)( ， o th e rw is 10, 21)( 7 (3)量化 (量化是许多压缩技术中不可或缺的一环。由于许多经过转换后的资料是具连续性的，例如： 8 8 的像素区块经过 换后所产生系数值都是带有小数点的浮点数，因此量化的目的是为了将 换后的亮度及彩度频率区块再行处理，使得每一个系数值变小，并取最接近的整数值，以利使用后续的可变长度编码 (，可以得到较好的压缩效果。 但由于量化是属于有损压缩 (步骤，这种做法虽然可以有效减少资讯量，以达到压缩的效果，但是当解码端要解码时，会因为之前舍弃了高频讯号的资讯，导致解码后的系数与原来的系数不同导致产生重建上的误差，当此误差大到相当容易察觉时，在影像相邻的方块边缘上，会出现不连续的地方，产生类似于格子状的杂讯 (特别是在高压缩率的情况下，此现象最为严重。 (4)可变长度编码 (经过量化后的 8 8系数值，会以扫瞄方式 (二维的系数值排成一个一维的数列，由一个 数及 63 个 数合成，由于 数对于影像而言是相当重要的，因此必须将 中 由于量化后的高频 了不将这些零值做编码，因 此使用行程长度编码 (式，将这些零项进行简化，并以 nd 为非零项的结尾。可变长度编码则是将 率最常出现的资料给予较短的码 (而频率最少出现的则给予较长的码，目前最常使用的可变长度编码为霍夫曼编码( (5)移动估计 (移动补偿 ( 8 在连续的影像中，通常存在相当高的相似性， 这是由于画面内的物体本身动作及移动量不大，故连续画面间大部份都是重复性的资料。以常见的新闻播报员来讲，在新闻播报过程中，几乎只有主播的嘴型有些许的变化，画面其他部份几乎完全没有任何动作，所以，我们只要将第一张画面完整的传送，而其他画面只要传送嘴型区域的资料就可以完整的播放整个新闻内容。 移动估计主要是在探讨如何求得最匹配的移动向量，利用所求得的向量，计算出两个巨区块 (间的差异值，所以只要传送移动向量及差值，解码端就可以根据移动向量由参考画面取出最匹配的相似巨区块，再加上其差值即可还原 成原来的巨区块，这即是移动补偿技术。 是针对多目标的视讯压缩所设计的，主要是将视讯资料压缩至数位光碟媒体 (以及应用在 ，30倍左右，其画面解析度可分为两种，一种是台湾、美国、日本等地所使用的 352240 0 另一种则是中国大陆、东欧等地所使用的 352288 5 除了可使用 上述两种画面速率之外，亦有 24、 50、 及 60 的画面速率可供选择。另外， 1/2 作补偿方式，因此编码效果比 B 画面 (这三个画面便构成一个画面群 (如图 2设有一视讯档，其 0，则表示每 10张画面后就 会有一张 I 画面， I 画面所呈现的就是一张完整画面，因此即使视讯中间如有出现较大的变化 (画面切换或剪接等 )，还是可以在利用下一个 I 画面来恢复正常的拨放。 9 图 2面群 (1) 若为 号会直接经过离散余弦转换、量化、可变长度编码程序，其编码方式是采用类似于 方式处理，如图 2示。由于 I 画面的编码过程只会用到画面本身的资料，不会参考到其他画面间的关系，故所储存的就是一张完整的画面，因此编码较容易，速度也最快，但 由于不参考到其他画面，因此少了消除画面间的冗余特性，故压缩率较差。 YC bC rF o r e a c hm a c r o b l o c kF o r e a c hb l o c TQ u a n tZ i g - z a EH u f f m a 1 0 1 . . 特别注意的是，由于 及 此，在完成量化处理的资料须再经反量化 (及 将这此张编解码后的 供后面的 画面