（微电子学与固体电子学专业论文）mpeg2+mphl视频解码器的研究.pdf

摘要 m p e g 2m p i i l 是h d t v 所采用的视频编码标准 具有非常广阔的市场前 景 h d t v 作为一个新兴的 潜力巨大的市场 已经吸引了世界许多国家和机构 的参与 纷纷加重对其的研究和开发 m p e g 2m p h l 视频解码器由于其数据 量大 实现比较困难 现在市场上采用a s i c 实现的m p e g 2m p h l 视频解码 器屈指可数 为了我国在下一代数字电视标准中抢占先机 很有必要对m p e g 2 u p h l 视频解码器展开研究 针对m p e g 2m p j i l 视频解码器数据量大的特点以及随之带来的设计难 点 本文主要对系统控制 总线调度和数据存取这三个m p e g 2m p h l 视频解 码器的关键技术做出研究 本文以视频编解码理论和集成电路设计理论为基础 对m p e g 2m p i i l 视频解码器的设计 测试和验证做了较为深入的研究 首先简要介绍了视频编解 码的概况 分析了m p e g 2 视频标准 并对已开发出来的m p e g 2m p h l 视 频解码器做了比较与总结 然后从分析视频解码器的实时性入手 引入数据驱动 结构以实现视频解码器的高效控制 还简单讨论了用于视频解码器的差错控制方 法 接下来 对s d r a m 的物理结构 特别是存取数据时的延时以及m p e g 2 视 频码流的存储特点作了分析 在此基础上提出了有效的数据存储方案 然后讨论 了总线调度的一些算法 分析了视频处理系统的数据处理特性和视频懈码器内各 模块对总线的需求 根据系统的特点并结合总线调度算法 提出了简单可行的总 线调度算法 并给出了与总线交互各模块的f i f o 长度 最后 给出了本文所设计的m p e g 2m p h l 视频解码器采用的设计和测试 流程 以及视频解码器的综合结果 关键词 m p e g 2h d t v 数据驱动总线调度数据存储 v i a b s t r a c t m p e g 2m p n lh a sg r e a tp r o s p e r o u sm a r k e ti d r o s p o e t s av i d e oc o d es t a n d a r d sa d o p t e d b yh d t v a sar i s i n ga n dp o t e n t i a lm a r k e t h d t vh a sa l t l a c t e dal o to f c o u n t r i e sa n ds t r u c t u r e st o p a yg r e a ta t t e n t i o nt or e s e a r c ha n dd e v e l o pi t i ti st o oh a r dt or e a l i z et h ev i d e od e c o d e ro f m p e g 2m p h i b e c a u s eo fi t sh e a v yd a t aq u a n t i t y a n dt h e r ei sf e wm p e g 2m p h lv i d e o d e c o d e r si nt h om a r k e tr e a l i z e db ya s i c t h er e s e a r c ho f i t 啪h e l pc h i n ag e t st h eo p p o r t u n i t yo f t h ed i g i t a lt vs t a n d a r d s oi ti sn e c e s s a r yt oh a v er e s e a r c ho i lm p e g 2m p h lv i d e od e e o d e r a c c o r d i n gt oc h a r a c t e r i s t i c so ft h eh e a v yd a t aq t m t i t ya n dd i f f i c u l t i e sc o m ew i t hi t t h i s d i s s e r t a t i o nh a sd e v e l o p e dt h r e ek e ys i d e so f m p e g 2m p t lt e c h n o l o g y 鹤s y s t e mc o n t r 0 1 b u s s c h e d u l ea n dd a t aa c c e s s b a s e do i lt h et h e o r i e so fv i d e oc o m p r e s sa n dd e c o m p r e s sa n di n t e g r a t e dc i r c u i t sd e s i g n t h e d i s s e r t a t i o nr e s e a r c h e so nd e s i g n i n g v e r i f i c a t i o n a n dt e s t i n go ft h em p e g 2m i r cv i d e o d e c o d e r f i r s t l y v i d e os t a n d a r d s e s p e c i a l l yw i t hm p e o 2 n n dt h e o r yo f v i d e oc o d ea n dd e c o d e a f ca n a l y s e d a n dal o to f m p e g 2m p 孵i lv i d e od e e o d e r sa s t u d i e da n dc o m p a r e d s e c o n d l y b a s e do nr e a lt i m eq u a l i t yo f v i d e od o e o d o r t h ed i s s e r t a t i o nu s e sd a t a d r i v e na r c h i t e c t u r et or e a l i z e t h ee f f i c i e n tc o n t r o lo fv i d e od o d e r f 1 1 l t h e r m o r e d i s c u s se l l o rc o n t r o l l i n gw a y s t h i r d l y t h e d i s s e r t a t i o na n a l y s e sp h y s i c a ls t l u c t u i o f d r a m e s l e e i a l l ya b o u tt h ed e l a yt i m eh a p p e n e di n t h ea c c e s so f s d r a m a n d 妣s t o r a g ef 明t u r e so f m p e g 2 t h e n p r o p o s e sw a yt os t o r ed a t a n e x t t h ed i s s e r t a t i o nd i s c u s s e st h ea r i t h m e t i co f b u ss c h e d u l e a n a l y s e ss p e c i a l t i e so fd a t ad i s p o s a lo f v i d e os y s t e ma n db u sr e q u i r e m e n t so fd i f f e r e n tm o d e l so fv i d e od e c o d e r a c c o r d i n gt ot h e c h a r a c t e r i s t i c so ft h es y s t e ma n dt h ea r i t l a m e t i eo fb u ss c h e d u l e t h ed i s s e r t a t i o np r o p o s e ss i m p l e b u tf e a s i b l ew a yo f b u ss c l a e d u l ea n dt h ef i f ol e n g t ho f m o d e l sc o n n e c tw i t ht h eb u s f i n a l l y t l 砖d i s s o r 蜥o nr e p r e s e n t st h ed e s i g na n dt e s tf l o ww h i c hi su s e di nt h em p e g 2 m p h i v i d e o d 0 d 时枷t l a cs y n t h e s i sr e s u l t s k e y w o r d m p e g 2 h d t vd a t a d r i v eb u ss c h e d u l ed a t as t o r a g e 原创性声明 本人声明 所呈交的论文是本人在导师指导下进行的研究工作 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已发表 或撰写过的研究成果 参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意 本论文使用授权说明 期巡 堕 本人完全了解上海大学有关保留 使用学位论文的规定 即 学校有权保留论文及送交 论文复印件 允许论文被查阅和借阅 学校可以公布论文的全部或部分内容 保密的论文在解密后应遵守此规定 签名 赵遮 导师签名 氍 垫尘日期 i l l a p s 一1 上海大学硕士论文 第一章绪论 1 1 课题的研究背景和研究意义 多媒体技术已经深入到人们的日常生活当中 视频技术作为多媒体技术的核 心部分对于多媒体系统的性能至关重要 人们对于其中的关键技术之一 m p e g 2 编解码的研究也越来越深入 m p e g 2 编解码技术是多媒体通信 多媒体存储 交互式视频业务及电视系 统数字化过程中的关键技术 m p e g 2 标准也是数字视频广播的国际标准 在不 远的将来 数字电视取代现有的模拟电视是技术进步和经济发展的必然趋势 m p e g 2m p h l 是数字高清晰度电视所采用的标准 高清晰度电视 h i g l l d e f i n i t i o nt e l ev i s i o n h d t v 的 高清晰度 指与现有的电视相比 其水平和垂 直两个方向的图像分辨率都要求提高一倍以上 使用大屏幕显示器近距离观看 时 图像细腻逼真 无闪烁和粗糙感 并配以数字环绕音箱伴音 h d t v 全部采 用数字方式制作 传播和接收 能收看到近似于电视台节目的原始质量 没有重 影和 雪花 同时 数字电视系统可提高多种业务形式 实现交互 数据广播和 与计算机联网等功能 因此 h d t v 可以看作国家信息基础结构中理想的信息终 端 h d t v 作为一个新兴的 潜力巨大的市场 吸引了世界许多国家和机构的参 与 纷纷加重对其的开发和研究 甚至已提高到了战略的高度 随着我国高清晰度电视功能样机系统的研制成功 我国已成为世界上全面掌 握数字电视系统的第4 个国家 科研成果的产业化是现阶段的主要任务 目前数 字电视系统中的信源 信宿部分大都建立在m p e g 2 算法的基础之上并在 m p e g 2 定义的框架范围内 另外 h d t v 的数据量是标准清晰度数字电视 s t a n d a r dd e f i n i t i o nt e l ev i s i o n s d t v 的六倍多 这意味着m p e g 2m p h l 视 频解码器的实时性要求高于一般的m p e g 2 视频解码器 实现难度更高 市场 上现有的能满足h d t v 规格的视频解码器不多 因此 为了确保我国的信息安 全和数字电视系统的领先地位 很有必要对m p e g 2 编解码的研究与开发展开 研究 而对m p e g 2m p h l 视频解码器的研究更具有现实的意义 1 2 现有的m e p g 2m p h l 视频解码器简介 目前 市场上大多是针对m p e g 2m p m l 的视频解码芯片 而针对 上海大学硕士论文 m p e g 2m p h l 的视频解码芯片不多 尽管如此 针对h d t v 的解码芯片的研 究已取得了很好的成绩 国内外已经有多家公司 p h i l i p s l s i t i c c u b e s t 青岛海尔半导体公司等 生产出符合m p e g 2m p h l 的视频解码芯片 视频处理系统采用的体系结构可分为可编程结构和专用结构 可编程结构是 设计或使用一个执行指令的硬件核 通过在硬件核运行程序来实现解码功能 适 用范围广 能对不同的算法提供支持 易于升级 但是为了提供多功能解码支持 它必须增加额外的硬件电路 从而导致电路功耗的增加 专用结构一般是通过 a s i c 的方法设计专用的处理芯片 虽然适用范围比较窄 但由于其卓越的性能 被越来越多的视频处理系统所采用 自从1 9 9 4 年m p e g 2 标准发布以来 其中的m p e g 2m p h l 是数字高清 晰度电视所采用的格式 人们已经开发出了许多针对不同级别的m p e g 2 视频 解码器 由于m p e g 2m p h l 级别的图像数据量比较大 其对应的编解码器工 作运算量比较大 而用软件的方法实现对硬件本身的要求较高 所以 目前实现 m p e g 一2m p h l 级别的视频编解码主要还是采用硬件实现 n t t 电子公司于 2 0 0 3 年7 月1 7 日宣布成功开发出世界上第一款实时解码h d t v 级别的m p e g 2 视频信号的软件解码器 h d v i e w e r s y s t e mc l o c k 图1 1 视频解码器合并而成的m p e g 2m p h l 视频解码器 m p e g 2m p h l 视频解码器比较复杂 就其原理而言 目前解码器的实现 方法主要分为两类 一类是采用成熟的m v p d s p 处理器设计适用于h d t v 的 解码器 或者使用s d t v d v d 的处理芯片架构设计h d t v 视频处理系统 即 上海大学硕士论文 使用现有的成熟资源来构建符合m p e g 2m p h l 规范的视频解码器 以缩短设 计周期 图1 1 t 1 矾 图1 2 t 1 7 利用了4 个s d t v 解码器组成一个f l d t v 解码器 通过 增加并行性以利用现有的成熟的资源来实现h d t v 视频的实时解码 这对于系 统的设计和验证非常简便并且可以大大节省系统设计和验证的时间 但考虑到将 输入码流高效的分解成为4 个s d t v 码流 送到4 个s d t v 视频解码器 最后 把这4 个解码输出码流合并为m p e g 2m e m 输出码流 在这过程中 就需要 增加额外的开销和差错控制 因此这种设计的优点在于系统组成灵活 设计周期 短 易于实现 缺点在于芯片规模和功耗较大 图1 2 四个s d t v 视频解码器合并而成的m p e g 2m p h l 视频解码器 另一类是基于a s i c 其优点是系统的效率较高 面积小 功耗低 缺点是 相对于前一种方法 设计周期比较长 大多数的m p e g 2m p h l 视频解码器为 了压缩芯片规模 提高效率 采用这一种方法 信息家电 移动媒体对高质量视 频有着巨大的需求 而使用现有的结构不能很好的满足这些领域的要求 所以目 前高质量视频编解码器的研究方向主要在予a s i c 的设计 根据内部模块和模块 间相连的途径 又可以有几种不同的实现方法 比较多的视频解码器采用了流水线的技术以达到高速的数据处理要求 如图l 3 嘲利用了m p e g 标准中数据分层的特性 把解码过程以宏块为单位 上海大学硕士论文 图1 3 基于流水线的m p e g 2m p h l 视频解码器 分成若干个并行的进程 这样通过提高流水线的加速比 来达到提高硬件资源利 用率和系统效率 但在图1 3 以宏块为单位的流水线中 i d c t 模块中必须以块为最小处理单 位 这就要求流水线中 必须有块到宏块的缓冲机制 才能使得i d c t 的后续模 块m c 正常处理 再加上解码器中流水线每个模块工作时间不能等长划分 使得 流水线的优点不能得到充分发挥 不能将加速比提高到极致 相应的也就不能把 数据吞吐率提高到最大 图1 4 两通道的h d t v 视频解码器框图 4 上海大学颈士论文 为了改进流水线在m p e g 2 视频解码器的性能 图1 4 采用了双通道的结 构 不同于前面的圈1 1 图1 2 它在v l d 模块后 将数据路径分为两路 分 别进行数据处理 然后再在视频显示单元进行合并 这样使得系统的并行性较好 数据处理能力较强 并可以降低系统频率 缺点和图1 1 图1 2 类似 有额外 的硬件开销 两条并行数据处理通道的协调和差错控制等 改进流水线低效的一个很好方法是采用基于d a t a d r i v e 数据驱动 的结构 像 1 1 8 1 卅设计的m p e g 2m p h l 视频解码器很好的解决了流水线低效的问题 模 块之间的连接完全采用数据驱动 解决了流水线上各运行模块的工作周期必须一 致的要求 加之数据驱动下的解码器适用分布式的控制器 这样h d t v 的高实 时性 大数据量的要求能得以很好的满足 1 3 本论文的工作和章节安排 本文先简要介绍了视频压缩编码的基本方法和视频编码标准 并在此基础上 重点分析和比较了已开发出来的m p e g 2m p h l 视频压缩编解码器 接着对 m p e g 2 的核心部分 控制器作了讨论 并用数据驱动的方法实现了m e p g 2 m p h l 视频解码器的控制部分 然后对数据存储策略和总线的调度方法做了分 析并给出了行之有效的方案 最后给出了m p e g 2m p h l 视频解码器的测试和 验证流程 本文作者参与了m p e g 2m p h l 视频解码器系统方案的论证和设计 并着 重负责解码器控制部分的设计 用c 语言实现了m p e g 2m p h l 视频解码器 并对数据存储和总线调度算法做了研究 给出了行之有效的解决方案 然后 对 m p e g 2m p h l 视频解码器的部分模块用v h d l 语言进行转化 论文章节安排如下 第一章先对课题的背景和研究意义做了简单介绍 接下来重点分析和比较了 已开发出来的m p e g 2 视频解码器的结构 最后介绍了本文的研究意义和主要 工作 第二章主要介绍视频解码的基本知识和m p e g 2 视频解码 先简单介绍了 视频编解码的基础知识和通用的模型 然后对m p e g 2 视频解码器涉及到的相 关知识做了重点讨论 第三章先分析了m p e g 2m p m l 视频解码器的实时性需求 然后引入数据 e 海大学硕士论文 驱动结构 并对数据驱动实现的解码器分层次的进行了分析 第四章先分析了s d r a m 和m p e g 2 视频码流的特性 利用s d r a m 的特 性来减少固有延时的影响以加快访存速度 和m p e g 2 视频码流在存储器中存 储的优化方法 给出了一种行之有效的数据存储结构 第五章首先提出了一个简单的总线交互模型 在此基础上讨论了常用的静态 分配总线调度算法中的t d m 调度算法和固定优先级调度算法 然后分析 m p e g 2 视频解码的特点和总线需求 确定视频解码器系统中的优先级排列 并给出m p e g 2m p h l 视频解码器的总线结构 还对与总线交互的模块f i f o 长度做了理论上的估算 第六章介绍了基于数字系统设计的m p e g 2m p h l 视频解码器设计和测 试方案 并给出了本文设计的m p e g 2m p h l 视频解码器的已经实现的模块的 一些性能参数 第七章对本文所做的工作作了总结 并说明了下一步工作的方向 6 上海大学硕士论文 第二章n p e g 2 视频编解码器概述 本章主要介绍了视频压缩的基本方法和一般模型 视频标准的概况以及 m p e g 2 视频标准的原理 2 1 视频压缩的基本方法 视频压缩系统是不同工具 处理技术 的结合 这些工具用于将数字信号的 比特率降低到某个值 该值不会影响为特定的应用所选择的图像质量级别 按照 信宿端解码后信号的信息量是否与信源端信号的信息量完全一致来分类 可以分 为 无损压缩编码和有损压缩编码 参见图2 i 无损压缩编码 又称为信息保持编码或可逆压缩编码 一般可以把普通文件 的数据压缩到原来的1 2 1 4 常见的方法有可变长度编码 v a r i a b l el e n g t hc o d i n g v l c 游程长度编码 r u n l e v e lc o d e r l c l z w l e n p e l z i v w e l c h 压缩 算法和消隐数据移除等 有损压缩编码 又称为不可逆压缩编码或信息非保持编码 一般可以把普通 文件压缩到原来的1 2 1 1 0 0 并且由于在帧内或者帧间有数据舍入和丢弃 会 导致解压缩后的数据丢失和图像降级 我们可以通过基于人类视觉系统 h u m a n v i s u a ls y s t e m g v s 特性的样本值的心理视觉冗余来使这些降级最小化 常见的 方法有 样本子抽样 差分脉冲编码调制 d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n d p c m d c t 系数的量化等 图2 1 视频压缩系统常用无损和有损数据压缩技术分类 2 2 视频编解码系统的一般模型和基本算法结构 上海大学硕士论文 在视频处理系统中 只采用单个编码方式很难达到理想的效果 考虑到编码 方式各有各的特点 现在的视频编解码系统常采用混合编码的方式 一般为运动 预测 余弦变换 差分脉冲编码调制 量化 熵编码 2 2 1 视频编解码系统的一般模型 通常 采用预测编码来消除相邻帧之间的时间相关性 采用变换域编码来消 除图像内部的空闯相关性 最后采用熵编码以利用码字的统计特性 这种混合编 码方式己获得广泛应用 特别是带有运动预测的帧间预测和d c t 变换的编码模 型与解码模型目前较为流行 m p e g 1 m p e g 2 h 2 6 1 h 2 6 3 和h 2 6 4 都采 用了这种混合编码方案 其一般过程见图2 2 分块h 运动估值l 哼 0 爿五高 磊n i f 坂l j 一 始 图 像 磷 一1 流 占 懈吲t 附变按h 展舭卜 帧嗣预测蝙码变换编码和阜化熵编码 图2 2 视频编码的一般过程 相应的 视频解码是视频编码的逆过程 其一般过程见图2 3 女 拇秘 一寥爨孵烈和墓莓坦 一 蝮蠛拎甓 图2 3 视频解码的一般过程 由图2 2 图2 3 我们可以看出视频编解码可以分成三个部分 其中 变换 编码是最基本的部分 帧间预测编码是提高视频压缩效率的一个主要方法 接下 来 将对这三部分做一一讨论 2 2 2 模型各组成部分 8 上海大学硕士论文 图2 2 2 3 的编解码模型只是一个视频编解码的框架 具体到不同的视频 压缩的标准 所采用的具体技术也会有所不同 故本节主要介绍与视频编解码技 术相关的理论知识 具体涉及到m p e g 2 视频标准的技术部分将在接下去的章 节中讨论 2 2 2 1 变换编码 变换编码的基本原理是 将原来在空间域描述的图像信号 通过一种正交变 换 变换到另一个正交矢量域 称为变换域 中进行描述 简单来说 就是把信 号由空间域变换到变换域中并用变换系数进行描述 通过此变换 这些变换系数 之间的相关性明显下降 并且能量常常集中在宜流和某些低频区域中 这样 很 容易实现码率压缩 因为变换系数经过量化后可以达到部分为零 或很接近零 可以舍去 而只对少数低频分量分配一定的位数 如果要恢复原信号 则可经逆 正交变换回到空间域 用于图像编码的离散正交变换的类型很多 有斜变换 沃尔什 哈达马变换 哈尔变换 k l 变换 k a r h u n c n l o e v e 余弦变换等 除了k l 变换外 都有快 速算法 k l 变换采用图像本身的特征向量作为变换的基向量 故与图像的统计 特性完全匹配 是在最小均方差准则下进行图像压缩的最佳变换 但是 由于变 换矩阵与图像类型有关 所以无快速算法 离散余弦变换 d i s c r e t ec o s i n et r a n s f o r m d c t 根据图像信号的分块情况确 定变换矩阵 在各种正交变换中 d c t 变换因与k l 变换最接近 且d c t 的计 算有很多种快速算法 因而被许多视频编码标准所采纳 它通过正交变换以简单 地在频域里描述空间视频图像 使得视频图像的空间相关性明显下降 信号的能 量主要集中在少数几个变换系数中 采用量化和熵编码可有效的压缩数据 经 d c t 变换得到的系数 其能量主要沿着对角线分布 且在左上角集中主要能量 反映了图像大部分区域变化不大 亮度突变占少数 即图像能量以低频成分为主 通过量化 舍弃一些对视觉效果影响不大的次要信息 可达到进一步的压缩 不 同效率的系数对人眼的视觉效果不同 因此 可充分利用人眼的视觉特性选择不 同的量化方案 比如自适应比特分配 区域编码 门限控制等 n x n 的像素块中 正向2 d d c t 变换通常就表示为 脚咖掣薹薹r c x y c o 哑警如鸟产 z 上海大学硕士论文 逆向2 dd c t 变换则通常表示为 v c o 鼍产 2 2v 0 y 砉 u c v f u s 竖岽匀兰哚竽 u10 d1 二i 1 其中u v x y o 1 2 n 1 i u v 0 c u c v 2 l 1 其它 快速算法通过减少运算次数而减少运算时间 这对于设计快速的硬件系统非 常有效 常用的一维d c t i d c t 快速算法有基于变换矩阵分解的蝶形运算和基 于位元计算的快速算法 二维d c t 的快速算法一般采用行列分离d c t 算法 d c t 变换编码是基于图像块的 非常规则 一旦硬件设计中将快速算法确 定下来 其运算时间 运算量均是不变的 且可预知 非常适于硬件设计 2 2 2 2 量化和反量化 如前所述 为了进一步压缩变换系数的动态范围 d c t 系数必须经过量化 器量化 量化器可分为无记忆量化器和有记忆量化器 无记忆量化器是每次只量 化一个模拟取样值 又称零记忆量化或标量量化 有记忆量化器是假定各样值之 间存在着相关性 合理的利用这些相关性 就能进一步的压缩数据率 在语音 图像等实际信源的数字化技术中 大多采用带记忆的量化器 如d p c m a m 矢量量化等 o l 量化过程是用d c t 系数除以量化表系数 再将所得的值四舍五入取整 量 化及反量化可以定义为以下式子 龇g 吣嘲 z 反量化 g v g ou v q v 2 4 式中g u v 为d c t 系数 q u v 为量化步长 g u v 称为归一化量化系 数 通常 量化步长的最佳值是由输入图像及图像显示设备的特性来决定的 量 化步长的调整在码率控制方面具有重要作用 在一些视频编码标准中 如 m p e g 一2 用码流输出缓冲器的状态来反馈控制量化步长是保证恒定码率的重要 1 0 上海大学硕士论文 途径 量化表中的数据是通过对d c t 系数作大量的量化步长试验和统计来确定 的 2 2 2 3 熵编码 熵编码有变长码编码 游程长度编码 算术编码等组成 在音视频编码标准中 数据量大并且出现频率高的参数 如运动矢量 d c t 系数等 多采取通过变长码编码来获得更高的压缩效率 h u f f m a n 编码是图像 语音压缩中最重要的编码之一 是变字长的最佳编码 方法 即在具有相同输入概率集合的前提下 其平均码长比其他任何一种可能的 编码都短 h u f f m a n 编码算法没有提供错误保护功能和随机定位调用功能 尽管 如此 h u f f m a n 还是因其编码效率高 实现简单得到了广泛的应用 经综合统计 在各种标准中 制定了统一的变字长码表 变长码编码的过程 是根据数据参数的具体值从码表中查找与之对应的变字长码字 解码部分的变字 长解码就是变字长编码的逆过程 由于解码时字长不可预知 必须查表得知 所 以变长码解码的实现难度比变长码编码大 变长码解码其主要分为串行解码和并 行解码两种 且解码时由于对字长不确定的数据进行操作 具有运算时间和运算 量的不确定性 i u c 应用于视频编码标准中的游程长度编码是指d c t 编码后 变换系数经量化 后出现很多零系数 在z i g z a g 扫描时 编码端只对零系数的个数编码 解码段 恢复时插入零 算术编码 3 9 1 算术编码在图像数据压缩标准中扮演了重要的角色 在算术编码中 消息用 0 到1 之间的实数进行编码 其中 用到了两个基本的参数 符号的概率和编码 间隔 信源符号的概率决定压缩编码的效率 也决定编码过程中信源符号的间隔 而这些间隔包含在0 到1 之间 编码过程中的间隔决定了符号压缩后的输出 2 2 2 4 预测编码 预测编码分为运动估值和运动补偿两部分 在m p e g 2 中 一般以宏块为 单位 1 6 x 1 6 像素 做预测编码 在最新的h 2 6 4 中 宏块可以分成不同的子块 如1 6 x 8 4 x 8 等 一共有7 种不同模式的块尺寸 上海大学硕士论文 运动估计 加l 4 1 运动的视频图像相邻两帧之间一般具有很强的相关性 采用运动估计进行帧 间编码来去除图像帧时间上的冗余度是提高视频编码压缩比的重要手段之一 运动估计算法可以归为两类 一类为图样匹配算法 一类为递归算法 第一 类算法假定一个图块中的所有象素做同一运动 所以运动估计可以从前一帧中搜 索最佳匹配得到 后一种方法是基于递归思想 如果连续帧中 象素数据的变化 是因为物体的移位引起的 算法就会在梯度方向做迭代运算 使连续的运算最后 收敛于一个运动估计矢量 基于这两种算法 各类实用的算法纷纷出现 主要有 块匹配法 象素递归法 相位相关法 全局运动算法估计等 其中 块匹配法因 其算法简单有效 实时性好 及易于大规模集成而在视频编码中得到广泛应用 运动补偿 4 3 l 运动补偿应用于解码器和编码器的本地解码部分 是运动估计的逆过程 首 先运动矢量被解码 然后根据已解码的运动矢量和预测方式等解出来的参数计算 出参考宏块的地址 并读取参考宏块 最后 进行运动补偿运算 根据差值矩阵 和参考宏块来计算得出最终的宏块 上述运动预测和预动补偿都是以宏块为单位的 其中的运算具有运算时间与 运算量的可确定性 可是在考虑到整个m e p g 2 视频解码时宏块类型的判定 宏块编码模式 补偿模式等因素的不同 我们发现规则运算的运动预测和运动补 偿 会因为视频解码时带来的不确定性而增加额外但又是必要的时间和硬件开 销 2 3 现有的视频标准 随着信息技术的飞速发展 各种各样的视频压缩产品不断涌现 为了便于国 际间的交流和贸易 同时迫于数字存储媒体 电视传播及通信等应用中对运动图 像压缩的强烈需求 应用7 0 年代束8 0 年代初数学家们提出的牺牲压缩精度以 换取压缩率的崭新思路 国际标准化组织 i s o 国际电工委员会 m c 和国际电 信联盟 i t u 下属的国际电报电话咨询委员会 c c i m 陆续成立了专门的机构 制 订了各种数据压缩与通信的标准和建议 国际音视频编解码标准主要有两大系 列 i t u 最初为c c i t t 针对多媒体通信制定的h 2 6 x 系列视频编码标准和g 7 系列音频编码标准 i s o d t cj t c i 制定的m p e g 系列标准 目前 已经制订和 1 2 上海大学硕士论文 正在制订的运动图像压缩标准有 用于视频会议的c c i t th 2 6 1 p x 6 4 标准 用 于可视电话的c c i t th 2 6 3 标准 用于v c d 的i s o1 1 1 7 2 m p e g m 用于广播 电视和d v d 的i s o h e c1 3 8 1 8 m p e g 2 标准 适用于低传输速率的m p e g 4 和 h 2 6 4 用于定义多媒体信息标准的m p e a 7 被称为2 1 世纪多媒体框架的 m p e g 2 1 和我国拥有自主知识产权的数字电视音视频编解码技术a v s 下面 就这些标准做简单介绍 c c i t t 即后来的i t o 第1 5 研究组于1 9 9 0 年7 月正式通过了h 2 6 1 标准 h 2 6 1 主要用于会议电视 采用了帧内编码和帧间编码 其压缩比大致是j p e g 的三倍 3 1 m p e g i 制定于1 9 9 2 年 可适用于不同带宽的设备 如c d r o m v i d e o c d 它的目的是把2 2 1 m b i t s s 的n t s c 图像压缩到1 2 m b i t s s 压缩率为2 0 0 1 这 是图像压缩的工业认可标准 它可针对s i f 标准分辨率的图像进行压缩 传输速 率为1 5 m b i t s s 每秒播放3 0 帧 具有c d 音质 质量级别基本与v h s 广播级 录像带 相当 m p e g 1 的编码速率最高可达4 8 m b i t s s 应用m p e g 1 技术最成 功的产品非v c d 莫属 v c d 作为价格低廉的影像播放设备 得到广泛的应用和 普及 m p e g 一1 还被广泛应用于数字电话网络上的视频传输 如a d s l 非对称 数字用户线路 v o d 视频点播 以及教育网络等 3 8 i m p e g 2 制定于1 9 9 4 年 起初的设计目标是高级工业标准的图像质量以及 更高的传输率 其所能提供的传输率在1 5 m b 1 0 0 m b s 问 在n t s c 制式下的 分辨率可达7 2 0 x 4 8 6 m p e g 2 可提供一个较广范围的可变压缩比 以适应不同 的画面质量 存储容量以及带宽的要求 m p e g 2 能够提供广播级的视像和c d 级的音质 可提供左中右及两个环绕声道 以及一个可选的低频增强声道 由于 m p e g 2 的出色表现 已经能够很好的应用于h d t v 使得原本打算为h d t v 设计的m p e g 3 取消 合并到m p e g 2 此外 m p e g 2 技术也是实现d v d 的 标准技术 除了作为d v d h d t v 的指定标准外 m p e g 2 还被广泛应用于为 广播 有线电视网 电缆网络以及卫星直播提供广播级的数字视频 勰1 1 9 9 5 年 u t 在h 2 6 1 建议基础上进行了改进 提出了h 2 6 3 建议 甚低 码率通信的视频编码 但它的主要应用是可视电话 并非通用的视频编码标准 在甚低码率 码率 6 4 k b i t s s 的应用环境中 以上标准暴露出严重的不足 一 上海大学硕士论文 方面会产生一些难以忍受的鹰像现象 这主要表现为块效应 振铃现象和快速运 动的不连续性 另一方面由于这些标准的可分级性能较差 在多点传送时无法同 时满足具有不同接受性能的终端用户的要求 1 9 9 8 年1 1 月 正式对外公布m p e g 4 标准 m p e g 4 代表了基于模型 对象 的第二代压缩编码技术 充分利用了人眼视觉特性 抓住了图像信息传输的本质 从轮廓 纹理思路出发 支持基于视觉内容的交互功能 这适应了多媒体信息的 应用由播放型转向基于内容的访问 检索及制作的发展趋势 m p e g 4 不仅可提 供高压缩率 同时也可实现更好的多媒体内容互动性及全方位的存取性 它采用 开放的编码系统 可随时加入新的编码算法模块 同时也可根据不同应用需求现 场配置解码器 以支持多种多媒体应用 h 2 6 4 也是m p e g 4 的p a r t l o 发布于2 0 0 3 年 提供了比m p e g 4 和h 2 6 3 更高的压缩率 可节约5 0 的码率 对网络传输有着更好的支持 支持编码和 解码复杂度的不等分配和扩展 h 2 6 4 还引入了一些新的压缩方法 大大提高了 压缩效率 随着多媒体技术的飞速发展 一个急需解决的矛盾是臼渐庞大的图像 声音 信息的管理和迅速搜索 为解决这个矛盾 于1 9 9 8 年1 0 月提出了一个针对力求 能快速有效的搜索出用户所需的不同类型的多媒体资料的工作提案 m p e g 7 多媒体内容描述接口 m u l t i m e d i a c o n t e n t d e s c r i p t i o n i n t e r f a c e 它 对各种不同类型的多媒体信息进行标准化描述 并将该描述与所描述的内容相联 系 以实现快速有效的搜索 其应用领域包括 数字图书馆 广播媒体的选择 多媒体编辑 多媒体创作等 为解决在互操作方式下用户与臃络之闯交换多媒体信息的交换 管理和保护 的复杂性 2 0 0 0 年6 月开始 m p e g 2 1 i s o i e c 2 1 0 0 u 的正式名称为多媒体框架 正式开始制定 m p e g 2 1 的重点是将不同的协议 标准和技术结合在一起 支 持连接全球网络的各种设备透明地访问各种多媒体资源 以便从多媒体内容发布 到消费所涉及的所有标准建立一个基础体系 3 6 1 由于我国未掌握m p e g 2 标准的核心技术 使用m p e o 2 标准必须交纳不 菲的专利使用费 我国于2 0 0 4 年1 2 月2 9 日通过了a v s 标准视频和系统部分的 审定 a v s 是一套适应面十分广阔的技术标准 其优势表现在以下几方面 a v s 1 4 上海大学硕士论文 是基于我国自主创新技术和国际公开技术所构建的自主标准 a v s 与m p e g 4 h 2 6 4 编解码效率相当 但技术方案更简洁 a v s 可节省一半以上的无线频谱和 有限信道资源 降低传输和存储系统的复杂程度 显著降低传输 存储设备与系 统的经济投入 a v s 最直接的效益是节省数以亿计元的专利费 从而为我国数 字电视等音视频产业的跨越发展提供难得的契机 2 4 m p e g 2 视频解码系统原理 m p e g 2 视频压缩的原理是利用了连续图像中的空间相关性和时间相关性 这两种相关性使得图像中存在着大量的冗余信息 如将这些冗余信息去除 只保 留少量非相关信息进行传输 就可以大大节省传输带宽 而信宿端的解码器则可 以利用这些非相关信息 在保证一定的图像质量的前提下恢复原始图像 因此 一个好的压缩编码方案就是能够最大限度的去除图像中的冗余信息 并且能尽可 能的还原 2 4 1 m p e g 2 标准简介 m p e g 0 2 是一种高质量的视频压缩标准 也是广泛应用于广播电视的视频压 缩标准 目前 m p e g 2 标准由9 个部分组成 即系统 视频 音频 一致性测 试 软件模拟 d s m c c 扩展 高级音频编码 系统解码的实时接1 2 1 扩展 d s m c c 一致性扩展 统称为i s o i e c l 3 8 1 8 其第二部分 i s 0 i e c l 3 8 1 8 2 为视频标准 用于描述视频编码方法 考虑到如果将所有应用需要协调成单一的语法 其标准肯定是非常复杂的 m p e g 0 2 采纳了一种称为工具箱的这种方法 将视频编码规范中规定的语法子集 定义为类 p r o f i l e 其特点是可根据需要从工具箱选出 个子集 以满足应用的 需要 通常一个类包括几个等级 1 e v e l 依据m p e g 2 标准 m p e g 2 视频可以 分为5 个类4 个等级 其组合共有2 0 种 对应于不同的视频格式和压缩比 可 以采用其中的1 1 种组合 当前模拟电视存在着p a l n t s c 和s e c a m 三种制式并存的问题 数字电 视的输入格式标准试图将这三种制式统一起来 形成一种统一的数字演播室标 准 这个标准就是c c i r 6 0 1 现称i t u r r e c b t 6 0 1 标准 m p e g 2 中的四个输 入图像级的格式都是基于这个标准的 低级 l o wl e v e l 的输入格式的像素是 i t u r r e c b t 6 0 1 格式的l 4 即3 5 2 x 2 4 0 x 3 0 代表图像帧频为每秒3 0 帧 每帧 上海大学硕士论文 图像的有效扫描行数为2 4 0 行 每行的有效像素为3 5 2 个 或3 5 2 x 2 8 8 x 2 5 低 级之上的主级 m a i nl e v e l 的输入图像格式完全符合i t u m k c b t 6 0 1 格式 即 7 2 0 4 8 0 x 3 0 或7 2 0 x 5 7 6 x 2 5 主级之上为h d t v 范围 基本上为i t u 砌妯c b 1 6 0 1 格式的4 倍 其中1 4 4 0 高级 h i g h 1 4 4 0 l e v d 的图像宽高比为4 3 格式为 1 4 4 0 x 1 0 8 8 x 3 0 高级 h i g hl e v e l 的图像宽高比为1 6 9 格式为1 9 2 0 x 1 0 8 8 3 0 在m p e g 2 的五个类中 较高的类意味着采用较多的编码工具集 对编码图 像进行更精细的处理 在相同比特率下将得到较好的图像质量 当然实现的代价 也较大 较高类编码使用了除较低类的编码工具外没有的一些附加工具 因此 较高类的解码器除能解码用本类方法编码的图像外 也能解码用较低类方法编码 的图像 即m p e g 2 的类之间具有后向兼容性 简单类 s i m p l ep r o f i l e 使用最少 的编码工具 主类 m a mp r o f i l e 除使用所有简单类的编码工具外 还加入了一种 双向预测的方法 信噪比可分级类 s n rs c a l a b l ep r o f i l e 和空间可分级类 s p a t i a l l ys c a l a b l ep r o f i l e 提供了一种多级广播的方式 将图像的编码信息分为基 本信息层和一个或多个次要信息层 基本信息层包含对图像解码至关重要的信 息 解码器根据基本信息即可进行解码 但图像的质量较差 次要信息层中包含 图像的细节 广播时对基本信息层加以较强的保护