基于DaVinci处理器的H.264解码器软件设计与优化实现

浙江大学硕十学位论文 摘要 本文针对D aVi nci 处理器 提出了H 2 64解码 器的 软件设计 对 解码器中 主 要 的五个模 块及 容错策 略进行了 论述 并且根 据D a v i nci 处理器具 体特点 对 解 码器的五个模块以及容错策略进行了设计和优化 本文首先对数字 视频 数字视 频技术相关背 景以 及视 频压缩编码国 际标准 作 了 简要介绍 在硬件平台部分 本文先对数字信 号处理 器的 发展现 状及其在数 字 视 频领域的应用进行概 括性论 述 然 后详细 阐述了D a V inc i 处理器的 整体架构 存 储结构 汇编指令特点 和开发 环境等 本文的 重点是H 2 64解码器的设计以 及解码 器中 核 心模块的优化设 计 论 文 主体 部分先提出 了H 2 64标准的技术 亮点 设 计了解 码器 并且对 解码器的五 个 主要 模块 取码模块 预测模块 墒解码模 块 反量 化 反变换 模块和去 块滤 波 模块 进行了 详细的论述以及设计和 优化 其中 在 预测模块的 优化中 提出了 多运 动 矢量 m v s 的运动补 偿技术 在嫡解码模块中对C A v LC 码表进行了改 进设计 在 去块 滤波 模块中 改进了 它的数 据流和bs值计算的 机制 另外 针对H 2 64视频的 容错 策略 本文归纳了五 种策略 最后重点 讨论了 错误 掩盖技术 并且根 据系 统 的算 法复 杂度要求 设计了空 域错误 掩盖和时域 错误掩 盖两种容错 策略 关键字 数字视频 H 2 64 D avi nci 多运动矢量运动补偿 去块滤波 错误 掩盖 以VLC 浙江大学硕士学位论文 Ab s t r a c t B as e d onD a V 1 n c i P ro ce s so r a so n w ar e desi gnofH 2 64dec oderisPut fo 件 倒 rd Fi ve 的port a ntm o d u le sofH 264d e c o d e r an d r m ana g e m e n t 毗 由 义 理 壁 姆 d F u n h 已 n n ore 妙l ak l n g t hes t ru c t ur e c h ar a c t e ri 抓csofD a V i n c i i n t o consid e r a t i o 从the al g o ri t 加 口 ofthesem odu 1 esan d erTDrm an a g e m e n t are o p 石 m i z ed F irstlr we P r e S ent the b a c k g ro u ndofdi g i talvi de o techn0 1 o gy itss 盯 d aJ 月 1 乙 时 io n 皿d the c h a ra c t e ri sticsofD a V in c 1 P T o c e ssoL T b e n our di 即 ussi on ism a i ul yfo c uson the so ft w ar e d e s i gn田 ld o P t i m 让 访 g of H 2 64d eco d e L Atthe 忱gi mun g the c h a r a c l e ri sti csofH 2 64劝 an 山 ax d are hi 酗l g b 它 ed 了 b 即we g i v e the desi gnan d o P t i m 访ngofthe fi vem ain m o dulesind e ta i l Fi vem ai n modulesare bi t st r e 别 g e tt i n g P r e d i c ti 叽 e n tr 0 P y d ec 阂er i q Uan 侧 i d ctan d d e b lockln the P r e d l ction m odu e we ad van ce a e wtechao o gy c alledm u lti 一 m v s motion vec to rs m o t 1 oncom pen Sat1 o nInthe e n t r o P y d e c oderm o d u 1 e we c h an g e the 佣 d e tablein0 r d e r tom a k e it e as y tofo okfo r co de Inthe de bI o c k m odul e we c h an gethe 山切s tr e aln 出 ld the m e t h 叱ofc al cu城吨 bs Atthe e n d we sum uPfive m e t h 侧 Jsof e n 劝 r m a n a g e m ent and m a k e anl n t e 拙i ves l u d y ofe r ro r con ce a m e n L K 叮 o rds d 娜加 1讨 d eo H 2 64 D a 叭 c d e b l oc叭e n r c o 沈 恤 C A V L C m 浦 non c e a 加 中 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果 据我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其 他人已经发表或撰写过的研究成果 也不包含为获得浙江大学 或其他教育机构 的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示谢意 学 位 论 文 作 者 签 名 准 和 年 签 字 日 期 年 夕 月 0夕 日 学位论文版权使用授权书 本学位论文作者完全了解浙江大学有关保留 使用学位论文的规定 有 权保留并向 国家有关部门或机构送交论文的复印件和磁盘 允许论文被查阅 和借 阅 本 人授权浙江大学 可以 将学位论文的全部或部分内容 编入有关数据库进行 检索 可以 采用影印 缩印 或扫描 等复 制手段保存 汇编学 位论文 保密的学位论文在解密后适用本授权书 学位论文作者签名 倒峰 0 月0 7 日 导 师 签 名 疆 乡 了 飞 签 字日 期 刁 年 签 字 日 期 衬年 夕 日 勺钊 疚 学 位 论 文 作 者 毕 业 后 去 向 罕渗 3 印 m 工 作 单 也牡 3 农 司 通 讯 地 址 秘市 高 新 扣 沙 奸 发 赫椒工 崛 六率路未 电话 邮 编 3 矛 如占 3 浙江大学硕士学位论文 第1 章绪论 L l数字视频基础理论 随着视频压缩标准的 不断推出 及视频编码技术的 不断进步 数字视频技术的 应用变得越来越广 其产品的成本也越来越低 特别是自 上世纪90年代以来 随着有线及无线网 络技术的迅速发展和网 络带宽的不断加大 数字视频产品变得 和人类的生活密不可分 需求量不断地攀升 典型的 应用包括 可视电 话 手机电 视 数字电 视 田i g il a te l e v i s i on 数字 机 顶盒 吓91 回s e tt o p B o x e s 硬 盘式录 像 机口igitalv i d e o R c c o rd 等 数字视频是利用摄像机之类的视频捕捉设备 采集外界影像的信息并将这些 影像信息数字化 然后记录到储存介质 如录像带 或者通过网 络传输 播放时 视频信号被转变为帧信息 并以 每秒若干幅的 速度进行显示 这样就利用了人类 眼睛的视觉残留 可以使观看者收看到连续运动的影像 在外界影像信息的采集和数字化过程中 存在一个色度空间转换的问题 色 度空间 是色彩集合的 一种数学表示 最 常用的 色 度空间 有R GB YIQ Y U v Ycb c r Y U v 色 度空间的 分支 和c M YK 等 其中R GB主 要 用 于 计 算 机图 形 YIQ y l 丁 V 主要用于视频系统 C MY K主要用于彩色印 刷 民 G和B分别代表三原色 红 绿和蓝 用它们表示的图像信息每种颜色都占 用一个字节 下表 表1 1 为 R G B色度空间的饱和色度对照表 1 表 1 IR G B色度空间的饱和色度对照表 雪 理 蒙 重 勇 粤暮 蕊 盆 澡墓 喜 R to Z 二 25 5 岛5 1 乃52 宝 Goto Z 肠乃5乃5与5乃50 00O 皿 o to 肠 二 0巧50乃50 与5O 这种表示方法有一个弊端就是三种颜色必须要占 用相同的带宽 而事实上 人类的眼睛对亮度信息特别敏感 对色度信息 相 对不是很敏感 这就 产生了 另一 浙江大学硕士学位论文 种在视频应用中广泛使用的色度空间Y U V Y代表亮度信息 U和V代表色度 信息 在这种色度空间中 Y和U V可以 有不同的带宽 Rc B 色度空间和丫 1 刃色 度空间的相互转换公式 1 为 Y二02 9 9 R 0 5 8 7 G 0 1 1 4 B U 一 0 1 4 7 R 一 0 2 8 9G 0 4 3 6 B 0 4 92毋 一 妈 V 0 6 1 5 R 一 0 s l 5 G 一 0 1 0 0 B 0 8 7 7 R 一 均 R 二Y 1 1 4 0 V G Y一0 3 9 5 U一0 5 8 l V Br oY 2 0 3 2 U 尽管色度空间的 转换节省了 带宽 但是这种未 压缩的 视 频数 据量相 对于目 前 的 计算机和网 络来说无论是存储还是传输都是不现实的 为了 在P A L N TSc 和 S E C A M 电视制式之间确定共同的数字化参数 国家无线电咨询委员会 C o n s u ltati v e C o Inln i tt e e o f ln t e rn a t i o n a R a d io 简称C C 皿 制定了 广播级质量 的 数字电 视编码标准 称为 C C 班一 6 01标准 根据 此标准 假设 采样频率f 13 S MH 电 视制 式NTs c 分辨率为640 x 48 帧 率为30 加 如 果 采 样 格 式 Y U 码 为4 2 0 则 数据量 b yt e s s 为3 0 x 6 4 0 x 4 8 0 x 1 1 2 1 3 8 2 4 0 0 0 没有经过压 缩的 一 秒钟数字 视 频数 据量达到1 3 S M b 尹 习 5 如 果 用 来 存 储 那么I GB 容 量的 存储器连10分钟的影像数据都存不到 因 此在多 媒体中 应 用数字 视频的关 键问 题是数字视频的 压缩编码技术 传统的 压缩编码是建立在香农 S h 出 川 o n 信息论 基础上的 它以 经典的 集 合论为基础 用统计概率模型来描 述信源 但它未考虑 信息 接受 者的 主 观特性及 事 件本身的具 体含义 重要程度和引 起的 后果 因 此 压 缩编码的 发展历程实际 上是以香农信息论为出发点 一个不断完善的 过程 7 图像编码方法可分为两代 第一代是基于数据统计 去掉的是 数据冗余 称 为低层压缩编码方法 第二代是基于内容 去掉的是内 容冗余 其中基于对象 浙江大学硕士学位论文 o bj ec t 一 B as ed 方法称为中 层压缩编 码方 法 其中 基于 语 义 s y n 以 一 B 出 记 d 方 法称为高层压缩编码方法 本文所述视频压缩编码是基于数据统计 即去掉数 据 冗余 视频信息在空域和时 域上存在大量的冗余信息 利用一定的手段做到去掉 此类冗余信息 即可以 达到压缩数据量的目 的 常用的 在空域上减少冗余的 方法 主要有帧内压缩等 在时域上减少冗余的方法主要有帧间压缩等 无论是帧内 还 是帧间压缩 数据都需要经过变换编码和量化等步骤 7 帧内 玩 t r a 压缩也 称为 空间 压缩 即ati al co n l p 爬 s s i on 当 压 缩一 帧图 像 时 仅考虑本帧的数据而不考虑相邻帧之间的数据相关性 这实际上与静态图像 压缩类似 帧内 一般采用有损压缩算法 由 于帧内 压缩时 各个帧之间没 有相互关 系 所以压缩后的视频数据仍可以以 帧为单位进行编辑 帧内 压缩一般达不到很 高的压缩比 帧间 b t e r 压缩是基于 相邻帧数据之间 具 有很大的 相关性这特性 即 视频 相邻帧之间存在冗余信息 根据这一特性 去除 相邻帧之间的冗余信息就可以 进 一步压缩数 据量 帧间 压 缩也 称为时间 压缩 介 m 卯 司co m p r e s s i on 它 通 过 比较时间轴上不同帧之间的数据进行压缩 帧间压缩一般是无损的 帧差值 F 侧 刀 e di fferencmg 算 法是 一 种典 型的 时 间 压 缩 法 它 通过比 较 本帧 与 相 邻帧 之间的差异 仅记录本帧与其相邻帧的差值进 行压缩 这样可以 大大减少数 据量 变换编码是域的变换 无规律分布的原始数据 通过变换编码 可以 在另一 个域中相对集中 从而减少各分量之间的统计相关性 常用的 变换编码有离散余 弦变换 D C T D I SCr e t e C o s 嘛 1 加 1 1s fo rm 小波变换 研 白 v e l etTr山 场 n n K L K ar h u n e n L o eve 变换等 由 于ocT 的信息集中能力 和计算复杂 度综合的 比较好 优T 被广泛应用 量化是 针对经过 D C T变换后的系数进行的 量 化过程就是以 某个量化步长 去除D c T 系数 量化步长的 大小决定了 量化精 度 量 化步长越小 量化精度就越 高 包含的信息越多 但所需的传输频带越高 不同的1 C T变换系数对人类视 觉感应的重要性是不同的 比 如人类的视觉感应对视频的低频分量特别敏感 相 反 对高频分量则不敏感 因此编码器根据视觉感应准则 对一个8 x8 的1 尤T 浙 江大 学硕 士学 位 论文 变换块中的64个D C T 变换系数采用不同的 量 化精 度 以 保证尽可能多地包含 特 定的D C T 空间 频率信息 又使量化精度不超过 需要 D cT 变换系数中 低频系 数的量化精度较高 高频系数的量化精度较低 通常情况下 一个D C T 变换块中 的 大多数高频系数量化后都会变为零 变换编 码和量化的图 示如图1 1 所示 图1 1变换编码和t化 1 2视频编码国际 标准及比 较141151181 近年来 图像压缩编码技术得到了 迅速发展和广泛应用 而且日 臻成熟 其 标志就是几个关于图像压缩编码的国际标准的制定 即国际标准化组织 ls o I n t e m a t i o n a 1 S 加 吐 山 时 d S0 r g 耐乙 鱿 l on 和国际电工委员会 IE c o n t e m a t i o nal E e c t r o l eC hoi cal c 一ss io n 关于静止图像的编码标准 J PEG 国际电信联盟 I Tu一I n t e m a 宜 i o n alTriat h l on U ni o n 关于电 视电 话 会议电 视的 视频编码标准 H 261 H 2 63和15 朋E C 关于活动图 像的 编 码 标准M p E G 1 M p E G 2 和M p E G 4 等 1 么I B J 6x系列标准 1 2 2 I R 2 1 H 261 是最早出 现的视频编码协议 于1 990 年由I T U T组织提出 H 2 61是 基于Is D N I n t e gr at eds e rV l c esDigi talN e 伽 o rk 视 频 会 议的 标准 主 要 针 对实时 编 码和解码设计 压缩和解压缩的信号延时不超过 1 5 如5 码率为 Px 64 kb p 城 护1 30 O H 261 标 准 主 要 采 用 运 动 补 偿 的 帧 间 预 测 D C T 变 换 自 适 应量 化 嫡编码等压缩技术 它只有1 帧和P 帧 不支 持B 帧 运动估计精度只 精确到 像素 级 支持两 种图 像扫描 格式 QCIF 1 7 6 xl 44 和c IF 3 52 x28 8 浙江大学硕士学位论文 1 22 2凡 2 臼 H 2 63标准是甚低码率的图 像压缩编码国 际 标准 它一方面以H 2 61为基 础 以 混合编码为核心 即把减少空间 冗余的 帧内 预测法和减少时间冗余的 变换 编码 法结合起来 其基本原理和H 2 61十分相似 原始数据和码流组织也相似 另一 方面 H 2 63也吸收了M p E G等其它一些国 际 标准中有效 合理的 部分 如 半 像素精度的 运动估计 P B帧预测 非限 制运动矢量和基于语法的 算术 编码 等 使它性能优于H 2 61 H 2 63适用于低带宽 上传输高 质的 视频流 它使 用的 位率 范围为S Kbp s 1 5 砒Ps 且传输比 特率可不固 定 变码率 H 2 63支持多 种分 辨率 S Q C IF 1 2 8 x 9 6 QCI F 1 7 6 x l 44 C I F 3 5 2 x28 8 4 C IF 7 04 x 5 76 1 6 C I F 1 4 0 8 x l l 5 2 其编码器框图 如图1 2 所示 工 叭 肠 灯 1 价 r E E 标 志 是否 传愉的标志 量化 翻昌 示 量化值索引 向 蛋 图 1 2H 2 63 编码器框图 1 223B 2 4 H 2 6 4 是I T U T 的V C E G 视频编码专家组 和1 5 0 I E C的M P E G 活动图 像编码专家组 的 联合视频组 J v T jo int v i d o t e 田 力 开发的 一 个新的 数字视 频编码标准 它既是I T U 一的H 264 又是15 训E C的劫 P E G we 4 的第10部分 1 998 年1 月份开始草案征 集 1 9 99年9 月 完成第一 个草 案 2 o 01年5 月 制定 了 其测试模式T M L 一 8 2002年6 月的JvT 第5 次 会议通过了H 2 64 M p E G 4P art 1 0 的FCD版 浙江大学硕士学位论文 H 2 6 4 和H 2 61 H 2 6 3 一样 也是 采用D T 变换编码加D P C M 的 差分 编码 即 混合编码结构 在技术上 H 2 6 4 M P EG礴P 足 rt 标准中有多 个闪 光之处 一是高 精度 多模式的 运动估计 H 2 6 4 MPE G 一p a rt lo 支持1 4或1 8像素 精度的运动矢量 在1 4像素精度时可使用6 抽头滤波器来减少高频噪声 对于 1 8像素精度的运动矢量 可使用更为 复杂的8 抽头的 滤波器 在进行 运动估计 时 编码器还可选择 增强 内 插滤波器来 提高 预测的 效果 二 是基于4 x 4 块 的 整数变换 H 2 6 4 M P E G 一P artlo 与先 前的 标准相似 对残差采用基 于 块的 变换编码 但变换是整数 操作而不是实数 运 算 其过程和D CT 基本相 似 这种 方法的优点 在于 在编码器中 和解码器中 允许 精 度相同的变 换和反变换 便于使 用简单的定点运算方式 也就是说 这里没有 变换 误差 变换的 单位 是 4 x4 块 而不是以 往常用的8 x8块 由于用于变换块的尺寸缩小 运动物体的 划分更 精确 这样 不但变换计算量比 较小 而且在运动物体边缘处的 衔接误差 也大为 减小 三是分层的编码语法 H 2 64 M p E G 礴P art 1 0 的 算法在概 念上可以 分为 两层 视 频 编码层 v C L V 记 e 0 C odi n g L a y e r 负责 高 效 的 视频内 容 表 示 网 络 提取 层 N A L N e two rkA b s 仃 a c l i o n L ay e r 负 责以 网 络 所要 求的 恰当 的 方 式 对 数据进行打包和传送 在V C L 和N A L 之间 定义了 一个基于 分组方 式的 接口 打 包和相应的信令属于N A L的 一部分 这样 高 编码效率和网 络友 好性的 任务分 别由V C L 和N A L 来完成 这些措施使得H 2 6 4 M P E G 碑P art 1 0 算法 具有很 的高编码效率 在相同的重建图像质量下 能够比H 2 63节约50 左右的 码率 但不可避免地 提高了它的运算复杂度 1 22 系列标准 M PEG 是M ov 吨Pi c tt 犷 e s E x pe 血C r o 即 动 态 图 像 专 家 组 的 缩 写 是 一 个 致力于数字视频 音频技术发展及标准化的 杰出 组织 它是 15 0 I n t e m a t io 耐 5 宜 an 选 ar d o r g an l zatio n 与I E c I nterr la 6 0 na l EI 滋 ro 苗 c C otnnuttee 在1 9 88年 联 合成立的 正规的 组织代号是15 以E CJ TcF s c 2 9 乃 万 G l l 成员 专家来自 于不同 国家的最有业界影响力的研发机构 在十多 年的时间 里 M p E G组织取得了 丰硕的 成果 自 身也 有了 很大的 发展 1 9 9 2 年11月 MP E 任1 被批准 并于1 9 93年被15 0组织接纳为国际标准 1 9 94 浙江大学硕士学位论文 年 11月 MP E G 一 2 标准发布 19 99年和2 0 01年分别有了 版本 并在 1 9 95 年成为国际标准 州 于 E G 4 标准则于 1 和版本2 1 22 I MP EG 1 MP E G 一 1制定于 1992 年 为工业级标准而设计 编号为 15 0 月 E Cn1 72 MP E 卜 1 针对C I F 标准分辨率 N T S C制为3 5 2 又 2 4 0 P A L制为3 5 2 x 2 8 8 的 图像进行压缩 并在标准中 规定了音视频信息经过压缩后的数据码率最大为 1 SM如5 M p EG一 1 可实 现 在不同带宽的 设备 如C D 一 R O M 叭 d cD 等数字 媒体上进行存储 也可以 在局域网 Is D N网上进行音视频信息的 传输 1 2 22州 PE G 2 M p E G 组 织在1 9 94年推出了M p E G 一 2 压 缩标 准 并 在1 99 5 年 成 为 国 际 标准 编号为15 0 八 E C1 3 引5 M P E O 2 标准是 针 对标准数 字电 视和高 清 晰 度电 视 在各 种应用 下的 压缩方案和 系 统 层的 详细规定 编码码率 可 达l oo M b p s MPE G 2 不 是 M p EG一 1 的 简单 升级 它在系统和传 送方面 作了 更加 详 细的 规 定 和 进 一 步的 完善 h 口 r E G 2 特别适用于广播级的数字电 视的编码和传送 被认定为S D T V和 H D TV 的 编码标准 M P E G 一视频压缩的 原理是利用了图 像数 据的 两 种特性 空 间 相关性和时间相关性 这两种相关性使得图 像中存在大量的 冗余信息 为了能 够有效的去除图像中的冗余信息 M p E G 2 标准中将编码图 像被 分为 三类 分别 称为1 帧 P 帧和B 帧 1 帧图 像 采用帧内 编 码方式 P 帧 和B 帧图 像 采 用 帧间 编码方式 P 帧图像只采用前向 时间预测 B帧图 像采用 双向 时间 预测 可以 大 大提高压缩倍数 M p E G 2具有以下几个突出 特点 1 支持的图 像分 辨率 最高 包括符合 I TU一 R R c c 601 C C IR601 格式的 标准分辨率的 数字电 视 和更高分 辨率的1 D I V 2 支持包括高 速体育运动在内 的各种活动图 像 3 支持的 应用最为 广泛 既包 括存储媒体中的D v D 广播电 视中的 数字广播电 视和H D Tv 还可 应用于交 互 式的 视频点 播 v o D 和准视频点播 N v o D 4能 够 适配八 r M等宽带通信 网 浙江大学硕士学位论文 1 2J3MP E G刁 M p E G 礴于19 98年10月定 案 在19 99年1 月 成为一 个国 际 性 标 准 随 后 为扩展用途又进行了第二版的开发 于2 0 01年有了 其第二个版本 M P E G 闷的 国 际 标准编号为15 0 八 E CI 科 MPE G 4的目 标比 特率 达 到sk 饰 s 35 Mbps 它 的特点是更适于交互A V服务以 及远程监控 是一个有交互性的动态图像标准 M p E G 礴编解码的 基本思想是基于图像内 容的 第 二代视频编解码方案 并将基于 合成的 编码方案也结合 在标准中 它根 据图像的内 容 将图 像分 割成不同的 视频对 象v o 巧d e O 0 bj ec t 在编码过程中 对前景对象 和后景 对象 采 用不同的 编码策 略 对于人们所关心的前景对象 则尽可能的保持对象的细节 及平滑 而对不大 关心的后景对象采用大压缩比的编码策略 M P E G 碑视频编码器框图 见图1 3 所 不 犷 卜 频入 示视输 运动补偿 参考帧 缓神区 运动估计 苏 状编码 图1 3N IP E G 4视频编码器框图 1 2 3MP E 卜 2 M P E G 闷与标准的技术对比 13 本文主要讨论 H 2 64 视频解码器的实现 所以以下着重论述 H 2 64 与 MP E G 2 MP E G 礴视频部分采用的技术对比 见表1 2 浙江大学硕士学位论文 表1 2 H 2 64与M P E G 2 M p E G 4视频部分 采用的技术 对比 表 技未特点 标准 幼护E 卜 2M口DGJ日山 宏块大小 1 血16 帧模句 1 6 皿 8 场模为 1 衍 1 61 放1 6 块大小 8 x 8 1 份1 6 8 x 8 1 6 x l 6 8 盆 1 6 1 叙8 8 x8 翻8 8 x4 七魂 变换编码 8 又 已 DC sx8 IX工 8 迅 4 认整教变换 七4 2 x2哈达码变换 盆化固定童化步长的量化值 固定量化步长的量化值以12 残为增量的量化值 摘编码 VL CVL C 讥刀 C AV L C 刃 A B A C 象素精度半象素精度1 4象素梢 度1 4象素精度 参考 核 一帧一核多帧 双向预侧 前向 后向前向 后向 前向 后向 前向 前向 后向 后向 权重预侧 无无有 去块谁波 无无有 倾类型 1 卫B1 只B 只B S L sP 回放和快进 有有有 健壮性D 幽 p a n i ti o 氏r E C 5 扣 h 阴议 川 i ou D P 又目刀 H 川 er曰1 即 1 0 氏 地 纽P 州i l i o n 恤 门 盯 d u 吨 F M O Red u n d ant s l i 浙江大学硕士学位论文 传翰比特率2 1 5 Mb 声S K 晒 3 5 俩钾6 4 K 坤5 1 5 0 姗明 编码复杂度中中高 从上表的 对比 可以 看出 H 2 64标准新引 入了 空间 域的 帧内 预测 4 x4及8 x8 的整象素变换与2 x2及4 x4的哈达码变换 多 帧参考 权重预测 解决块效应的 环内 滤波 C A V L C及C A B A C嫡编码 灵活的宏块排序 F M O 以 及针对差错控 制和错误恢复的冗余片及S P SI等新技术 1 3 本文主要任务 最新一代的 视频压缩编码标准H 2 64一经问 世就受到 业界的 广泛关注 这主 要源于其出 色的 技术特性和广泛的应用前景 本文的 主要 工作是 在基于业界最高 性能的D S P 平台丁 M S 3 20C 6 00D 丁 M 的D a V i nc i 处 理器上实 现H 2 64解码 其意义 主 要 是 在高 性 能 的D s P 上实 现高 质 量的H 2 64视 频 解 码 给D v R IP巧 deo p ho n e 等应用提供一个视频解码的具体方案 本文一开始先详细介绍了D a 巧 nci 处理器的 结 构特点 汇编指令等的 使用 然后讨论了H 2 64视频压缩编码标准区别于以 往 标准的 技 术亮点 在此基础上 提出了H 2 64解码器的设计 本文的重点是 对解码器中的去 块滤波和 容错策略进 行了论述 并从算法设计和数据流层面上对它们进行了设计和优化 具体地 针 对H 2 64视频去 块滤波 分析了 其算法的流 程以 及影响去块 滤波算法 执行效 率的 瓶预 通过在片内 设计一个片内缓冲区的 方法 将若 干 个宏 块 存储于片内 缓冲区 中 将这 些宏 块的 滤波 操作集 合起来一 起 进 行 即 将 这些 宏 块的bs值一 起进 行 计算然后 对这些宏块一 起进行滤波操作 这样做的 好处有 三 一是提高了c a c h e 命中 二是可以 利用D M A进行数据块搬运 三是摊值计算时可以 避免对宏块 信息结构体的重复 访问 另外 针对H 2 64视 频的 容 错策略 本文归 纳了 五种策 略 然后重点讨论了 错误掩盖技术 并且设 计了 空域错误掩 盖 和时 域错误掩盖两 种容错策略 浙江大学硕士学位论文 最后 本文进行了总结 并对未来研究做了展望 浙江大学硕士学位论文 第2 章 D a V 加 d的结构 特点和应用 2 1数字信号处理器仍s P 的发 展及 在视频 领域的 应用191 数字 信号 处 理器 DsP Dig 汕l si gn 日P l r 是一 种 特别 适 合于 进 行 数 字 信号处理运算的微处理器 其主要应用是实时快速地实现各种数字信号处理算 法 根据数字信号处理的要求 D SP芯片一般具有如下特点 1 采用哈佛结构 程序和数据空间分开 可以同时访问指令和数据 2 片内 有快速以M 3 快速的中断处理和硬件1 0支持 4 具有在单周期内操作的多个硬件地址产生器 5 可以并行执行多条指令 6 支持流水线操作 使取指 译码和执行等操作可以并行执行 世界上第一片单片D S P芯片是1 9 78年A M I 公司的5 2 8 1 1 自 这以 后的2 0 几年里 D S P 芯片得到了飞速的发展 其中 最成功的要数美国 德州仪器公司 TI T e 郑5 玩 峨 川 m e l lts 的一系列产品 表21 列出了n公司D S P 产品发展过程中的 一些典型值 从中可以看出D S P 的发展历史和趋势 表2 1 刀D sP芯片 发 展比 较 值 典 型 值 年份 臼 始 21 劳21 9 男2 润2 制造工艺 4 卿 N y0 S 几 吕 阿 C MO S众 3 p l l l C M O S 劝 8 阿 C MO S 处理迷度 5 初企5幻M 邢1 佣MI P S 冈侧皿书 颁率 2 0 M日 2名 O MH 比 佣MH Z1 60M妇 比 内部峨 心 44 字I K字3 2K 字64K字 浙江大学硕士学位论文 内部侧 川l j K字4 K字1 6K 字3 2k 字 价格5 1 5 0 伪 1 5 X 扔 以 卜 幻丘 0055一 以 卜 东 纷 00 功耗2 5 肠 m w剐 P S1 25 mw几 叨 P S0 4 5 mw几 d I PS 0 5 口 侧IM 护5 从上表可以 看出 D S P 的发展越来越趋向 于集成化 工艺越来越先进 这主 要得益于集成电 路技术的 发展 D SP处理器 在处理速度和频率不断地提高 内 部 R A M和R O M变大 功耗变低 价格变低的同时 出现多元的选择 客户可以 根据各自 不同的 应用选择合 适的D S P 另外 庞大的市场需 求也 推动D S P 技术 不断发展的一个主要因素 D S P的应用从起初的通信和语音处理领域 到 相当 普 及的民用化领域 如自 动控制 仪器 医疗 家用电 器等 再到军用产品 其需 求量一直在不断地攀升 近年来 人们发 展的D S P芯片的 又一个重要的 应用领 域为数字视频的处理 由 于视频行业的数字化过程中会产生巨大的数据量 在 D sP发展的早期还无法满足数据处理能力的需求 但随着数字视频压缩编码标准 和D S P 技术的发展 D S P 在数字视频领域的 应用逐渐成为了D S P 应用的热门 归 纳一下 目 前D S P在数字 视频领域的 应 用主 要有视频局端设备 如 位于有线 电视局端的视频再复用器 无线视频网关 机顶盒 数字视频播放器 点播 机 IP视频电 话 网络相机 监控系统 数字摄 录机 便携式视频流装置等 等 鉴于D S P 在数字视频应用领域的 广阔 市 场 许多 半导 体公司 推出了 专门 针 对 数 字 视频处 理的D sP处 理 器 其中比 较成 功 的 有A D I Phil iPS E q uato r 刀等 公司 A D I 公司推出的Bla c 防n 系列D sP采用双M A C的结构 具有正交RIS C 架构的微处理器指令集 把单指令多数据和多媒体操作都引入单指令结构 这样 的D S P芯片结构不但易于编程 可以快速的 进行信号处理和多媒体的处理 而 且方便地扩展U S B P cl 阳 U A R T sPO RT 等接口 非 常适合对视频 读入 处理以 及传输 A D I 近来 推出 的双核A D S P Z15 61也是专业视 频处 理D sP领域 内 不容忽视的 好 产品 P hi l i ps也是 最早开 发 视 频D s P的 厂商 之一 其主流的 P N x 1 5 00系 列处 理器 主 频为3 00M 内 部 配 有 专门 的 媒体 协 处 理 器 匆u a t o r 公 司作为专业的视频D S P 厂商 其产品非常具有特点 以B S P 一 巧为例 该芯片最 高可达到 4 00M l lz 的内频 具有两个视频输入口 和音频输入口 一个视频输出口 一鱼 丝 左 兰 硬 尘 学 位 论 文 一 作为D S P 行业的 老大 Tl的T M S 3 20D M 64x 系列在数字视频领 域的 应用也 占 据非常重要的 地位 Tl早期推出 的T M s320D M 27o 和T M s32 0 D M 3 20等产品 在多媒体的 便携式播放器上有不错的 应用 而真正成为数字视频的里 程 碑式的 产 品 则是2 0 03年n发布的T MS 3 加D M 64X系列视频D S P 产品 该 产品以n的 C 64x 为核心处理器 以T Ms32 0 D M 642 为例 它具有60O M的处理能力 有3 个巧de o P o rt 带 有P cl和网 络接口 该 产品 功耗低 因 此产品 一经 面世得到了 数字视频行业的强烈关注 在2 0 05年 n公司推出了业内 非常期待的数字视频 专用D S P 内嵌A K M g 和C 64x 侧的D a V i n c i 处理器 D a 明 n c i 处理器是D a 仍 nci 技术中的 一部分 9 D a 巧 n c i 技 术是 业界 第一 款 集成了D S P处 理器 软件 工具以 及技术支持的综 合型解决 方 案系 列 非常适 用于开发各种优化的 数字视频终端设备 D a 巧 D c i 技术系统构成图 如图2 1 所示 利 用该技术 开发者可以 更加快捷地开发出 视频产品 大大地缩短开发周期 浙江大学硕士学位论文 2 2D a 叭u d处理器的结构特点 2 么IDa叭 d处理器的整体架构1 1011 1 21 D a V in c i处理器基于业界最高性能的 D sP 平台 1 MS 3 20C 6 0 犯 T M 和 A R M 926 EJ一 5处理器 它充分利用了n 最新的C 64 x 川 D S P内 核 达芬奇处 理器包含基于可扩展 可编程 D S P的 soC 可从D S P 与A R M内 核进行定制 优化的加速器 同时还包含丰富的外围设备 如数字视频 数字音 频 高速网络 D D RZ 高 速存储器 A T A硬盘和多种存储卡等接口 全方 位满 足 各种 数字视频 终端设备对价格 性能以及功能等多方面的需求 V C P 5 羚t m C O n t r o 甘 八 R M 2 6 曰 s S u b y t m C 0 改 G e n 队 司S I P 户 i nMU X C 6 4 兀 会 仪 DS P 3 u b 男 tem C C o C R e s 泛 e r 一I H isto g ra m p re v iew 讥 d o p r oc 5 I n 0 5 七 斗 t m 5 嘀C h ed C e n tr a R e SOU r C e S C R 图2 2 D 绷nci 处理器功能结构框图 以D M 64 4 6 型 号为 例 由 图2 2 可以 看出 D 抓nci 处 理器 上 提 供了 两 个内 核 A R M 十 D s P 视频 处 理 子 系统 y p s s 多 种Boot模式 创o R F lasl N AND R a s 加 U A R T B ootM ode 两个电源域 多个时钟树 多个引脚独立或复用的外设 浙江大学硕士学位论文 图2 3 显示了D 扩 石 n c i 处理器的D S P 核与A 侧 M核之间 的 通信方式以 及他们 如何高效地实现资源共享的方式 图2 3A R M D sP 集 成 机构示意图 由 上图 可以 看到A R M可以 访问D S P 片内 存 储 器 LZR A M和Llp D D s P 可以 访问A R 材片内 存储器 A R M和 D S P 共享D D RZ 和A E M I F 因 此 通常情况 下 A R M只需传递需要处理的数据地址指针给 DsP 而无须大块的 数据搬移 A R M和D S P 之间的通信可以 通过相互中断实 现 A R M可以中断D S P 通过4 个 通用中断和1 个不可屏蔽中断 D S P 可以 通过2 个通用中断来中断A R M A 侧 M 控制D S P 的电源 时钟 复位和引导 浙江大学硕士学位论文 图2 4T M S 320C64x 功能模块图 图2 4 所示为D 扩 石 n c l 中T Ms320C 64x 十 D S P 的功能模块图 C 64x D S P 包 括以 下组 件 C 64 x C Pu Llp L e v ell Pro咨 am 存储 器 控 制器 LID L e v dl da t a 存储器控 制器 LZ L e v e l 2 存储 器控制 器 IDM 叭 O h t e m al D M A B W M B and初dth m 朋 a g e m e nt 中断 控制器I NT c I n t e r r u p t C o n t r o l l e r 电 源 控制器P D c Power d o 认 叭 con tr 0 l ler 和外部 存储 器控制器E M c E x te O e d M e m o ryC 0 n t r o l l er 其中的 核心c 64x 十 C PU 包含以 下组件 2 个通用寄存器组 A和B 8 个功能单元 L I L Z 5 1 5 2 M I M Z D l 和 D Z 浙江大学硕士学位论文 2 个数据读取流 L D I 和L D Z 2 个数据存放流 sTI 和S T 2 2 个寻址流 DAI和D A Z 2 个寄存器交叉访问 流 lx和Z x 图2 51 M S 3 2 0 C 64x 结构框图 通用寄存器组可以 用来存放数据 数据地址 指针以 及用 作条 件寄 存器 通用 寄存器组 A包括 A O 一 A31 寄存器组 B包括 B O 一 B31 它们的 约定使用情 况见表2 20 浙江大学硕士学位论文 表2 2通用寄存器组使用约定 F U n 俄I O h p 往二 刊姗 R 句1 协 rByS P c la I U s F U n 俄i o n p ry目 R 叩1 琳rB yS P 砖i a l U 翔 AOParent一 A 布Par e 们 t一 AZPa化m一 A3Pare 以S tI U 山re l e g i雍fr 州n ter toa re l u med s 加d re A4Pare ntA 印 U m e n t orre tu mval此 ASPare ntA 勺 u 厅 吧 n t l orre 加 mvalu e 明 曲A4 扮 doU b 论 5 协哈5 and 肋9 匕 n gs A 6臼re ntA 心 u m e n t 3 A 7而伦 咐A 闪 u m e n t3w 油 期 fo r d o u b les 如 叩 a 闻 咖9 以 习5 ASPa e n tA 心 u 厅 咤 n t s A gPare ntA 心 u m e n t5w 油 A sfor d o o les 如 叩5 a 闻 吻9 沁 叩 A I OCh树儿g u m 翻t 7 A l l伪1闭A 心 m e n t7w 油 A 1 0fo r d o u b les 1 0 叩5 习 冈 加9 1 0 叩5 A 1 2Chi匕八 r 勺 U 任 旧 t g A 1 3Chi记八 勺 u 厅 巴 n t gw 肪 A 2亿 r d o u b es 1 0 叩5 二川 助9 沁 叩5 A 1 4C h 相一 A 气 5伪记斤 犯沪泊 l e r 瓜 F P A 1 6 一 A 3 1Pare ntC 64x o n 扮 B OP a 陀n l一 B IP 日 r e n t一 B ZP 日 陀n t一 8 3P a re 成R e 加 m阅呀 记 r a ddl 暇 洛to r e t u mto B4p a e ntA Fg u n 犯 们 t Z 85P a re 附A rg u l n e 们 tZw 瀚 64 佃 由 b le s 协 叹 声 翻d如1 9 10 叩5 B6Pare n 盆 八 勺 u 阳nt4 B 7内re 川A 勺 u m 即t4w 动 卜BS 把 r 由u 创 es 加9 5 训dk 口 峭 沁 叩5 BSP a re ntA 用 u 六 吧 们 1 6 s gPa e n I A 勺 u 川 e n t6w 防 助 佃 d o u bl 吻95 即dl 切 旧 幻 闪 8 1 0C h 日加口 u 悦MS 8 C h 日 dA 勺 u n 犯 t 日州 山B 1 0协 r doubles 加95 即d幻 1 19 沁 叫5 日 1 2C h l匕街g u l 下 妞 八 t 1 0 B 1 3C h 砚 dA 勺 u m e n t 1 Ow 油 8 1 2 俪 do喇es 俪95 即d腼9 如 闪5 B 1 4C h i 目O a t a 闪笋po的 Ie r D P 日 气 SC h 记5 切 改闪 比 r S P B 1 8 一 B31P a re n l C 翻x 叻扮 8个功能单 元被分成 A B两组 每组有 4个功能单 元 其中一 组的 功能单元 与另一组的功能单元基本一样 2 2 2Da竹 ci处理器的 存储结构1 1311141 图2 6 所示为D a