基于SAR多视处理的数字视频误码掩盖算法研究.doc

中国民航大学硕士学位论文基于SAR多视处理的数字视频误码掩盖算法研究姓名：鲁清竹申请学位级别：硕士专业：通信与信息系统指导教师：宫峰勋20080225 等 原 因会 造成 数字视 频信号 发 生突 发 性 误码，如果这 些误码在 信道 解 码过 程中得 不 到 有在 分析 数字视 频质 量 下降 的 原 因，跟 踪国内 外误码掩 盖的 研 究现 状 基 础 上 ，根据 数字视 频编解 码算 法 的 特 点，借 鉴 合 成 孔 径雷 达图 像 处 理 中多 视 平 均 抑 制干 扰 的 方法 ，提出 了 一 种开销 小，可实 现 性 高 的 数字视 频误码掩 盖方法 。 该 方法 充 分利 用了 数字视 频编码过 程中保 留 的 视 频信号 的 空 时相 关特 征 ，分别 设计了 空 域多 视 、时域多 视 算 法 ，以 及改 进的 时域多 视 、空 域多 视 的 自适 应 选 择算 法 ，在 保 证误码掩 盖效果的 同 时有 效的 降 低了 算 法 复 杂度 ，并 且利 用丌 源 软 件 模 型进行算 法 验 证和 复 杂度 分析 ，验 证多 视 处理 的 低开销 、高 性 能 特 点。同 时，研 究当 前主流的 数字视 频应 用环 境 的 软 硬 件 平 台实 现 方案 ，按 照不 同 的 软 硬件 平 台和 遵 循 的 不 同 视 频标 准 ，估 算 误码掩 盖的 实 现 复 杂度 ，研 究具体 实 现 细 节，讨 论嵌 入式平 台实 现 视 频解 码和 误码掩 盖的 性 能 瓶 颈。 最 后 ，在 基 于 蚒的 嵌 入式环 境 下设计并 实 现 了 多 视 误码掩 盖，在 实 际 产品中证明 了 多 视 误码掩 盖算 法 的实 用性 和 高 效性 。 甌 ， 对 本 研究 所 做的 任 何 贡 献 均 己 在论 文 中作 了 明 确 的 说明 并表 示了 谢 意。中国民 航 大学 学 位论 文 使 用 授权 声 明研究 生签 名： 铂 与 聊躲 通 信 理论、计 算技术、微电子 技术和网 络 技术的 快 速 发 展 ， 信 息社 会 对 于 多 媒体通 信 有 的 马赛克 。 另 一种 传输 差 错 为 丢 包 ， 也 叫 删 除 错 误目前 也 已 经有 相当的研 究 成果 。 在实际 信 道中传 输 时不可 避免 地 会 遇 到各 种噪 声 和 干 扰， 由 于 对压 缩 图 像 使 用了 可 变 长码 后 重 建 图 像 的 质 量 。为 了 消 除和 减 小传 输 误 码 对重 建 图 像 质 量 的 影 响， 通常 采 取 多 种的 受损 信 号 ， 从 而 达 到视 频 图 像 近 似 的 无损 播出 。但是这 些方 法 的 数 学 模型 比较 复 杂 ，运算 量 较 大 ， 特别 是运动 图 像 处 理对系 统的 性 能 和 实时处 理能 力 要求 极高 。普 遍 使 用的嵌入 式 设 备 运算 、处 理能 力 较 弱 ， 无法 同 时完 成复 杂 的 补偿 运算 ， 因 此 这 些方 法 只 能 应用在专用设 备 或者基 于 的 视 频 通信 中， 导致目前研 究 的 成果中有 相 当一 部分算 法 ，仅仅是理论 上 可 行， 目前根 本 无法 应 用到具 体的 通信 环 境 中。 第 二章 ：从 基 本 的 多 媒 体 通 信 系 统 的 原 理 框架出发 ，介 绍了误码 掩 盖和 本 文 研 究 内 容 所涉 及 到的 基 础 知 识，主要包 括数 字 视频 基 本 原 理 和 数 学 基 础 ，合 成 孔径 雷达相干 斑 噪 声 的 理 论和 方 法 ；详 细分 析 了多 媒 体 通 信 中造 成 视频 质 量下降 的 原 因 ：同时 对相 关 的 音 视频 编解 码 标 准 进 行 了简 单 分 析 和 对比 ，以利 于 进 一步的 研究 。 视 频通信 基 础 知识多震 疉 采用 的视 频 格 式是 晗碌 ： 格 式。 ： 、 源 媒 体 格 式 取 渲 蠧 格 式由 猅 制 定 主 要为视 频 会议 应 用 痯 可 以 看出 未 经 压 缩 的视 频 数 据 会给 传 输 系统带 柬巨大 的压 力， 所 以 压 缩 编 码至 关 重要。 准 的制 定。 疘 组 织 的任 务是 研究 开 发 运 动 图 像 及其 声音 的数 字编 码国际 标 曜 加 禄竦谜 脚 迹 帽 曜 贾饕J俏 9馀檀娲 、 消标 是 极 低 码率 的音 频 视频 编 码， 它支持 用 于通信、 访 问 和数 字视 听 数 据 处 理的新方 法。 组 织币 组 织在分别 进 行标 准定制 的过程 中也 进 行了 合作， 标 准草 案 和测 试模 。 年 拢 谔 傩 械 牡 谄 叽 蜫 会 议 上，复 杂 度低 。 曜枷嗟 盚 癢 客 观 视频质量评价 体系 。有 时因 为 测 试 者 和 测 试 序 列 不同 而 导 致 结 果 有 较大 差 距， 虽 然 可 以 通 过 重复测 试 和 换 用 的。度 分量 ，高 于意味 着 图 像质量 极 好 ，即与 原 始 图 像很 接近 ； 在 之间意味 着 图 像质量 较好 ，虽 然 失真 可察 觉，但 能够 接受 ； 之间，表 示 图 像质量 是 相 当 差 的 ； 低 于是 不 可接受 的 。客 观 评 价方法计算 简 单而 快 速，在视 频 压 缩 和 解 压 的 质量 评 估 中被广泛 欢迎和 应用，然 而 ，等 指 标 仅 仅 代表 原 图 像和 处 理 图 像之间的 差 别，并不 是 代表 最 直 接的视 觉感受 ，因此 有一 定 的 局 限 性 。是 针 对 整 个图 像来 计算 的 ，图 像的 信 息分御 一般 很 不 均匀 ，而 人的 视 觉对 某 些 细 节 的 敏感程度 具 有选择性 ，往往值高 的 图 像并不 一 定 有好 的 视 觉感受 。影响 视 频 质量 的 因素非 常多 ，各种应用、各种信 道 的 影响 因素都 不 相 同，但 是 对 于输 出 视 频 的 解 码器 来 说，一 般 有几种情况 导 致 视 频 质量 变 差 ：误码、数据丢 失、失去 同步 等 。一 般 来 说，误码会导 致 马 赛 克 的 产 生，数据丢 失、失同步 会导 致 画 面 停顿 ，严 重的 时候 长 时间得 不 到 数据而 黑 屏。这 些 都 是 我 们所不 希 望 的 ，为了 更 好 的 寻找抑 制视 频质量 的 方法，我 们有必 要 对 各种信 道 下容易 引起视 频 质量 恶 化的 原 因进 行分析。视 频 编码最 早 应用于等 窄带 传输 信 道 中，后来 也 被应用于无 线 传输 环 境中，这 一 类的 传输 环 境共 同的 特 点 就 是 误码率 高 ，受 其它 干扰 影响 较大，无 法提供 稳定 的 传输 服 务 。系 列标 准一 开 始 都 是 面 向此 类的 应用，所以 特 别注 意考 虑容错 处 理 ，这也 是 它 的 优 势 之一 。本论 文讨论 的 误码掩 盖 就 是 其中一 个最 重 要 的 措施 。业务 一 般 都 是 在互 联 网上 进 行，基 本都 是 基 于的 非 可靠传输 。最 大的 特 点 就 是 网络环 境不 稳定 ，主 要 表 现 在，路由 选择不 同而 导 致 数据包 延时不 同，数掘倒 置 、丢 包 是 最常发 生的 现 象 ； 某 个时段 由 于网络 阻 塞 而 导 致 严 重 的 服 务 质量 下降； 服 务 器 遭 受 攻 击 而难以 提供 正 常吞 吐量 的 数据服 务 等 等 。所以 ，基 于网络 的 视 频 服 务 最 常出 现 的 问 题就 是 丢包 和 延迟 。 在数字 电视 三种 传 输 方式 中，地面 传 输 方式 又是 信 道 环境 最 复 杂的 ，影 响因素 包 括：无 线 电信 号 干 扰、发射功 率 、发射接 收天 线 增 益 、天 线 高 度 、离 发射台距离 等等。由于视 频 信 号 的 传 输 格式 各样 ，信 道 条 件 也 千 差 万别 ，解码 器 接 收到 的 视 频 数据存 在一定 的 误 码 和 延 迟在所 难 免，所 以我们应 该 研究误 码 出 现 情 况 下的 一 些补救 措施 和 抑制方法 。视 频 通 信 的 发展历程 中，产 生了 很多 的 抗 误 码 技 术 雷达 成 像 技 术 中， 对相干 斑 进行抑 制 的 多视 处 理 技 术 是 一种 由多幅图像 合成 一幅图合劂 宰 上翊 淼 姆 椒 芏啵 挠蠧 图像以 看作 由许 多尺寸 与波 长 相 近 的 散 射 点组 成 的 。根 据中心极限 原 理 ， 分 辨单 元 的 散 射 系 进 一 步假 设 氖挡亢 托 椴 慷 际窍 嗷 懒 模 滴 A悖 讲钗6 ， 实图像 肛 击 它 的 均 值和标 准差 为： 此 外 ，还 存在视 觉 冗 余，视 觉 冗 余是 由于人眼 的视 觉 非均匀 性使 得人眼 视 觉 对某些空间频率 感觉 迟钝 而造成的。 例如 ，人眼 视 觉 系 统 对亮度 信 号 变 化 的敏 感性高于色 度 信号 变 化 ，因此 可 以 对色 度 分 量进 行 下采 样而能保 持 主 观 视 觉 质 量不变 。 视 觉 冗 余允 许 编码 时 丢 弃 一 部 分 视 频信 息 ，即 有损 压缩 ，即 使 解码 时 无 法 完 全还 原 原 始视 频，仍 可 以 保持 较高的视 觉 效 果。 这 一 点 为 高倍 率 压缩 视 频提供 了 有力 的工 具 和 保 障。 程 中会造成 块 效应 。 怯 闪 :鲜悠底 开 发 ， 年 卤 弧 篎式 审 批 关 于如何控 制 这 些 差 错，从信道 编码和 传 输 的 角 度 来 讲，每一 种传 输 方式 ，包 括 信损 伤 。 然 而 ，任 何信道 都不 是理 想 的 ，任 何错误 控 制 方式 都有 其 适 用 范 围，当 信道 编码和 传 输 无 法 完 全 保 证 数 掘 完 整 性 的 时 候，就 需 要从信源 编码入手来 进一 步 控 制 传 输 错基 于信源 的 差 错控 制 目前 有 两 个 研 究方向：无 损 恢 复和 近似恢 复。 无 损 恢 复主要采取 的 技 术有 ：前 向纠 错、 错误 控 制 编码和 自 动 重 传 请 求 ，这 些 方法 普遍 的 具有 实 现 复杂度 高 ，带 宽 要求 高 的 缺 点，而 近似恢 复则致 力 于得 到 一 个 与 原始 信号最 近似的 结果 ，而人类 感官 对 音视 频的 敏感程 度 又具有 一 定的 选 择 性 ，允 许 在 某些 细节 上有 所损 失 和 差距。 所以 ，近似恢 复的 思想 是视 频传 输 差 错控 制 研 究领 域 中的 重 点，而 误 码掩 盖 则是近似恢 复思想 的 集 中体 现 。 观 测噪 声 为，而 #惕 ，蚨 缘 趉 帧 而 言 ，退 化 的 图像二 维 的 詋而 言 保 持 不 变 ，则为时 空平 移 不 变 退 化 。 若 将 罭 的 图像 中的 像 素由维 纳 滤 波方程 甃 過螅 騆 帧 的 维 纳 估计 为 进行 视频解 码 ，输 出到 帧缓 冲 器 ，经 过 它 的 缓 冲 后 再 送 到 显 示器 就 可 以显 示解 码 图 像 ；如 果 检测过 程 中有 误 码 或 者 丢包，检测模 块会 发 出一个 错 误 指 示给 误 码 掩 盖 单 元，并 将带 有 误 码 的 数 据送 到 误 码 定 位单 元，得 到 和 误 码 对 应 的 位置 信 息 ，并 将 此 位置 信 息 送 到误 码 掩 盖 单 元，误 码 掩 盖 单 元根 据位置 信 息 和 帧缓 冲 中的 数 据“重建” 出和 出错 位置 对应 的 图 形块，并 且 利 用 运 动 信 息 进行 图 像 块的 修订 和 预 测，然 后 用 重建的 图 像 块代 替 受损 图 像 块放 到 帧存 储 中相 对 应 的 地 方。 如 此 循环 ，直 到 误 码 检测单 元检测不 到 误 码 为 止 。误 码 掩 盖 过 程 中最 重要 的 部 分主要 是 误 码 检测定 位和 误 码 掩 盖 单 元，尤 其 是 掩 盖 单元，它 是 整 个 误 码 掩 盖 过 程 的 核 心，其 主要 任 务 就 是 “重建” 受 损 图 像 。 通常 方 法 是 ，在帧缓 存 中搜 索 匹配的 图 像 块，搜 索 成功 后 再 进行 进一步 处 理 ，然 后 进行 掩 盖 。 根 据搜索 和 处 理 的 策 略不 同 ，误 码 掩 盖 有 多 种 方法 ，这 也 是 误 码 掩 盖 的 核 心内 容 。如 果 误 码 直 接 导致 非法 码 字的 产生，那 么它 将 会 很 容 易 就 被检测到 ，如果 码 字因为误 码 而 变 为 另 一个 合 法 码 字，那 么 误 码 检测单 元不 能 马上 检测到 这 个 误 码 。 但 是 ，由 于视频误 码 具 有 明显 的 扩 散性 ，在随 后 的 数 据中必 然 存 在更 多 的 误 码 ，也 必 然 会 被检测到 。针对 以上 特点 ，我 们 可 以设 计 误 码 检测的 流程 ： 首先 通过 判断 是 否是 合 法 的 码 字找出直接 出错 的 情 况 ，如果 是 合 法 码 字，主要 靠 相 关的 编 码 标准 和 经 验值 来 判断 该码 字是 否合长 是 否符合 逻 辑 等 等 ，如图 所 示。 同一 帧 的话，这就是 帧 内 误 码 掩 盖 算 法【】【】，否则为 帧 间掩 盖 算 法。校 验 模 型中的空 域掩 盖 算 法是 基 于邻 块 插值修复 法，采 用水 平 与 垂 直 方 向的 ， 即简 单 的 将 丢 失 的 运 动矢 量 丢 失 宏块 的 运 动矢 量 由其 上、下 、左 、右 相 邻的 四 个宏块 的 运 动信息作为 候 选 运 动块 与 受损宏块 的 邻块 之 间边界像 素 亮度 值 之 差的 绝 对值 之 和 ： 化 为 ！ 个 方 向 之 一。 然后 定 义 两 个 算 子 ， 第一个 算 子 是 和 边 缘 方 向 相关的 带 对 于 干扰源 稳 定、 网络拥 堵 严 重的信 道， 会 导 致 持 续 性 的严 重误 码 丢包 ， 这种 情 况下 误 码掩 盖 也有 明显 的效 果。 首先视 频 码流 虽然去 掉了 大量的冗 余 信 息 ， 但是必然也残留了 大量的相 关信 息 ， 因为 无 损压缩 目 前 实 用性 不 大， 几 乎 所有 的雎 缩 算 法 都 属于 有 损压缩 ， 受 算 法 复 杂度和 用户 对 视 频 恢 复 质量的接 受 程 度限 制 视 频 相 关性 必然保 持 技岛水 平 ， 在 较 高 误码率 的情 况 下 ， 大量宏 块误 码重建 ， 最 好 的方法 就是从 没 有 受 损的宏 块提 取 相 似信 息 进 掩 盖 也能 起 到 相 对 满意 的效 果， 缺 憾就是有 明显 的块效 应。 但是如果不 进 行掩 盖 ， 受 损图像 就是全部 单 色 的矩 形马 赛 克， 严 重影响 主观 视 频 质量。 同时 考虑视 频 编 码模 式 ， 如 果视 频 中琁 信 息 较 少 ， 不 用误 码掩 盖 的话 会 引起 误码扩 散 ， 直接 导 致 图像 背景 被误码淹 没 。顾 酢 0怼 序 列为 使 刖 误码掩 盖 ， ：簪 要就 是 预 测值和 实 际值 的残 差 和 运 动 矢量， 而 重 复率 较高 的重 复信息 尘 仅 仅 在 疘 信息 中被传输 一 次， 解 码过 程 中需 要用背 景部 分 作为解 码参考 帧 ， 而 它们已 经遭到 破坏， 这就 导 致 了 误码之 后 图 像被背 景淹 没 ， 但 是 图 像运 动 区域 轮 廓 还 能 保 留 的现象 。本章 首先给 出 了 误码掩 盖 的概念 和 方法 ， 从 视频 图 像退化 的角度 分 析 了 误码的理 论基 础 和 依 据 。 随 后 ， 总结了 误码掩 盖 的模 型 和 基 本组成单 元 ， 对 每一 个具 体的单 元 进 行了 分 析 和 讨 论 ， 在 此 基 础 上分 析 了 帧 内 帧 间误码掩 盖 的理 论 和 方法 ， 并且 分 析 了 各种方法 的优 劣， 最后 讨 论 误码掩 盖 的适 用范围和 掩盖 效 果 ， 分 析 各种方法 对掩盖 效 果 的贡 献 ，为进 一 步 研究 打 好基 础 。 相关 信 息 恢 复图 像 就 更有 优 势 。 插 值， 本算 法 采用 如下 插 值方法 ：首 先 将 当 菏芩 鸬 其 中， 6嗍 雍 昕 椋 美 词 凳 诟 牵 琿 为 各 个 参 考 帧 权重 。 权重 的 选 取 ， 如果 重 丫遍 历 所 有 参 考 帧 ， 获 取 待 选 宏 块图 多视 掩 盖 流 程 达 到 较 好的掩盖 效果 。 实现 方 法 及 性能 分析 编码：图 多 视 验证 平台现 了 标 准中的 所 有功 能 ，被普遍 用来 做 理论 研究和工程 设 计 指 导 ，而 真 正用于 实 图 像片 组 数系 统 进 行 传 输，由 无 线 信道 的 恶 劣环 境 来 产 生误 码 。具体 分析 和推导 如 下： 咒为 发射功 率 ； 圪为 接收 电 平； 如 为 接收 机 输入 阻 抗 。接收 机 输入 端 匹 配 时 的 基础 热 噪 声 ，用噪 声 温度 率 比 表示 。射频信号 传 输过程 中，经过衰减 ，如 果 进 入 接收 机 时 信号 变得 很 微 弱 ，与 输入 噪 声功 率 相差 不 大的 话 ，势 必 会 埋 没在 噪 声 之 中，即 使 再 被放 大，噪 声 也会 同 时 被放 大，仍然 不 能 得 到 有效的 信号 。所 以 ，下变频后 的 信噪 比与 接收 信号 的 强 度 和输入 噪 声 功 率 有关 ，同 时 还与 接收 机 的噪 声 系 数有关 。接收 机 的噪 声 系 数定 义 为 ： 其 中 2 嚷 T肷 恚 珿 为 接收 机 的功 率 增 益 。对 于 理想 接收 整 理可得 ： 次=邮展 剩 杂 械 募 海 珻为 噪 声 系 数，作 为 接收 机 的一 个参 数，可 盏 模型 第 五章 误 码掩盖 应 用平 台和可 实现性 研究 表解码开 销比 例主 要 单元 名 称与 相 似，其 它 各 部分也 可 以 有 相 应 的优 化和快 速 算 法 。 但是，这 些 算 法 都 是相 对 提 高解码速 度 而 已 ，要 实现 一 个 完 整 的解码单元 ，还 需 要 存储器 进 行 数 据 缓冲 和通 用 性 是目 前 我们 能够接 触到 的处 理 能力相 对 强 大 的目 标 平 台，而 一 台赛扬 专 用视 频 终 端个 体 差别 很 大， 有些 蛘 逜 公 司的 产品一 般 采 用这种 方案， 凭借 在 桌 面 处 理 器 生产设计方面 的 贑 的 解 决 方案： 可 能 实现误 码 掩 盖，提 高视 觉效果 。 而 采 用 硬 件 解码 的方案 ，由 于 无 法 深 入 到 硬 件 内部误 码 掩 盖是 视 频 处理 所独 有的一 种 处理 方法 ，它 以 抑制马 赛克、提 升 视 觉效果 为主要目 的。 它 是 数字 视 频 时 代 的产 物 ，也 是 有别 于 数字 通 信 必须 准 确 传 输 的一 种 新 技 术。误 码 掩 盖的研究 是 随 着数字 视 频 标 准 的制定 而 发 展 起 来 的，基于 和 的视 频 应用 都有可 能 实现误 码 掩 盖，而 真 伦 魑= 饴肽 鸵徊糠 掷囱 芯 渴 荋 疉 标 准的制定 ，误 码 掩 盖作为 一 个 主要的部分 提 出 ，在其软 件 模型 中有单 独 的分 析 和 实现。基于 此，很 多 国内外 的大 学 和 研究 机构 对 误 码 掩 盖进行 了深 入 的研究 ，针 对 不 同 的视 频 标 准 和 研究 方法 提 出 了各种 各样 的掩 盖思 路 和 方法 ，比如： 空 间 域的多 方向帧内插值法 、变 换 域的基于 图 像平 滑 方法 、基于 模糊推 理 的块 匹 配 方法 、把 图 像看 成 马 尔可 夫随 机场 最 大 后 验 概 率 惴 跋蛟硕 、基于 离 散 小 波变 换 的感兴 瓹系 统 髟 恚 盒 藕糯 覶接 入， 刂 芓完 成 信 道解 码 ， 得 到 加扰的 流 ， 齍 和 楹 椭 骰 牛 玫讲 判枨 螅荽 死 纯刂 芓芯片的 解 复 用部 分 过 滤 中相 关 信 息表 ， 交付 给 智能卡 ， 智能卡 返回解 扰 密 钥 ，被酒械 慕 馊牌饔美 唇馊臫 鳎钪 盏玫酵 该髁鳎齍 接 口 传到 主机 。 图 疚 狢 卡 的 实 物图 。 实 时 传 入 ，完 全 由 软 件 方 式 进 行 音视频 解 码输 出 。整 个播 放 器的 实 现 模 块化，每个模 块系 统 功 能 模 块负 责 其它 功 能 模 块豹 装 载调度，同 时 为 它 们 提 供给出 服模 块管 理 器模 块负 责 管 理 和 调度各个输 入 设 备 ，是系 统 内 核的 一 部分 。这 个模 块主要 是为 了换 肤而 设 计的 。由 于 换 腴 时 有可 能 需要 用不 同 的 主控 窗 口 模 块柬 提 供很 不 相 同 的 界 面 风 格，所 以 系统 中可 能 会 存 在多个主控 窗 口 模 块，它 负 责 进 行 调度和 切 换 。这 个是系 统 内 核的 一 部分 。用于 管 理 系 统 中挂 接 的 模 块，当 系 统 中有多个模 块 的 时 候可 以 互 相 进 行 替换。功能。 放 器软 件 。 误 码 检 测 的主 要 设 计 思路： 首先 由 应 用程序 告诉解 复 用驱 动 正 要 播放 的音 视频的飧 从 们绦 蚩刂朴 布 鳎 鼋龃 碚庑的数据 ， 解 复 用硬 件 和解 复 用果 继 续解 码 ， 马 赛 克一定 很 严 重 蚁 允竟 緇 蛘咄 计 詹 匮 胫 械 耐 计 播放图 所 示为 单 个 通 道的误 码 检 测 的实 现 和软硬 件 交 互 过 程。解 复 用模 块有 若 干 通道， 每 个 通 道可 以捕 捉 一路我 们感兴趣 的视频信号 来监 测 其