随着移动通信业务的增加

随着移动通信业务的增加 无线通信已获得非常广泛的应用 无线网络除了提供语音服 务之外 还提供多媒体 高速数据和视频图像业务 无线通信环境 无线信道 移动终端 等 以及移动多媒体应用业务的特点对视频图像的视频图像编码与传输技术已成为当今信 息科学与技术的前沿课题 1 无线视频传输技术面临的挑战 数字视频信号具有如下特点 数据量大 例如 移动可视电话一般采用 QCIF 分辨率的图像 它有 176X144 25344 像开绿灯 如果每个像素由 24 位来表示 一帧图像的数据量依达 594kbit 考虑到实时视频图像传输 要求的帧频 电视信号每秒 25 帧 数据传输速率将达到 14 5Mbps 实时性要求高 人眼对视频信号的基本要求是 延迟小 实时性好 而普通的数据通信对实时性的要 求依比较低 因此相对普通数据通信而言 视频通信要求更好的实时性 无线环境则具有如下特点 无线信道资源有限 由于无线信道环境恶劣 有效的带宽资源十分有限 实现大数据量的视频信号的传输 尤其在面向大众的无线可视应用中 无线信道的资源尤其紧张 无线网络是一个时变的网络 无线信道的物理特点决定了无线网络是一个时变的网络 无线视频的 Qos 保障 在移动通信中 用户的移动造成无线视频的 Qos 保障十分复杂 由此可以看出 视频信号对传输的需要和无线环境的特点存在尖锐的矛盾 因此无线 视频传输面临着巨大的挑战 一般来说 无线视频传输系统的研究设计目标如表 1 所示 表 1 无线视频传输系统的主要性能指标和设计目标 性能指标设计目标 视频压缩比 视频传输实时性 视频恢复质量 视频传输鲁棒性 支持 Qos 的视频业务 用尽量少的比特描述视频图像 更短的传输时延 更快的编码速度 获得用户更满意的视频恢复质量 更好适应传输信道的误比特干扰 提供和用户支持费用相当的服务 事实上 表 1 中许多性能指标是相互制约的 例如 视频图像压缩比的提高会增加编 码算法的复杂度 因此会影响算法的实时实现 并且可能降低视频的恢复质量 2 视频压缩编码技术 视频信息的数据量十分惊人 要在带宽有限的无线网络上传送 必须经过压缩编码 目前国际上存在两大标准化组织 ITU T 和 MPEG 专门研究视频编码方法 负责制 公平统一的标准 方便各种视频产品间的互通性 这些协议集中了学术界最优秀的成果 除各种基于国际标准的编码技术外 还有许多新技术的发展十分引人注目 2 1 基于协议的视频压缩编码技术 国际电信联盟 ITU T 已经制定的视频编码标准包括 H 261 1990 年 H 263 1995 年 H 263 1998 年 2000 年 11 月份将通过 H 263 的最终文本 H 26X 系列标准是专门用于低比特率视频通信的视频编码标准 具有较高的压缩比 因此 特别适合于无线视频传输的需要 它们采用的基本技术包括 DCT 变换 运动补偿 量化 熵编码等 H 263 和 H 263 中更增加考虑了较为恶劣的无线环境 设计了多种增强码流 鲁棒性的方法 定义了分线编码的语法规则 MPEG 制定的视频编码标准有 MPEG 1 1990 年 MPEG 2 1994 年 MPEG 4 完善中 其中 MPEG 1 MPEG 2 基本已经定稿 使用的基本技术和 H 26X 相同 MPEG 1 MPEG 2 的特点在于针对的应用主要是数字存储媒体 码率高 它们并不适于 无线视频传输 人们熟知的 VCD DVD 是 MPEG 1 MPEG 2 的典型应用 随后 MPEG 组织注意到了低比特率应用潜在的巨大市场 开始和 ITU T 进行竞争 在 MPEG 4 的制定中 不仅考虑了高比特率应用 还特别包含了适于无线传输的低比特率应用 MPEG 4 标准的最大特点是基于视频对象的编码方法 无线通信终端是多种多样的 其所处的网络结构 规模也是互异的 视频码流的精细 可分级性 Fine Granularity Scalability 适应了传输环境的多样性 编码协议并不提供完全齐备的解决方案 一般来说 协议内容主要包括码流的语法结 构 技术路线 解码方法等 而并未严格规定其中一些关键算法 如运动估计算法 码率 控制算法等 运动估计算法在第 3 部分有较为详细的介绍 码率控制方案在第 4 部分有较 为详细的介绍 2 2 其他视频压缩编码技术 除上述基于协议的视频标准之外 还有一些优秀的算法由于商业的原因 暂时没有被 国际标准完全接纳 典型的例子是 DCT 变换和小波变换之争 虽然利用小波变换可以取 得更好的图像恢复质量 但是因为 DCT 变换使用较早 有很多商业产品的支持 因此小 波变换很难在一夜之间取代 DCT 变换现有的地位 其他编码方法如 分形编码 基于模 型的编码方法 感兴趣区优先编码方法等也都取得了一定的成果 具有更强的压缩能力 但是算法实现过于复杂 达到完全实用尚有一段距离 在基于小波的低比特率图像压缩算法的研究中 根据小波图像系数的空间分布特性 以及小波多分辨率的视频特点 人们引入矢量量化以充分利用小波图像系数的相关性 根 据传统的运动补偿难以与小波变换相结合这一情况 人们还提出了将空间二维帧内小波变 换与时间轴一维小波变换相结合的三维小波变换方法 人类的视觉是一种积极的感受行为 不仅与生理因素有关 还取决于心理因素 人们 观察与理解图像时常常会不自觉地对某引起区域产生兴趣 整幅图像的视觉质量往往取决 于感兴趣区 ROI Region of Interest 的图像质量 在保障 ROI 区部分图像质量的前提 下 其他部分可以进行更高的压缩 这样在大大压缩数据量的同时 仍有满意的图像恢复 质量 这就是感兴趣区优先编码策略 3 视频编码实时性研究 由于视频数据的特殊性 视频传输系统对实时性要求很高 这里重点介绍基于视频编 码协议算法的实时性问题 小波编码等算法虽然有许多优点 但是算法复杂度太高 目前 难于达到实时性要求 下面介绍基于协议编码算法中的几个重要环节 它们对提高视频编 码系统实时性有重要作用 3 1 运动估计 预测编码可以有效去除时间域上的冗余信息 运动估计则是预测编码的重要环节 运 动估计是要在参考帧中找到一个和当前帧图像块最相似的图像块 即最佳匹配块 估计结 果用运动向量来表示 研究运动估计算法就是要研究匹配块搜索算法 研究分析表示 原始运动估计算法在编码器运行中消耗了编码器 70 左右的执行时间 因此 为了提高编码器执行速度必须首先提高运动估计算法的效率 穷尽搜索法是最原始的运动估计算法 它能得到全局最优结果 但是由于运算量大 不宜在实现应用中使用 快速运动估计算法通过减小搜索空间 加快了搜索过程 虽然快 速运动估计算法得到的运动向量没有穷尽搜索法的结果那样精确 但是由于它可以显著减 少运算时间 精度也能满足很多应用的需要 因而它们的应用十分广泛 典型的快速搜索 算法有 共轭方向搜索法 CDS 二维对数法 TDL 三步搜索法 TSS 交叉搜 索法 CSA 等 3 2 算法结构的并行化 并行化处理的体系结构十分有利于提高系统处理能力 加之视频编码算法有很强的并 行处理潜力 因此 人们研究了编码算法的并行运算能力 进一步保障了编码算法的实时 实现 例如 如果有两个并行处理器 依可以同时进行两个图像块的运行估计或者 DCT 变 换 这样依把运动估计和 DCT 变换环节的运算时间缩短了一倍 3 3 高速 DSP 芯片和专用 DSP 设计 微电子技术的发展 也使近年来 DSP 芯片有了很大的进步 每秒几十或上百 BOPS 次的运算速度 1 个 BOPS 为每秒 10 亿次 DSP 芯片已经出现 这为系统实时处理提高 了硬件保证 通用高速 DSP 芯片在视频编码算法的研究开发中扮演了重要角色 许多 DSP 生产厂 商甚至提供实现某种编码协议的专用芯片 4 码率控制研究 编码策略是编码器中重要环节 码率控制技术是视频通信应用中的关键技术之一 它 负责编码器各个环节与传输信道和解码器之间的协调 在编码器中具有重要地位 因为码 率控制策略需要由具体应用场合决定 所以象 H 263 MPEG 4 等视频编码协议 都没 有规定具体码率控制方法 由于视频码流结构具有分层的特点 因而码率控制方案的研究一般分成了两个层交人 图像层码率控制 宏块层码率控制 图像层码率控制的主要任务是 根据系统对编码器输 出码率的期望 系统传输延迟的限制 传送缓冲区的满溢程度等同 在一帧图像编码前 确定该帧图像的输出期望比特数 宏块层码率控制的主要任务是 根据图像层码率控制确 定的该帧图像的输出期望比特数 给图像各部分选择合适的量化步长 宏块层码率控制的 主要依据是率失真 Rate Distortion 模型 TMN8 码率控制方案 是迄今为止一套优秀的码率控制方案 它被 H 263 的 TMN8 模型的 MPEG 4 Version 1 的 VM8 模型所采纳 该方案的精化部分在于宏块层码率控 制部分 它采用了一种十分有效的率失真模型 是宏块层码率控制的误差很小 在图像层 码率控制方面 该方案的前提较为简单 主要考虑了编码时延 缓冲区满溢程度等因素 并且要求编码器的工作帧频恒定 在很多情况下 视频编码的帧频不可能保持恒定 或者不 应该 恒定 考虑到视频编 码器工作点的变化 以及现有率失真模型可能存在的误差 人们将现代控制理论引入到图 码率控制中 设计了更稳定的码率控制方案 由于宏块层码率控制环节直接决定图像各宏块使用的量化步长 因此利用宏块层友率 控制方法 可以轻易实现图像感兴趣区优先编码策略 使用感兴趣区优先编码策略时 虽 然对整幅图像而言仍属低码率编码范畴 但对于感兴趣区域而言却存在局部高码率编码 现有低码率控制算法 包括 TMN8 方案 都没有考虑到这一现象 它们将整幅图像所有部 分都作为低码率编码对象 并以此建立码率控制模型 因此这些码率控制方案直接与感兴 趣区优先编码策略相结合时 会导致不应有的码率控制误差 为此 人们又提出了一套用 不动声色低码率应用的码率控制框架 它适应了感兴趣区优先编码策略的需要 5 鲁棒性研究 无线信道干扰因素多 误码率高 因此无线视频的鲁棒传输研究对于无线视频传输的 实用化十分重要 5 1 鲁棒的压缩编码 视频压缩编码的最后一个环节是熵编码 熵编码的特点决定了视频码流对误比特高度 敏感 于是 人们设计了多种技术用于在视频编码环节进行差错复原 提高码流鲁棒性 MPEG 4 中定义的主要差错控制技术有 重同步 Resynchronization 数据分割 Data Partition 可逆变长编码 RVLC H 263 中用于差错复原的技术主要包括前向纠错 编码 FEC 条带模式 Slice Mode 独立分段解码 Independent Segment Decoding 和参考图像选择 Reference Picture Selection 等 H 263 则又增加了数据 分割的条带模式 并对参考图像选择模式进行了修改 此外 在信源解码端 人们又设计了数据恢复 Data Recovery 和差错掩盖 Error Concealment 等技术 以便尽量减少码流中错误比特的负面影响 5 2 鲁棒的复用环节 多媒体通信中 复用是紧随编码环节的一个环节 以 ITU 定义的 H 324 标准为例 该 标准由若干协议组成 包括音频编码协议 G 723 视频编码协议 H 26X 控制协议 H 245 和复用协议 H 223 H 223 是一个面向连接的复用器 负责把多媒体终端的多个数据源 音频 视频 数据等 复合为一个码流 Villasenor 等已经注意到复用器出现的差错对 视频可能产生的影响 但没有特点深入的研究成果 5 3 鲁棒的信道编码环节 信道编码也称差错控制编码 与信源编码的目的不同 信源编码是尽量压缩数据 用 尽量少的比特描述原始视频图像 信道编码是利用附加比特来保障原始比特能正确无误地 到达目的地 信道传输中的纠错方法包括 前向误码纠错 FEC 自动重发 ARQ 和 混合纠错 HEC Shannon 从理论上给出了信道传输能力的上限 信道编码方法的研究设计目标有二 一是尽量利用信道容量 二是抗干扰性能更强 Turbo 码是近年来纪错编码领域的活跃分支 由法国学者 C Berrou 等人在 1993 年看 出的 其模拟性能纪错能力 但是 Turbo 码的译码算法十分复杂 关于 Turbo 码译码的实 时实现是当前研究热点之一 5 4 信源信道组合编码 不同的信道编码策略对信元的保护能力也不同 根据信元的重要程度 合理地予以差 错控制编码 将有效地提高传输系统的效率 这是不平等的保护策略 Unequal Error Protection 信元的重要程度 可以有多种划分方法 如按照信元对解码所起作用 或者 按照信元对人眼感知所起作用 等等 还有许多学者研究了信道模型在信源信道组合编码中的应用 三种典型无线信道模型 是二进制对称噪声通道 Binary Symmetric Channels 加性白高斯噪声通道 Additie White Gaussian Channels G E 突发噪声通道 Gilbert Elliott Bursty Channels Chang Wen Chen 等在研究这些信道模型的基础上 研究了新的率失真模型 该模型不仅 描述了量化引入的误差 而且将信道噪声考虑在内 在一定的信道传输速率要求下 利用 这样的率失真模型 不仅可以在子信源之间合理分配比特 而且可以更好地平衡信源编码 精度与信道编码保护两者对码率的需要 6 无线视频传输系统的优化与管理 在前面几部分的研究中 主要目标是解决无线视频传输的基础问题 视频数据的压缩 问题 编码的实时实现 视频码流的鲁棒传输 事实上 除了上述问题 还有许多与无线 视频传输密切相关的领域 它们对无线视频传输的实现 推广有着举足轻重的影响 6 1 通信协议的研究 中国公众多媒体通信网是一个基于 IP 协议的通信网 它的通信协议是基于 TCP IP 的 当然 IP 协议和 TCP 协议仅是核心协议 为保证实时视频通信业务能很好地运行 需要 使用实时传送协议 RTP 和实时传送控制协议 RTCP 为了给实时业务或其它特定 业务的传送留有足够宽的通道 还必须使用资源预留协议 RSVP 上述五个通信协议 是 IP 网的主要通信协议 Ipv6 作 Internet Protocol 的新版本 将继承和取代传统 IP Ipv4 从 Ipv4 到 Ipv6 的改变将为下一代因特网奠定更坚实的基础 如 Ipv6 力求使网络管理变得更加简单 考虑 到不同用户对服务质量的不同需要 其中若干技术十分有利于实时多媒体业务的实理 6 2 接入控制 Admissior Control 类似有线网络 无线网络要决定是否允许新连接接入 此外无线网络还要决定是否允 许切换连接 并要在二者之间谋求最优解决方案 Naghshineh 在 1996 年提出虚拟连接树的新概念 设计了基于虚拟连接树的高速移动 ATM 网络体系 并研究了在该体系结构下的接入控制方案 简单说 作者用一个虚拟树来 描述位于一定距离内小区的移动用户 一旦移动用户的呼叫被允许 他依可以在虚拟树内 的所有小区间自由切换 而无须重新请求 在高速无线多媒体网络中 Oliveira 等则提出了基于带宽预留的接入控制方案 即在 建立呼叫小区附近入的小区中 进行带宽预留 以保障服务质量 当用户进入一个新的小 区 被预留的带宽将被利用 6 3 资源预留 Resource Reservation 对于视频 话音等实时业务 为保证可接受的服务质量 应该保留一定的连接