自适应网络带宽的H.doc

：自适应网络带宽的 视频流传输控制方法刘高平，宋执环（浙江万里学院 电子工程研究所，浙江 宁波 ；浙江大学 控制科学与工程学系，浙江 杭州 ）摘要：根据 视频流编码格式与视频传输实时性，提出一种基于传输控制协议（）的双缓冲与双线程视频实时传输控制方法考虑到实际情况下视频码率调整不能完全与网络带宽变化相同，重点阐述了处理视频传输 过程中视频丢帧、视频码率上调与下调的三个主要控制策略：为了避免传输过程中视频“碎帧”出现，控制方法中设 置一个帧地址数组实现视频数据按帧传输与丢弃；为了确保视频码率调整的正确性，控制方法采用时间为参数的 线性加权累加方法来判断视频数据积累的变化趋势给出了控制方法的具体步骤与测试情况，并与传统方法进行 了比较比较与测试结果表明：该控制方法能保证视频码率随网络带宽波动或在可变码率下随视频场景变化而自 适应调整，可有效地应用于动态带宽网络环境下的实时视频监视关键词：；实时传输；视频码率；网络带宽；视频丢帧中图分类号：文献标志码：文章编号：（） ，（， ，；，）：（） ， ， ， ，“”， ， ， ：；收稿日期：浙江大学学报（工学版）网址：基金项目：浙江省省级重点科技创新团队项目（）；浙江省公益性技术应用研究计划资助项目（）；浙江大学工业控制技术国家重点实验室开放课题基金资助项目（）作者简介：刘高平（），男，教授，从事图像处理与传输的研究工作：通信联系人：宋执环，男，教授，博导：数字视频因其数据量太大，一般都需要压缩后再进行网络传输 是目前在监视领域采用比 较多的视频编码方式之一但是由于清晰的视频 监视数据量太大，即使采用了视频编码技术，在实际 使用时网络带宽也无法保证理想的实时性与可靠性目前，实时传输协议（络带宽变化调节视频数据发送与丢弃的策略，而对如何利用 视频流码率调整实现视频流随网 络带宽变化自适应传输均未探讨，因此，以上方法还 不能直接应用于实际网络中本文将在已有视频网络传输控制方法 的 基 础上，根据 视 频流与实时监视应用 的 特点，提 出一种基于 协议的双缓冲双线程视频实时网 络传输控制方法，）是 流 媒 体 传 输 常 用 的 协 议，如等都采用 作为流媒体传输的 协 议，但 是 由于 是建立在不进行任何拥塞控制的用户数据 报协议（，）基础上，需 要在应用层上加入拥塞控制方法，不能直接应用于 窄变带宽网络环境下实时视频监视为了克服上述 问题，在许多文献中提出了不同 的 方 法其 传 输 控制方法主要分两种：视频流码率控制与网络传输 控制前者根据网络传输信道的情况来调整编码参 数，以生成适合当前网络传输的视频流，从而使视频 传输需要的带宽尽可能小并能充分利用动态变化的 带宽；后者根据网络传输带宽自适应地调节视频 数据的发送量，当网络带宽良好时，减小视频数据丢 弃率，增加数据发送速率，反之，增加视频数据丢弃 率，减小数据发送速率此类控制方法的关键是如何 计算网络速 率 变 化 情 况 以 及 采 取视频数据丢弃策 略，以减少视频流的抖动，提高播放的平稳特性 如熊永华从 实时流媒体传输性 能 与 减 少 等 待延时和发送延时入手，研究了一种采用多缓存减 少端到端的延时，并能确保速率能够匹配网络可用 带宽自适应的实时视频传输，但该方法在传输缓存 中只设置一帧视频数据长度的空间，且未结合到视 频帧，因此在网络拥塞时容易造成视频数据频繁丢 弃，使接收方视频播放不流畅，甚至因丢弃视频关键 帧而 无 法 正 确 解 码 等 介 绍 了 一 种 基 于 协议传输的 视频监控系统，其传输算 法可以根据网络带宽与播放终端性能在网络拥塞时 自适应丢弃视频帧，以便保持合适的视频帧速率进 行播放，但是在该算法中视频数据传输延迟时间采 用另 外 一 个 传 输 链 路 回 路 响 应 时 间 （，）值来估算，在窄变带宽网络中不但不能 正确计算出视频传输本身的延迟时间，而且还会造成视频丢帧不正确，另外当网络拥塞时在视频数据 传输之外再增加一个计算 的传输链路会造成 网络拥塞更加严重但这些控制方法均未将 视频流特点与网络传输控制方法相结合，前者重点 阐述了视频码率的控制方法，而对视频传输过程中 如何触发码率调整以及码率切换过程中视频数据如 何平滑传输未作分析；后者只是重点阐述了根据网控制方法的基本思路本文提出的基于 协议的双缓 冲 双 线 程 视频实时网络传输控制方法，主要应用于带宽动态变 化的网络中，以实现端对端视频传输，所依托的系统 一般分视频的发送方与接收方接收方负责视频播 放，一般不存在影响视频传输实时性的问题控制方 法实现的瓶颈问题是网络传输速率的随机变化，因 此，控制方法的重点是发送方设置视频数据传输的 网络流控机制在理想情况下，视频编码器输出数据的速率与网络带宽相同，并随着网络带宽的变化而变化，以便 视频数据能实时地传输给接收方但在实际情况下 由于网络带宽与视频场景的随机变化，视频码率不 可能与网络带宽完全相同，视频码率调整总是延迟 于网络带宽的变化当网络带宽变小时，控制方法通 知编码器降低视频码率，但在码率实际降低前发送方存在待发送的视频数据积累；当网络带宽变大时，视频码率在调整之前低于网络带宽，造成网络带宽的浪费更重 要 的 是，实 际 网 络 的 带 宽 是 随 机 变 化 的，视频码率由于调整迟后会出现调整方向与网络带宽变化相反，从而加剧网络的拥塞或带宽的浪费，因此，一 个 有 效 的 视 频 传 输 控 制 方 法 必 须 解 决 如下问题：）能及时发现网络带宽的变化，并控制视频码 率作相应调整，使得视频码率尽可能最大；）能处理好因网络带宽变小时在发送方积累的 视频数据为了达到上述目标，本文控制方法在发送方设 置数据缓存，以便均衡网络带宽的随机变化，即带宽 变小时，控制视频编码器降低视频码率，同时将未能及时发出的数据暂存在数据缓存中以便随后发送；当带宽变大时，控制视频编码器提高视频码率，同时发送完原来积累的视频数据为了便于控制方法的具体实施，将发送方的数 据缓存分成 个：一个用于来自视频编码器的视频数据缓存，简称为视频数据缓存，记为 ，其总字节长度记为， 中实 际存储 的 数据字节长度记为 ；另一个用于暂存来自 的视频数据，等待 链路发送，简称为视频发送缓存，记为 图 为视频传输时缓 存 之间 的数据转移关系示意图其 中， 为先入先出的流缓存； 为编码器输出的 帧 视频数据缓存，字节长度记为 ； 为数据接收缓 存； 为视频播放缓存图中的双线箭头表示数据 流传递方向，单线箭头表示对视频编码器控制方向免视频数据的“碎 帧”出 现，在 中 设 置 一 个 帧 计数器，表示在 中存有 帧视频数据，分别记为 ，如图 所示若第帧最后一个字节 在 中的地址为 ，则可以构成一个帧 地 址 数 组（，），且 ，图中按片转移示意图 当控制方 法 在 发 送 视 频 数 据 时，如 果 发 现 中无数 据，立 即 将 帧 转 存 至 ，然 后 将 ，图本文控制方法中缓存之间数据转移关系图 ， ， 逐帧前移；而当 有数据输入时，判断 的大小，如果 ，再根据 是否为 关键帧 而 有 选 择 性 地 丢 弃 部 分 视 频 数 据，具 体 步 骤如下：）获取 输入；）如果，转 节中的步骤）；否 则，转步骤）； 另外，视频编码器的视频码率分固定码率控制（，）和可变码率控制（ ，），固定码率的 压 缩 速 度 更 快，如果码率不合适大动态画面会出现画面不清，一 般可以认为视频数据输出的速率恒定；可变码率会 根据画面动态使用不同码率，保证大动态画面的清 晰度，但压缩时间会大增对上述 种方式，前者可 对编码器预设视频码率值；后者可对编码器预设视 频码率的上限，其实际码率由编码器根据具体场景 决定，因此，在本控 制 方法中 假 设编码器输出的视 频码 率 或 视 频 码 率 上 限 共 有 级，记 为 数 组 （其中， ，；且 ）如 果 当 前采用的视频码率为（即第 级），则视频码率下 调一级后为 ，上调一级后为 ）如果 为非关键帧，直接将 丢弃，并转步骤）；否则，设置初值，并转步骤）；）如 果 （关 于 参 数 定 义，参 见 ），置，然后转步骤）；否则，置、 ，并将转存至然后转步骤，）在上述步骤中，将 中的第 帧丢弃，保留前面的 帧视频数据，而不是将 中的数据全部清除，一是为了适当减少 中的数据量，以免下次 输入时 又 出 现 的 情 况；二 是 为 了 避 免视频码率下调起作用后， 中 数 据 量 快 速 减 小 而又要求视频码率调高另外，只有当 为关键帧 时才开始丢弃 视 频 数 据 并 将 保 存，这 是 因 为 一 个 视频 编码图 像由一个或多个片组 成， 视频片共有 种不同的类型，即片、 片、 片、 片、片，一个片可以单独解码，而其他片 需要依赖之前的视频片才能完整解码在进行视频 传输时，如果片丢失，后续接收到的非片则无法 完整解码；但非片丢失后，如果在后续视频中接收 到片，可以重新开始解码，上述指的关键帧为 包含片的视频帧，因 此，在视频实时传输时，如 果 出现网络拥塞，可以适当丢弃非关键帧，减少数据传 输量，同时又最大限度地减少对接收方视频播放的 影响在判断片类型时可以根据片头定义的片类型（），查询视频数据中相应位置的字节值来 判断，具体参见文献中表，如当 或 时，可以判断该片为片控制方法方案主要控制策略根据上述提出的基本思路，本文提出如下 个 主要控制策略视频丢帧 当网络带宽变得比视频码率小时，控制方法将通知编码器下调视频码率，但在下调起作用前， 中会积累尚未发送的视频数据一般 情况下，该数据量不会超过 的长度，也就是 总成立但当网络带宽急剧变小或在 方 式 下视频场景 快 速 变 化 时， 中积累的数据量会急 增，使得当 输入时，出现 情况，此时， 因 中 无 空 闲 内 存，致 使 中 数 据 无 法 转 存 至 ，必须将积累的部分视频数据选择性地丢弃本 控制方法采用的相应策略如下：为了实现 向 数据转移以及视频数据丢弃时按帧为单位进行，避视频码率下调为了能尽快发现网络带宽）通知编码器将视频码率 下 调一级，即 置，并置 、 （ 为判决开始时 的值），然后转步骤）；）如果 ，置 （ 为 输入时出现 的次数），然后转步骤），否 则，转步骤）；比视频码率小，从而避免视频数据在发送方积累过多而造成视频频繁丢帧，在控制方法中对 设 置 一个警 戒 线，该 警 戒 线 位 于 中 字 节 长 度 为 处，控制方法实际使用时一般 取 （ ）当 数据输入时，检测 中已有数据 的长度 ，如果当 时，立 即 通 知 编 码 器 将视频码率调低一级但在此之后的一段时间内，当 数据输入时，仍然会检测到 ，其可能 由下面 种原因造成：）由于视频码率下调生效延 迟，需要一段时间后 才会不超过 ；）由于 网络带宽过小，视频码率必须下调 级或 级以上 如图 所示，其中 为检测到 并下调一 级视频码率 的 时 刻如 果 只 是 第 种 原 因 （如 图 （），控制方法对编码码率就无须再作下调；对于第 种原因（如图（），控制方法必须通知编码器继 续下调视频码率本控制方法采用如下处理方法进 行判决处理：）计算 如 果 ，转 步 骤 ），否则，转步骤）；）如 果 （ ），然 后 转 步骤），否则，置 、 ，然后转步骤）；）将 转存至 中，并置 、，然后转步骤）；在上述步骤中，参数 用作观察 中数据长 度变化趋势的对比标准所取的观察时间为编码器输出 帧视频数据的时间，即 ，其中： 为编码器输出的视频帧率； ， 为整数，且，正所以设置经过 个 帧（即 ）后 再进行判决，是因为在 中关键帧的数据量明 显比非关键帧数据量大，而完整周期的视频帧输入 可以提高检测的可靠性选取 值越大，判决的可靠性越高，但在观察时间 内出现丢帧的概率也越大，一般取另外，在对 输入时出现 次数 的计算中，采用时间为参数的线性加权 累加方法，加权 系 数 为 ，即 时 间 越 靠 后 加 权 系 数 越大，对 值的影响也就越大，因此， 值的大小 反映了出现 次数的变化趋 势 的 最 大值为 （ ），在对 值 判 决 时，阈 值 采用参数 （ ），其中 可以用 来调整触发视频码率下调的敏感度，一般取 图视频码率下调后 中数据量变化示意图 在通知 编 码器下调视频 码 率 后，如 果 数 据 输入时仍然出现 ，则对数据长度 变化 趋势观察一段时间（对应图 中时间 ）如果变化 趋势是下降的，说明 中缓存的数据量正在减少， 则不再要求编码器下调视频码率；反之，则说明 中缓存的数据量未减少，需要再次下调一级视频码 率，下调之后再次重复这个判断过程，直至 具体步骤如下：）设置初值、 ，并置 （ 为视 频 流中 关键 帧出现的周期帧数 ）、标 志 符 ；）获取 输入；）如果，进行丢帧处理，转 节 视频丢帧中的步骤），否则，转步骤）；）如果 ，置 ，将 转 存 至 中，然后转步骤），否则，转步骤）；）如 果 ，置 ，然 后 转 步 骤），否则，转步骤）；视频码率上调当网络带宽变大或在 方式下视频场景变化趋于稳定时，视频码率会变得比网络带宽小， 数据转存至 后会立即发送出 去， 中 无 视 频 数 据 积 累 现 象由 于 视 频 码 率 越 大， 视 频 流 总 体 画 面 质 量 越 好，控 制 方 法 将 在网络带宽允许的范围内将对视频码率进行上调 在进行视频码率上调决策时如果一旦出现 中无数据（即）就立即调高视频码率，这会使得 中积累的数据量急剧增多，因为之前 中无数 据有可能是因为网络不稳定的短暂带宽变大或视频 场景短暂的平稳原因造成的，一旦带宽变成正常情况或视频场景又开始变化时，此时再上调视频码率， 中肯定会 出 现 越 来 越 多 的 数 据 积 累，从 而 又 要求编 码器下调视频码率，那 么 视 频 码 率 “上 调 下 调 上调”的过程会因为网络带宽或视频场景的变化反复出现为了避免此现象发生，本控制方法采用如下处理方式：考虑到即使网络带宽大于视频码率 的情况发生，短时间内不上调视频码率，不会在很大 程度上影响控制方法的效果，因此，本控制方法将在 比视频码率下调中更长的一段时间内观察 中数 据长度的 变 化 趋 势当 输 入 时，如 果 出 现 （或）的 次 数 越 来 越 多，并达到一定的 数 量，说 明网络带宽允许视频码率上调与频码率下调策略一样，在通知编码器将视频码率调高后，很可能也会继续出现 的情况，此时又需要重新观察 中 数据长度 的变化趋势具体步骤如下：）设置初值、 ，并置 、标志符；）获取 输入；）如果，转步骤），否则，转步骤）；）如果，置 、 、 ，然后 转步骤），否则，转步骤）；）如果，置 ，然后转步骤），否则，转步骤）；）置 ；）如果 ，置，然后转步骤），否则，转步骤）；）如 果 （ ），通 知 编 码器将视频码率上调一级，即，然后转步骤），否则，转步骤）；）将 转 存 至 中，并 置 、，然后转步骤）在上述步骤中，所取的观察时间为编码器输出 帧视频数据的时间，即 ，其中 、 为整数，且，选取 值越大，判决的可靠性越高，但网络带宽的利用率会有所降低，一般取， 、 的定义与 节中相同设 置经过 个 帧（即 ）后再进行判决，是因为在 中关键帧的数据 量明 显 比非关键帧数 据 量 大，完整周期的视频帧输入可以提高检测的可靠性； 另外，在 输入时在对出现 的次数 计算 中，采用时间为参数的线性加权累加方法，加权系数 为 ，即时间越靠后加权系数越大，对 值的影响 也更大，因此， 值 的 大 小 反 映 了 出 现 次 数 的变化趋势 的 最 大 值 为 （ ），在 对 值判决时 阈 值 采 用 参 数 （ ），其中 可以用来调整触发视频码率上调的 敏感度，一般取 控制方法的具体步骤为了进一步提高控制方法的实时性，在具体实 现时将控制方法分为 个并行运行的线程：视频数 据输入线程与视频数据发送线程前者为控制方法 的主线程，主要负责 中数据输入与视频码率 调 整；后者主要负责 中数据的输入与输出视频数据输入主线程控制方法中视频数据输入主线程的流程图如图 所示控制方法首先设置各种参数的初值（各参数的含义参见 节），启动视频数据发送线程；然后根据 与 、比较情况启动 节给出的 个控制策略其中，当 、 为 时，表示控制方法分别处于视频码率 上调、下调的观察过程中图视频数据输入主线程流程图 视频数据发送线程图 为控制方法中视频数据发送线程的流程图发送线程负责将视频流按帧为单位发送发送线程过程大致如下：将 中图控制方法测试环境示意框图 度，并取参数初值 、 、 同时为了测试方便，设置编码 器 每 个 视 频 帧 中 包 含 个 关 键 帧，即 ，故 可 计 算 得 、 、 在具体测试 时，发 送 方 的 上 不 定 时 地 打 开 若干个下载链接，使得分配给视频发送的带宽发生变化控制方 法 运 行 过 程 中 设 置 一 个 定 时 器，每 隔保存一组关键数据值；然后绘制变 化 曲 线， 图视频数据发送线程流程图图 为采集到的 关 键 参 数 典 型 曲 线其 中，图 （） 的数据发送至接收方，数据发送完后，再从 中取 得最 前 面 一 帧 数 据 （即 ）放 入 中，并 将 ， ， ， 逐帧前移；然后重复上述 操 作如 果 中数据发送完毕而 中无视频数据（即），则 该发送线程一 直 处 于 等 待 状 态，直 至 数 据 输 入 至 中（即）中 为发送线程中数据丢帧数， 个图是控制方法运行过程中同时采集的，即各图时间轴是相互对应 的，因此，图（）中 曲线与图（）曲线的 轴数 值 大小虽不是线性 关 系，但它们变化的趋势是 相同的测试与分析测试情况本控制方法测试环境如图 所示图中 编码器采用德州仪器（，）公司 达芬奇多核处理器 ，该编码器 利用通用串行总线（，）接口 与发送方的个人计算机（，）连 接，并将视频输入 中，同时该 利用另外一个 接口连接 调制解调器，拨号中国 电 信 无 线 网络 并 接 入；然 后 将 视 频 数 据 传 输 到 另 外 一台具有固定网络之间互连的协议（ ，）地址的 上进行播放显示在发送方的 上采用 进行编程，实现 视频发送的传输控制方法测试时，视频编码器设置视频分辩率为，把整帧图像作为 帧进行编码视频码率总共有 级，分别为、选取初值为，即 ，编 码 方 式 设置为 方 式，视 频 帧 率 为 帧， 长图控制方法的测试结果图该测试开 始 时，由 于 视 频 码 率小于网络带宽， 输入时出现 的加权次数大于设定阈值，故控制方法将视频码率由第 级上调至第 级，即 变成，码 率 为 此 后，在 发 送 方 的 上打开一 个 网 络 下 载 链 接，使得分配给视频发 送的带宽变小， 中积累的数据越来越多，在打开 链接时刻 处（对应图 （）、（）中纵向虚线）出现 情 况，此 时，控 制 方 法 立 即 下 调 视 频 码 率至第 级，即，码率为从图中 可以看出，视频码率下调后 中数据长度 仍在 增加，在下调视频码时刻 处（对应标记“”的时间点）出现 ，控制方法执行视频丢帧策略， 将 中部分数据丢弃在此之后，视频数据发送处 于正常状态在上述测试过程中，视频码率下调后在 接收方未出现明显的视频质量下降，只是在视频丢 帧的短暂时间段出现视频画面的停顿与跳跃值得注意的是，根据“视频码率下调”策略，在视 频码率下调后，如果 中数据量未减少，需要再次 下调视频码率，但在该测试过程中，由于 ， 也就是尚未到再次下调视频码率的时间；另外，在上 述测试中视频编码方式设置为 ，如果测试时采 用 方式，控制方法运行结果与上述相似，只是 除在发送方的 上打开下载链接使得分配给视频 发送带宽发生变化外，还可以变动视频场景使得数 据输入量发生变化，从而触发控制方法进行视频码率的上调或下调鉴于文章篇幅关系，在此不再另外 给出该测试过程的结果采集图为，即表示上调观察时间在缓存中出现无数据情况后至之间表 种方法中设置的关键参数方法类型 传统方法本文方法由于网络带宽变化的随机性，无法将 种方法在完全相同的网络环境下进行实验测试比较，因此，具体测试时尽可能保证测试环境相对相同，在发送方的 上打开与关闭 同样的下载链接，使 得 分 配 给视频发送的带宽发生变化经反复多次测试，统计 结果表明： 种控制方法都会出现视频码率上下 调 整以及丢帧现象，但采用本文方法时单位时间内视 频码率调整和丢帧发生的次数明显小于传统方法 下面就测试过程中采集到的 种典型情况进行分析比较）丢帧情 况当 视 频 平 稳 传 输 时 在 发 送 方 上打开一个大数据量下载链接，使得视频传输可利 用带宽变小，缓存中数据量急剧增加，缓存无足够空 间存下编码器发送来的视频数据，从而发生视频丢 帧图（）、（）为传统方法对丢帧处理的一个典型 过程，当时刻 打开链接时，缓存中数据量增加，在 时刻 时其值 大 于 阈 值 ，此时要求下调 视 频 码 率；当数据量继续增 大，以 致 于 在 图 （）所 示 的 在 “”处出现丢帧，将缓存中所有数据丢弃，并在编码 器输出关键帧时才开始存入视频数据，造成此后缓 存中数据量过少而要求视频码率上调，然后继续上 述过程，直至再次下调视频码率值得注意的是，这方法比较在传统的视频传输控制方法中，大多在发送方 设置一个数据缓存，当待发送的视频数据量大于 某个阈值时，通知视频编码器降低视频码率，并当缓 存空闲空间不足时开始视频丢帧；反之，当数据缓存 中数据过低时，通知视频编码器调高视频码率但与 本文提出的控制方法相比，许多方面存在不同之处， 限于文章篇幅，在此只分析其中较为关键性的判断 准则，比如丢帧与视频码率调整策略传统方法在丢 帧与视频码率调整策略方面也有多种不同的处理方 法，其中典型的方法是：如果出现数据缓存空闲空间 不足而导致视频数据无法存入，则将缓存中的数据 全部清除；当缓存中数据量超过阈值 时，则立即 下调视频码率，并在此后一段时间（把这段时间长度 记为）内，如果数据量仍大于阈值 ，则再次下调视频码率，重复此过程，直至数据量低于阈值 ；当缓存中出现无数据情况并在此后一段时间内仍出现 无数据情况，则上调视频码率同时，为了方便传统 方法与本文方法的对比分析，在具体测试时参数值 设置尽量相同，如 表 所 示其中传统方法的 值个上调 下调过程中还有可能引起丢帧情况发生而本文方法在发生丢帧后不是将缓存中数据量全部清除，避免了缓存中数据量过少而使得视频码率再次 发生上调 下调过程，如图（）、（）所示，其中“”处 为出现丢帧时刻）下调情 况当 视 频 平 稳 传 输 时 在 发 送 方 上打开一个下载链接，使得视频传输可利用带宽变 小，造成缓存中数据量增加并超过阈值，此时要求编 码器下调视频码率图（）、（）为传统方法对码率下调处理的一 个 典 型 过 程，当 时 刻 打 开 链 接 时，缓存中数据量增加，并且超过设定的阈值 ，下调一级视频码率，在此后的下调观察时间内，缓存中数 据量仍然大于阈值 ，故再次要求编码器下调视频图传统方法和本文方法的丢帧处理情况比较图传统方法和本文方法码率下调处理情况比较 码率；而此时如果采用本文方法，就不用再次下调视 频码率，这是因为本文方法在下调观察时间内不但 要求缓存中数据量超过阈值，而且还要考虑数据量 的变化趋势从图（）可以看出，在时刻 后超过 阈值的