《视频流媒体业务质量监控与评测分析系统》开题报告

中国移动通信集团浙江有限公司 承担部门：网管中心 2010年 5月 课题名称：视频流媒体业务质量监控与评测分析系统 项目类型： 集团重点 一、项目信息 课题名称 视频流媒体业务质量监控与评测分析系统 课题分类 主题词 课题预计开始时间 2010-6 预计结束时间 2010-12 立项经费、预算 二、立项背景和意义 随着 3G多媒体业务的繁荣发展 ， 网络视频流媒体业务正成为吸引用户的主要应用之一 。 如何有效评估 3G视频流媒体业务性能成为一个需要迫切研究和解决的问题 。 评估视频流媒体业务的用户感知 、 发现网络异常是推广移动视频流媒体业务 ， 优化网络运营 ， 以用户为中心定制服务的关键问题 。 二、立项背景和意义 本项目面向移动业务推广的需求 ， 以用户感知为核心 ， 以视频通信的质量检测为重点 ， 以网络优化为目标 ， 针对其基础性关键技术 ， 开展关键技术攻关 ， 建立一套移动视频质量检测评估分析系统 ， 通过图像分析评估视频质量 ， 发现网络传输问题 ，通过包捕获 、 码流分析 ， 定位网络异常 ，为保障视频通信质量提供技术支持 。 三、课题研究目标 实现视频流媒体用户感知评估 实现视频质量自动检测，为运营商流媒体业务评估手段、度量标准的规范化创造了技术可能 修正移动视频流媒体故障诊断规则，提高网络故障诊断准确率 四、课题研究主要内容 课题研究的主要内容 （可展开多页） K P I - K Q I 映 射 模 型数 据 库普 通 用 户研 发 维 护网 管客 观 评 价数 据 采 集 模 块客 观 评 价数 据 处 理 模 块质 量 评 价 模 型脚 本 模 拟 测 试测 试 评 估 模 块输 出 评 价 分 析 报 告Q o E - t o - Q o S 映 射四、课题研究主要内容 准确评估移动视频流媒体用户感知质量 面向视频连续图像的缺陷检测 视觉特征加权修正算法 视频流媒体业务的客观质量数据和主观评测结果的获取 主观感知和客观质量指标关联映射规则 四、课题研究主要内容 准确诊断视频流媒体业务网络故障 通过 “ 码流分析 ” 建立 “ 视频质量 ” 与 “网络传输 ” 的映射关系 将视频质量恶化定位到具体的网络数据包传输过程 基于专家知识形成移动视频流媒体故障诊断规则 五、研究总体框架 系统采用如图所示的组成结构 系统由视频传输单元、视频预处理单元、视频缺陷提取与定位单元、特征融合与决策分析单元等组成 视频图像 传输单元 视频缺陷提取与定位单元 视频预 处理单元 特征融合与决策分析单元 五、研究总体框架 算法和软件功能主要包括图像数据解压预处理、缺陷和基本视频特征提取与定位处理、特征融合与决策分析、结果输出 4个模块 图像数据解压等 预处理 缺陷 和基本视频特征 提取与定位处理 视频图像 提取的各类特征的融合与决策分析 缺陷和基本视频特征库与提取算法 知识 五、研究总体框架 图像数据解压预处理部分 从信道中获得图像信息，解压成数字图像 经过图像格式的预处理得到适合进一步处理的与软、硬件兼容的图像数据 缺陷和基本视频特征提取与定位处理部分 建立特征数据库和算法库 实现对视频数据中的缺陷和典型视频的检测和定位 五、研究总体框架 特征融合与决策分析部分 提取多元特征融合 判断缺陷的类型、数量和位置 给出视频质量的评估结果 结果输出部分 将最终结果存贮与显示 移动视频流媒体 用户感知评估 视频流媒体 码流分析 网络传输故障 六、主要技术方案和关键技术 - - -用户感知评估 移动视频流媒体质量评测实施路线 判断开始 设定判断区域 将画面分为多个小块 取第一个小块并计算其灰度总和 OldAccount 取下一个小块并计算其灰度总和 Account Account与OldAccount之间差值是否超过门限 是否最后一个小块？ 判定为黑场 判断结束 判定不是黑场 视频信号中的黑场检测流程 否 是 是 否 六、主要技术方案和关键技术 - - -用户感知评估 黑屏检测示例 灰度总和 9 黑场 当前帧图像 图像分区 分区求灰 度值 0 1 1 1 1 1 1 1 2 六、主要技术方案和关键技术 - - -用户感知评估 静帧检测示例 静帧 当前帧图像 上一帧图像 图像分区 分区差分图像 灰度总和 7 1 1 0 1 1 1 0 1 1 六、主要技术方案和关键技术 - - -用户感知评估 视频信号中的马赛克检测流程 当前帧图像 边缘分析 （形态分析） （位置分析） （面积分析等） 边缘处理图像 多特征分析器 检测结果输出 六、主要技术方案和关键技术 - - -用户感知评估 马赛克检测 当前帧图像 边缘图像 结果标记 边缘分析 与综合 六、主要技术方案和关键技术 - - -用户感知评估 视频信号中的跳帧检测流程 当前帧图像 上一帧图像 颜色差分图像 边缘处理图像 边缘处理图像 边缘差分图像 多特征分析器 检测结果输出 六、主要技术方案和关键技术 - - -用户感知评估 视频特征指标评估 原始视频流 饱和度图像 色度图像 边缘图像 差分图像 多特征评估器 评估结果输出 灰度图像 纹理图像 对比度 清晰度 损失度 分辨率 色度 /饱和度 /亮度 坏 好 六、主要技术方案和关键技术 - - -用户感知评估 基于特征的视频质量评估模型 视频质量评估总体策略框图 待评图像 缺陷检测与评估 静态质量评估 动态质量评估 综合评估 对比度 色度 饱和度 亮度 清晰度 熵 纹理 图像功率 运动补偿预测误差功率 运动矢量 黑场检测 跳帧检测 马赛克检测 静帧 检测 视频和特征数据库 算法库 六、主要技术方案和关键技术 - - -用户感知评估 视频质量自动评估检测实施方案 基于视频文件的质量检测 基于 WEB访问的视频质量检测 基于 P2P访问的视频质量检测 视频信息获取 视频质量分析 实时检测 结果 AVI WEB P2P 六、主要技术方案和关键技术 - - -用户感知评估 基于 web访问的视频采集 视频源 视频卡 媒体文件 （ asf、 avi、 nsv等 ） 服务器 encoder HTTP TCP/IP WEB Access CGI 数据流接收 存储管理 视频 数据包 视频 解码 六、主要技术方案和关键技术 - - -用户感知评估 基于 P2P访问的系统架构 VIDEO 文件搜索（ ed2k， kad网络） 其它提供 文件的节点 其它请求 文件的节点 服务进程 任务处理线程 （文件上传下载） 文件数据缓冲区 物理内存 AREA1 物理内存 AREA2 播放进程 进程通信 数据读取进程 数据缓冲区 解码进程 Decder 匿名管道 匿名管道 创建子进程 六、主要技术方案和关键技术 - - -用户感知评估 标题栏 检测功能区域 视频播放区域 播放控制区域 检测功能控制 检测状态指示 检测参数控制 功能扩展 视频质量自动评估检测实施方案 六、主要技术方案和关键技术 - - -用户感知评估 P2P AVI web 链接建立 资源地址 视频数据流 视频数据 视频数据 数据缓存 视频解码 帧图像 预处理 检测算法 结果记录 END 结束 Y N 视频质量自动评估检测实施方案 六、主要技术方案和关键技术 - - -用户感知评估 移动视频流媒体 用户感知评估 视频流媒体 码流分析 网络传输故障 六、主要技术方案和关键技术 - - -码流分析 移动视频流媒体质量评测实施路线 应用层 流媒体感知测试评估 网络层 网络传输参数和性能 视频质量评价 发现第 N帧停顿问题 媒体流（信息、用户数据、视频、音频） 第 N帧图像数据 定位第 i - j数据包 移动网络 从捕获的数据分组中重组得到网络传输媒体数据的传输或系统码流信息、视频中各图像编码类型及其编码长度信息、视频流中编码详细信息等 。 目的：建立了视频数据与网络数据包统计分析之间的映射关系，明确各图像质量评估结果与网络传输时间上的对应关系。 流媒体码流分析模块 六、主要技术方案和关键技术 - - -码流分析 六、主要技术方案和关键技术 -