《数字视频基础》PPT课件.ppt

数字视频处理,1,课程内容,第一章 数字视频基础 人类视觉特性，彩色模型，视频简介，多维随机信号与系统，模拟视频信号数字化，视频质量评价，视频模型。 第二章 二维运动估计 基于光流的运动估计，基于像素的运动估计，基于块的运动估计，基于网格的运动估计，基于区域的运动估计，全局运动估计，多分辨率运动估计。 第三章 三维运动估计 基于特征对应的运动估计，基于光流的运动估计，直接运动估计，运动目标分割，运动目标跟踪。,2,课程内容,第四章 数字视频编码 理论基础，离散信源的无失真编码，预测编码，变换编码，基于内容的视频编码，分级视频编码，视频编码标准。 第五章 三维视频处理 立体视觉，立体成像原理，视差估计，三维变换编码，分布式视频编码，立体视频显示技术。 第六章 数字视频水印 信息隐藏概述，数字水印原理，视频水印概述，视频水印关键技术，视频水印算法。,3,数字视频基础,4,提纲,人类视觉系统 彩色模型 视频 多维随机信号分析 数字化 质量评价 视频模型,5,视觉感知,人类的感觉 视觉、听觉、嗅觉、味觉和触觉 “第六感觉” 内部因素： 人眼人类视觉系统 外部因素： 可见光,6,人类视觉系统,人类获取外界图像、视频信息的工具。 涉及光学、色度学、视觉生理学、视觉心理学、解剖学、神经科学和认知科学等科学领域。 视觉 光辐射刺激人眼所引起的复杂的生理和心理变化。 人类最重要最完美的感知手段。,7,人眼的构造,视网膜：由大量的光敏细胞和神经纤维组成 光敏细胞包括： 1）锥状细胞：明亮环境 2）杆状细胞：黑暗环境 灰度感觉,锥状细胞具有3种类型，它们具有不同的光谱特性： 红、绿、蓝3个子频段彩色视觉三基色理论的生理依据,Lens（晶状体）：调节焦距,8,可见光谱,9,明视觉与暗视觉,明视觉：日间视觉 暗视觉：夜间视觉,10,人眼视觉,亮度视觉 也称明暗视觉 主要参数：光强、光通量、发光效率、照度、亮度 彩色视觉 不同的波长呈现不同的颜色 不同颜色的亮度不同：红色（最暗）、蓝色和紫色（较暗）、黄绿色（最亮）。 颜色感觉参量：亮度、色调、饱和度。 色度：色调和饱和度的合称。 立体视觉,11,视觉特性,亮度适应性 亮 暗 暗 亮 亮度变化分辨能力 可见度阈值：可分辨的最小亮度差别 视觉掩盖效应：复杂而不均匀的背景会导致可见度阈值增大，图像的边缘可以容忍较大的量化误差 色调对比效应 饱和度对比效应,12,视觉特性,面积对比效应 马赫效应 人眼对不同空间频率成分的灵敏度 中频成分（高），高频、低频成分（低） 对图像边缘有增强作用 视觉惰性 亮度感觉持续性 电影播放的原理,13,闪烁感觉 周期性光脉冲照射，当重复频率达到一定值以上 无闪烁感觉 设计电视系统的重要依据，如“隔行扫描” 视野 头部不动、眼球转动时所能观察到的空间范围 水平视野与垂直视野,视觉特性,14,视觉特性,人眼分辨力 主要因素：环境照度，景物的相对对比度，被观察物体的距离，运动状态,d,D,15,视觉特性,彩色分辨力 彩色细节分辨力 远低于黑白细节分辨力 彩色色调分辨力 彩色饱和度分辨力 黄色（最不敏感） 红色和蓝色（非常敏感）,16,色调分辨阈值与波长的关系,视觉系统模型,人眼： 特殊的光学信息处理系统，相当复杂。 视觉模型： 用光学系统的概念模拟某些视觉特性 视觉信息处理模型,17,视觉系统模型,黑白视觉模型,低通滤波器,对数运算器,高通滤波器,人眼光学系统,亮度恒定现象,侧抑制引起的马赫效应,18,视觉系统模型,彩色视觉模型,人类视觉的三基色理论,视细胞对光强的非线性响应,在视觉通路上的响应,19,提纲,人类视觉系统 彩色模型 视频 多维随机信号分析 数字化 质量评价 视频模型,20,彩色模型,彩色色度学模型 CIE-RGB（1931） XYZ （CIE 1956) 工业彩色模型 RGB彩色显示模型 （NTSC：美国国家电视委员会） CMYK彩色模型 彩色传输模型：YUV、YIQ、YCbCr 视觉彩色模型 HIS模型 （色调、亮度、饱和度）,国际照明委员会,21,三基色原理,红,绿,蓝,22,RGB彩色模型,混色方法 1、时间混色法 场顺序制彩色电视 2、空间混色法 彩色显像管 3、生理混色法 立体彩色电视 4、全反射混色法 投影电视,相加混色,23,CMYK彩色模型,印刷 彩色胶片 绘画,CMY相减混色,在CMY三基色中增加黑色（K）以使颜色更加逼真鲜艳,24,YUV、YIQ、YCbCr模型,YUV模型：用于PAL（Phase Alternating Line）制式的电视系统，Y表示亮度，UV并非任何单词的缩写。 YIQ模型：与YUV模型类似，用于NTSC制式的电视系统。YIQ颜色空间中的I和Q分量相当于将YUV空间中的UV分量做了一个33度的旋转。 YCbCr模型：是由YUV颜色空间派生的一种颜色空间，主要用于数字电视系统中。 UV / CbCr信号实际上就是蓝色差信号和红色差信号，一定程度上间接地代表了蓝色和红色的强度。,25,YUV与RGB之间的转换,26,YIQ与RGB之间的转换,27,YCbCr与RGB之间的转换,28,色度取样格式 (ITU-T BT. 601),4:4:4,4:2:0,4:2:2,4:1:1,29,提纲,人类视觉系统 彩色模型 视频 多维随机信号分析 数字化 质量评价 视频模型,30,视频,由许许多多幅按时间序列构成的连续图像 每一幅图像称为一帧 活动图像 电视，电影等 视频表示 三维视频 二维视频,亮度（灰度）信号,31,视频信号的特点,直观性 生动、深刻、具体、直接 确定性 “百闻不如一见” 高效性 并行信息处理系统 广泛性 80%的信息来自视觉 高带宽性 传输、存储 压缩,32,模拟视频,普通广播电视 单一的时间函数的电信号，其电平高低反映了亮度大小 光栅扫描 逐行扫描 隔行扫描 光栅特性 每秒取样的帧数fp：时间分辨率 每秒扫描行数n：空间垂直方向分辨率 基本参数 清晰度、分解力、宽高比、行频、场频、帧频,33,逐行扫描,水平扫描,垂直扫描,优点： *减少屏幕大面积 闪烁和边缘闪烁 *分解力高 *图像清晰、稳定 缺点： 带宽要求高,34,隔行扫描,奇数场,偶数场,优点： 压缩一半频带而不明显降低图像质量 缺点： 行间闪烁视觉疲劳 垂直分辨率下降,35,模拟电视系统,模拟电视系统标准 NTSC制 北美、日本 PAL制 欧洲、中国 SECAM制 前苏联、东欧 复合视频信号 彩色视频信号兼容于黑白电视 将RGB转换成YUV（PAL）或YIQ（NTSC）,36,模拟电视系统标准,37,复合视频信号,PAL制式 NTSC制式,38,数字视频,高清晰度电视（HDTV） 网络多媒体 视频会议 监视控制 远程医疗 航空航天 军事 教育 电影,39,数字视频的特点,便于存储和通信 便于处理和加密 无噪声积累 差错可控制 可进行压缩编码 便于设备小型化 信噪比高 稳定可靠 交互能力强,40,数字视频采集,数字摄像机 模拟视频信号数字化,41,数字视频的参数,时间分辨率：帧频 fp 空间分辨率：M行N列 M x N 位深：每个像素的比特数 Nb 信息传输速率：MxNxfpxNb PAL彩色数字视频信号RGB （Nb=3x8=24） Fp=25fps M=576，N=720 信息传输速率：720x576x25x24 249 Mbps,42,数字视频格式,43,提纲,人类视觉系统 彩色模型 视频 多维随机信号分析 数字化 质量评价 视频模型,44,多维随机信号分析,多维信号与系统 二维数字系统模型 二维数字图像的冲激函数表示,45,多维随机信号分析,线性系统 同时满足叠加原理和齐次原理 叠加原理： 若 则有 齐次原理： 若 则有,46,线性系统,线性系统对几个激励的线性组合的整体响应等于单个激励所产生的响应的线性组合。,T ,多维随机信号分析,移不变系统 输入输出保持相同的时间关系,48,t,0,d (t),多维随机信号分析,线性移不变系统 同时满足线性条件和移不变条件线性移不变系统 线性移不变系统的输出,为冲激响应,49,二维离散傅里叶变换,建立了离散时域（空域）与离散频域之间的关系 时域（空域）上处理图像计算复杂度大，不能实时处理 DFT简化了运算（如：时域或空域卷积变成了频域上的相乘运算），且有快速算法（FFT）,50,随机图像,视频、语音信号为随机信号，无法用确定的函数解析式表示，可看作随时间变化的随机过程。 随机过程 观测一个一维未知信号，观测结果xi(t)是不确定的。 可能出现结果的总体xi(t), i=1, 2,n构成一随机过程X(t) 在任一时刻t1 随机变量X(t1)。,51,随机图像,图像和视频为多维随机信号 二维灰度图像 x(m,n)为位于点(m,n)上的像素的亮度值 x(m,n)(m,n=0,1,2,N-1)为随时间变化的二维序列，图像集合X(m,n)的一个样本 X(m,n)为随机图像或随机场，简记为 随机变量X(m,n)为沿m,n两个方向的二维空间函数,52,随机图像的数字特征,均值 方差 自相关函数,为一阶概率密度函数,视频信号中，相邻像素，相邻帧之间存在很强的相关性，相关系数可高达0.90.96, 视频压缩编码的潜力巨大！,53,平稳随机图像,平稳性 随机过程的统计特性不随观察点的时间和空间的坐标变化而变化 随机图像有多个坐标变量，多种统计特性 各个坐标(t、x、y)和各个统计特性的平稳性 严平稳：任意阶联合概率密度函数与广义空间坐标观察点（或点组）的位置无关。 宽平稳（广义平稳）：均值和相关函数与广义空间坐标观察点（或点组）的位置无关。,54,平稳随机图像通过线性移不变系统,系统输出随机图像 系统输出均值 系统输出相关函数 系统输出功率谱密度,55,提纲,人类视觉系统 彩色模型 视频 多维随机信号分析 数字化 质量评价 视频模型,56,视频信号数字化,模拟信号数字化模型 时-空取样 量化,逐行扫描的三维取样,隔行扫描的三维取样,57,视频信号取样,模拟视频信号在时空上的离散化 一维取样 在一系列离散点上对连续信号抽取样值 取样定理 给定一个随时间变化的模拟信号，其频率 ，如果取样频率 则 可以由取样信号唯一确定（无失真地恢复原信号） 称为奈奎斯特间隔,取样信号,原始模拟信号,周期性取样脉冲,58,视频信号取样,理想取样: 取样脉冲 是周期为 的单位冲激序列 ，即：,59,视频信号取样,取样频率的选取对信号恢复的影响,60,视频信号取样,二维取样 二维取样定理：若二维连续信号 的空间频率 和 分别限制在 、 ，则只要取样周期 、 满足 和 ，就可以由取样信号无失真地恢复原信号。 取样函数,61,视频信号取样,取样失真 混叠失真 如果取样周期 和 不满足 和 ，即欠取样，则相邻周期的频谱将会发生重叠，恢复信号时就会产生混叠失真。 孔径失真 取样脉冲存在一定的脉冲宽度，丧失某些高频成分，导致信号恢复产生误差和模糊。 抑制混叠失真 其他噪声 插入噪声、抖动噪声等,62,图像量化,取样后所得到的信号在时间-空间上是离散的，但在幅度上仍然是连续的 量化：将无限级的信号幅度变换成有限级的数码表示 量化器：按照一定规则对取样信号的幅度值作近似表示有限离散值 量化误差，量化失真（噪声）,63,图像量化,量化的用途 模拟信号数字化-模数转换 数据压缩 量化的分类 无记忆 vs 有记忆 均匀 vs 非均匀 对称 vs 非对称 标量量化 vs 矢量量化 标量量化：对每个取样点独立地进行量化 矢量量化：对k个取样点所组成的一组（一个矢量）进行量化,64,图像量化,标量量化,f,fmin,fmax,Q(f),fmin,fmax,为判决电平,为量化电平,65,图像量化,量化失真测度 均方误差 绝对值误差 加权绝对值误差 均方误差（量化误差）,66,图像量化,均匀量化 一种标量量化器，也称为线性量化器 量化间隔相等，即： 量化电平对应于电平区间 的中值，即：,设 f 的概率密度函数为均匀分布,量化误差为：,量化层数L越大，则量化误差越小。但编码所需比特数也越大,67,提纲,人类视觉系统 彩色模型 视频 多维随机信号分析 数字化 质量评价 视频模型,68,数字视频质量评价,主观评价 平均判分方法 三种类型：质量测试、损伤测试、比较测试,69,数字视频质量评价,客观评价 均方误差(MSE) 峰值信噪比(PSNR) 平均绝对误差,对每个彩色分量通常取255-8bit,40dB，非常好 3040dB，比较好 2030dB，相当差 20dB, 不能接受,70,提纲,人类视觉系统 彩色模型 视频 多维随机信号分析 数字化 质量评价 视频模型,71,视频模型,场景模型 用于描述包括光源、物体、摄像机的世界，运动物体与摄像机之间的相互定位。 照明模型 摄像机模型 物体模型,72,照明模型,描述照明变化引起的视频信号在时间上的变化。 分类 光谱模型 多种彩色光源 几何模型 环境光源（无阴影）、点光源 局部照明模型 光源与物体位置无关 总体照明模型 考虑物体间的影响（如阴影）,73,照明模型,光源 照明光源 太阳、灯泡等 相加规则 反射光源 色彩感觉取决于入射光的光谱成分和被吸收的波长范围 相减规则 镜面反射 只显示入射光的颜色 漫反射 可显示物体表面的颜色,74,照明模型,反射光辐射强度,反射系数,入射光光强,L：照明方向 V：观测方向 N：表面法线矢量 P：物体表面位置 ：光的波长,固定L和V：,环境光源、漫反射：,点光源、局部照明模型、漫反射：,：入射光方向L与任意点P处表面法线N之间的夹角,75,摄像机模型,描述真实场景中物体在摄像机成像图像平面上的投影 实现四维空间到三维空间的映射 透视投影 正交投影 摄像机运动,三维空间（世界）坐标系,二维投影图像平面坐标系,76,摄像机模型,透视投影 也称中心投影：以摄像机为中心 满足 或,O：观察点 O：投影平面原点 OO=F：焦距,77,摄像机模型,正交投影 也称平行投影：物体距离