数字视频1.2.ppt

1 3视频信号数字化 1 4 1视频信号的数字化 0 f x y fm 常数 0 x Lx0 y Ly 二 视频数字化 1 含义 1 空间位置离散化 抽样 取样 采样 2 亮度信号 幅值 离散化 量化 3 编码 对量化值编码 一幅抽样图像可用正方矩阵 f i j 表示 矩阵各元素称为抽样图像像素值 若抽样点位置在正方格的顶点上 这种抽样方式称为正交抽样 X Lx N Y Ly N 电视图像信号是一行行组成 说明在垂直方向已经离散化 我们只要在每条一行上等间隔地抽取图像值 即可完成图像的抽样 2 抽样频率 抽样要解决的主要问题 找出能从抽样图像精确地恢复原图像所需要的N数 即如何选取 X Y A 抽样频率应满足奈奎斯特定 抽样定理 抽样定理是选择抽样频率的基本依据 从1 2节讨论知道 视频信号是通过扫描来分解图像并经光电变换得到的 即视频信号是一行行组成 这说明在垂直方向已经离散化 在实际中 我们只要在每条一行上等间隔地抽取图像值 即可完成图像的抽样 B 从数码率考虑数码率 RS 与取样频率 f0 成正比 从降低数码率考虑 应使f0 RS f0 C 抽样结构所谓抽样结构 指抽样点在空间位置排列的位置关系 CCIR建议采用正交结构 即抽样点的排列位置为正方格 要满足这个要求 取样频率f0应与行频fH有整数关系 3 抽样信号的频谱 抽样前模拟信号的频谐 抽样信号的频谐如下图所示 抽样信号的频谱是原模拟信号频谱以抽样频率的各次谐波为中心的周期性延拓 从图中可以看出 在满足抽样定理的条件下 各频谱区不交叠 为从二维抽样恢复原图像 只要有一个理想二维方形滤波器 满足极限条件的抽样为奈奎斯特抽样 当抽样定理不满足时 就会发生频谱的交叠 由此在图像恢复中将会引入一定的失真 通常称之为混叠失真 抽样值仍然是连续变化 理想二维方形滤波器特性为 1 概念A 用有限的离散值 量化值 代替原图像连续变化的模拟抽样值 无限 3 图像的量化及编码 Q f I j fq k 当dk f i dk 1时 这个过程称为量化 示意图见图1 3 4 经量化得到的数字图像 可用量化像素矩阵 fq 表示 d 编码 采用n位 比特 二进制数表示量化值 B 均匀量化 以等间隔分层量化 这样的编码PCM编码 C 非均匀量化以不等间隔分层量化 例如 根据实际图形信号的概率分布进行非均匀量化 可以得到更好的量化效果 D 量化误差由于量化是用有限量化值近似表示无限多个连续值 这就会产生误差 称为量化误差 由表示 fq i j f i j 可得量化误差矩阵 A 数据率 数据率 RB 与n成正比RB nf0f0为抽样频率 为降低数据率RB 希望n 2 量化比特数n的选择 结论 每增加一个比特 即总分层数增加一倍 信噪比增加6db 选择n可用主观评价方法 比较原图像与量化图像的差别 当量化引起的差别已觉察不出或可以忽略时 所对应的最小量化层比特即为n 目前 对于一般应用 如广播电视 视频通信等 量化比特数n取8bit 已基本满足视觉要求 对于一些较高要求的应用 如高质量医学图像 遥感图像等 则需要10Bit或更高量化比特数 而对一些较低图像质量要求的应用场合 如可视电话 还采用了5bit 附 的推导 取均匀量化 设抽样值在它的动态范围内的概率分布是均匀的 量化均方误差Nq为 V为量化电平间隔 均匀量化 故为常数 qk为第k个判决电平 Z为信号抽样值 设以n比特量化 则量化分层为2n个 则信号峰值为2n V 则信号峰值功率SPP为 SPP 2 2n V 2 所以 目前 图像数字化的工作由模数转换器A D完成 它包括了信号的取样 保持到量化及编码全部过程 输出为PCM编码 图1 22给出了图像计算机输入卡 图像采取卡 的基本原理框图 1 信号预处理 放大 滤波 箝位2 同步分离 从全电视信号中分离出行同步和场同步信号 作为时钟形成和地址发生器的同步信号 3 A D 模拟数字转换器 有各种不同性能的芯片 将模拟视频信号转换成数字信号 通常为PCM码 4 地址 读写 控制信号形成 5 视频缓冲器 6 总线接口及总线切换开关 4 视频捕捉卡原理方框图 图1 22视频捕捉卡原理方框图 1 3 2CCIR601建议 视频数字化标准 1982年10月国际无线电咨询委员会 CCIR 通过了第一个关于演播室彩色电视数字化编码建议 即601号建议 1 分量编码 分别对亮度信号Y 色差信号R Y B Y进行编码 2 具体参数 A 抽样频率 Y 13 5MHzR Y 6 75MHzB Y 6 75MHzB 抽样结构 正交抽样 由于 R Y B Y 抽样频率为Y信号Y的一半 所以色差信号抽样点只有Y信号的一半 与Y信号奇数样点重合 如图所示 Y信号 R Y B Y 信号抽样点结构示意图 C 编码方式 PCM编码量化分层比特数 每个样点比特 8bit 即k 28 256 D 每行全抽样数NTSCPALY858864R Y B Y429432E 每行有效抽样数Y720R Y B Y360 F 视频模拟信号电平与量化级之间的对应关系Y 共220个量化级 黑电平对应于第16级 峰值白电平对应于235级 R Y B Y 共225个量化级 零信号对应于255量化级的中心 即第128级 3 说明1 上述为4 2 2标准 对于一些高质量的应用CCIR601建议给出4 4 4格式 而对于一些较低图像质量的应用可采用4 1 1格式 或4 2 0格式 甚至2 1 1格式 DVD 数字视盘 采用的是4 2 2格式 而VCD采用2 1 1格式 前者图像质量达水平480线 后者图像质量只有水平240线 图1 23给出了几种不格式的样点位置示意图2 每个采用点采样值的线性量化比特数分两种情况 用于演播室的定为10bit 用于电视传输的定为8bit 1 4图像信号的统计特性 图像的统计特性是进行图像编码的基本依据 因此对它的研究是非常必要的 通过大量的统计实验发现 各抽样的亮度值并不是孤立的 比如图像的同一行相邻像素之间 相邻行像素之间 以及活动图像相邻帧的对应像素之间往往存在有很强的相关性 经典图像编码方法就是利用图像信号这种固有的统计特性 通过除去相关性来减少传输数码率 因此必须知道能描述这种相关性的统计特性 图像的统计特性一般包含空域 频率域和时间域上的统计特性 目前常采用的方法对CCITT SMPTE和EBU 国际电报电话咨询委员会 电影电视工程师协会 欧洲广播联盟 提供的一些标准图像进行研究 并以此作为其他各种的实验依据 1 4 1空间域上的统计特性1 图像信号的自相关系数1 图像信号的自相关系数公式设 i1 j1 i2 j2 为N N图像中的两个点 图像的规一化自相关系数表示为 式中 E 表示数学期望M 表示图像亮度平均值 为图像方差 2 一维自相关系数A 一维自相关系数一维概念同一行上的两个像素 i2 i1 j2 j1 同一列上的两个像素 i2 i1 j2 j1 为两个像数之间的距离 B 一维自相关系数计算公式 对应同一行上的两个像素 它们的自相关系数计算公式为 C 一维自相关系数规律在像素间隔 为1 20个像素时 自相关系数平均值的曲线基本上呈指数规律衰减 可用下面的数学模型来近似表达 可通过对实际图像统计计算得到 一般电视图像值在0 9 0 98之间 3 二维自相关系数A 二维自相关系数概念二维自相关系数表示f i j 和f i 1 j 2 两个像素的自相关系数 1 2分别表示像素在垂直和水平方向距离 B 二维自相关系数规律二个一维相关系数的乘积构成二维自相关系数由实验统计确定 为相关距离 二维相关系数呈现由中心向四周按指数规律衰减的性质 图1 24 a 是戴胸花女郎所计算出的自相关系数 图1 24 b 给出了像素间隔为1 20时自相关系数的平均值 2 相邻像素差值的统计特性实际上这是从不同角度讨论图像的空域统计特性 1 相邻像素差值像邻像素差值最简单的一种是指同一行或同一列两个相邻像素之间的差值 它们分别为 同一行 也称水平方向 相邻像素差值 dH i j f i j f i j 1 同一列 也称垂直方向 相邻像素差值 dV i j f i j f i 1 j 2 相邻像素差值的统计特性相邻像素差值的统计分布在零或绝对值较小值范围图1 25示出了相邻像素差值值统计分布示意图 差值信号的 80 90 落在总数为256个量化层中的16 18个量化层范围内 图像差值的这种统计特是图像预测压缩编码的重要依据 相邻像素差值是研究图像差值信号的最简单的一种 更为一般的情况可在此基础上分析得到 1 4 2频率域上的统计特性 频率域上的统计特性对图像编码 特别是正交变换编码具有十分重要的指导意义 1 表达式自相关系数与功率谱密度是一对傅立叶变换关系 对于自相关系数作傅立叶变换可得 当 0时 p 有最大值2 随着 p 2 曲线 具有类似与低通特性 表明图像的功率谱密度通常集中在低频区域 即图像信号的能量绝大部分集中于直流和低频分量 对于不同的图像内容其具体分布不同 但总体特性相同 1 4 3时间域的统计特性 相邻帧图像之间的统计特性称为视频信号时间域上的统计特性 用相邻帧图像差值信号的统计特性来表征 通常只讨论最为简单的帧间差值信号的统计特性 1 帧间差值帧间差值是指活动图像序列中的像素位置 i j 上 当前帧的亮度值ft i j 与上一帧的亮度值ft 1 i j 之差 即 Dt i j ft i j ft 1 i j 其中 t为当前帧时刻 t 1为上一帧时刻 2 帧间差值信号统计特性帧间差值集中分布在零和绝对值较小的范围表1 3为实际测出会议电视标准图像序列中某连续三帧图像相邻帧间差平均值超过某一阀值的像素占整幅图像像素的百分比 如彩色电视广播节目一帧时间间隔内 只有10 以下的像素有亮度差值超过2 的变化 而色度信号只有1 以下的像素有变化 视频信号时间域上的统计特性 即图像帧间差值统计特性是数字视频信号帧间压缩编码的基本依据 1 5视频图像质量评价 1 5 1主观评价1 概念以人作为图像的观察者 对图像优劣作出评价 人数 20 内行 外行 测试条件与使用条件匹配 2 绝对评价 用妨碍尺度 专业人员3 相对评价 质量尺度 非专业人员 4 五级评分 见表 图像质量主观评价 5 平均分数 Ci 图像属于第i类的量质分数 Ki 判断图像属于第i类的人数 N 图像的类数 1 5 2客观评价 概念 用数学计算的方法得到 两种方法 逼真度 重建图像与原始图像之间的偏差程度 可懂度 人或机器能从图像中抽取有关信息的程度 逼真度方法 1 均方误 MSE 表示为 K为视频图像序列帧数M N为图像的尺寸 为原始