多媒体编码通信 01-导论

1、第一章第一章 导论导论赵海武赵海武上海大学通信学院上海大学通信学院提纲提纲l数字图像颜色空间量化和伽马校正采样原始数据格式l数字视频帧速率 逐行和隔行BT.601 电影原始数据格式 l压缩的必要性原始数据量存储器容量传输速率l压缩的可行性冗余的概念统计冗余空间冗余时间冗余知识冗余 数字图像：成像原理数字图像：成像原理n焦点、焦距、凸透镜成像公式n影像放大率：像高与物高的比，等于v/un视角：胶片对角线两端点与镜头中心点所连线的夹角称为视角。焦距愈长视角愈小；焦距愈短视角愈大 数字图像：成像原理数字图像：成像原理数字图像：成像原理数字图像：成像原理n对焦点前后能够清晰成像的范围叫做景深范围n光圈

2、是镜头后面的一个遮挡光线的器件，光线只能从光圈的开口处通过。n光圈愈大，进光量愈多，反之进光量愈少n光圈越大，弥散斑越大，景深越小数字图像：成像原理数字图像：成像原理数字图像：成像原理数字图像：成像原理n快门是照相机中控制曝光时间长短的装置n小型相机一般使用镜间快门，而单反相机常用焦平面快门。 数字图像：成像原理数字图像：成像原理数字图像：成像原理数字图像：成像原理n开大光圈, 选用小景深, 就能从距离不同的诸多物体中突出某一物体, 使它能够得到强调数字图像：成像原理数字图像：成像原理n收小光圈, 选用大景深, 这时照片中的前后景物都将控制在清晰的焦点之下, 相片包含了丰富的信息和细节数字图像

3、：成像原理数字图像：成像原理n快门速度越快, 曝光时间越短, 能够把瞬间的动作记录下来。数字图像：成像原理数字图像：成像原理快门速度越慢, 曝光时间越长, 运动的物体就会留下流动的影像, 这也是摄影中表现动感的一种独特方法之一 数字图像：成像原理数字图像：成像原理快门速度越慢, 曝光时间越长, 运动的物体就会留下流动的影像, 这也是摄影中表现动感的一种独特方法之一 数字图像：颜色空间数字图像：颜色空间标准单色图标准灰度图按照颜色数，图像分为单色图、灰度图、彩色（16/24位）图5-2 光谱色 数字图像：颜色空间数字图像：颜色空间数字图像：颜色空间数字图像：颜色空间人的视网膜上有很多神经元，神经

4、元有锥状和杆状两种 锥状：分三种，分别对红、绿、蓝光敏感杆状：只在光功率极低的条件下才起作用n颜色特性通常进入我们眼睛的光是由许多不同波长的光组合成的，人类视觉系统对可见光的不同组合有一定的一定的区分能力能够区分：使我们能够看到光谱色以外的许多颜色不能区分：不同的组合光可以呈现出相同的颜色，可以利用这点生成颜色数字图像：颜色空间数字图像：颜色空间国际照明委员会把三种单色光的波长分别定为 红光(R)：700 nm 绿光(G)：546.1 nm 蓝光(B)：435.8 nm 为匹配在438.1 nm和546.1 nm之间的光谱色， 出现负值，表示需要使用补色颜色匹配曲线是采集和再现颜色的基础193

5、1 CIE RGB颜色匹配曲线数字图像：颜色空间数字图像：颜色空间n像素(pixel)成像平面上的感光材料或感光器件由很多单元组成，模拟时代常用卤化银颗粒，数字时代根据光电效应制造感光器件，把光转化成电压或电流，然后再量化为数值每个感光单元采集一组数据，构成一个像素像素的形状通常认为是正方形，这是为了理解起来比较方便，事实上可能稍有变化像素的排列通常是光栅型，这是为了制造图像采集设备的方便数字图像：图像采集数字图像：图像采集一幅图像由许多像素组成 数字图像：图像采集数字图像：图像采集n像素分量和像素值如果每个采集单元可以采集RGB三个分量的值，就得到彩色图像；如果每个采集单元只采集亮度的值，就

6、得到灰度图像；每个像素的所有分量的值构成的组合称为像素值数字图像：图像采集数字图像：图像采集n各种设备的非线性人的主观感觉和光子的数量或能量之间不是线性的关系摄影机、照相机等图像采集设备的光电转换是非线性的CRT、液晶等显示设备的电光转换是非线性的在用计算机处理图像的时候，我们希望像素值对应的人的感觉是线性的，这对控制失真非常重要 例如灰度值30和31之间的亮度差和灰度值32与31之间的亮度差应该相等数字图像：图像采集数字图像：图像采集n校正各种非线性基本上都可以用幂函数来近似，即输出=(输入) 了解了非线性的特性，就可以在图像采集的最后进行校正，使输出的像素值对人的主观感觉是线性的，即最终输

7、出 =(输出) -在显示图像的时候，也可以进行校正，使像素值的显示对于人的主观感觉是线性的，有时又叫预失真数字图像：图像采集数字图像：图像采集数字图像：图像采集数字图像：图像采集n像素深度表示每个像素值所用的位数 例如，用R，G，B三个分量表示的彩色图像，若每个分量用8位表示，那么一个像素共用24位表示，就说像素深度为24位像素深度决定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数 例如，像素深度为24位时，可以表示224=16777 216种颜色数字图像：图像采集数字图像：图像采集n像素深度（续）像素深度大，表达的颜色数目就越多，图像看上去越逼真，效果越好像素深

8、度大，所占用的存储空间越大由于受到设备能力的限制，像素深度不会太大，一般是24位，少数设备可以做到30位或36位（每个分量10位或12位）根据人眼的分辨能力，不一定要追求特别深的像素深度数字图像：图像采集数字图像：图像采集n图像分辨率(resolution)图像中像素的数量和分布情况数量和分布情况叫做图像分辨率，也称空间分辨率(spatial resolution)或像素分辨率(pixel resolution)，640 x480图像分辨率表示图像的精细程度 对同样内容的图像，如果像素数目越多，则说明图像的分辨率越高，看起来就越逼真。相反，图像显得越粗糙 分辨率越高，像素就越多，要求存储容量就

9、越大 计算数字图像：图像采集数字图像：图像采集在图像显示应用中的图像分辨率表示法 像素像素/ /行行行：行：640640像素像素/ /行行480480行行 或或 640 x480640 x480图像分辨率与设备分辨率是不同的概念 打印机：用多少点每英寸(dots per inch，DPI)表示，如300 DPI 数码相机：用像素总数表示，如500万像素 扫描仪：用像素每英寸(pixels per inch，PPI)表示，如300PPI 模拟电视机：用扫描线数表示，例如525线、625线、1080线 电脑显示器、数字电视机：用像素像素/ /行行行表示，如行表示，如640640像像素素/ /行行4

10、80480行行数字图像：图像采集数字图像：图像采集nrawdatargbrgb.rgbrgb.rrrrr.g.b.rrrrr.g.b.nbmp文件文件头位图头调色板：可选像素值：从下到上从下到上，从左到右，每行数据四字节对齐，数字图像：数据格式数字图像：数据格式n视频是（连续的活动的）图像序列分辨率、颜色空间、像素深度等参数完全相同时间上间隔相等，每秒钟内图像的个数叫做帧速率或帧率，相邻两幅图像的时间间隔叫做帧间隔或帧周期数字视频：帧速率数字视频：帧速率n人眼的视觉暂留特性要求帧速率=12动画片的帧率为12电视的帧率为25或30电影的帧率为24n刷新率（显示时）电视为50或60电影为72数字视

11、频：帧速率数字视频：帧速率n从采集到重现使用了两类颜色空间采集和重现使用了RGB颜色空间中间处理使用YUV型颜色空间数字视频：颜色空间数字视频：颜色空间彩色电视摄像机RGB转换为YC1C2YC1C2转换为RGBYRGBRGBC1C2彩色显示器被摄对象n应用颜色空间nNTSCYIQnPAL和SECAMYUVnSDTVBT.601 YCbCr ，nHDTVBT.709 YCbCr ，nHDTVYPbPr数字视频：颜色空间数字视频：颜色空间nBT.601 YCbCr CCIR于20世纪80年代初制定，用于SDTV Y16,235，Cb，Cr16,240,都用8位表示 0.299 0.587 0.11

12、4是在1953年确定的601219219219 0.2990 0.5870 0.1140160.1726 0.3388 0.5114128 0.5114 0.4282 0.0832128YRCbGCrB 数字视频：颜色空间数字视频：颜色空间n逐行扫描(progressive scanning)逐行扫描数字视频：电视扫描方式数字视频：电视扫描方式n隔行扫描：一帧由两场构成，奇场、偶场数字视频：电视扫描方式数字视频：电视扫描方式数字视频：电视扫描方式数字视频：电视扫描方式例1：horseriding(720 x576i)例2：fireworks(720 x576p)数字视频：曝光时间数字视频：曝光

13、时间n电视的曝光时间有两个特点同一帧的各像素按扫描顺序依次曝光曝光时间等于帧间隔n电影的曝光时间与电视完全不同，更像照相机同一帧的各像素同时曝光曝光时间不一定等于帧间隔数字视频：曝光时间数字视频：曝光时间例3：tabletennis(720 x576i)例4：opening(1920 x1080p), f355n对色差信号使用较低的采样频率的方法n是一种简单的图像压缩技术n依据人眼对色度信号的敏感程度比对亮度信号的敏感程度低人眼对图像细节的分辨能力有一定的限度 数字视频：色差下采样数字视频：色差下采样YCbCr样本空间位置数字视频：色差下采样数字视频：色差下采样数字视频：原始数据格式数字视频：

14、原始数据格式设空间分辨率为WH.yuv无头文件 = frame0, frame1, .frame = data_y, data_cb, data_crdata_y = line_y0, line_y1, .共H行，从上到下line_y = y0, y1, .，共W个亮度值data_c = line_c0, line_c1, .行数和色差下采样有关line_c = c0, c1, .，每行色差值数和色差下采样有关压缩的必要性压缩的必要性n图像的原始数据量size = widthheightbpp (bit)bpp(bits per pixel)表示每个像素的比特数单位是比特n视频的原始数据量和数

15、据速率size = widthheightbppframenum (bit)framenum表示帧数bitrate = widthheightbppfps (bps)fps(frames per second)表示帧速率压缩的可行性压缩的可行性n冗余的概念n统计冗余n空间冗余n时间冗余n结构冗余n视觉冗余n知识冗余压缩的可行性压缩的可行性n广义的冗余就是不必要的、重复的部分n在数据处理领域，冗余就是相对于最精简的表示而多出来的比特比其中1就是冗余再比如奇偶校验10011010 0，最后一个比特是冗余压缩的可行性压缩的可行性n由于数据中每个值出现的概率不相等，如果为出现

16、概率大的值设计较短的码字，为出现概率小的值设计较长的码字，那么相对于固定长度的码字就可以节省总比特数。n图像和视频的原始数据都采用固定长度码字，没有考虑数据的统计特性，存在冗余，这种冗余称为信息熵冗余或统计冗余压缩的可行性压缩的可行性n空间冗余：图像中相邻像素的颜色之间往往存在着空间连贯性。但是原始数据没有利用这种连贯性，而是忠实的记录了每一个像素的值，这就产生了空间冗余。压缩的可行性压缩的可行性n时间冗余：视频中相邻的两帧图像之间存在着很强的相关性，但是视频的原始数据没有利用这种相关性，这样就产生了时间冗余。压缩的可行性压缩的可行性n结构冗余：在某些场景中，存在着明显的图像分布模式，这种分布模式称作结构。例如：方格状的地板，蜂窝，砖墙，草席等图案。原始数据没有利用这种结构就产生了结构冗余压缩的可行性压缩的可行性n视觉冗余：有些信息是人的眼睛无法察觉到的，这些信息被记录在原始数据里，就产生视觉冗余。比如人的眼睛对色差信号的分辨力低于对亮度信号的分辨力，如果采用同样的分辨率记录亮度和色差信号，就产生视觉冗余压缩的可行性压缩的可行性n知识冗余：图像中的