多媒体编码通信导论

多媒体编码通信导论第一页，共五十页，2022年，8月28日提纲数字图像颜色空间量化和伽马校正采样原始数据格式数字视频帧速率逐行和隔行BT.601

电影原始数据格式压缩的必要性原始数据量存储器容量传输速率压缩的可行性冗余的概念统计冗余空间冗余时间冗余知识冗余第二页，共五十页，2022年，8月28日数字图像：成像原理第三页，共五十页，2022年，8月28日焦点、焦距、凸透镜成像公式影像放大率：像高与物高的比，等于v/u视角：胶片对角线两端点与镜头中心点所连线的夹角称为视角。焦距愈长视角愈小；焦距愈短视角愈大数字图像：成像原理第四页，共五十页，2022年，8月28日数字图像：成像原理对焦点前后能够清晰成像的范围叫做景深范围第五页，共五十页，2022年，8月28日光圈是镜头后面的一个遮挡光线的器件，光线只能从光圈的开口处通过。光圈愈大，进光量愈多，反之进光量愈少光圈越大，弥散斑越大，景深越小数字图像：成像原理第六页，共五十页，2022年，8月28日数字图像：成像原理第七页，共五十页，2022年，8月28日快门是照相机中控制曝光时间长短的装置小型相机一般使用镜间快门，而单反相机常用焦平面快门。数字图像：成像原理第八页，共五十页，2022年，8月28日数字图像：成像原理开大光圈,选用小景深,就能从距离不同的诸多物体中突出某一物体,使它能够得到强调第九页，共五十页，2022年，8月28日数字图像：成像原理收小光圈,选用大景深,这时照片中的前后景物都将控制在清晰的焦点之下,相片包含了丰富的信息和细节第十页，共五十页，2022年，8月28日数字图像：成像原理快门速度越快,曝光时间越短,能够把瞬间的动作记录下来。第十一页，共五十页，2022年，8月28日数字图像：成像原理快门速度越慢,曝光时间越长,运动的物体就会留下流动的影像,这也是摄影中表现动感的一种独特方法之一第十二页，共五十页，2022年，8月28日数字图像：成像原理快门速度越慢,曝光时间越长,运动的物体就会留下流动的影像,这也是摄影中表现动感的一种独特方法之一第十三页，共五十页，2022年，8月28日数字图像：颜色空间标准单色图标准灰度图按照颜色数，图像分为单色图、灰度图、彩色（16/24位）第十四页，共五十页，2022年，8月28日图5-2光谱色数字图像：颜色空间第十五页，共五十页，2022年，8月28日数字图像：颜色空间人的视网膜上有很多神经元，神经元有锥状和杆状两种

锥状：分三种，分别对红、绿、蓝光敏感杆状：只在光功率极低的条件下才起作用第十六页，共五十页，2022年，8月28日颜色特性通常进入我们眼睛的光是由许多不同波长的光组合成的，人类视觉系统对可见光的不同组合有一定的区分能力能够区分：使我们能够看到光谱色以外的许多颜色不能区分：不同的组合光可以呈现出相同的颜色，可以利用这点生成颜色数字图像：颜色空间第十七页，共五十页，2022年，8月28日国际照明委员会把三种单色光的波长分别定为红光(R)：700nm绿光(G)：546.1nm蓝光(B)：435.8nm为匹配在438.1nm和546.1nm之间的光谱色，出现负值，表示需要使用补色颜色匹配曲线是采集和再现颜色的基础1931CIERGB颜色匹配曲线数字图像：颜色空间第十八页，共五十页，2022年，8月28日像素(pixel)成像平面上的感光材料或感光器件由很多单元组成，模拟时代常用卤化银颗粒，数字时代根据光电效应制造感光器件，把光转化成电压或电流，然后再量化为数值每个感光单元采集一组数据，构成一个像素像素的形状通常认为是正方形，这是为了理解起来比较方便，事实上可能稍有变化像素的排列通常是光栅型，这是为了制造图像采集设备的方便数字图像：图像采集第十九页，共五十页，2022年，8月28日一幅图像由许多像素组成数字图像：图像采集第二十页，共五十页，2022年，8月28日像素分量和像素值如果每个采集单元可以采集RGB三个分量的值，就得到彩色图像；如果每个采集单元只采集亮度的值，就得到灰度图像；每个像素的所有分量的值构成的组合称为像素值数字图像：图像采集第二十一页，共五十页，2022年，8月28日各种设备的非线性人的主观感觉和光子的数量或能量之间不是线性的关系摄影机、照相机等图像采集设备的光电转换是非线性的CRT、液晶等显示设备的电光转换是非线性的在用计算机处理图像的时候，我们希望像素值对应的人的感觉是线性的，这对控制失真非常重要例如灰度值30和31之间的亮度差和灰度值32与31之间的亮度差应该相等数字图像：图像采集第二十二页，共五十页，2022年，8月28日校正各种非线性基本上都可以用幂函数来近似，即输出=(输入)了解了非线性的特性，就可以在图像采集的最后进行校正，使输出的像素值对人的主观感觉是线性的，即最终输出=(输出)-在显示图像的时候，也可以进行校正，使像素值的显示对于人的主观感觉是线性的，有时又叫预失真数字图像：图像采集第二十三页，共五十页，2022年，8月28日数字图像：图像采集第二十四页，共五十页，2022年，8月28日像素深度表示每个像素值所用的位数例如，用R，G，B三个分量表示的彩色图像，若每个分量用8位表示，那么一个像素共用24位表示，就说像素深度为24位像素深度决定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数例如，像素深度为24位时，可以表示224=16777216种颜色数字图像：图像采集第二十五页，共五十页，2022年，8月28日像素深度（续）像素深度大，表达的颜色数目就越多，图像看上去越逼真，效果越好像素深度大，所占用的存储空间越大由于受到设备能力的限制，像素深度不会太大，一般是24位，少数设备可以做到30位或36位（每个分量10位或12位）根据人眼的分辨能力，不一定要追求特别深的像素深度数字图像：图像采集第二十六页，共五十页，2022年，8月28日图像分辨率(resolution)图像中像素的数量和分布情况叫做图像分辨率，也称空间分辨率(spatialresolution)或像素分辨率(pixelresolution)，640x480图像分辨率表示图像的精细程度对同样内容的图像，如果像素数目越多，则说明图像的分辨率越高，看起来就越逼真。相反，图像显得越粗糙分辨率越高，像素就越多，要求存储容量就越大计算数字图像：图像采集第二十七页，共五十页，2022年，8月28日在图像显示应用中的图像分辨率表示法像素/行×行：640像素/行×480行或640x480图像分辨率与设备分辨率是不同的概念打印机：用多少点每英寸(dotsperinch，DPI)表示，如300DPI数码相机：用像素总数表示，如500万像素扫描仪：用像素每英寸(pixelsperinch，PPI)表示，如300PPI模拟电视机：用扫描线数表示，例如525线、625线、1080线电脑显示器、数字电视机：用像素/行×行表示，如640像素/行×480行数字图像：图像采集第二十八页，共五十页，2022年，8月28日rawdatargbrgb.......rrrrr....g.....b.....bmp文件文件头位图头调色板：可选像素值：从下到上，从左到右，每行数据四字节对齐，数字图像：数据格式第二十九页，共五十页，2022年，8月28日视频是（连续的活动的）图像序列分辨率、颜色空间、像素深度等参数完全相同时间上间隔相等，每秒钟内图像的个数叫做‘帧速率’或‘帧率’，相邻两幅图像的时间间隔叫做‘帧间隔’或‘帧周期’数字视频：帧速率第三十页，共五十页，2022年，8月28日人眼的视觉暂留特性要求帧速率>=12动画片的帧率为12电视的帧率为25或30电影的帧率为24刷新率（显示时）电视为50或60电影为72数字视频：帧速率第三十一页，共五十页，2022年，8月28日从采集到重现使用了两类颜色空间采集和重现使用了RGB颜色空间中间处理使用YUV型颜色空间数字视频：颜色空间第三十二页，共五十页，2022年，8月28日应用

颜色空间NTSC YIQPAL和SECAM YUVSDTV BT.601Y'CbCr，HDTV BT.709Y'CbCr，HDTV Y'PbPr数字视频：颜色空间第三十三页，共五十页，2022年，8月28日BT.601Y'CbCrCCIR于20世纪80年代初制定，用于SDTVY’[16,235]，Cb，Cr[16,240],都用8位表示0.2990.5870.114是在1953年确定的数字视频：颜色空间第三十四页，共五十页，2022年，8月28日逐行扫描(progressivescanning)逐行扫描数字视频：电视扫描方式第三十五页，共五十页，2022年，8月28日隔行扫描：一帧由两场构成，奇场、偶场数字视频：电视扫描方式第三十六页，共五十页，2022年，8月28日数字视频：电视扫描方式例1：horseriding(720x576i)例2：fireworks(720x576p)第三十七页，共五十页，2022年，8月28日数字视频：曝光时间电视的曝光时间有两个特点同一帧的各像素按扫描顺序依次曝光曝光时间等于帧间隔电影的曝光时间与电视完全不同，更像照相机同一帧的各像素同时曝光曝光时间不一定等于帧间隔第三十八页，共五十页，2022年，8月28日数字视频：曝光时间例3：tabletennis(720x576i)例4：opening(1920x1080p),f355第三十九页，共五十页，2022年，8月28日对色差信号使用较低的采样频率的方法是一种简单的图像压缩技术依据人眼对色度信号的敏感程度比对亮度信号的敏感程度低人眼对图像细节的分辨能力有一定的限度数字视频：色差下采样第四十页，共五十页，2022年，8月28日YCbCr样本空间位置数字视频：色差下采样第四十一页，共五十页，2022年，8月28日数字视频：原始数据格式设空间分辨率为W×H.yuv无头文件={frame0,frame1,...}frame={data_y,data_cb,data_cr}data_y={line_y0,line_y1,...}共H行，从上到下line_y={y0,y1,...}，共W个亮度值data_c={line_c0,line_c1,...}行数和色差下采样有关line_c={c0,c1,...}，每行色差值数和色差下采样有关第四十二页，共五十页，2022年，8月28日压缩的必要性图像的原始数据量size=width×height×bpp(bit)bpp(bitsperpixel)表示每个像素的比特数单位是比特视频的原始数据量和数据速率size=width×height×bpp×framenum(bit)framenum表示帧数bitrate=width×height×bpp×fps(bps)fps(framespersecond)表示帧速率第四十三页，共五十页，2022年，8月28日压缩的可行性冗余的概念统计冗余空间冗余时间冗余结构冗余视觉冗余知识冗余第四十四页，共五十页，2022年，8月28日压缩的可行性广义的冗余就是不必要的、重复的部分在数据处理领域，冗余就是相对于最精简的表示而多出来的比特比如，其中1就是冗余再比如奇偶校验10011010，最后一个比特是冗余第四十五页，共五十页，2022年，8月28日压缩的可行性由于数据中每个值出现的概率不相等，如果为出现概率大的值设计较短的码字，为出现概率小的值设计较长的码字，那么相对于固定长度的码字就可以节省总比特数。图像和视频的原始数据都采用固定长度码字，没有考虑数据的统计特性，存在冗余，这种冗余称为信息熵冗余或统计冗余第四十六页，共五十页，2022年，8月28日压缩的可行性空间冗余：图像中相邻像素的颜色之间往往存在着空间连贯性。但是原始数据没有利用这种连贯性，而是忠实的记录了每一个像素的值，这就产生了空间冗余。第四十七页，共五十页，2022年，8月28日压缩的可行性时间冗余：视频中相邻的两帧图像之间存在着很强的相关