多媒体搜索引擎(精)ppt课件

多媒体搜索引擎,多媒体文档及其内容理解(4),29.04.2020,.,2,压缩,基于频域变换的图像编码把图像变换到频率域在频率域中，对低频信号采取较小量化步长量化，对高频信号采取较大量化步长量化大量高频信号变成“0”用熵编码输出量化系数由于有大量的“0”，数据得到压缩,29.04.2020,.,3,压缩,基于频域变换的图像编码基于DCT的图像压缩（JPEG）DCT变换：一类正交变换正交变换特性可逆熵保持（信息不丢失）去相关变换系数线性无关（设计目的）能量集中：大部分能量集中到少数变换系数,29.04.2020,.,4,压缩,基于DCT的图像压缩DCT的基函数生成每个变换系数所用的各点权重不同的系数与不同的空域频率共振第一个系数：DC整个块的平均值,29.04.2020,.,5,压缩,基于DCT的图像压缩变换前像素值,52556166706164736359669010985697262596811314410466736358711221541067069676168104126886870796560707768587585716459556165838779696865767894,29.04.2020,.,6,压缩,基于DCT的图像压缩变换后系数,.sg/cs5248/l01/DCTdemo.html,-415-29-622555-20-137-21-62911-7-66-46877-25-30107-5-501335-15-960311-8-13-2-11-41-1013-3-102-1-4-12-12-31-2-1-1-1-2-1-10-1,29.04.2020,.,7,压缩,基于DCT的图像压缩量化对DCT变换后的系数进行量化系数除以量化步长再取整不可逆信息丢失依据心理视觉特性量化丢失难以看见的信息保留容易看见的信息如果量化台阶小于人眼在该频率的灵敏度，则量化噪声无法被看见,-415/16=-26-26*16=-416,29.04.2020,.,8,压缩,基于DCT的图像压缩量化JPEG建议的亮度分量量化值,29.04.2020,.,9,压缩,基于DCT的图像压缩量化后的系数,-26-3-6220001-2-400000-315-1-1000-412-1000010000000000000000000000000000000,29.04.2020,.,10,压缩,基于DCT的图像压缩Zig-zag：把0系数尽量归并到一起游程编码0系数,-26(DC)(0,-3)(0,1)(0,-3)EOB,-26-3-6220001-2-400000-315-1-1000-412-1000010000000000000000000000000000000,EOB,29.04.2020,.,11,压缩,基于DCT的图像压缩DC系数先做预测编码，再做熵编码用前一块的DC系数预测本块的DC系数AC系数游程编码后二元组直接用于熵编码,29.04.2020,.,12,压缩,基于DCT的图像压缩使用的技术颜色空间：通常用YUV颜色分量亚采样：通常用4:2:0即使不用亚采样，YUV空间也比RGB空间容易压缩使用高级压缩技术，颜色分量亚采样用处不大频域变换：DCT基于心理视觉的量化系数设置预测编码（DC系数）Zig-zag和游程编码（AC系数）熵编码（霍夫曼或算术编码）,29.04.2020,.,13,压缩,基于DCT的图像压缩优点实现较简单对自然图像压缩率不错缺点块效应由于每8x8块独立处理，块的边界上很容易出现前后块差异较大的情况人眼对边缘敏感不能实现无损压缩,29.04.2020,.,14,压缩,基于小波变换的图像压缩(JPEG2000)小波变换（wavelettransformation）用一对滤波器对图像进行滤波，把图像分解成不同的频带滤波器对：低通滤波器+高通滤波器,29.04.2020,.,15,压缩,基于小波变换的图像压缩(JPEG2000)小波变换（wavelettransformation）,29.04.2020,.,16,压缩,基于小波变换的图像压缩(JPEG2000)二者均在约43:1的压缩率时,29.04.2020,.,17,压缩,基于小波变换的图像压缩(JPEG2000)优点无块效应整个图像统一处理，不存在块边界可实现无损压缩同等质量下压缩率高缺点运算复杂计算量大，存储开销大,29.04.2020,.,18,压缩,视频的压缩视频：连续的多个图像用JPEG编码每帧MotionJPEG压缩率低视频的特点：相邻帧之间的差异很小预测编码：用前面的帧预测后面的帧用后面的帧预测前面的帧？,29.04.2020,.,19,压缩,视频的压缩I帧(IntraFrame)不进行帧间预测，只使用DCT变换进行编码JPEGP帧(PredictiveFrame)用前面的帧预测直接用对应像素预测？,IPPPP,29.04.2020,.,20,压缩,视频的压缩是否可以用后续帧来预测？顺序编码：后续帧不可能先被处理，所以解码器不可能事先获得后续帧不可以不能顺序编码帧重排序,29.04.2020,.,21,压缩,视频的压缩帧重排序把用于反向预测的帧提前编码和传输B帧（Bi-directionalFrame）,1234567,1423756,?,MPEG演示,29.04.2020,.,22,压缩,视频压缩标准H.261仅I/P帧，面向500-1000kbps的视频传输MPEG-1/H.262I/P/B帧，VHS质量，1.5Mbps左右H.263I/P/B帧，更小的运动补偿单位，100kbps视频MPEG-2,MPEG-4,较高和高质量视频，DVD/HDTV,29.04.2020,.,23,压缩,总结数据可以被压缩的原因数据的真实信息量小于数据的总量我们只需要真实的信息数据包含人无法感知的信息我们只需要可感知的信息文档语义仅可能来自真实的、可感知的信息压缩原理与多媒体文档内容理解技术密切相关数据压缩的基本原理根据已经处理的数据尽可能准确地预测后续数据,29.04.2020,.,24,多媒体文档的语义,多媒体文档包含丰富的语义“百闻不如一见”要检索多媒体文档，必须提取这些语义如何提取,29.04.2020,.,25,多媒体文档的语义,可对应于文字的语义话音ASR（AutomaticSpeechRecognition）字符图像OCR（OpticalCharacterRecognition）物体、类别等,29.04.2020,.,26,多媒体文档的语义,无法或难以对应于文字的语义,29.04.2020,.,27,多媒体文档的语义,语义的表示可对应于文字的语义用文字表示如何提取？无法或难以对应于文字的语义如何表示？如何运算？如何检索？,29.04.2020,.,28,多媒体文档的语义,面临的问题多媒体数据的原始信息像素矩阵/音频数组需要的信息便于计算和检索的信息文字信息两种信息差异巨大无法一步跨越,底层数据,高层语义,语义鸿沟,29.04.2020,.,29,多媒体文档的语义,面临的问题多媒体数据的原始信息像素矩阵/音频数组需要的信息便于计算和检索的信息文字信息两种信息差异巨大无法一步跨越用多步来跨越,底层数据,高层语义,多步跨越每步难度降低