信息隐藏技术-第二章-多媒体与密码学技术基础

第二章多媒体与密码学技术基础,第一章概述内容回顾,2020/5/2,2,实例演示信息隐藏技术的重要性发展历程基本概念和范畴主要应用领域,第二章主要内容,2020/5/2,3,多媒体基本概念多媒体压缩原理多媒体主要标准介绍有关的密码学知识介绍,什么是多媒体,2020/5/2,4,Multimedia(Wikipedia)Multimediaismediaandcontentthatutilizesacombinationofdifferentcontentforms.Ingeneral,multimediaincludesacombinationoftext,audio,stillimages,animation,video,andinteractivitycontentforms.Digitalimageandvideo数字图像与视频,由物理世界到数字世界的过程,2020/5/2,5,图像等的表示、采集、存储与传输CCD,彩色空间,2020/5/2,6,彩色空间所谓彩色空间，即彩色的表示模型。在数字图像中每个像素的颜色可以用8位、9位、16位、24位或32位表示。RGB彩色空间与YUV彩色空间（YCbCr）HSI彩色空间H，色调；S，饱和度；I，光强度。YIQ彩色空间Y，亮度；I、Q，色度。,采样,2020/5/2,7,4:4:4YCbCr,4:2:2YCbCr,采样,2020/5/2,8,4:1:1YCbCr,4:2:0YCbCr,Digitalimage,2020/5/2,9,Animageorpictureisanartifact,usuallytwo-dimensional,thathasasimilarappearancetosomesubjectusuallyaphysicalobjectoraperson.Adigitalimageisarepresentationofatwo-dimensionalimageusingonesandzeros(binary).Dependingonwhetherornottheimageresolutionisfixed,itmaybeofvectororrastertype.Withoutqualifications,thetermdigitalimageusuallyreferstorasterimages.,BMP位图,2020/5/2,10,位图（又称光栅图）是使用像素阵列来表示的图像，每个像素的色彩信息由RGB组合或者灰度值表示。根据颜色信息所需的数据位分为1、4、8、16、24及32位等，位数越高颜色越丰富，相应的数据量越大。其中使用1位表示一个像素颜色的位图因为一个数据位只能表示两种颜色，所以又称为二值位图。通常使用24位RGB组合数据位表示的的位图称为真彩色位图。imread,imwriteJPG,TIFF,GIF,BMP,PNG,HDF,PCX,BITMAP,2020/5/2,11,typedefstructtagBITMAPLONGbmType;LONGbmWidth;LONGbmHeight;LONGbmWidthBytes;WORDbmPlanes;WORDbmBitsPixel;LPVOIDbmBits;BITMAP,*PBITMAP;LoadImage(AfxGetInstanceHandle(),logo.bmp,IMAGE_BITMAP,0,0,LR_LOADFROMFILE)CBitmap,常用的测试图像,2020/5/2,12,Lena(MissNovember1972scenterfold),HistoryofLenaimage,2020/5/2,13,FirstLadyofInternet,May1997,Lena,2020/5/2,14,戴维C蒙森（DavidC.Munson）,IEEE图像处理汇刊（IEEETransactionsonImageProcessing）的主编,在1996年1月引用了两个原因来说明莱娜图在科研领域流行的原因：1.该图适度的混合了细节、平滑区域、阴影和纹理，从而能很好的测试各种图像处理算法。2.Lena是个美女，对于图象处理界的研究者（大部分都是男性）来说，美女图可以有效的吸引他们来做研究。,常用的测试图像,2020/5/2,15,BaboonBarbara,常用的测试图像,2020/5/2,16,/%7Ecil/v-images.html,Digitalvideo,2020/5/2,17,Videoisthetechnologyofelectronicallycapturing,recording,processing,storing,transmitting,andreconstructingasequenceofstillimagesrepresentingscenesinmotion.Digitalvideoisatypeofvideorecordingsystemthatworksbyusingadigitalratherthanananalogvideosignal.fps:2530,YUV原始视频文件,2020/5/2,18,YUV文件格式Y:widthxheight;UV:(width/2)x(height/2).CIF:352x288QCIF:176x144SIF:352x240,常用的测试视频序列,2020/5/2,19,VectraAkiyo,常用的测试视频序列,2020/5/2,20,VectraAkiyo,ForemanMiss_AmCarphoneGrandma,SalesmanClaireTrevorSuzie,YUVPlayer播放器,2020/5/2,21,YUVPlayer,YUV原始视频数据的读取,2020/5/2,22,functiony,u,v=getyuvdata(fparams,filename,frameno)width=fparams(1);height=fparams(2);y=zeros(width,height);u=zeros(width/2,height/2);v=zeros(width/2,height/2);fid=fopen(filename,r);seeks=width*height*3*(frameno-1)/2;fseek(fid,seeks,-1);fori=1:heighty(:,i)=fread(fid,width,char);endseeks=width*height*3*(frameno-1)/2+width*height;fseek(fid,seeks,-1);fori=1:height/2u(:,i)=fread(fid,width/2,char);endseeks=width*height*3*(frameno-1)/2+width*height+width*height/4;fseek(fid,seeks,-1);fori=1:height/2v(:,i)=fread(fid,width/2,char);endfclose(fid);,YUV原始视频数据的写入,2020/5/2,23,functionsaveyuvdata(fparams,filename,frameno,y,u,v)width=fparams(1);height=fparams(2);fid=fopen(filename,a);seeks=width*height*3*(frameno-1)/2;fseek(fid,seeks,-1);fori=1:heightcount=fwrite(fid,y(:,i),char);endseeks=width*height*3*(frameno-1)/2+width*height;fseek(fid,seeks,-1);fori=1:height/2count=fwrite(fid,u(:,i),char);endseeks=width*height*3*(frameno-1)/2+width*height+width*height/4;fseek(fid,seeks,-1);fori=1:height/2count=fwrite(fid,v(:,i),char);endfclose(fid);,第二章主要内容,2020/5/2,24,多媒体基本概念多媒体压缩原理多媒体主要标准介绍有关的密码学知识介绍,为什么要压缩,2020/5/2,25,数据量庞大image:1千万像素，每个像素3字节，30M；video:PAL，720 x576x25x1.5=14.8M；2hours，104G。存储空间有限300500G。传输带宽有限社区宽带12M。,压缩的基本思想,2020/5/2,26,去相关/去冗余空间冗余，时间冗余，结构冗余，知识冗余。人类感知特性感知冗余，例如视觉冗余，人类视觉系统对于图像的任何变化，并不是都能感知的。,人眼的视觉特性,2020/5/2,27,视觉阈值视觉阈值是指干扰或失真刚好可以被察觉的门限值，低于它就察觉不出来，高于它才看得出来，这是一个统计值。亮度辨别阈值当景物的亮度在背景亮度基础上增加很少时，人眼是辨别不出的，只有当亮度增加到某一数值时，人眼才能感觉其亮度有变化。人眼刚刚能察觉的亮度变化值称为亮度辨别阈值。,人眼的视觉特性,2020/5/2,28,空间分辨力空间分辨力是指对一幅图像相邻像素的灰度和细节的分辨力，视觉对于不同图像内容的分辨力不同。掩盖效应指人眼对图像中量化误差的敏感程度，与图像信号变化的剧烈程度有关。,压缩编码算法类型,2020/5/2,29,无损（可逆、无失真）编码Huffman编码，算术编码，行程长度编码等。有损（不可逆、有失真）编码预测编码，变换编码，运动估计与补偿编码等。,预测编码DPCM,2020/5/2,30,基本原理以图像为例，DPCM的基本原理是基于相邻像素之间所具有的较强的相关性，每个像素可以通过以前已知的几个像素来作预测。,预测编码DPCM,2020/5/2,31,原理框图,量化器,输入,编码器,解码器,预测器,信道,预测器,发送端,接收端,输出,变换编码,2020/5/2,32,信源序列协方差矩阵Karhunen-Loeve变换（最佳变换）DCT变换（准最佳变换）,二维DCT变换,2020/5/2,33,88的FDCT88的IDCT,DCT变换压缩实验,2020/5/2,34,88分块，DCT2，把高频部分置零,4,8,10,12,13,14,DCT变换压缩效果,2020/5/2,35,4,8,10,12,13,DCT变换压缩效果,2020/5/2,36,14,DCT变换压缩效果,2020/5/2,37,4,8,10,12,13,DCT变换压缩效果,2020/5/2,38,14,帧间预测编码,2020/5/2,39,X,Z,Y,Availablefromlaterframe(Z),Availablefromearlierframe(X),评价指标,2020/5/2,40,压缩比Compressionratio保真度FidelityPSNR(PeakSignal-to-NoiseRatio)计算复杂度Computationcomplexity,第二章主要内容,2020/5/2,41,多媒体基本概念多媒体压缩原理多媒体主要标准介绍有关的密码学知识介绍,Multimediastandards,2020/5/2,42,静态图像压缩编码的国际标准JPEG/2000JointPhotographicExpertGroup动态图像压缩编码的国际标准MPEG-1/2/4/7/21MovingPictureExpertGroup可视电话/电视会议的国际标准H.26XITU-T国际电信联盟远程通信标准化组,JPEG,2020/5/2,43,JointPhotographicExpertsGroup(联合图像专家小组)(1986),JPEG(1992),ISO(1994)。LossyCompression有损压缩标准。JPEG本身只描述如何将一个影像转换为字节的数据串流（streaming），但并没有说明这些字节如何在任何特定的储存媒体上被封存起来。目前使用最广泛的图像压缩标准。,JPEG编码的总体框架,2020/5/2,44,总体框架,JPEG的编码环节,2020/5/2,45,Colorspacetransformation色彩空间转换RGB2YUVDownsampling缩减采样4:4:4-4:2:2/4:2:0Blockslpitting分块88,JPEG,2020/5/2,46,Discretecosinetransform离散余弦变换DCT2Quantization量化量化表Entropycoding熵编码zigzag,run-lengthencoding(RLE),thenusingHuffmancoding.,量化例子,2020/5/2,47,与其它图像格式比较,2020/5/2,48,JPEG不适合于线条绘图（drawing）和其他文字或图示（iconic）的图形；PNG和GIF格式通常是用来针对这种目的之图形。GIF每一像素只有8位，并不很适合于用在彩色照片。PNG可以被用来无失真地储存照片，但是档案太大让它不适合在网页上放照片。,JPEG2000,2020/5/2,49,JPEG的升级版，压缩率比高约30左右。基于小波变换的图像压缩标准。不会产生原先的基于离散余弦变换的JPEG标准产生的块状模糊瑕疵。同时支持有损数据压缩和无损数据压缩。支持更加复杂的渐进式显示和下载。向下兼容。,Videocodingstandards,2020/5/2,50,Performance,2020/5/2,51,MPEG-1,2020/5/2,52,MPEG-1是MPEG组织制定的第一个视频和音频有损压缩标准。视频压缩算法于1990年定义完成。1992年底，MPEG-1正式被批准成为国际标准。MPEG-1是为CD光盘介质定制的视频和音频压缩格式，采用了块方式的运动补偿、离散余弦变换（DCT）、量化等技术。MPEG-1被VCD采用作为核心技术。MPEG-1音频分三层，其中第三层协议被称为MPEG-1Layer3，简称MP3，目前已经成为广泛流传的音频压缩技术。,MPEG-1Hierarchy,2020/5/2,53,ThesixlayersofMPEGvideobitstreamSequenceLayer:videoclip,completeprogramitem.GroupofPicturesLayer(GOP):includethreedifferentcodingways.FrameLayerSliceLayer:incasethedataislostorcorrupted.MacroblockLayer:1616luminanceblock.BlockLayer(DCTunit),MPEG-1特点,2020/5/2,54,随机访问灵活的帧率可变的图像尺寸定义了I-帧、P-帧和B-帧运动补偿可跨越多个帧半像素精度的运动向量量化矩阵具有GOP结构和Slice结构,MPEG-1的系列第一,2020/5/2,55,第一个集成的视频/音频标准:ISO/IEC11172-1(Systems),-2(Video),-3(Audio)第一个与视频格式无关的编码标准(NTSC/PAL/SECAM)第一个由几乎所有相关视/音频企业联合制定的标准,视频混合编码框图,2020/5/2,56,GOP结构,2020/5/2,57,MPEG-2,2020/5/2,58,MPEG-2标准(ISO/IEC13818)。1994年发布。通常用来为广播信号提供视频和音频编码，包括卫星电视、有线电视等。经少量修改后，成为DVD产品的核心技术。适用于1.5Mbps60Mbps甚至更高速率的编码范围，典型传输速率为10Mbps。与MPEG-1兼容。,MPEG-4,2020/5/2,59,MPEG-4标准(ISO/IECl4496).“Codingofaudio-visualobjects”1999年5月形成国际标准(版本1),2001-2002形成版本2，是一种基于对象的视(音)频编码标准,目标是支持各种多媒体应用(主要侧重于对多媒体信息内容的访问)主要目标Compressionandmanipulationofaudioandvisualobjects,thewebpageparadigmappliedtoaudioandvideo.,Videocodingstandards,2020/5/2,60,H.264,2020/5/2,61,H.264/AVC的目标是希望新的编解码器能够在比相对以前的视频标准（比如MPEG-2或者H.263）低很多的码率情况下（比如说，一半或者更少）提供很好的视频质量。另一个目标是可适应性，使该编解码器能够在一个很广的范围内使用（比如说，即包含高码率也包含低码率，以及不同的视频分辨率），并且能在各种网络和系统上（比如组播、DVD存储、RTP/IP包网络、ITU-T多媒体电话系统）工作。,H.264的新特性,2020/5/2,62,多参考帧的运动补偿，最多32个参考帧。变块尺寸运动补偿。可使用最大16x16至最小4x4的块来进行运动估计与运动补偿，能够对图像序列中的运动区域进行更精确的分割。为了减少锯齿(Aliasing)并得到更锐化的图像，采用六抽头的滤波器来产生二分之一像素的亮度份量预测值。1/4像素精度的运动补偿能够提供更高精度的运动块预测，由于色度通常是亮度抽样的1/2（4:2:0），这时运动补偿的精度就达到了1/8像素精度。加权的运动预测，在运动补偿时可以使用增加权重和偏移的办法。它能在一些特殊的场合，如淡入、淡出、淡出而后淡入等情况提供相当大的编码增益。使用了一个环内的除块效应滤波器，能够减轻普遍存在于其他基于离散余弦变换(DCT)的视频编解码器的块效应。,Performance,2020/5/2,63,MPEG-7,2020/5/2,64,MPEG-7标准(ISO/IECl5938).1)并非压缩标准；2)建筑在其他的标准之上的，例如，PCM,MPEG-1,MPEG-2和MPEG-4等；3)2001年9月形成。它是“多媒体内容描述接口”(MultimediaContentDescriptionInterface)的标准,该标准将确定各种类型的多媒体信息的标准描述方法,可应用于数字图书馆、各种多媒体目录服务、广播媒体的选择，以及多媒体编辑等领域。,MPEG-7,2020/5/2,65,通过MPEG-7格式定义的信息，使用者可以有效率地搜寻、过滤和定义想要的影音资料。目前MPEG-7标准中定义了五种内容的信息，分别是：1.Creation&production：影音资料制作的基本信息。例如电影片名、导演等。2.Media：定义资料储存的方式。例如是否经过压缩、编码方式、储存媒介等。3.Usage：定义资料使用的方式。例如版权所有人、播放时间等。4.Structuralaspects：对影片中出现的特殊物品，或是音乐中某一片段，以及颜色、旋律等的描述。5.Conceptualaspects7：定义资料中各种控件的链接或交互。,MPEG-4演示,2020/5/2,66,第二章主要内容,2020/5/2,67,多媒体基本概念多媒体压缩原理多媒体主要标准介绍有关的密码学知识介绍,有关的基本概念,2020/5/2,68,明文Plaintext明文意味着信息能够为发送方、接收方以及任