多媒体内容分析与检索技术ppt课件

.,1,多媒体分析与检索技术MultimediaAnalysisandRetrievalTechnology,注：本讲内容参考了北京大学数字媒体研究所数字媒体技术基础课件,数字媒体技术基础第五讲（8课时）,.,2,课程内容及安排,第一部分：数字媒体导论第二部分：数字媒体基础数字彩色图像基础图像/视频处理基础第三部分：数字媒体关键技术多媒体压缩编码技术多媒体分析与检索技术多媒体通信技术数字版权管理技术,.,3,教学目标,通过本章的学习，掌握“多媒体分析与检索”这一多媒体领域最活跃研究方向的基本研究问题和方法，及其最新进展。ACMMultimediaACMICMRICMEMMMICIMCSICCVCVPRICIPICPR,.,4,教学内容,多媒体检索概论(2)基于内容的图像分析与检索（CBIR）(2)视频分析与检索(3)音频分析与检索(1),.,5,一、多媒体检索概论,.,6,InternetVideos,Images,Audio,Flash,Aminations,LocalVideos,Images,如何从如此海量的多媒体数据中定位到你所感兴趣的信息？,Howtoeffectivelyorganize,manage,browse,retrieve?,Image/Videoindexingshouldbeanalogoustotextdocumentindexing,MultimediaAnalysisandRetrieval,.,7,引言,“多媒体搜索引擎”可以搜索多媒体文档的搜索引擎多媒体文档:可包含多种模态,如文本、图像、视频、音频等广义的：可以搜索非文字信息的搜索引擎“视/听觉”信息,.,8,多媒体文档的特点,多媒体文档包含丰富的非文字信息,.,9,多媒体文档的特点,关键字对应的非文字信息可能过于宽泛,麦浪滚滚,.,10,多媒体检索概念,提供多媒体的查询输入可以方便地输入多媒体和文字查询对多媒体文档进行多媒体索引特征索引：文本特征（字、词、短语）、视觉特征（颜色直方图、Gabor纹理、形状特征、）、音频特征（音高、音调.）语义索引：元数据、概念、事件提供多媒体的结果显示直观地展示多媒体和文字信息直观地展示深层信息跨文档综合（多媒体和文字信息）方便浏览大量文档,.,11,如何检索？,.,12,检索方法1：基于文本(QBT),关键问题：如何获得关键字标注？方法1：手工标注工作量巨大-不可行！即使对同一幅图像，不同的人有不同的描述方法2：自动标注各种机器学习的算法性能不佳：只能提取少数概念，准确率也低(30%),.,13,检索方法1：基于文本(QBT),关键问题：如何获得关键字标注？方法3：元数据分析-URL、链接文字、标题、关联页面,Meta-data元数据,东北虎：5老虎：3动物：2中国：1俄罗斯：1长白山：1。,.,14,检索方法1：基于文本(QBT),关键问题：如何获得关键字标注？方法3：元数据分析-URL、链接文字、标题、关联页面问题：元数据不一定与多媒体文档内容相关,没有元数据或不完整！,元数据与图像内容不相关！,.,15,检索方法1：基于文本(QBT),关键问题：如何获得关键字标注？方法4：网络标注（Socialtagging/Folksonomy）向普通用户提供上载和分享平台鼓励所有用户对上载的文档进行评论和标注这些评论和标注是直接针对文档作出的,.,16,.,17,.,18,QBT的难题,需求难以用文字精确描述非文字需求用户不愿意输入很多文字用户需求不是特别具体大多数人的想象力是不够丰富的系统提供的结果会极大地影响用户的需求需要浏览更多的文档才能发现需要的结果最重要：图像/视频/音频往往难以用文字准确描述一图胜千言各种文字标注方法普遍准确率不高,.,19,视觉信息描述的复杂性,.,20,检索方法2：基于内容/样例,基于内容的图像/视频检索Content-basedimage/videoretrieval(CBIR/CBVR)Query-by-Example(QBE)什么是“内容”（Content）？图像和视频的视觉特性如何描述？(数学模型)如何匹配？(相似度计算方法)如何索引？(快速找到相似文档)如何提交查询？,.,21,基于内容的图像/视频检索,“内容”的数学模型文本文档：向量模型多媒体文档：特征提取表示视觉的多个物理量组成描述文档内容的特征视觉特征：颜色、纹理、形状、运动音频特征：音频、音质、音调.,.,22,ColorCameramotionMotionactivityMosaic,ColorMotiontrajectoryParametricmotionSpatio-temporalshape,ColorShapePositionTexture,SpokencontentSpectralcharacterizationMusic:timbre,melody,pitch,视音频特征示例,.,23,基于内容的图像检索,Querybycontent:Color,textureEigenvectorsofmatrix)Turingfunctionbased(similartoFourierdescriptor)convex/concavepolygonsWavelettransformsleveragesmultiresolutionChamfermatchingforcomparing2shapes(lineardimensionratherthanarea)3-DobjectrepresentationsusingsimilarinvariantfeaturesWell-knownedgedetectionalgorithms,.,49,特征举例：颜色特征,Colourhistograms(CH)GlobalCHgenerateddirectlyfromRGBspace,with125(5x5x5)bins.,.,50,Bosch,IVC,2006,.,51,特征举例：边特征,Edgehistogram(EHD)Capturesthespatialdistributionoftheedgeinsixstatues:0,45,90,135,nondirectionandnoedge.GlobalEHDofanimage:Concatenating16subEHDsintoa96binsLocalEHDofasegmentGroupingtheedgehistogramoftheimage-blocksfallenintothesegment,.,52,特征举例：点特征,DetectpatchesMikojaczykandSchmid02Sivicetal.03,ComputeSIFTdescriptorLowe99,.,53,.,54,全局vs.局部特征,.,55,区域分割,计算机视觉领域的公开难题,.,56,相似度度量,Dotta,etal.,Imageretrieval:Ideas,influences,andtrendsofthenewage,ACMComputingSurvey,2008,.,57,相似度度量,Dotta,etal.,Imageretrieval:Ideas,influences,andtrendsofthenewage,ACMComputingSurvey,2008,CBIR不是为了进行精确的匹配，而是计算查询图像和数据库中的图像之间的视觉相似度，相应的，检索结果不是单一的一副图像，而是按照与查询图像的相似度排序的一系列图像。不同的相似度度量显著影响CBIR系统的性能。,.,58,基于样例的查询QuerybyExample,Pickqueryexamplesandaskthesystemtoretrieve“similar”images.,QuerySample,.,59,相关反馈RelevanceFeedback,UsergivesafeedbacktothequeryresultsSystemrecalculatesfeatureweights,Initialsample,.,60,相关反馈OnlineFeatureWeighting,FromQueryExamples,thesystemdeterminesfeatureweighting(kxk)matrixW,Query,.,61,基于相关反馈的检索界面,UserselectsrelevantimagesIfgoodimagesarefound,addthemWhennomoreimagestoadd,thesearchconverges,SliderorCheckbox,.,62,基于相关反馈的检索界面,.,63,评价指标：AveragePrecision,只对返回的相关文档进行计算,系统检索出来的相关文档越靠前(rank越高)，AP就越高,.,64,评价指标：AveragePrecision,MAP(MeanAveragePrecision)istheaverageAPforallqueries,例如：假设有两个queries，query1有4个相关images，query2有5个相关image。某系统对于query1检索出4个相关image，其rank分别为1,2,4,7；对于query2检索出3个相关query，其rank分别为1,3,5。对于query1，AP为(1/1+2/2+3/4+4/7)/4=0.83。对于query2，AP为(1/1+2/3+3/5+0+0)/5=0.45。则MAP=(0.83+0.45)/2=0.64。,.,65,现实中的CBIR系统示例,VisualsimilaritysearchinSpecificDomain：aphoto-sharingcommunitywithmorethanamillionairplane-relatedpictures,.,66,现实中的CBIR系统示例,apublic-domainsearchenginewhichincorporatesimageretrievalandfacerecognitionforsearchingpicturesofpeopleandproductsontheWeb.,.,67,ImageAnnotation/Tagging：面向图像语义检索,ShipWaterTreesky,Useforkeyword-basedimageretrieval,.,68,ImageAnnotation/Tagging,JJeon,etal.,Automaticimageannotationandretrievalusingcross-mediarelevancemodels,Sigir,2003,RelevanceModels,w1,w2,w3,.wn,.,69,AnnotationExamples,.,70,BridgeUserIntentionGap,Userqueriesareusuallyshort,ambiguousHowtocaptureusersearchintent?,.,71,VisualQuerySuggestion,Zheng-JunZha,etal.,VisualQuerySuggestion,ACMMM,2009,.,72,VisualQuerySuggestion,Tohelpusersspecifyanddelivertheirsearchintents,Zheng-JunZha,etal.,VisualQuerySuggestion,ACMMM,2009,.,73,IGroup:presentingwebimagesearchresultsinsemanticclusters,Theresultof“tiger”inMSNimagesearch:mixedwith“tigerwoods”and“tigeranimal”.,.,74,IGroup:presentingwebimagesearchresultsinsemanticclusters,ThescreenofIGroup:thegeneralview,.,75,IGroup:presentingwebimagesearchresultsinsemanticclusters,ThescreenofIGroup:theclusterview,.,76,IGroup:presentingwebimagesearchresultsinsemanticclusters,.,77,3DMARS:图像检索的3D展示,Imageretrievalandbrowsingin3DVirtualRealityTheusercanseemoreimageswithoutocclusionQueryresultscanbedisplayedinvariouscriteriaResultsbyColorfeatures,bytexture,bycombinationofcolorandtexture,.,78,3DMARS,.,79,.,80,CopyDetection,拷贝检测的定义拷贝(Copy)是从源视频中截取的一段视频片断，并对其内容或格式进行多种形式的转变/攻击(Transformations)。拷贝检测(CBCD,Content-basedcopydetection)是给定查询视频，判断其是否是来源于数据库某视频的拷贝，并判定对应原始片断的起止时间。,.,81,GlobalQualityDecreasePartialContentAlteration,Original,Blur,Br