多媒体内容分析与检索技术ppt课件

1、.1，多媒体分析和检索技术多媒体分析和检索技术，注：本讲座为北京大学数字媒体研究所基于数字媒体技术的课件，基于数字媒体技术的讲座第5 (8次会议)。2，课程内容和日程，第1部分：数字媒体简介第2部分：数字媒体基本数字彩色图像基本图像/视频处理基本第3部分：数字媒体核心技术多媒体压缩编码技术多媒体分析和检索技术多媒体通信技术数字版权管理技术，3、通过教学目标、本章的学习，了解“多媒体分析和检索”在多媒体领域最活跃的研究方向的基本研究问题和方法以及最新进展。ACM multimedia ACM icma MCS iccv cvpr icip icpr，4，教学内容、多媒体搜索概论(2) CBIR)

2、(2基于内容的图像分析和检索)(2)视频分析和检索(3)音频分析和检索(1)，5，1，多媒体搜索概论，6，internet videos，images，audio，flash，aminations，local videos，images，如何在如此庞大的多媒体数据中查找感兴趣的信息？how to effectively organize，manage，browse，retrieve？image/video indexing should be analogous to text document indexing，multimedia analysis and retrieval，7、简介、多

3、媒体搜索引擎多媒体文档的搜索引擎多媒体文档：可以包含文本、图像、视频、音频等各种模式。可以搜索非文本信息的搜索引擎“视觉/听觉”信息。8，多媒体文档的特征，包含非丰富文本信息的多媒体文档，9，多媒体文档的特征，与关键字相对应的非文本信息可能太广。麦浪滚动，10，多媒体搜索概念，多媒体查询输入多媒体和文本查询输入多媒体文档的多媒体索引功能索引(文本特征(单词、单词、短语)，视觉特征(颜色直方图、Gabor纹理、外观特征)，音频特征(音调、音调)语义索引，12，搜索方法1:基于文本(QBT)，主要问题：如何获取关键字标记？方法1:手动显示工作量-不可行！对于同一图像，不同的人有不同的解释方法2:自

4、动标注不同机器学习的算法性能差。只能提取少数概念，准确度低(30%)，13，搜索方法1:基于文本(QBT)，关键问题：如何获取关键字说明？方法3:元数据分析- URL、链接文本、标题、相关页面、元数据、西伯利亚虎：5老虎：3动物：2中国：1俄罗斯：1长白山：1。即可从workspace页面中移除物件。即可从workspace页面中移除物件。，14，搜索方法1:基于文本(QBT)，主要问题：如何获取关键字标记？方法3:分析元数据- URL、链接文本、标题、链接页面问题：元数据不一定与多媒体文档内容相关，没有元数据或不完整！元数据与图像内容无关！15，搜索方法1:基于文本(QBT)，主要问题：如何

5、获取关键字标记？方法4:网络标记(Social tagging/Folksonomy)为最终用户提供上载和孔刘平台，以推荐所有用户对上载文档的意见和标记。这些意见和标注是直接写入文档的。16，17，18，qbt的问题，难以准确说明非要求文本的单词，用户不愿意输入大量的文本，用户的要求特别是不具体，大部分人想象力丰富的系统提供的结果大大影响了用户的要求，需要浏览更多的文档，以找到所需的结果，最重要的是：图像/视频/音频经常用文字表示一千多句不同文本的方法的一般准确度不高。19，视觉信息描述的复杂性，20，搜索方法2:基于内容/示例，基于内容的图像/视频搜索Content-based image/

6、video retrieval(CBIR/cbvr)query-by-exame如何描述图像和视频的视觉特性？(数学模型)如何匹配？(相似度计算方法)如何索引？(快速查找类似文档)如何提交查询？21，基于内容的图像/视频检索，“内容”的数学模型文本文档：矢量模型多媒体文档：描述表示特征提取时刻的多个物理杨怡文档的内容的特征视觉特征：颜色、纹理、外观、运动音频特征：音频、音质、音调。22、Color camera motion activity mosaic、Color motion trajectory parametric motion spatio-temporal shape、color

7、 shape，23，基于内容的图像搜索，Query by content: Color，Texture eigen vectors of matrix，turing function based(similar to fourir description)，49，特征示例：颜色特征，Colour histograms(ch)global ch generated directly from RGB space，with 125 (5x5x 5) bins。50、bosch、IVC、2006、51，特性示例：边特征，边histogram(EHD)captures The spatial dist

8、ribution of The Edge in six statues 3360，45，90，52，特性示例：点要素，detect patches miko jaczyk and schmid 02 sivicet al . 03，compute sift descriptor Lowe 99，53 .54，全局vs .本地功能，55，区域划分，计算机视觉领域的公开挑战，56，相似度测量，dota，et al .image retrieval : ideas，influences，and trend of the new age，ACM Computing Survey，57，相似度测量，do

9、ta，et al .image retrieval : ideas，influences，and trend of the new age，ACM computing survey徐璐不同相似度测量对CBIR系统的性能影响很大。，58，基于示例的查询query by example，pick query examples and ask the system to retrieve similar images，querysample，59，相关反馈Relevance Feedback，User gives a Feedback to the query results system re c

10、alculates feature weights，initial sample，60，相关反馈online feature weighting，from query examples，The system determines feature weighting(k x k)matrix w，query，61，基于相关反馈的搜索界面，user selects relevant images if good images are found，Add them when no more images to add，the search conveges，62，基于相关反馈的搜索界面，63，评估指

11、标：平均处理，仅计算返回的相关文档，从系统中检索的相关文档的父级(rank越高)AP越高，64，评估指标：average precision，平均评估(map)is the average AP for all queries。例如，假设有两个queries，queries有四个相关images，queries有五个相关image。系统为query1搜索了4个相关映像，每个映像为1，2，4，7。从查询2检索的三个相关查询的rank分别为1，3，5。对于查询1，AP为(1/1 2 3/4 4/7)/4=0.83。对于查询2，AP为(1/1 2/3/5 0)/5=0.45。MAP=(0.83 0.

12、45)/2=0.64。65，实际CBIR系统示例，visual similarity search in specific domain:a photo-sharing community with more than a million airpplane-relane，66，实际CBIR系统示例，A public-domain search engine which incoorporates image retrieval and face recognition for searching pictures of people，67，Image Annotation/Tagging:面

13、向图像的语义搜索，ship water tree sky，use for keyword-based Image retrieval，68，image annotation/tagging，j jeon，et al .Automatic image annotation and retrieval using cross-media relevance mediawn，69、annotation examples、70、bridge user intension gap、user queries are usually short、ambiguous how to capture user s

14、earch intent？71，visual query suggestion，Zheng-jun，et al，visual query suggestion，ACM mm，2009，72，visual query suggestion，To help users specify and deliver their search intents，Zheng-jun，et al，visual query search intents，73，I group : presenting web image search results in semanic clusters，The result of tiger in MSN image search 3360 mixed.74，I group : presenting web image search results in semanic clusters，the screen of I group 3360 the general view，75，I group : presenting web image search results in semanic clusters，the screen of I