移动互联网跨媒体信息检索技术

1、移动互联网跨媒体信息检索技术导语：随着多媒体和网络技术的发展，涌现出大量的文本、语音、图像、视频等网络媒体数据。与传统媒体相比，网络媒体的传播具有更强的开放性、多样性和快捷性，其丰富的内容和语义对互联网服务而言具有潜在的应用价值。媒体内容分析与理解，有利于网络环境下媒体数据的传输、管理、表达和利用，从而能够更加生动真实地描述客观世界，并为人们提供更加丰富、友好的信息服务。问题：1.如何在海量的信息中实现跨越时间、空间和如何在海量的信息中实现跨越时间、空间和载体类型的信息检索显得越来越重要。载体类型的信息检索显得越来越重要。 2.由于多媒体数据本身具有底层视听觉特征异构、高由于多媒体数据本身具有

2、底层视听觉特征异构、高层语义丰富的特点，对其实现有效管理和智能利用十层语义丰富的特点，对其实现有效管理和智能利用十分困难。分困难。跨媒体检索(cross-media retrieval CMR) 的出现 跨媒体是在多媒体的基础上，利用各种媒体的形式和特征，对相同或者相关的信息用不同的媒体表达形式进行处理，由此产生存储、检索和交换等活动。 跨媒体检索是在跨媒体环境下，用户提交一种媒体对象作为查询示例，既可以检索出相同类型的相似对象，还能够返回不同类型的其他媒体对象的新型检索方式。两种跨媒体检索技术： 1)基于文本的检索。 目前，常见的检索方法一般都是基于关键字的全文检索，检索的准确度很大程度上依

3、赖人工标注的详细与否，且不同人对相同图像、音频和视频等非文本信息的认知不同，造成了描述语言的不充分或不准确，因此利用简单文本进行搜索的结果并不理想。 2)基于内容的检索。 基于多媒体内容的检索弥补了传统基于文本检索的不足，通过数据挖掘和机器学习的方法聚合不同类型数据蕴含的信息，以提供高层次的知识服务。 随着移动智能终端设备的广泛应用和普及，大量的视频、音频、文本以及各种传感数据构成了目前移动互联网领域中信息共享的主体内容。移动化带来的改变是信息的激增，人们正在借助移动智能终端上的各种传感器时间、位置、麦克风、摄像头、温度传感和NFC(近场通讯)采集信息并重新绘制这个世界。然而，信息的爆炸式增长

4、给知识的获取带来了极大的难度，也因此造成了知识的相对匮乏。在此过程中，用户对信息的采集和分享与传统方式有着显著的不同:（ 1）信息的采集带有显著的时间特征和空间特征;（ 2）在数据分享过程中携带了用户偏好信息; （ 3）完整分享这些数据对网络带宽和数据存储服务提出了巨大的挑战。 目前，人们从移动互联网领域获得知识的渠道主要还依赖于信息搜索，一种是以百度和谷歌为代表的传统文本搜索的服务，另一种是以苹果的Siri为代表的新型跨媒体(声音和文本)移动搜索体验。跨媒体技术发展现状 目前，为了实现同时对多种媒体类型的信息检索，国内外学者的研究工作主要集中在以下几个领域: 1)基于“词袋”模型建立多媒体对

5、象知识库 此类方法大多通过对多媒体对象的语义信息进行人工标注得到先验知识，结合“词袋”模型等为海量多媒体信息建立知识库，从而借助知识库的桥梁作用实现跨媒体检索。但是，此种方法很大程度上还是一种变相的基于关键字的检索，需要人工标注大量的关键字训练样本集，虽然它在一定程度上避开了特征向量异构和语义鸿沟的问题，但是人工标注耗时耗力且缺乏统一性与客观性，多媒体对象的语义信息往往不能够得到恰当描述，因而检索的准确性不尽人如意。 2)基于文档链接关系或Web链接关系建立多媒体对象之间的语义关系。 此类方法通过分析多媒体文档之间的链接关系或Web网页中的链接跳转关系建立多媒体对象之间的语义关系网(跨媒体关联

6、图、交叉参照图模型等)从而实现多媒体对象之间的相互检索。该方法有效地避免了媒体对象之间的语义鸿沟，但是对链接关系的依赖性太强，不具有一般性。 3)建立辅助空间解决特征向量异构问题。 此类方法为解决不同类型媒体对象之间特征向量异构的问题，在计算特征向量和相似性的度量时，一些方法是基于数据集中所有数据间的距离度量的，但是在实际跨媒体数据集中:一方面，计算和存储所有对象间的距离尺度是不现实的;另一方面，距离度量不能有效解决现实生活中的问题。 4)基于机器学习、神经网络等方法获取多媒体对象间的语义关系。 此类方法主要是通过机器学习或神经网络领域的融合分析、流形学习、线性迭代与映射、概率模型、支持向量机

7、、监督分类、非监督分类等方式对异构数据之间的关联关系进行挖掘，进而实现不同模态多媒体数据之间的相互检索。总的说来，该类方法检索效果不错，但往往计算量比较大，实现过程比较复杂。 5)索引。 此类方法一般是通过对多媒体数据进行一定预处理得到相互之间的相似关系，进而根据相似关系为海量多媒体对象建立索引，以提高检索时的效率。这是一种辅助型的方法，更多的是关注如何有效地减少检索所需要的时间，提高跨媒体检索的效率，对多媒体对象之间的相似度度量未关注。 6)基于Ontology的检索。 此类方法是建立在基于内容检索的基础上，Ontology存储多媒体对象语义信息的新型检索模式。检索过程中结合多媒体对象的底层

8、特征与Ontology表达的语义信息进行跨媒体检索。该方法对多媒体对象的语义信息及空间关系表达与处理具有强大的优势，同时，Ontology模型能使检索系统更加智能化和人性化。 然而，现有的跨媒体信息检索技术的研究对象主要是己采集好的各种媒体数据，较少考虑多用户分享中的数据冗余、网络带宽约束等移动互联网环境下面临的新问题和挑战。用户标注和地理本体在跨媒体中的应用 移动终端能够帮助人们以各种方式记录现实世界，同时也造成了数据的异构性、语义的异质性以及存储、传输这些数据对网络和硬件的挑战。随着智能终端处理能力的不断加强，目前己可以实现在智能终端上对采集的图像和影音数据进行编辑和特征提取。采用本地提取

9、特征再进行网络分享的方法将大大降低网络带宽的使用。另一方面，由于不同用户在对相同内容进行记录时可以选择不同的媒体类型作为载体，上传并分享这些内容特别是影音图像资源会占用较多的服务器存储空间。因此，提取资源中的语义信息并通过简单推理进行信息聚合，能够较好地降低移动互联网环境下信息分享的数据冗余问题。 本体论作为语义模型的新方法的优点： (1)本体关于领域知识的共同理解和描述可以使得现代网络中的信息组织形式从传统的基于语法逐步转向基于语义; (2)本体对于概念及其之间关系的精确描述可以极大地提高信息检索时的查全率和查准率; (3)采用形式化的描述方式使其能被计算机所理解以及更好地满足海量网络信息组

10、织的需要; (4)本体能够很好地支持逻辑推理，使得信息检索系统更加智能化和人性化。地理本体是将本体论引入到地理信息科学中，它除了具有本体所具有的优点外，在处理对象空间位置及空间关系方面具有无法取代的种特优热。 随着以Web2. 0技术为代表的社交网络的发展，用户的需求从简单的、被动的信息获取逐步升级为主动参与到信息管理、信息交互的过程中。用户期待一种不需要精确的预定义的集成框架甚至不需要原始信息的本地副本，实现多维、海量信息的快速、低代价的获取。用户标注方法在特征提取和语义分析过程中借助人的认知过程，提取源数据中的知识，对信息检索的准确率提升有着至关重要的作用。而地理本体，作为一种半自动化的语

11、义推理模型，可以有效降低不同用户标注带来的差异性，同时更准确地描述移动互联网环境下信息的时间和空间特征。采用这2方法相结合建立本地特征索引副本，能够有效降低数据传输对网络带宽的需求和存放数据对存储空间的需要。1.用户标注 受限于移动终端的大小、网络通信能力有限，不适宜采用传统的方式对采集的图像、视频等多媒体数据进行完整上传和统一计算。实现在本地的特征提取和用户标注，可以大大减少网络通信，节省用户分享的代价。OpenCV作为传统的视频、图像处理工具，目前己被广泛应用在i0S和Android为代表的移动终端上，并能获得较好的特征提取速度和分析结果。另外，随着摄像头、麦克风、NFC等传感器的发展，基

12、于手机的增强实现技术也取得了长足的进步，为用户的信息标注提供了新的手段和方法。 采用用户标注和特征提取等方法，结合移动终端对现实世界的时间、位置感知，提交较少的描述信息或特征信息，降低了信息和内容分享的门槛。采用增强现实和用户标注技术后，用户仅需上传简单的标注、位置信息和提取的语义、图像内容特征即可实现内容的分享。对查询用户来说，需要检索的信息仍然是充分的。2.地理本体 基于地理本体的语义检索是通过本体构建概念层次空间实现的检索，它利用本体明确建立了研究对象的概念、属性、空间位置等各种关系，并且可以通过逻辑推理发掘隐含在概念之间的不明确、非直接的信息，从而可以实现语义的智能信息检索。 在跨终端

13、、跨媒体环境中，地理本体模型提供了一个统一的语义管理平台。在移动互联网环境下，地理本体模型构建完成后，可以基于多种格式标准进行发布，用户本地采集的数据通过用户标注、特征提取等方式按照层次、概念和推理结果向现有的本体模型中进行映射，构建新的结点和数据内容。这样，用户采集的多媒体数据可以分布式地存放在各自的终端上，通过更新本体模型建立快速、有效的索引，提供统一的跨媒体、跨终端的服务标准，有效降低分享和检索带来的网络资源消耗和源数据的冗余存放。 为了帮助本体开发人员和领域专家对领域知识进行建模，斯坦福大学主导开发了一个基于Java的开源本体编辑工具Protege。该工具使得构建本体知识库的过程易于操

14、作和管理，降低了本体构建的高昂成本和维护代价。它不但支持复杂的知识表示，还支持简单的逻辑推理。跨媒体技术的发展 1.多模态信息检索系统 1)麻省理土学院“基于图片的问答系统”。 该系统作为多模态、跨媒体检索领域的先驱，支持用户以更加直接的方式检索不同类型媒体数据，以克服传统搜索引擎依赖于文本匹配的检索方式。整个系统通过3层架构实现对图像和文本的交互检索:(1)模版问答(template based)，根据图像的预分类信息进行检索;(2)历史库问答(internal repository based)，根据内建的历史问答库进行检索;(3)用户指导问答(human based)，当检索内容过于复杂

15、时采用用户指导的交互方式进行检索。 2)新加坡国立大学的“多媒体问答系统”( mul-timedia question-answering) 该系统解决了网络跨媒体搜索中的三个主要问题:(I)大规模的可视化概念标注，用于区分一种媒体实体是否包含一个或多个预定义概念标签;(2)支持大规模KNN内容搜索的索引方法;(3)用户反馈的交互检索方法。跨媒体检索面临的挑战 多媒体检索领域中面临的挑战可以归结为“7个千年问题”:语义鸿沟、机器学习、人机交互、多媒体水印、数据挖掘、性能评估以及基于互联网的多媒体标注与检索。随着网络技术的发展和智能终端的普及，跨媒体在移动互联网搜索领域将越来越重要。今后几年值得关注的几个问题如下: 1)在多媒体的语义理解过程中，结合地理本体在处理空间和语义推理方面的优势，提高语义理解的性能和检索的精度。同时，用户的反馈和交互知识仍然起着重要作用，是不可或缺的。 2)实现移动互联网环境下的个性化检索，通过手机用户偏好和情景信息感知用户意图，提高检索精度，目前，个性化检索技术己成为下一代搜索引擎提供服务的突破所在。