（计算机应用技术专业论文）面向资源共享网站的图像标注和标签推荐技术研究.pdf

浙江大学硕士学位论文摘要 摘要 随着网络多媒体技术的快速发展，互联网上的图像等多媒体内容的数量正在 以指数级的速度迅猛增长。因此，实现大规模互联网图像的有效管理和检索具有 十分重要的现实意义。由于大多数互联网图像标签丢失或标签存在大量噪音，因 此研究对这些弱标注( w e a k l y - t a g g e d ) 互联网图像自动添加标签成为当前热点研 究问题。 本文首先针对f l i c k r 用户经常会根据上传图像所隐含主题而将其推荐到多个 相关社群这一特点，提出了基于社群隐含主题挖掘和多社群信息融合的自动图像 标注算法。该算法采用隐d i r i c h l e t 分配模型对单个社群中隐含主题进行挖掘，根 据候选标签与社群隐含主题之间相关性，对初始候选标注标签进行过滤和排序， 最终通过多层次多社群主题信息融合，得到标注结果。对于从f l i c r k 网站下载的 三个社群图像进行实验的结果表明该算法能很大程度提高自动图像标注精度。 同时，为了有效辅助用户添加标签，本文提出了结合社群文本、图像和用户 上下文信息的个性化标签推荐算法。该算法首先建立由用户、图像、标签组成的 三元矩阵，然后在社群中寻找与待标签推荐用户兴趣相近用户以及与待标签推荐 图像相似的图像得到用户的个人偏好，最后利用随机游走机制对标签进行排序， 得到推荐结果，该方法具有通用性，即只要给出用户、图像和标签中任何一个元 素，均可得到标签推荐结果。 关键词：自动图像标注社群潜在主题挖掘隐d i r i c h l e t 分配模型多社群信息 融合标签推荐随机游走 浙江大学硕l ：学位论文 a b s t r a c t a b s t r a c t n o w a d a y s ，t h en u m b e ro fi n t e r n e ti m a g e si sg r o w i n ga ta ne x p o n e n t i a l r a t e t h e r e f o r e h o wt oe f f e c t i v e l ym a n a g ea n dr e t r i e v el a r g es c a l ei n t e r n e ti m a g e sp u tf o n h ag r e a tc h a l l e n g e s i n c eag r e a tn u m b e ro fi m a g e su p l o a d e do n t oi n t e r n e td on o th a v e a n yl a b e l s o r h a s1 i m i t e dl a b e l sw i t hn o i s e ，a u t o m a t i ca n n o t a t i o no fs u c h w e a k l y - t a g g e d i n t e r n e ti m a g e sh a sb e e nah o tt o p i cr e c e n t l y s i n c eu s e r si n t e n dt or e c o m m e n di m a g e st om u l t i p l es o c i a lg r o u p sa c c o r d i n gt o s e m a n t i c so fi m a g e sw h e nt h e yu p l o a di m a g e si n t of l i c k e r , t h i sp a p e rp r o p o s e sa t w o - s t a g ea p p r o a c ht oa u t o m a t i c a l l ya n n o t a t ew e a k l y t a g g e ds o c i a li m a g e s t h ef i r s t s t a g ed i s c o v e r st h el a t e n tt o p i c si ne a c hg r o u pb yl a t e n td i r i c h l e ta l i o c a t i o n ( l d a ) m o d e l ，a n df i l t e r so u tn o i s yt a g si ng r o u pl e v e li no r d e rt or e r a n kt o p i c - r e l e v a n tt a g s t h es e c o n ds t a g ed i s c o v e r st h eh i e r a r c h i c a lt o p i cs t r u c t u r ea m o n gm u l t i p l eg r o u p sb y w o r d n e t ，a n dh i e r a r c h i c a l l yf u s e st h ec a n d i d a t et a g sf r o mm u l t i p l eg r o u p s t h i sp a p e ra l s op r o p o s e sa na p p r o a c ht oi n t e g r a t es o c i a lt e x t ，i m a g ea n du s e r c o n t e x tf o rt a gr e c o m m e n d a t i o n t h i sa p p r o a c hs e t su pat e r n a r ym a t r i xt or e p r e s e n t t h er e l a t i o n s h i pa m o n gu s e r s ，i m a g e sa n dt a g sa tf i r s t ；a n dg e tap e r s o n a lp r e f e r e n c eb y d i s c o v e r i n gu s e r sw i t hs i m i l a ri n t e r e s t a n di m a g e sw i t hs i m i l a rv i s u a ls i m i l a r i t ya t s e c o n d ，a n df i n a l l yu t i l i z e sr a n d o mw a l kt or e c o m m e n dt a g sf o ru n l a b e l e di m a g e s t h i st a gr e c o m m e n da p p r o a c hi sv e r yf l e x i b l e ，s i n c ew ec a l lg e tr e c o m m e n d a t i o nr e s u l t o n c ea n yo n eo fi n f o r m a t i o na b o u tau s e r , a l li m a g e ，o rat a gi so f f e r e d k e y w o r d s ：a u t o m a t i ci m a g ea n n o t a t i o n ，s o c i a lg r o u p ，m i n i n go fl a t e n tt o p i c ，l a t e n t d i r i c h l e ta l l o c a t i o n ，m u l t i - g r o u pi n f o r m a t i o nf u s i o n ，t a gr e c o m m e n d a t i o n ，r a n d o m w “k 浙江大学硕1 ：学位论文图口录 图目录 图2 1p a g er a n k 例子1 4 图3 1 基于社群隐含丰题挖掘和多社群信息融合的自动图像标注框架1 8 图3 2 社群隐含丰题l d a 模型1 9 图3 3 基于社群隐含主题挖掘标签优化的实验结果2 6 图3 4 社群的层次关系2 7 图3 5 图像标注例子( 标签按照概率从大n d , 排列) 2 8 图4 1 用户、图像、标签三元矩阵3 5 图4 2 标签推荐的p 5 实验评测结果3 8 图4 3 标签推荐n d c g 1 0 实验评测结果3 9 图4 4 被标签推荐的泸沽湖旅游图像3 9 i i i 浙江大学硕士学位论文表h 录 表目录 表3 1 主题词2 4 表3 2 基于社群隐含主题挖掘标签优化的实验结果2 5 表3 3 多层次多社群融合实验结果2 6 表3 4 多社群融合详细实验结果2 8 表4 1 标签推荐的p 1 与p 5 实验评测结果3 8 表4 2 标签推荐的n d c g 评测结果。3 8 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝鎏盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿态堂可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：导师签名： 签字日期：年 月 日签字日期： 年月日 浙江大学硕 ：学位论文第1 章绪论 1 1 课题背景 第1 章绪论 随着网络多媒体技术的快速发展，互联网上的图像等多媒体内容的数量正在 以指数级的速度迅猛增长。据统计，截至2 0 0 8 年，被g o o g l e 搜索引擎索引的互 联网网页已经超过l 万亿，其中还包含了几十亿张的图像。近年来，互联网共享 网络越来越多地引起了互联网用户的关注。其中，截至2 0 0 9 年6 月，提供图像 分享的大众图像标注网站一f l i c l ( r 【1 】索引的图像已超过4 0 亿张，并以每分钟几千 张的速度快速增长。人们常说一图胜千言，也就是一副图像所包含的信息远比一 般的文字表达要丰富。因此，实现大规模互联网图像的有效管理和检索具有十分 重要的现实意义。 图像的管理和检索技术主要分为基于文本的检索和基于视觉内容的检索两 大类。早期的图像管理系统【2 】主要通过手工的方式对图像进行文本的标注，然后 通过关键词的方式进行检索。但是，这种管理方法存在着两个问题，首先，手工 图像标注的代价十分昂贵，其次，手工图像标注会带来无法避免的主观性和不准 确性。而随着互联网图像内容的迅猛增长，基于纯粹手工图像标注方法的缺点日 益突出。自2 0 世纪9 0 年代以后，从挖掘图像的视觉内容出发，人们提出了基于 内容的图像检索( c o n t e n t b a s e di m a g er e t r i e v a l c b i r ) 。c b i r 的方法首先将图像 视觉特征表示为高维空间中的向量并进行索引，然后通过视觉相似度计算就可以 对图像进行检索。但是，由于高维空间特征向量引起的索引效率低的问题【3 】和“语 义鸿沟引起的精度问题，c b i r 的方法遇到了它发展的一个瓶颈。近年来，为 了突破图像手工标注和c b i r 的方法限制，人们开始寻找自动产生图像标注和标 签推荐的方法。 1 2 研究意义 通过自动图像标注和标签推荐技术，不仅可以将图像的索引转化为图像的标 浙江大学硕 ：学位论文第1 章绪论 签标注信息的索引，并利用成熟的文本检索技术实现简单高效的检索，而且直接 采用基于文本的图像检索也更符合互联网用户的检索习惯和需求【4 】。 近几年来，；妇动图像标注和标签推荐技术已经逐渐发展成为图像检索的核 j ：， ：一 、 心，但是，目前大多数自动图像标注和标签推荐技术处理的对象是一个相对闭合 的集合，近两年来，研究重点逐渐转向大规模的互联网图像标注【5 】和标签推荐。 而互联网用户为f i i c k r 等互联网图像共享网站上的图像手工添加标签等信息给图 像的高效管理和检索带来了极大的便利。但是，s i g u r b j s m s s o n 6 等对f l i c k r 互联 网共享图像的手工标注的行为进行深入的分析与挖掘，研究结果表明：2 0 的图 像根本没有任何标签，6 4 的图像标签均少于或等于3 个。因此，如何对大量无 标签或者标签不足的图像自动添加标签是当前研究的热点问题。另一方面，由于 对图像手工添加标签费时费力，尤其是高质量标签更需要花费用户相当多精力， 这就导致了互联网用户不情愿添加更多有用标签或者根本不添加任何标签的情 况，使得网络资源共享面临很大挑战。而自动标签推荐方法，能够让用户在上传 图像时对推荐的相关标签予以选择，在很大程度上方便了用户的手工标注。因此， 如何有效的进行标签推荐也逐渐成为研究的热点。 区别于一般的独立图像，互联网共享图像具有如下的特点，因此面向互联网 图像的自动图像标注和标签推荐也面临新的挑战和机遇： 1 1 互联网图像视觉内容杂乱、语义复杂，一张图像往往同时包含多个主题 信息，比如既包含了“天空”、“云彩”等主题信息，同时也包含了“水”、 “河流”等主题信息。 2 1 互联网图像具有上下文多样特性，或有伴随文本，或有标注词，或无相 关文本。 3 、互联网图像具有广泛的关联性，同一网页内的图像与文本之间，不同网 页的图像与图像之间，以及不同网页内的文本与文本之间都可能存在不 同程度的关联。 4 1 互联网图像概念丰富，比如f l i c k r 图像的标签词条已超过了1 亿3 千万 条，涵盖了6 千多万概念，囊括了风景、建筑、人物肖像、活动剪辑等 2 浙江大学硕士学位论文第l 章绪论 多样的内容、事件或对象； 从上可见，现有自动图像标注和标签推荐算法由于互联网图像视觉内容杂 乱、上下文多样性、广泛关联性、概念丰富等特性，导致其在通用性和精度上与 现实的应用需求之间仍存在较大的差距。因此，通过结合图像视觉内容信息和上 下文文本信息，研究设计一个更通用、更精确、更快速的自动图像标注和标签推 荐算法，来支持大规模基于标签标注的图像检索，发挥互联网共享图像资源的优 势，具有重要的研究意义和应用价值。 1 3 研究动机和本文的主要工作 由于共享网络图像具有视觉内容杂乱、上下文多样性、广泛关联性、概念丰 富等特性，因此难以使用传统算法对其进行有效标注。深入分析f l i c k r 上的共享 图像可发现一个f l i c k r 用户的一个显著的行为特征：当用户根据时间、地点、人 物或者事件将个人图像上传到个人相册之后，会进一步根据图像的主题内容将其 推荐到相应社群中去。f l i c k r 中的社群是指包含某一特定主题( t o p i c ) 的相关图 像的集合，即使用户上传了与社群主题不相关的图像到某个社群，管理员也会把 这些主题无关的图像踢出该社群，这就保证了社群中图像主题的一致性。因此， 图像所在社群的主题信息可以被用来对图像进行标注。同时，一个社群的主题又 可进一步细分为若干个个子主题( s u b - t o p i c ) ，因此，可结合图像的视觉相似性和 社群的隐含主题的挖掘结果，生成更加准确的标注结果。 通过在f l i c k r 图像共享网站上随机选取1 0 0 个用户，并随机选取每个用户的 1 0 张图像进行挖掘与分析，分析结果表明，平均每张图像被推荐到5 个社群，这 说明利用社群信息来提高图像标注结果是可行的。 因此，在图像标注方面，本文提出了基于社群隐含主题挖掘和多社群信息融 合的自动图像标注算法，该算法首先采用隐d i r i c h l e t 分配模型( l a t e n td i r i c h l e t a l l o c a t i o n ，l d a ) 1 7 , 8 】对单个社群中隐含主题( l a t e n tt o p i c ) 进行挖掘，并根据 候选标签与社群隐含主题之间的相关性对由相似图像标签传播产生的初始候选 标注标签进行社群级别的过滤和图像级别的重新排序；然后通过多层次多社群的 3 浙江大学硕士学位论文第1 章绪论 主题信息融合，产牛最终标注结果。 对于社群中的每一个用户的每张图像，它不仅与该用户的用户上下文具有 相关性，与该图像具有视觉相似形的图像具有相关性，也与社群中的文本具有上 下文主题相关性，如何结合文本、图像、用户上下文信息提高图像标签推荐的结 果也是多媒体领域中的一个研究热点。 因此，在标签推荐方面，基于c h e n g t 9 】等通过随机游走( r a n d o mw a l k ) 的方 法在k 分图上进行基于查询的推荐，本文提出了基于社群文本、图像和用户上下 文的通用个性化标签推荐算法，该算法首先建立由用户、图像、标签组成的三元 矩阵，然后在社群中寻找与待标签推荐用户兴趣相近用户以及与待标签推荐图像 相似的图像得到用户的个人偏好，最后利用随机游走机制对标签进行排序，得到 推荐结果，该方法具有通用性，即只要给出用户、图像和标签中任何一个元素， 均可得到标签推荐结果。 1 4 本文的组织结构 在本文的第一章，首先介绍了大规模互联网多媒体检索的发展趋势以及存在 的问题，然后引出了自动图像标注和标签推荐的研究意义以及本文要的两个主要 工作：基于社群隐含主题挖掘和多社群信息融合的自动图像标注算法和基于社群 文本、图像和用户上下文的通用个性化标签推荐算法。 在本文的第二章，首先从基于图像上下文文本的自动图像标注、基于图像视 觉内容的自动图像标注、结合图像上下文文本和视觉内容的自动图像标注三个方 面来讨论了国内外自动图像标注的研究现状和发展趋势，接着从基于用户一标 签、用户一资源的协同过滤方法、基于p a g er a n k 图模型的标签推荐方法、基于 标签共生关系统计的标签推荐三个方面讨论了国内外图像标签推荐的研究现状 和发展趋势。 在本文的第三章，介绍了本文的基于社群隐含主题挖掘和多社群信息融合的 自动图像标注算法，该算法首先采用隐d i r i c h l e t 分配模型对单个社群中隐含主题 进行挖掘，并根据候选标签与社群隐含主题之间的相关性对由相似图像标签传播 4 浙江大学硕士学位论文第l 章绪论 产生的初始候选标注标签进行社群级别的过滤和图像级别的重新排序；然后通过 多层次多社群的主题信息融合，产生最终标注结果。 在本文的第网章，介绍了本文的基于社群文本、图像和用户上下文的通用个 性化标签推荐算法，该算法首先建立由用户、图像、标签组成的三元矩阵，然后 在社群中寻找与待标签推荐用户兴趣相近用户以及与待标签推荐图像相似的图 像得到用户的个人偏好，最后利用随机游走机制对标签进行排序，得到推荐结果， 该方法具有通用性，即只要给出用户、图像和标签中任何一个元素，均可得到标 签推荐结果。 在本文的第五章，我们对全文进行总结，并对对自动图像标注和标签推荐的 未来进行了展望。 1 5 本章小节 在本章，我们首先介绍了自动图像标注和标签推荐的研究背景和研究意义， 然后提出了本文的两个主要工作：基于社群隐含主题挖掘和多社群信息融合的自 动图像标注算法和基于社群文本、图像和用户上下文的通用个性化标签推荐算 法。 5 浙江大学硕士学位论文第2 章周内外研究现状与发展趋势 第2 章国内外研究现状与发展趋势 2 1 自动图像标注的研究现状与发展趋势 互联网图像主要涉及了两种媒质，图像上下文中的文本等信息和图像本身。 因此，本文分别从基于图像上下文文本的自动图像标注、基于图像视觉内容的自 动图像标注、结合图像上下文文本和视觉内容的自动图像标注这三个方面来论述 国内外的自动图像标注的研究现状和发展趋势。 2 1 1 基于图像上下文文本的自动图像标注 互联网图像通常是和互联网网页内容一同发布的，处于一定的上下文语境 中。具体来说，图像上下文，可分为基于图像相关网页伴随文本的局部上下文和 基于整个互联网下的全局上下文。其中，独立的图像只有全局上下文信息，而有 伴随文本的图像则足结合了全局上下文信息与局部上下文信息。在本文中基于图 像上下文信息的自动图像标注更偏重于上下文的文本信息，而自然语言处理的方 法常用来进行文本的表示或者语言的建模。目前，最常用的自然语言处理的方法 就是基于n 元文法的统计语言模型，它通过对大规模语料库进行深层次的挖掘、 统计、学习和加工，获取大规模语料库中的深层次的语言知识。基于n 元文法的 统计语言模型在机器翻译、信息检索和词性标注中都有十分广泛的使用。但是， 在建立语言模型的过程中，有两个非常难解决的问题。第一个问题是关于训练数 据的失配问题，由于n 元文法的方法完全是依靠数据统计，训练数据与待识别数 据的相关性决定了n 元文法的性能，因此，语言模型自适应常被用来解决失配的 问题。第二个问题是关于训练数据的稀疏问题，由于训练数据不可能包括所有可 能的词汇，数据的稀疏问题就成为影响n 元文法性能的另外一个重要原因。而各 种平滑算法被用于解决这一问题，如：w i t t e n b e l l 平滑，以及k n e s e r - n e y 平滑等 等。 在早期的统计语言模型的应用中，词与词之间的关系通常被假设为相互独立 的。但是在近年来，在图像标注应用中，人们慢慢的意识到利用词与词之间的直 6 浙江大学硕士学位论文第2 章国内外研究现状与发展趋势 接相关性或隐含相关性可以改进标注的性能【1 0 1 。目前获取词与词之间的相关性信 息的方法主要分为两种。种方法是利用一些公开的、常用的辞典如w o r d n e t 【 等来提取词与词之间的相关语义关系。但是，这种方法的性能容易受到辞典的完 整性和大小的影响。另外一种方法是通过数据统计的方法来获取词与词之间的语 义关系，比如，两个具有较高共生频率的词与词之间就存在着相对比较强的语义 关系，而t f i d f 等方法经常被采用来对数据集中的词与词之间的共生关系进行 计算。但是，由于数据集的大小的有限性，这些方法常常带有一定的偏向性。为 了解决统计偏差的i - 1 题，c i l i b r a s i 1 2 】等提出了利用g o o g l e 文本搜索引擎的搜索结 果来估计词语间的相关性，即g o o g l ed i s t a n c e 。在g o o g l ed i s t a n c e 的之后，w u ”】 等提出了通过f l i c k r 图像搜索引擎得到的图像视觉内容的相似性来估计词语之间 的相关性，即f l i c k rd i s t a n c e ，它比g o o g l ed i s t a n c e 取得了更好的性能。 综上所述，基于图像上下文文本的自动图像标注，可以采用传统的统计语言 模型的方法，但是语言模型训练过程中的数据失配与数据稀疏问题还需要进一步 的解决；同时，在处理词与词之间的关系上，从词与词之间的关系相互独立，到 通过挖掘词与词之间的直接相关性和隐含相关性来进行自动图像标注，词与词之 间的相关性挖掘将足以后自动图像标注研究的重点。 2 1 2 基于图像视觉内容的自动图像标注 计算机视觉中的经典m a r r 理论指出，图像的视觉内容表示可以分为三层：第 一层是基于图像特征的提取和分析的底层视觉表示；第二层是基于图像中物体几 何模型特征表达的中层视觉表示；第三层是基于知识描述和语义理解的高层视觉 表示。在图像标注中，从低层视觉到中层视觉再到高层视觉，分别对应于基于像 素的图像特征表达，基于对象的图像特征表达与基于语义的图像理解等三个层 次。而自动图像标注则要求对图像进行多层次视觉上的理解来产生语义标签作为 图像标注的结果。 近年来，受到自然语言处理中通过“词袋”( b a go f w o r d s ) 来表示文档的启 发，自动图像标注方法开始将图像的表示问题类比于文档的表示问题，通过借鉴、 7 浙江大学硕1 ：学位论文第2 章因内外研究现状与发展趋势 分析与利用文本分析与理解中成熟的方法与技术，把图像特征类比成“视觉单 词”。通过对图像特征进行聚类、分类、量化和采样等处理，这种方法生成一定 数量的“视觉单词”来反映离散图像数据点之间的相互关联性。图像视觉内容的 表示是基于视觉内容的自动图像标注的核心，它主要可分为基于对象的像视觉内 容表示、基于子块的像视觉内容表示和基于特征点的像视觉内容表示等三种图像 视觉内容表示方法。 基于对象的图像视觉内容表示方法首先利用图像分割与边缘检测等技术对 图像中包含的对象进行分析与检测，再从检测到的对象区域中提取相应的视觉特 征来构建视觉单词及文法来实现对图像的理解和标注。一般情况下，一个良好的 对象区域会包含视觉对象的主要信息。但是，由于图像分割算法本身的不稳定性、 不确定性使得这种方法在实际应用中仍面临不少困难。 基于子块的图像视觉内容表示方法首先将图像切分为规则的矩形小块来代替 基于对象的复杂的图像分割算法，然后再从每个子块中提取特征并通过聚类、分 类等方法转化为视觉单词，进而采用视觉语义模型等方法进行视觉单词语义概念 的建模。但是，由于图像中的对象尺度具有不确定性，基于子块的方法的性能容 易受到子块大小的影响，而基于尺度不变的视觉语义模型f 】4 】等可以用来对这种方 法进行改进；另外，这种方法也容易受到图像子块中的图像特征类型影响，如何 根据图像中的局部信息自动选择合适的图像特征也是该方法的另外一个改进的 方向。 基于特征点的图像视觉内容表示方法主要通过d i f f e r e n c eo fg a u s s i a n s 等检 测因子提取图像的局部特征点，然后通过局部特征点提取s i f t t l 5 1 ( s c a l e i n v a r i a n t f e a t u r et r a n s f o r m ) 等特征并转化成视觉单词，进而通过基于图结构的视觉语义模 型【l6 】等进行视觉单词语义概念的建模。基于s i f t 等特征点的内容表示方法往往 具有平移、旋转、尺度不变等优良的特点，因而能够适用与大部分的图像。但是， 这种方法也面临两个难点：第一个难点是视觉词典的构建问题，第二个难点是空 间信息的利用问题。y a n g 17 】等在基于视觉单词的图像标注的方法中对词汇大小、 空间关系和特征选择等因素在视觉语义识别中造成的影响进行了详细分析与评 8 塑垩奎兰堡兰= 堂堡垒壅。笙! 雯旦塑! ! 塑壅丝鉴皇垄垦望箜 估，分析结果表明目前的研究方法仍然有待提高。具体而言，y u a n i 埔】等提出了“视 觉短语”的概念来增强视觉词典的构建；l a z e b n i k l l9 】等在视觉单词的基础上提出 了简单易算的空间金字塔模型来计算视觉单词之间的语义相关性来提高空间信 息的利用；j a m i e s o n 1 6 】等将视觉单词以基于图结构的视觉语义模型来表示，在该 图模型中每个顶点用视觉单词来表示，这些顶点保持平移、旋转、尺度不变性， 但是不包含空间信息，而每条边则包含了相对的两个顶点之间的空间信息，比如 相对尺度变化、相对位移变化、相对方向偏移等等。 j a m i e s o n t l 6 】等提出的基于图结构的视觉语义模型，在自动图像标注上面取得 了相当不错的性能。该方法以拓扑知识理论为基础，并根据图像数据对相应物体 的空间结构提供充分的相关信息，对于每一张图像，不仅可以用视觉特征的提取 来表示之外，还可以通过对这些特征进行组织形成基于结构的对象来进行基于语 义的表达。 综上所述，基于图像内容的自动图像标注，主要有基于对象、基于子块、基 于特征点等三种视觉内容表示方法，视觉内容的表示开始逐渐摆脱了对分割算法 和对尺度可变性的依赖，向着基于图结构的视觉语义模型发展，并且对视觉特征 的空间信息的利用也变得越加充分。 2 1 3 结合图像上下文文本和视觉内容的自动图像标注 近年来，基于图像上下文文本的自动图像标注和基于视觉内容的自动图像标 注这两种方法开始走向融合，结合图像上下文和视觉内容的自动图像标注逐渐成 为自动图像标志的研究热点。在o h a r e l 2 0 】等开发的人物照片管理系统m e d i a s s i s t 中，在利用人物的人脸、身体子块等视觉内容的基础上，通过结合照片上下文中 的时间、地点等信息对照片种的人物进行了识别和标注；另外，基于对偶跨媒体 相关模型【2 1 】( d c m r m ) 的方法在计算标签与测试图像的相关性时，不仅考虑了 标签与测试图像的伴随文本之间的语义相关度，还考虑了标签的g o o g l e 相关图像 与测试图像的基于g o o g l ed i s t a n c e 的视觉相似性。而基于双向图增强模型1 2 2 】 ( b g r m ) 的方法首先从测试图像的伴随文本中抽取关键词作为初始标注词集， 9 浙江大学硕j ：学位论文第2 章同内外研究现状与发展趋势 接着，以初始标注词检索g o o g l e 图像搜索引擎获取与初始标注词相关的图像，并 从这些图像的伴随文本中抽取新的关键词作为扩展标注词集，最后将初始标注词 集及初始图像、扩展标注词集及相关图像组成一个双向图增强模型( b g r m ) 。在 b g r m 中，通过结合标注词之间的语义相关度、标注词和图像之间关联、图像之 间的视觉相似度实现了图像标注的改进。上述方法不仅通过结合图像上下文文本 和视觉内容对自动图像标注进行了改善，而且通过利用g o o g l e 图像搜索引擎的检 索结果进行增强，摆脱了传统标注算法对标注图像集的依赖，因此更适合于大规 模互联网图像的标注。但是，由于上述方法并没有对图像对象进行显式地建模， 在图像的标注过程中不仅要求测试图像具有伴随文本以支持对初始标注词的提 取，同时还要求标注系统支持对图像搜索引擎的在线访问，这些因素都限制了这 些方法的通用性。 综上所述，结合上下文信息和视觉内容信息进行自动图像标注已成为当前的 研究热点。研究的方法也开始从有监督学习到无监督学习的方向发展；而学习过 程也从开始的简单利用图像与图像之间、标签与标签之间、图像与标签之间的关 系，到部分的联合利用图像、标签之间的关系，再到结合所有三种关系的来进行 自动图像标注的方向发展。 2 2 标签推荐的研究现状与发展趋势 标签推荐系统一般根据明确的或隐含的评级为用户推荐有趣的或个性化的 信息对象。通常标签推荐系统用来预测对象的排名或建议一个用户可能最喜欢的 新的对象列表。在标签推荐系统里，对于一个给定的用户“u 和一个给定的资 源，r ，以及一个标签集合于( ”，) t 。在一般情况下，于( “，r ) 的计算方法足首 先根据一些质量或相关的标准生成一个标签的排名，然后通过选中前刀个元素得 到标签推荐的结果。 基于社会网络的标签推荐方法主要考虑用户、标签、资源等，它主要可以微 分下面三种：基于用户一标签、用户一资源的协同过滤( c o l l a b o r a t i v ef i l t e r i n g ) 方法、基于p a g er a n k 图模型的标签推荐方法、基于标签共生关系统计的标签 1 0 浙江大学硕i 二学位论文第2 章国内外研究现状与发展趋势 推荐方法。 2 2 1 基于用户一标签、用户一资源的协同过滤方法 随着w e b2 0 技术的快速发展，一种新型的网络信息分类法一分众分类法 ( f o l k s o n o m y ) 被越来越多地应用到社会化共享网络上。用户可以通过标签对共同 感兴趣各种网络资源进行标注，如网页、图像、视频、学术刊物和商品等。当这 些网络资源被用户标注上丰富的标签信息后，互联网上用户就可以更方便地组织 和访问这些资源。这些系统可以根据它们支持什么样的资源而区分。比如，f l i c k r 【1 j 允许用户共享照片，d e l i c i o u s 【2 4 】共享书签，c i t e u l i k e l 2 5 】和c o n n o t e a 2 6 共享参考 书目，l a s t f m l 2 7 共享用户的收听 - j 惯，b i b s o n o m y 【2 8 】允许共享b i b t e x 出版作品 的同时共享书签。 协同过滤是一种利用多个数据源的资源进行协作的过滤技术，协同过滤通常 涉及非常大的数据。协同过滤方法已应用于包括遥感、监测数据以及金融等数据， 同时也更多地被应用于电子财务数据、电子商务和w e b2 0 应用中的用户关系数 据。 基于协同过滤的标签推荐方法主要通过分析用户自身或其他相似用户标注行 为中的标签进行标签推荐。由于其简单性和有效性，协同过滤一直是推荐系统中 最经常使用的方法。 协同过滤系统通常采取两个步骤： 1 查询活动用户中和该用户共享排序模式的其他用户，比如共同的兴趣、爱 好。 2 利用这些从第1 步中找到相似的用户来计算对该用户的预测 在信息爆炸的时代，协同过滤技术被证明是非常有用，因为每一类的数据( 如 电影，音乐，书籍，网页) 都已经变得相当的庞大，以致一个人不可能有看所有 的资源，因此必须通过某些方法、途径来选择相关的资源。那些利用对所有用户 进行统计平均的计分或排序系统忽略了用户的具体要求，特别是当用户的兴趣有 很大的变化的时候，它们的选择结果变得非常的糟糕，比如关于音乐建议的例子， 浙江大学硕士学位论文第2 章国内外研究现状与发展趋势 而协同过滤可以很好的解决这个问题。 协同过滤主要可以分为三类：主动协同过滤，被动协同过滤，以及基于i t e m 的协同过滤。 因为万维网提供给用户的信息在不断地增加，因此主动协同过滤在近年来变 得越来越流行。随着越来越多的海量信息地被添加到互联网中，寻找高效率和有 价值的信息也变得更加困难。 主动协同过滤使用点对点的方式进行过滤。与其他的协同过滤方法不同的是， 主动协同过滤是一个同行或同事拥有类似的产品或其他实物，同时也分享了其他 人浏览信息的系统，它也是一个以人们希望与其他同行分享信息为基础的系统。 主动协同过滤的用户利用常用链接向用户发送信息，而其他人通过网络查看资源 的评级来帮助自己做出决定。 被动协同过滤是一种被认为在未来有巨大潜力的方法。首先，被动协同过滤 方法含蓄地收集一些重要的信息，比如用户的行动。然后，这些隐含的过滤器被 用于确定用户会喜欢什么，并建议一些感兴趣的潜在资源。隐式过滤依赖于用户 的行为来确定对某个具体内容的价值评价，例如：购买物品；反复使用、储存、 打印某个东西；关联或链接到某一个站点；查询的次数等。 被动协同过滤的一个重要的特征就是通过使用时间来确定用户是在扫描文 件，还是阅读全部材料。该系统最大的优点是：它在分析中利用了会在目前的主 动过滤中被忽略的某些信息。例如，只有某些类型的人会在主动协同过滤中被记 录，而在被动协同过滤中，在任何时间访问该站点的任何人的数据都会被自动获 得。 基于i t e m 的协同过滤是一种把i t e m 而不是用户当作参数的协同过滤方法。这 种类型的协同过滤方法通过评分来把各个i t e m 聚集起来，让消费者能对它们进行 比较以及评价，当这些信息被提供给制造商后，制造商就可以从消费者对自己产 品的评价在来定位自己的产品。 在基于i t e m 的协同过滤方法中，用户通过使用和测试产品，并给予它在相关 的产品组中的评价。在用户评分的基础上，产品被分好类。产品经过相同的用户 1 2 浙江大学硕j ：学位论文第2 章国内外研究现状与发展趋势 组进行测试，可以获得准确的评价并消除一些可能的误差。 综上所述，主动协同过滤、被动协同过滤，基于i t e m 的协同过滤分别有它们 各自的优点和缺点，他们在标签推荐系统 2 9 , 3 0 , 3 1 , 3 2 , 3 3 , 3 4 中有着广泛的应用。由于本 文的标签推荐主要涉及到用户以及他的好友，图像以及它的相似图像等相关信 息，因此主动协同过滤、基于i t e m 的协同过滤更经常地被用来对图像进行标签推 荐。比如，d e s h p a n d e 3 2 】等提出的基于i t e m 的标签推荐系统中，i t e m 之间的相似 性首先被计算出来，然后基于i t e m 之间的相似性，可以得到候选标签集中每个i t e m 和已知标签集的相似性，并得到最终的推荐结果；m i s h n e s q 等通过主动协同过滤 对博客网站中的用户进行标签推荐，具有很高的精确度；在基于社会网络的在线 书签系统 3 4 】里，主动协同过滤就被用来做标签推荐，并且也取得了不错的推荐效 果。 2 2 2 基于p a g er a n k 图模型的标签推荐方法 p a g er a n k 3 5 】是一个链接分析算法，它被g o o g l e 搜索引擎用来评价互联网超 链接文集中每一个链接的权重，即相对重要性。g o o g l e 搜索引擎把从a 页面到b 页面的链接解释为a 页面对b 页面的投票，并且根据投票来源和投票目标的重要 性来决定新的投票目标的重要性，即一个高等级页面可以提高与它相关的低等级 页面的重要性。一个拥有较多链入链接的页面会有较高的相对重要性，而一个没 有任何链入链接的页面的相对重要性近似为零。如果投票的网页本身很“重要”， 那么它有助于提高其他与该网页有链接地网页的“重要性”。 假设一个由4 个页面组成的小网络，如图2 1 所示：a ，b ，c 和d 。如果所 有页面都链向a ，那么a 的p r ( p a g e r a n k ) 值将是页面b ，c 和d 的p r 值的 和。即： p r ( a ) = p r ( b ) + p r ( c ) + p r ( d ) 在图2 1 里，b 也有链接链向c ，并且d 也有链接链向包括a 的所有其他3 个页面。因为一个页面不能投票2 次，所以b 给每个页面地投票都为半票。同样 的，d 投出的票只有三分之一算到了a 的p r 上。换句话说，p r 根据链接地总数 1 3 学目学位论文 第2 蕈胃自 研究现# ；x 趋势 平分一个页面的p r 值到其它相关的页面。所以a 的p r 值重新计算为 p r ( a ) ；p r ( b ) 2 + p r ( c ) 1 + p g ( d ) 3 l 囤2 1p a g e r a n k 例子 。 当计算完所有页面的p r 值后，所有这些p r 值被重新乘上一个系数q o 通过 上面所述的万 去，没有链入链接的页面的p r 值将会是零，所以g c o g l e 通过数学 公式给了每个页面个最小值1 1 。最后，页面a 的豫值可以计算为： p r ( a ) = ( 1 - q ) ，n + g “p r ( a ) l ( b ) + p r ( c ) l ( c ) + p r ( d ) l ( d ) ) 其中n 表示网络中页面的个数，p g ( 0 - 菱示页面i 的p r 值，u n 表示页面i 链 出链接的数目。 综上所述，一个页面的p r 是通过其他所有页面的腿值计算得到。g o o g l c 通过不断的重复计算每个页面的p r 值来得到所有页面的最终p r 值，即如果每个 页面都被分配给一个随机的p r 值( 非o ) 那么经过不断的重复计算这些页面 的p r 值会趋向于稳定而得到所有页面的相对重要性。 基于p 螭er a n k 的页面捧序方法，h o t h o 等提出了f o l k r a n k l 3 6 方法，并把它 应用到信息检索和标签推荐领域取得了不错的效果。 浙江大学硕士学位论文第2 章闻内外研究现状与发展趋势 2 2 3 基于标签共生关系统计的标签推荐方法 当某个用户对图像进行标签推荐的时候，根据相关图像的标签共生关系的统 计，可以对用户输入的标签进行标签推荐。 我们称标签之间共生关系为共生度，如何度量标签的共生度有很多的方法。 我们定义标签f ，和f ，之间的共生次数c o n ( t ，t j ) 表示在整个数据集图像中，被同时 标注了标签t 和t ，的图像数目，记为： c o n ( 6 ，f ，) = if ，n f ，l 公式( 2 1 ) 因为标签之间共生次数c o n ( t ，f ，) 没有考虑到这两个标签分别被使用的频率， 因此如果仅仅依据两个标签之间共生出现的次数来度量它们之间的共生度，并不 是一种十分有效方式，所以我们需要对公式( 2 1 ) 进行归一化。当前研究中， 有两种主要的归一化方法，它们在s i g u r b j f m s s o n 呻1 等的文章中分别被称为对称式 共生度和非对称式共生度。 2 2 3 1 对称式共生度 根据包含标签i 或的图像总数目，可将刀( f f ，) 归一化为： 删= 剿 矧锄， 公式( 2 2 ) 同时考虑了标签f ，和0 分别被使用次数，其中分子表示同时包含 标签和0 的图像总数目，而分母表示包含标签或0 的图像总数目。 2 2 3 2 非对称式共生度 通过条件概率的方法可以计算标签之间的非对称共生度，即可以根据标签六 的数目来归一化0 ，计算方法如下： p ( t ji t l ，= 掣 公式( 2 3 ) 公式( 2 3 ) 表示一张已被标注了的图像同时被标注为0 的概率，其中分子 表示同时包含标签t 和0 的图像总数目，而分母表示包含标签f j 的图像总数目。 1 5 浙江大学硕士学伉论文第2 章国内外研究现状与发展趋势 s i g u r b j 5