基于内容相关性的场景图像分类方法.pdf

计算机研究与发展I S S N1 0 0 0 12 3 9 N1 卜1 7 7 7 T P J o u r n a lo fC o m p u t e rR e s e a r c ha n dD e v e l o p m e n t 4 6 7 l19 8 一I2 0 5 2 0 0 9 基于内容相关性的场景图像分类方法 秦 磊1 2 高 文2 矗 1 中国科学院计算技术研究所智能信息处理重点实验室北京 1 0 0 1 9 0 2 中国科学院计苒技术研究所北京1 0 01 9 0 3 北京大学数字媒体研究所北京 1 0 0 8 7 1 I q i n j d l a e o n e n eI m a g eC a t e g o r i z a t i o nB a s e dO i lC o n t e n tC o r r e l a t i o n Q i nI e i l 2a n dG a oW e n 2 3 1 K e yL a b o r a t o r yo fI n t e l l i g e n tI n f o r m a t i o nP r o c e s s i n g I n s t i t u t eo fC o m p u t i n gT e c h n o l o g y C h i n e s eA c a d e m yo fS c i e n c e s B e i j i n g1 0 0 19 0 2 I n s t i t u t eo fC o m p u t i n gT e c h n o l o g y C h i n e s eA c a d e m yo fS c i e n c e s B e i j i n g1 0 0 1 9 0 3 I n s t i t u t eo fD i g i t a lM e d i a P e k i n gU n i v e r s i t y B e i j i n g1 0 0 8 7 1 A b s t r a c tS c e n ei m a g ec a t e g o r i z a t i o ni sab a s i cp r o b l e mi nt h ef i e l do fc o m p u t e rv i s i o n Ac o n t e n t c o r r e l a t i o nb a s e ds c e n ei m a g ec a t e g o r i z a t i o nm e t h o di sp r o p o s e di nt h i sp a p e r F i r s to fa l l d e n s el o c a l f e a t u r e saree x t r a c t e df r o mi m a g e s T h el o c a lf e a t u r e sa r eq u a n t i z e dt of o r mv i s u a lw o r d s a n di m a g e s a r er e p r e s e n t e d b y t h e b a g o f v i s u a lw o r d s v e c t o r T h e nal o g i s t i c n o r m a ld i s t r i b u t i o n b a s e d g e n e r a t i v em o d e li su s e dt ol e a r nt h e m e si nt h et r a i n i n gs e t a n dt h e m e sd i s tr i b u t i o no ne a c hi m a g ei n t h et r a i n i n gs e t F i n a l l y a nS V Mb a s e dd i s c r i m i n a t i v em o d e li su s e dt ot r a i nt h em u h i c l a s s i f i e r T h e p r o p o s e d a p p r o a c h h a st h e f o l l o w i n ga d v a n t a g e s F i r s t l y t h ea p p r o a c hu s e sl o g i s t i cn o r m a l d i s t r i b u t i o na st h ep r i o rd i s t r i b u t i o no ft h e m e s T h ec o r r e l a t i o no ft h e m e si 8i n d u c e db yt h ec o v a r i a n c e m a t r i xo fl o g i s t i cn o r m a ld i s t r i b u t i o n w h i c hm a k e st h et h e m ed i s t r i b u t i o no fs u b j e c t sm o r ea c c u r a t e S e c o n d l y m a n u a l l yt a g g i n gi m a g ec o n t e n ti sn o tr e q u i r e di nl e a r n i n gp r o c e s s S Oa st oa v o i dt h eh e a v y h u m a nl a b o ra n ds u b j e c t i v eu n c e r t a i n t yi n t r o d u c e di nt h ep r o c e s so fl a b e l i n g An e wl o c a ld e s c r i p t o ri s p r o p o s e di nt h i sp a p e r w h i c hc o m b i n e st h eg r a d i e n ta n dc o l o ri n f o r m a t i o no fl o c a la r e a E x p e r i m e n t a l r e s u l t so nn a t u r a Is c e n ed a t a s e ta n dm a n m a d es c e n ed a t a s e ts h o wt h a tt h ep r o p o s e ds c e n ei m a g e c a t e g o r i z a t i o nm e t h o da c h i e v e sb e t t e rr e s u l t st h a nt r a d i t i o n a lm e t h o d s K e yw o r d s s c e n ei m a g ec a t e g o z a t i o n g e n e r a t i v em o d e l l o g i s t i cn o r m a ld i s t r i b u t i o n c o n t e n t c o r r e l a t i o n c o m p u t e rv i s i o n 摘要场景图像分类是计算机视觉领域中的一个基本问题 提出一种基于内容相关性的场景图像分类 方法 首先从图像上提取视觉单词 并把图像表示成视觉单词的词频矢量 然后利用产生式模型来学习 训练集合中包含的主题 和每一幅图像所包含的相关主题 最后用判定式分类器进行多类学习 提出的 方法利用l o g i s t i c 正态分布对主题的相关性进行建模 使得学习得到的类别的主题分布更准确 并且在 学习过程中不需要对图像内容进行人工标注 还提出了一种新的局部区域描述方法 它结合了局部区域 收稿日期 2 0 0 7 1 0 2 2 修回日期 2 0 0 9 0 2 一1 1 基金项目 国家 八六三 高技术研究发展计划基金项目 2 0 0 6 A A 0 1 2 1 17 国家 九七专 重点蕞础发展研究计划基金项目 2 0 0 9 C B 3 2 0 9 0 0 万方数据 秦磊等 基于内容相 天性的场景图像分类方法1 1 9 9 的梯度信息和彩色信息 在自然场景图像集合和人造场景图像集合上实验了提出的方法 它相对于传统 方法取得了更好的结果 关键词场景图像分类 产生式模型 l o g i s t i c 正态分布 内容相关性 计算机视觉 中图法分类号T P 3 9 1 4 1 随着高分辨率数字照相机的普及 高质量数字 图像的数鞋旱现m 爆发式的增长 为了有效地管理 和检索网络上及个人主机上的图像 对图像分类技 术的需求越来越迫切 场景图像分类技术是其中重 要的一类 其目标是把场景图像自动地分到有语义 的场景类别中 如森林 海岸 公路等 图像依场景分 类后可以有效地组织和浏览图像数据库 所以场景 图像分类技术可以应用到如下领域中 个人影集或 专业图像集合管理系统 基于内容的图像检索等 根据是否需要首先识别场景中所m 现的物体 可以把场景分类技术分为2 大类 传统的观点认为 为了理解一个复杂的场景 必须先对场景中的物体 进行识别 然后才能根据物体识别的结果理解场景 并识别场景的类别 但是如何有效地识别物体至 今还没有解决 所以最近很多研究者尝试不进行物 体识别 而是先构造场景的内容表示 然后根据场景 的内容表示对场景分类 2 3 O l i v a 等人提出了一个 场景图像的低维表示方法 共有5 维 自然性 开放 性 粗糙性 辽阔性 险峻性 2 这个表示方法结合了 场景的全局属性和局部属性对场景内容进行表述 V o g e l 等人用一种通过人工标注得到的内容表示来 进行场景分类口 他们首先用一个均匀的网格把图 像分成小区域 每个小区域被人 T 赋予一个概念 如 岩石 草地等 然后图像就可以用一个内容概念矢量 来表示 可以看到 文献V 2 3 1 通过人工标注得到场 景的内容表达 其中封装了内容概念间的相关性 但 是它们有大量的数据需要进行人工标注 在文献E z 中需要给每个训练图像的5 个不同属性进行人工打 分 在文献 3 3 中需要把从训练图像中得到的5 9 5 8 2 个局部图像片人工分类到9 个内容概念中 为了避 免繁重的人工标注 最近有人尝试直接从图像中学 习内容表达 L i 等人和B o s c h 等人分别利用l a t e n t d i r i c h l e ta l l o c a t i o n L D A 43 模型和概率隐含语义分 析模型 p L S A 5 进行无监督的场景分类 6 7 3 p L S A 和L D A 最早被提出用来发现文本中所包含主题 它们都是以 b a g o f w o r d s 文本表示方法为基础的 无监督分类算法 文献 6 7 的优点是它们利用了无 监督分类算法 所以训练数据不需要人工标注 成功 地进行了无监督的场景分类 但是在它们的模型中 图像内容之间是相互独立的 没能描述图像内容间 的相关性 而事实上在场景图像中 图像内容是有很 强的相关性的 例如图1 a 中包含4 个区域 其中3 个区域的分别是天空 山脉 大海 右下角是未知区 域 图1 b 是候选的未知区域 分别是沙滩 树林 田地 公路 厨房 则根据常识候选区域出现的概率 是不同的 和天空 山脉 大海相关的沙滩 树林出现 在图1 b 中的概率较大 而和天空 山脉 大海不相 关的公路 厨房出现在图l b 中的概率较小 a J F i g 1 T h ec o r r e l a t i o no fi m a g ec o n t e n t a A ni m a g e t h a tc o n t a i n sf o u rr e g i o n s T h et h e m e so ft h r e er e g i o n s a r es k y m o u n t a i n sa n ds e ar e s p e c t i v e l y T h et h e m eo f t h el o w e rr i g h ta r e ai su n k n o w na n d b T h et h e m e s p r o b a b i l i t y 图1图像内容相关性示意图 a 一幅包含4 个区域 的图像 其中3 个区域的主题分别是天空 山脉 大海 右 下角是未知区域l b 未知区域的可能主题及其可能出 现的概率 为了能同时拥有上述2 种方法的优点 即在不 需要人工标注的情况下还能利用场景图像内容的相 关性 在本文中 我们提出一种新的结合了产生式模 型和判定式模型的弱监督场景分类方法 首先把图 像表示成视觉单词的词频矢量 然后利用基于 l o g i s t i c 正态分布的产生式模型把场景图像表示成 主题分布矢量 并用支撑向量机分类器进行分类 在 产生式模型中采用l o g i s t i c 正态分布作为场景图像 主题的先验分布是因为通过l o g i s t i c 正态分布的协 方差矩阵可以描述主题之间的相关性 图2 是我们方法的整体框架图 万方数据 1 2 0 0计算机研究与发展2 0 0 9 4 6 7 F i g 2 T h ef r a m e w o r ko ft h ep r o p o s e ds c e n ei m a g ec l a s s i f i c a t i o nm e t h o d 图2 方法的框架图 由特征提取并构造视觉词汇表 训练和分类3 部分组成 l 视觉单词和视觉词汇表 最近的研究表明局部特征在很多计算机视觉领 域取得了很可观的成功 例如图像匹配 8 物体识 别凹 视频检索 1 0 等领域 同全局特征相比 局部特 征对遮挡和空间变化有很好的鲁棒性 根据在图像 上的分布及提取方式 局部特征可以分为稀疏的局 部特征和密集的局部特征 稀疏的局部特征由局部 不变区域检测器来提取 主要分布在图像中特定结 构附近 如H a r r i s A f f i n e 区域 1 1 D o G 区域L 1 2 1 等 密集的局部特征是对图像进行等间距的采样得到的 局部区域 均匀分布在图像上 L i 等人在文献1 6 3 中 的实验表明 密集的局部特征比稀疏的局部特征更 适合于场景分类 所以下面我们用密集的局部特征 来表示图像 为了重复利用图像的色彩信息 我们提出一种 新的局部特征表示方法 H S V 域上的梯度直方 图 H S V G H 构造过程如下 首先把图像转换到H S V 空间上 对H S V 空间 的每个成分 在成分图像上叠加一个均匀的网格 网 格的间距是 N 个像素 在每个网格点 从成分图像 上提取半径为R 的圆区域 在这个圆区域上计算 G L O H 特征E 1 3 由于在场景分类任务中 多数情况 下图像之间是没有明显的旋转变化的 所以我们去 掉了计算区域主方向的步骤 最后把3 个成分上的 G L O H 特征连接 得到一个3 8 4 维的特征 在这里 我们取N 1 0 R 4 8 1 6 R 取3 个值是为了保证 对图像尺度变化的鲁棒性 首先从训练集合上提取H S V G H 特征集合 然 后利用k 均值算法对它们进行聚类 所有的聚类中 心构成一个视觉词汇表y 每个聚类中心就是一个 视觉单词 在聚类过程中 我们用的是欧氏距离 有 了词汇表y 后 对于每一个H S V G H 特征 寻找离 它最近的视觉单词u i 并用视觉单词v j 表示这个局 部特征 最后 每幅图像的 b a g o f v i s u a lw o r d s 表 示就是它的视觉单词的统计直方图 14 2 产生式模型 首先介绍要用到的术语和定义 图像集和视觉词汇表 假定有 个图像D d d d 其中每幅图像由J 个图像块构成 把所有的图像块量化就形成了长为m 的视觉词汇 表W 钮l 2 训 场景类和主题 场景类指的是场景图像的类别 如海岸 山脉等 主题指的是场景图像中所包含的如 岩石 海水 天空等内容 一个主题 是一个在视觉 词汇表上的多项式分布 主题分布矢量 每幅图像d 和一个主题分布矢量 万方数据 秦磊等 基丁内容卡H 天性的场景图像分类方法 1 2 0 l 以山 相连 其中 以 1 以 0 巩 反映了图 一l 像 中的视觉单词由第i 主题产生的概率 主题值 一个视觉单词由一个主题产生 幻 表 示图像 中的第行个视觉单词的主题 图像的 b a g o f v i s u a lw o r d s 表示 一幅图像中 的每个图像块用其相应的视觉单词表示 不考虑图 像块在图像中的几何位置关系 只统计相应视觉单 词在图像中出现的次数 这样一幅图像d 就可以表 示成一个长为m 的矢餐腮d 刀川 刀棚 7 1 d 其中n d i 表示第i 个视觉单词在图像d 中小现的次 数 这个矢量称为图像的 b a g o f v i s u a lw o r d s 表示 2 I基于l o g i s t i c 正态分布的产生式模型 为了能很好地建模场景图像内容的相关性 我 们利用l o g i s t i c 正态分布 朝作为图像主题分布矢量 的先验分布 它的协方差矩阵可以描述主题分布矢 量成分间的相关性 如图3 所示 分别为当主题成分 之间无相关 负相关 正相关时的l o g i s t i c 正态分 布 1 0 9 i s t i c s 正态分布已经被用在文本语义挖掘领 域中 1 6 1 7 F i g 3T h ed e n s i t i e so fl o g i s t i cn o r m a ld i s t r i b u t i o nO n 2 Ds i m p l e x a D i a g o n a lc o v a r i a n c ea n dn o n z e r o m e a n l b N e g a t i v ec o r r e l a t i o n a n d c P o s i t i v ec o r r e l a t i o n 图3 在2 维单纯形上的l o g i s t i c 正态分布密度 a 对 角协方差矩阵 b 负相关 c 正相关 给定主题届 K 惫维矢量p k 忌协方差矩阵三 后 一个有N 个视觉单词的图像d 硼 m W 州 的产生式过程如下 1 抽样图像 f 的主题分布矢量口 一 是一个 k 维l o g i s t i c 正态随机变量 抽样口一 N p 三 这里N p 三 是一个七 维的正态分布 通过下面的公式把口 映射到单纯形上 以 I e x p a 挑一C 面 c 西 I n e x p a T 2 产生图像d i 中每个视觉单词硼 抽样主题值z M u l t i n o m i a l O d 抽样视觉单词w a II 幻 届 I M u l t i n o m i a l 屉 这个过程可以表示成如图4 所示的概率图模 型 图中的矩形方框是一个缩略表示 表示其中的节 点要被复制多次 矩形方框的左下角的数字是复制 的次数 F i g 4G r a p h i c a lm o d e lr e p r e s e n t a t i o no ft h el o g i s t i c n o r m a lb a s e dg e n e r a t i v em o d e l 图4 基于l o g i s t i c 正态分布的产生式模型的概率图表示 2 2 模型的计算 给定一个图像d 硼 W 伽 和产生式模 型参数 届 p 三 则图像隐含变量的后验概率是 p a zd 届 K p 三 N p a p 三 H p z la p w I 届 K NK I 户 口Ip 三 I I p z Ia p w Iz 阻 d a H 1 l 因为分母上的积分所以不能直接计算 但是可以利 用很多数值计算方法来近似计算这个后验概率 如 M C M C 方法 L a p l a c e 近似和变分方法m 在本文 中 我们利用变分方法来进行近似计算 我们用J e n s e n 不等式来界定一个图像的对数 概率 l o gp dp 三 卢 E I np ap 三 N E I np z 1 口 H l N E 1 n 户 I p H g 1 目 l 这里q a 2 l A 扩 是一个变分分布 H q 是这个 分布的熵 用J q 表示式 1 的右侧 则 l o gp d p 三 卢 口 K L q a 2 I I 扩 0p a z I d p 三 p 所以我们最大化下界J q 就相当于最小化变分 后验分布和真正后验分布的K u l l b a c k L e i b l e r 距离 给定式 1 后 我们通过变分E M 来对基于 l o g i s t i c 正态分布的产生式模型进行参数估计 1 6 1 引 E 步M 步重复直到似然函数的界收敛 1 在E 步中 通过对每个图像进行变分推导 万方数据 l2 0 2i f 箅机研究 j 发展2 0 0 9 4 6 7 最大化相对于变分参数A 壬的界 2 在M 步巾 我们相埘于模型参数p 三 卢最 大化这个界 迭代公式如下 届一 蚧 I 而I A I2 西4 A 一 石一面1 J u A 一一p L p 7 这里n 是图像 I 的词频矢量 3 混合分类 训练分成2 个阶段 首先 用整个训练图像集合 来训练基于l o g i s t i c 正态分布的产生式模型 学习 到向 和口 出 这样每幅训练图像J 可以用一个k 维矢量口 来表示 在这个阶段不需要提供训练图像 的类别标签 在第2 个阶段给定了每幅图像的矢量 8 和图像的类别标签后 用一个判别式的多类分类 器来学习多个类别 我们选用的多类分类器是支持 向昔机 S V M 1 S V M 的多类分类用的是一对一 的策略 在训练时 假设我们有K 个类 就要构造 K K 一1 1 2 个二类分类器 每个二类分类器用2 个 类的训练集合进行训练 在分类时 对一幅测试图像 用第i 个二类分类器进行分类 i 一1 2 K K 一 1 2 赢的类别加1 票 最后得票最高的类别就是 这幅测试图像所属类别 图5 是利用一对一策略的 S V M 多类分类器示意图 测试图像的分类过程也是分成2 个阶段 首先 计算测试图像特定的混合系数口 然后用S V M 分 类器来对混合系数钆 进行分类 图2 是我们方法 的框架罔 c l a s s l C l a s s 2 C l a s s i 虱 圃l 劐 匕冷 石翮1 IC I 髂s KI I I 2 r r F i g 5 S V Mm u l t i c l a s sc l a s s i f i e rw h i c hU S e St h eo n e V s o n es t r a t e g y 图5利用一对一策略构建S V M 多类分类器 4 数据集及评价方法 在实验中 我们利用了如下2 个数据集合 D 1 由 l i v a 和T o r r a l b a 提供的包含4 类自然 图像的数据集 数据集中共有1 4 7 2 幅彩色图像 分 别是野外4 1 0 幅 海岸3 6 0 幅 森林3 2 8 幅 山脉 3 7 4 幅 图像的平均尺寸是2 5 0 2 5 0 像素 图像的 主要来源是C O R E I 图像和个人影集 例子图像如 图6 a 所示 D 2 由O l i v a 和T o r r a l b a 提供的包含4 类人造 图像的数据集 数据集中共有1 2 1 6 幅彩色图像 分 别是公路2 6 0 幅 城市3 0 8 幅 街道2 9 2 幅 高楼 3 5 6 幅 图像的平均尺寸是2 5 0 2 5 0 像素 例子图 像如图6 b 所示 a b F i g 6E x a m p l ei m a g e so ft W Od a t a s c t s a D Ic o n s i s t so ff o u rn a t u r es c e n e sa n d b D 2c o n s i s t so ff o u r m a n m a d es c e n e s 图62 个图像数据集的例子图像 a 4 类自然景色图像集合组成训练集D 1 b 4 类人造物体图像集合 组成训练集合D 2 在下一节 我们给出在数据集D I 和D 2 上的试 验结果 从每类图像中随机选择1 5 0 幅图像作为训 练集合 剩下的图像作为测试集合 分类任务是分给 每幅测试图像一个类别值 分类完成后记录下每类 的平均识别率 我们用混淆矩阵和全局分类率来衡 量算法的性能 5 实验结果 5 1 参数选择 在我们的方法中有2 个自由参数 1 视觉词汇 表的长度 2 主题的个数 为了调查这2 个参数对 恶 万方数据 秦磊等 基于内容相天性的场景图像分类方法1 2 0 3 分类效果的影响 我们在数据集合D 1 上进行了测 试 测试的结果如图7 所示 可以看到在视觉词汇表 0 9 0 一 龟0 8 5 lo 8 0 C 量o 7 5 厶 0 7 0 0 6 5 7 点 2 0 0 4 0 0 6 0 0 8 0 0 1 0 0 0 S i z eo fV i s u a lV o c a b u l a r y a 的长度为5 0 0 主题个数为2 0 时 分类效果最好 在 后面的实验叶I 我们就用这2 个数值 O 9 0 一 龟0 8 5 l o 8 0 号o 7 5 山 0 7 0 O 6 5 h 蝉 1 01 52 02 53 0 3 5 4 啦 N u m b e ro f l l 砖邮 t b F i g 7 T h ep e r f o r m a n c ei si n f l u e n c e db yt h el e n g t ho fv o c a b u l a r ya n dt h e m e s a P e r f o r m a n c eV S v o c a b u l a r ya n d b P e r f o r m a n c eV S t h e m e s 图7 改变视觉词汇表长度和隐含主题个数对数据集D 1 分类效果的影响 a 改变视觉词汇表长度 时的分类性能变化曲线 b 改变隐含主题个数时的分类性能变化曲线 5 2 结果 我们报告了在数据集合D l 和D 2 上的实验结 果 图8 a 是数据集D 1 上的主题分布 图8 b 是 5 5 数据集D 1 上的分类混淆矩阵 数据集D 1 上的平均 分类率是9 1 4 图9 a 是数据集D 2 上的主题分 布 图9 b 是数据集D 2 上的分类混淆矩阵 数据集 51 01 52 0 N u m b e ro f T l l c m c s a b F i g 8E x p e r i m e n tr e s u l t so nD 1 a T h e m e sd i s t r i b u t i o no fD 1a n d b C o n f u s i o nm a t r i x 图8 数据集D 1 上的实验结果 a D 1 上的主题分布图 b D 1 的分类混淆矩阵 奢0 4 喜o 2 蛋0 0 0 4 占眦 0 0 0 4 菪0 2 0 0 呻 喜0 4 盖0 2 i 0 0 51 01 52 0 N u m b e ro f T h e m e s 鱼 F i g 9E x p e r i m e n t a lr e s u l t so nD 2 图9 数据集D 2 上的实验结果 b a T h e m e sd i s t r i b u t i o no fD 2a n d b C o n f u s i o nm a t r i x a 1 3 2 上的主题分布图 b D 2 上的分类混淆矩阵 4 2 O 4 2 O 4 2 O 4 2 O n n n n n n n n n n n n I I 譬Q 铭世o k c召 葺jo鼍 勺奄一山 万方数据 1 2 0 l 计算机研究与发展2 0 0 9 4 6 7 D 2 上的平均分类率是9 3 2 从图8 a 和图9 a 上我们可以看出 主题分布 的能量是比较集中的 这是由于在我们的方法叶I 引 入了主题之间的相关性 加大了相关主题产生的概 率 并且减小了不相关主题产生的概率 例如在公路 类巾 能最主要集中在6 7 1 1 1 3 1 7 维上 在D 1 中 分类结果最好的是森林 分类率是9 5 2 在D 2 中 分类结果最好的是高楼 分类率是9 5 1 混淆比较 大的类别是海岸和野外 山脉和野外 城市和街道 图1 0 给m 了一些分类错误的场景图像 图l O a 是野外图像被分为海岸图像 图1 0 b 是街道图像 被分为城市图像 这些结果显示了有螳场景类别之 间容易混淆的原闪是由于场景图像分类结果具有不 确定性 而这种不确定性即使是在人丁分类过程中 也是不可避免的 所以增加了场景分类的难度 如图 1 0 a 中的野外图像同很多海岸图像一样有大面积 的水面及远处的天卒 所以完全可以把它们当成是 海岸场景I 1 像 网1 0 b 中的街道图像也可以认为 是城市 刳像 阒为它们含有同样的城市建筑 还有2 类容易混淆的类别是公路图像和街道图像 原因主 要是街道图像一般都包含一条路 而这正是公路图 像的主要内容 F i g 1 0S o m em i s c l a s s i f i e di m a g e s a T h ei m a g e sb e l o n gt of i e l d w h i c ha r cm i s c l a s s i f i e da sb e a c ha n d b T h e i m a g e sb e l o n gt Os t r e e t w h i c ha r em i s c l a s s i f i e da sc i t y 图l O 一些分类错误的场景图像 a 野外被分为海岸 b 街道被分为城市 5 3 实验结果比较 本节比较了我们的方法和文献E z 中的方法 在 文献 2 中 每类需要的训练图像个数是2 5 0 幅到 3 0 0 幅 训练阶段需要人T 标注训练图像的5 个属 性 在我们的方法中每类需要的训练图像个数是 1 5 0 幅 训练阶段不需要人T 标注 从表1 中 可以 看到无论在D 1 还是D 2 上我们的方法都取得了更 高的分类精度 我们的方法能取得更好效果的原因 在于 1 我们的方法能描述场景内容的相关性 2 我 们利用的特征有更好的表示性 T a b l elR e s u l t sC o m p a r i s o nw i t hR e l a t e dW o r k 裹l我们的方法同其他方法分类结果的比较 6结 论 本文分析了当前基于内容的场景分类算法研究 现状 针对存在的问题 提出一种基于内容相关性的 场景图像分类方法 它有如下特点 1 用l o g i s t i c 正态分布对主题的相关性进行建 模 从而在学习过程中减少不相关主题出现的可能 并使得学习得到的类别的主题分布更准确 2 在学习过程中不需要对图像内容进行人工标 注 从而避免了繁重的人力劳动和标注过程中引入 的主观不确定性 在本文中 我们还提出了一种新的局部区域描 述方法 它结合了局部区域的梯度信息和彩色信息 从实验结果来看 我们的方法成功地完成了场景图像 分类任务 而且相对于传统方法取得了更好的结果 万方数据 秦 磊等 基T 内容相火性的场景l 辛I 像分类厅法 12 0 5 I f 2 3 4 1 5 6 7 8 9 I O 1 I 1 2 I S 参考 文献 T r e i s m a nA G e l e d e Af e a t u r ei n t e g r a t i o nt h e o r yo f a t t e n t i o n J o g n i t i v eP s y c h o l o g y 1 9 8 0 12 1 9 7 13 6 l i r aA F o r r a l b aA M o d e l i n gt h es h a p eo ft h es c e n e A h o l i s t i e r e p r e s e n t a t i o n o ft h e s p a t i a le n v e l o p e J I n l e r n a t i o n a IJ o u r n a lo nC o m p u t e rV i s i o n 2 0 0 l 4 2 31 14 5 17 5 V o g e lJ S c h i e l eB N a t u r a ls c e n er e t r i e v a Ib a s e do na s e m a n t i cm o d e l i n gs t e p P r o co ft h eA L MI n t o n f n I m a g ea n d V i d e oR e t r i e v a l N e wY o r k A t M 2 0 0 4 2 0 7 2 15 B l e iD N gA J o r d a nM I a t e n tD i r i c h l e ta l l o c a t i o n J J o u r n a Io fM a c h i n eI e a r n i n gR e a r c h 2 0 0 3 3 5 9 9 3 一 1 0 2 2 H o f m a n nT U n s u p e r v i s e dl e a r n i n gb yp r o b a b i l i s t i cl a t e n t s e m a n t i ca n a l y s i s J M a c h i n eL e a r n i n g 2 0 0 1 4 2 1 l7 7 一1 9 6 1 iF e i f e i P e r o n aP AB a y e s i a nh i e r a r e h i e a lm o d e lf o r l e a r n i n gn a t u r a ls c e n ec a t e g o r i e s c P r o eo ft h eI E E E C o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n P i s c a t a w a y N J I E E E 2 0 0 5 5 2 4 5 3l A n r l aB o s c h A n d r e wZ i s s e r m a n X a v i e rM u n o z S c e n e c l a s s i f i c a t i o nv i ap l S A P r o co ft h eE u r o p e a nC o n fo n C o m p u t e rV i s i o n B e r l i n S p r i n g e r 2 0 0 6 5I7 5 3 0 Q i nL e i Z e n gW e i G a oW e n e ta 1 L o c a li n v a r i a n t d e s c r i p t o rf o ri m a g em a t c h i n gF C P r o eo ft h eI E E EI n t C o n fo nA c o u s t i c s S p e e c h a n dS i g n a l P r o c e s s i n g P i s c a t a w a y N J I E E E 2 0 0 5 1 0 2 5 1 0 2 8 S i v i cJ R u s s e l lBC E f r o sAA e ta 1 D i s c o v e r i n go b j e e t s a n dt h e i rl o c a l i z a t i o ni ni m a g e s c P r o co ft h eI n tC o n fo n C o m p u t e rV i s i o n W a s h i n g t o n I X l I E E EC o m p u t e r S o c i e t y 2 0 0 5l3 7 0 3 7 7 S i v i cJ Z i s s e r m a nA V i d e oG o o g l e At e x tr e t r i e v a l a p p r o a c ht oo b j e c tm a t c h i n gi nv i d e o s c P r o eo ft h eI n t C o n fo n C o m p u t e rV i s i o n W a s h i n g t o n D c I E E E C o m p u t e r S o c i e t y 2 0 0 3 二1 4 7 0 一1 4 7 7 M i k o k j c z y kK S c h m i d S c a l e a f f i n ei n v a r i a n ti n t e r e s t p o i n td e t e c t o r s J I n t e r n a t i o n a lJ o u r n a l o nC o m p u t e r V i s i o n 2 0 0 4 6 0 1 6 3 8 6 I o w eD D i s t i n c t i v ei m a g ef e a t u r e sf r o ms c a l e i n v a r i a n t k e y p o i n t s J I n t e r n a t i o n a lJ o u r n a lo nC o m p u t e rV i s i o n 2 0 0 4 6 0 2 9 l 1 1 0 M i k o l a j c z y kK S c h m i dC Ap e r f o r m a n c ee v a l u a t i o no fl o c a l d e s c r i p t o r s J I E E ET r a n s o nP a t t e r n A n a l y s i sa n d M a c h i n eI n t e l l i g e n c e 2 0 0 5 2 7 1 0 1 6 1 5 1 6 3 0 1 4 15 r 1 6 1 7 3 1 8 1 9 Q i nI e i Z h e n gQ i n g f a n g e ta 1 U n s u p e r v i s e dt e x t u r e c l a s s i f i c a t i n n A u t o m a t i e a l l yd i s c o v e ra n dc l a s s i f yt e x t u r e p a t t e r n s J I m a g ea n dV i s i o nC o m p u t i n g 2 0 0 8 2 6 5 l 6 4 7 6 5 6 A i t c h i s o nJ S h e nSM I o g i s t i c n o r l n a ld i s t r i b u t i o n s S o m e p r o p e r t i e sa n du s e s J B i o m e t r i k a 1 9 8 0 6 7 2 2 6 l 一2 7 2 B l e iI 1 a f f e r t yJD C o r r e l a t e dt o p i cm o d e l sf P r o co f N e u r a lI n f o r m a t i o nP r o c e s s i n gS y s t e m s C a m h r i d g e M I T P r e s s 2 0 0 6 14 7 1 5 4 A h m e dA X i n gEP 1 1 1t i g h ta p p r o x i m a t ei n f e r e n c eo f l o g i s t i cn o r m a la d m i x t u r em o d e l IJ 1 P r o co ft h eI n t C o n fo nA r t i f i c i a lI n t e l l i g e n c ea n dS t a t i s t i c s 2 0 0 7r 2 0 0 7 1 0 2 0 3 h t t p w w w M a t u m u e d u a i s t a t p r o c e e d i n g s d a t a p a p e r s 0 0 3 p d f W i n nJ V a r i a t i o n a lm e s s a g ep a s s i n ga n di t sa p p l i c a t i o n s I E n g l a n d U n i v e r s i t yo fC a m b r i d g e 2 0 0 3 B i a nZ h a o q i Z h a n gX u e g o n g e ta 1 P a t t e r nR e c o g n i t i o n M 2 n de d B e i j i n g T s i n g h u aU n i v e r s i t yP r e s s 2 0 0 0 i n C h i n e s e 边肇棋 张学 f 等 模式识别r M 2 版 北京 清华大学 出版 t 2 0 0 0 O i nL e i b o r ni n1 9 7 7 R e c e i v e dh i sP h D d e g r e ei nc o m p u t e ra p p l i c a t i o nf r o mt h e I n s t i t u t eo f C o m p u t i n gT e c h n o l o g