（计算机应用技术专业论文）cbir中特征提取技术的研究和实现.pdf

摘要 近年来 随着多媒体技术及i n t e m e t 的迅速发展 i n t e m e t 上的图像资源日 益丰富 传统的基于文本检索已经不能满足对这些图像资源进行管理和检索的需 要 基于图像视觉特征的c b i r 基于内容的图像检索 技术应运而生 经过一 段时间的发展 涌现了许多成型的实验或商业c b i r 系统 c b i r 技术己开始应 用到许多重大研究项目中 成为目前的研究热点之一 所有的c b i r 系统都是基于图像的视觉特征来进行相似性匹配的 c b i r 系 统目前面临的主要问题大多和特征有关 包括特征的选择和提取 多维数据库索 引 语义图像检索等等 本文中作者主要针对c b i r 中特征的选择和提取进行研 究 图像的视觉特征多种多样 作者选取了其中最有代表性的色彩 纹理 形状 和空间关系 布局 特征 加以具体的研究和分析 在此基础上 作者开发了一 个c b i r 原型系统 实现了这几种特征的提取 并在设计和实验的过程中对提取 算法作了改进和完善 作者通过提取图像的色彩直方图和色彩重心来代表图像的 色彩特征 通过g a b o r 滤波法 见3 2 节 来提取图像的纹理特征 通过提取几 何不变矩的方法提取图像中物体的形状特征 最后利用了在图像中划分子块的方 法提取了图像的色彩布局特征 通过提取过程获得的图像特征使用特征向量的形式存储在特征库中 通过多 维索引的方式提高查询的效率 文中还讨论了利用特征向量计算图像相似性时用 到的距离算法 并给出了结合多种特征进行复合查询的方法 接下来结合实际检 索的结果和一些知名的实验对各种特征进行综合的比较和评价 最后对文中所做 的研究工作作出了总结 提出了进一步的研究方向 本文的主要贡献是对c b i r 系统中的特征提取技术进行了深入的研究 在此 基础上实现并改进了c b i r 中使用到的主要特征的提取 为c b i r 系统的完善和 发展开辟了一条道路 文中使用的原型系统由于使用简单和良好的可扩展性 可 以直接运用到相关的实际应用中去 关键词 c b r 图像处理 计算机视觉 特征提取 竺 皇鳖堡堡墼蕉查塑堑塞塑塞翌 堡查堕翌壁堡主兰壁垒苎 a b s t r a c t n o w a d a y s mt h er a p i dd e v e l o p m e n t o ft h ei n t e r n e ta n dm u l t i m e d i a t e c h n o l o g y d i g i t a li m a g er e s o u r c e sa r eg r o w i n gm o r ea n dm o r ea b u n d a n to nt h en e t t h ec o n v e n t i o n a lt e x t b a s e dr e t r i e v a lc a n n o tm e e tt h en e e do fe f f i c i e n tm a n a g e m e n t a n dr e t r i e v a lo ft h ei m a g er e s o u r c e s t h a tb r i n g sa b o u tc b i r c o n t e n tb a s e di m a g e r e t r i e v a l w h i c hc a l la u t o m a t i c a l l ye x t r a c tt h ev i s u a lf e a t u r e sf r o mi m a g e s o v e rt i m e c b rh a sb e c o m eo n eo ft h eh o r e s ts p o t si nc u r r e n tr e s e a r c h e s m a n ye x p e r i m e n t a l o rc o m m e r c i a lc b i rs y s t e m se m e r g ea n ds t i l lm o r ec b i r r e l e v a n tp r o j e c t sa r eu n d e r w a y a l lc b i rs y s t e m sm a t c hi m a g e s s i m i l a r i t yb yt h e i rv i s u a lf e a t u r e s t h e r e f o r e m o s to ft h ec h a l l e n g e sc b i ri sf a c i n ga r ea s s o c i a t e d 诵也f e a t u r e t h e s ec h a l l e n g e s i n c l u d et h es e l e c t i o n e x t r a c t i o no ff e a t u r e s m u l t i d i m e n s i o n a ld a t a b a s ei n d e x i n g a n ds e m a n t i ci m a g er e t r i e v a l e t c w ep u te m p h a s i so nt h es e l e c t i o n e x t r a c t i o no f f e a t u r e si nt h i sp a p e r t h e r ea r em a n yk i n d so fv i s u a lf e a t u r e sf o ri m a g e s w ec h o s es e v e r a lm o s t r e p r e s e n t a t i v ef e a t u r e s c o l o r t e x t u r e s h a p e s p a t i a ll a y o u ta n dt h u sc o n d u c t e da t h o m u g hs t u d yo nt h e m o nt h i sb a s i sw ed e v e l o p e dap r o t o t y p ec b i rs y s t e mt o i m p l e m e n tt h ee x t r a c t i o no ft h ea b o v ef e a t u r e s m o d i f i c a t i o n sw e r em a d et ot h e e x t r a c t i o ns t r a t e g i e st og e tb e t t e ro u t p u t s c o l o rh i s t o g r a m so fi m a g e sw e r ec a l c u l a t e d t or e p r e s e n tt h ec o l o rf e a t u r e g a b o rf i l t e r sw e r ee m p l o y e dt oe x t r a c tt h et e x t u r e f e a t u r e g e o m e t r i c a li n v a r i a n tm o m e n t sw e r eu s e dt og e tt h es h a p ef e a t u r e a n dw e s p l i ti m a g e si n t ob l o c k st oc o m p u t et h ec o l o rl a y o u tf e a t u r e w es t o r e dt h ee x t r a c t e di m a g ef e a t u r e si n t of e a t u r e b a s ei nt h ef o r mo ff e a t u r e v e c t o r s w ed i s c u s s e dt h eu s i n go fm u l t i d i m e n s i o n a ld a t a b a s ei n d e x i n gt oe n h a n c e t h ee f f i c i e n c yo fq u e r i e s t h e nb a s e do no u rp r a c t i c ea n ds o m ew e l l k n o w n e x p e r i m e n t sw ep u tf o r w a r dag e n e r a lc o m p a r i s o na n de v a l u a t i o no ft h ea s s o c i a t e d i m a g ef e a t u r e s f i n a l l yw er e a c h e dac o n c l u s i o na b o u tt h er e s e a r c hw o r ka n d d i s c u s s e dt h ew o r ky e tt ob ed o n e 旦坐塑生墅型型堡堡垄竺婴壅翌 堡查堕苎查兰塑主堂壁垒壅 i nt h i sp a p e rw em a d eat h o r o u g hs t u d yo nt h ef e a t u r e e x t r a c t i o nt e c h n o l o g yi n c b i r o nt h i sb a s i sw ei m p l e m e n ta n dm o d i f i e dt h ee x t r a c t i o np r o c e s sf o rt h em a i n f e a t u r e su s e di nc b i r w h i c hw i l lb l a z eat r a i li nt h ed e v e l o p m e n ta n d i m p r o v e m e n t o fc b i rs y s t e m t h ep r o t o t y p es y s t e mw ed e v e l o p e di s p r a c t i c a la n de a s yt ob e e m b e d d e di n t oa s s o c i a t e da p p l i c a t i o n s t h i sf i l l su pt h el a c ko f p r a c t i c a lc b i r8 v s t e m a tp r e s e n t k e yw o r d s c o n t e n tb a s e di m a g er e t r i e v a l i m a g ep r o c e s s i n g c o m p u t e rv i s i o n f e a t u r ee x t r a c t i o n 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究 成果 据我所知 除文中已经注明引用的内容外 本论文不包含其他个人已经 发表或撰写过的研究成果 对本文的研究做出重要贡献的个人和集体 均已在 文中作了明确说明并表示谢意 作者签名 型i 日期 i 兰l 学位论文使用授权声明 本人完全了解华东师范大学有关保留 使用学位论文的规定 学校有权保 留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版 有权 将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅 有 权将学位论文的内容编入有关数据库进行检索 有权将学位论文的标题和摘要 汇编出版 保密的学位论文在解密后适用本规定 学位论文作者签名 王和 j 日期 1 1 星2 1 国 o r i g i n a l i t yn o t i c e nd r e s e n t i n gt h i st h e s i si np a r t i a lf u l f i l l m e n to f t h er e q u i r e m e n t sf o rt h em a s t e r s d e g r c ea te a s tc h i n a n o r m a lu n i v e r s i t y 1w a r r a n tt h a tt h i st h e s i si so r i g i n a la n da n y o ft h et e c h n i q u e sp m s e n t c di nt h et h e s i sh a v eb e e nf i g u r e do u tb ym e a n yo ft h e r e f e r e n c e st ot h ec o p y r i g h t t r a d e m a r k p a t e n s t a t u t o r yf i g h t o rp r o p r i e t yr i g f no f o t h e r sh a v eb e e ne x p l i c i t l ya c k n o w l e d g e da n di n c l u d e di nt h er e f e r e n c e ss e c t i o na t t h ee n do f 也i st h e s i s s 咖恤 塑 j c o p y r i g h tn o t i c e d a t e p t c 1 2 七h ih e r e ha 笋e et h a tt h el i b r a r yo f e c n us h a l lm a k ei t sc o p i e sf r e e l y a v m l a b l ef o ri n s p e c t i o n if u r t h e ra g r e et h a te x t e n s i v ec o p y i n go f t h et h e s i si s a l l o w a b l eo n l yf o rs c h o l a r l yp u r p o s e s i np a r t i c u l a r s t o r i n gt h ec o n t e n to f t h i st h e s i s i n t or e l e v a n td a b b l e s a sw e l la sc o m p i l i n ga n dp u b l i s h i n gt h et i t l ea n da b s t r a c t o f t h i st h e s i s c o n s i s t e n t 谢t i l f a i ru s e a 8p r e s c r i b e di nt h ec o p y r i g h tl a wo f t h e p e o p l e sr e p u b l i co fc h i n a s t 驴咖 2 笃 状 1 h h d a t e c b ir 中特征提取技术的研究和实现华东师范大学硕士学位论文 引言 2 0 0 2 年一2 0 0 4 年上半年笔者在参与实验室承担的上海市重大科技攻关项目一 基于宽带的多媒体文档管理平台项目中 负责基于内容的图像检索模块的设计和 开发 当时限于技术和经验上的不很成熟 以及国内c b i r 技术研究的相对滞后 并没有自己开发底层引擎 而是使用了i b m 的q b i c 作为图像检索的底层引擎 在感叹q b i c 强大和便捷的同时 也对其中一些不尽人意的地方有了自己的见 解 为了更了解底层细节和适应具体的应用 一直在考虑自行开发一个c b i r 引 擎 正因如此 毕业设计时作者选择了和c b i r 相关的课题 自行开发一个c b i r 系统 其意义自然非同寻常 但国外的成型系统都是集众人之力开发 个人开发 一个完整的c b i r 系统谈何容易 转而细探c b i r 架构 可以发现核心的部分是 图像的特征分析 而且c b i r 面临的绝大多数问题都和特征有关 研究c b i r 中 特征提取这一关键技术更有实际意义 文中将实现并改进c b i r 中主要图像特征 的提取 并据此构建一个以特征分析引擎为主体的c b i r 原型系统 作者就是按照上面的思路来展开本文的 在第l 章中对基于内容的图像检索 及其面临的主要问题进行了简要介绍 并提出了对于特征选择和提取问题的解决 方案 第2 章详细介绍了一系列c b i r 系统中常用的图像视觉特征 而第3 章中 给出了图像特征的具体提取过程并对提取算法进行了改进 接下来在第4 章中 介绍了特征的存储和特征相似度的比较 第5 章中 通过测试对c b i r 中的主要 特征进行了比较和评价 最后 第6 章中总结了本文的研究成果 并指出了下一 步有待完成的工作 c b l r 中特征提取技术的研究和实现 华东师范大学硕士学位论史 第一章绪论 1 1 基于内容的图像检索简介 1 1 1 发展 近年来 随着多媒体技术和计算机网络的飞速发展 全世界的数字图像的容 量正以惊人的速度增长 无论是军用还是民用设备 每天都会产生容量相当于数 千兆字节的图像 这些数字图像中包含了大量有用的信息 然而 由于这些图像 无序地分布在世界各地 图像中包含的信息无法被有效地访问和利用 这就要求 有一种能够快速而且准确地查找访问图像的技术 也就是所谓的图像检索技术 自从2 0 世纪7 0 年代以来 在数据库系统和计算机视觉两大研究领域的共同推动 下 图像检索技术已逐渐成为一个非常活跃的研究领域 数据库和计算机视觉两 大领域是从不同的角度来研究图像检索技术的 前者基于文本 而后者基于视觉 基于文本的图像检索技术 t e x t b a s e di m a g er e t r i e v a l 的历史可以追溯到2 0 世纪7 0 年代末期 当时流行的图像检索系统是将图像作为数据库中存储的一个 对象 用关键字或自由文本对其进行描述 查询操作是基于该图像的文本描述进 行精确匹配或概率匹配 有些系统的检索模型还是有词典支持的 另外 图像数 据模型 多维索引 查询评价等技术都在这样一个框架之下发展起来 然而 完 全基于文本的图像检索技术存在着严重的问题 首先 目前的计算机视觉和人工 智能技术都无法自动对图像进行标注 而必须依赖于人工对图像做出标注 这项 工作不但费时费力 而且手工的标注往往是不准确或不完整的 还不可避免地带 有主观偏差 也就是说 不同的人对同一幅图像有不同的理解方法 这种主观理 解的差异将导致图像检索中的匹配错误 此外 图像中所包含的丰富的视觉特征 颜色或纹理等 往往是无法用文本进行客观的描述的 9 0 年代初期 随着大规模数字图像库的出现 上述的问题变得越来越尖锐 为克服这些问题 基于内容的图像检索技术 c o n t e n t b a s e di m a g er e t r i e v a t 简称 c b i r 应运而生 区别于原有系统中对图像进行人工标注的做法 基于内容的 检索技术自动提取每幅图像的视觉内容特征作为其索引 如色彩 纹理 形状等 2 c bi r 中特征攫取技术的研究和实现华东师范大学硕士学位论文 此后几年中 这个研究领域中的许多技术发展起来 一大批研究性的或商用的图 像检索系统被建立起来 这个领域的发展主要来归功于计算机视觉技术的进步 i 1 2 系统架构 应该认识到 基于内容的图像检索系统具有与传统基于文本的检索系统完全 不同的架构 首先 由于图像依赖其视觉特征而非文本描述进行索引 查询将根 据图像视觉特征的相似度进行 用户通过选择具有代表性的一幅或多幅例子图像 来构造查询 然后由系统查找与例子图像在视觉内容上比较相似的图像 按相似 度大小排列返回给用户 这就是所谓的通过例子图像的检索 q u e r yb yi m a g e e x a m p l e 另外 基于内容的检索系统一般通过可视化界面和用户进行频繁的交 互 以便于用户能够方便地构造查询 评估检索结果和改进检索结果 图1 1c b i r 系统的体系结构 图1 一l 给出了基于内容的图像检索系统的基本架构 下面对其进行说明 竺 堡笙塑娶垫苎塑至窒塑壅堡 兰查 苎奎兰堡主兰壁堡童 图像处理模块 图像处理模块包括输入图像和图像特征的提取过程 1 图像输入过程将图像输入到系统当中 类似于文本检索系统中文本内 容的录入过程 c b i r 系统一般允许用户以全自动或者半自动 需要用户干预 的方式对图像进行分割 标识出需要的对象或内容关键点 以便有针对性地对目 标进行特征提取 如用户界面常常提供一组示例供用户选择 或者由用户亲自绘 制草图 输入系统 2 特征提取对用户或系统标明的图像对象进行特征提取处理 特征提取 可以手动完成 例如人工给出一些描述特征的关键词 也可以通过对应的图像处 理程序自动提取出检索用户可能关心的一些图像特征 提取的特征既可以是全局 性的 如整幅图像的颜色分布 也可以是针对某个内部的局部对象 如图像中的 子区域 特征表示方法有许多 如颜色表示法中就有颜色直方图 颜色矩 颜色 集等 纹理表示法中有t a m u r a 纹理特征 基于小波变换的纹理特征表示法 不 过 涉及图像高级抽象的特征时 会受到知识领域和检索任务的限制 因此往往 需要外界知识提供辅助 查询模块 查询模块主要实现检索匹配过程 根据相关度计算方法 实现提 问与记录的匹配和筛选 最终得到符合要求的结果反馈给用户 c b i r 采用示例 查询的方式向用户提供检索接口 将用户的检索请求转化为可以对数据库进行操 作的提问 检索允许针对全局对象 如整幅图像 也允许针对其中的子对象以及 任意组合形式来进行 检索返回的结果按照相似程度进行排列输出 如有必要 可以在检索结果的基础上进行进一步的查询 迭代查询 c b i r 实现的是相似性 检索 模仿人类的认知过程进行 因此 往往需要在与检索用户不断的交互中提 炼检索结果 用户的相关反馈可用于修正特征的权重 为后续的检索提供依据 对象库与特征库 c b i r 中的对象库存储了输入的图像资源 特征库包含了 用户输入图像特征以及在预处理过程中自动提取的特征 对象库和特征库中的元 素存在着对应关系 因为同一幅图像中往往含有不同的视觉特征和对象 这种对 应关系通常是l 对多的 对象库和特征库通过组织基于图像特征的索引来实现快 速搜索 从而可以应用到大规模图像数据库的检索过程当中 知识库 在c b i r 系统中 知识库的目的是为了将检索限定在一定的任何领 域范围内 避免不同的检索要求以及不同的领域背景可能会导致对媒体内容语义 4 c br 中特征摄取技术的研究和实现 华东师范大学硕士掌位论文 产生的不同要求 因此 检索需要一定的领域知识加以辅助来提高检索的准确性 1 1 3 现有系统简介 目前著名的基于内容的图像检索系统包括q b i c v i r a g e p h o t o b o o k n e t r a 和w e b s e e k 等等 q b i c q u e r yb yi m a g ec o m e n t 是由i b m a l m a d e n 研究中心开发的 是第 一个商业化的c b i r 系统 现在已经集成到了i b md b 2 的i m a g ee x t e n d e r 中 q b i c 主要根据颜色 纹理 形状建立相似性准则 其中颜色的提取采用基于颜 色直方图的算法 纹理的提取基于改进的t a m u r a 纹理提取算法 形状特征主要 包括面积 连通性 偏心率 主轴方向 以及一些矩估计量 v i r a g e 系统是由美国v i r a g e 公司开发的商业图像检索系统 该系统根据颜 色 颜色分布 纹理 目标轮廓定义出若干原子特征 a t o m i cf e a t u r e s 用户 可以根据一种原子特征或多种原子特征的组合进行基于内容的检索 v i r a g e 还提 出了一种开放式图像管理系统框架和基于九种原子特征的查询语句规范 p h o t o b o o k 系统由美国m i t 媒体实验室开发 提供一些交互式工具进行基于 内容的浏览和检索 它使用颜色 纹理 形状 变换蜮系数建立特征向量 并提 供多种相似性准则 如欧几里得距离 街区距离 向量内积 小波树距离等 用 户可以选择一种或几种算法的线性组合计算图像的相似性 p h o t o b o o k 还允许用 户勾画感兴趣区域 参与特征提取过程 n e t r a 系统由美国加州大学开发 和其它基于全局特征的图像检索系统不同 它采用基于区域局部特征的图像检索方案 它首先将图像分割成区域 然后通过 区域的颜色 形状 纹理 空间位置信息表征图像内容 纹理提取采用g a b o r 滤波算子 区域分割算法基于改进的边缘跟踪算法 e d g ef l o w w e b s e e k 是由哥伦比亚大学开发研制的面向w w w 的文本和图像的搜索引 擎 它充分利用图像与区域之间的空间关系 从压缩域中提取视觉特征 w e b s e e k 系统由三部分组成 图像 视频收集器 主题分类和索引器 检索器 w 曲s e e k 提供了四十多个一级类目来管理图像 用户首先通过关键词检索得到初步结果 然后可以根据初次反馈结果 选中满意的图像作为训练样本进行相关反馈 以选 中图像的特征来调整下一次查询的要求 c b i r 中特征提取技术的研究和实现 华东师范大学硕士学位论文 国外对c b i r 的研究还有其它一些较典型的例子 所用特征大多采用颜色 形状 纹理等特征参量 提取算法各异 系统模型有别 国内对c b i r 研究虽然 起步较晚 但已有不少较成功的算法 研究比较多的是基于图像主色的图像检索 方法 另外还有基于直方图的检索 基于形状的检索和基于纹理的检索 目前尚 未见到应用较广的商业系统或者实验系统 1 2c b i r 面临的主要问题 1 2 1 特征的选择和提取 图像豹视觉特征是c b i r 系统用来衡量图像闯相似性的主要依据 特征选取 的好坏 直接影响检索的成功率 特征提取的算法 决定了检索系统的性能和速 度 所以特征的选择和提取是基于内容的图像检索系统的核心问题 也是本文探 讨的主要论题 在特征的选择和提取中目前主要存在的问题是 1 多样化的特征 图像有着诸如色彩 纹理 形状和布局等多种多样的特 征 使用哪些特征可以更好的表达图像的底层属性 各种特征之间怎样组台才能 更好的提高匹配的准确度 都是值得探讨的问题 2 困难的表示和计算 特征难以用文字表达 要对特征进行比较和匹配 必须给出一定的数学模型来表示特征 才能进行量化的分析 如何设计特征的数 学模型是一个富有挑战性的问题 特征的数学模型决定了特征的计算方法 怎样 改进算法提高计算的效率 大有文章可做 3 复杂的提取过程 图像特征的提取过程是一个综合运用图像处理和计算 机视觉方法的过程 往往其中一个步骤都牵涉到一个研究方向 以形状分析为例 就要用到边缘提取 轮廓跟踪等等较为复杂的算法 实现纹理提取 需要了解 大量的相关知识和算法 并且提取过程在时间和空间上耗费的代价往往都非常 大 4 特征的比较和评价 不同的特征代表了图像的不同属性 在某些特定的 领域 一个特征的表现往往优于其他特征 如何总结不同特征的适用范围 对利 用该特征进行检索的性能进行评估 也是非常重要的问题 6 塑 茎笙堡璺丝查塑堡室塑壅墨竺蔓堕蔓奎兰堕主兰 兰鱼苎 1 2 2 多维数据库索引 为了使基于内容的图像检索技术能够扩展到应用于大规模的图像库 必须采 用有效的多维索引技术 存在的难题有两个方面 1 高维数 由于图像特征的复杂性 用于表征图像特征的特征向量往往具 有较高的维数 通常情况下 图像特征向量的维数的数量级是1 0 2 2 非欧拉的相似度度量 通常在进行特征的相似度比较时 都使用基于 2 d 几何距离的欧拉度量 由于欧拉度量方法可能无法有效地模仿人类对视觉内 容的所有感知 经常需要采用其它的相似性度量方法 例如直方图的交 余弦 相关性等非欧拉的相似度衡量方法 要解决上述这些问题 可行的途径是首先采用维数缩减技术降低特征向量的 维数 然后使用适当的多维索引技术 通常能够支持非欧拉的相似度衡量方法 1 2 3 语义图像检索的应用 c b l r 中另一个尚待解决的重要问题是图像的低层视觉特征与高层语义之间 的映射 完成这种映射的检索称为语义图像检索 目前尚处于探索阶段 人们判断图像的相似性并非仅仅建立在图像的视觉特征的相似性上 实际 上 图像检索系统的用户往往事先对所需的图像只存在一个大致的概念 这个概 念建立在图像所描述的对象 事件以及表达的情感等含义上 理想的状况下 用 户主要根据返回图像的含义 而不是颜色 纹理 形状等特征 直观地进行分类 并判剐图像满足自己需要的程度 这些图像的含义就是图像的高层语义特征 它 包含了人对图像内容的理解 这种理解是无法直接从图像的视觉特征获得的 而 要根据人的知识来判断 人与计算机的本质的不同在于人观察图像时结合了日常 生活中积累的大量的经验 观察图像的过程同时也是一个利用知识推理图像语义 的过程 跨越图像底层特征和高层语义间的鸿沟 进行语义图像检索 会遇到下面的 难题 一是必须提供高层语义的描述方式 二是必须有将低层的图像视觉特征映 射到高层语义的方法 即图像语义提取方法 三是语义检索系统的语义处理方法 南京大学的王惠锋 金翔宇 孙正兴在 6 2 中基于上述三个方面对语义图像检索 主鲎堡堡里垫垄塑堡窒塑窭翌 堡查塑苎查兰堡圭 堕堕奎 进行了探索和研究 1 3 构建c b i r 原型系统实现特征提取 c b i r 面临的关键问题大多和特征相关 作者在本文中主要针对比较核心的 特征提取问题提出了自己的解决思路 首先对c b i r 中的主要视觉特征进行了深 入的研究 分析一些具有代表性的特征表示方法 在此基础上开发一个轻量级的 c b i r 原型系统 其核心功能为特征的分析和提取 在这个系统中作者综合运用 图像处理和计算机视觉的方法 实现主要特征的提取过程 并对提取算法进行一 定的改进 得出效果更为良好的提取方法 最后根据使用该系统进行图像检索的 结果和一些著名的实验 对主要的图像特征进行比较和评价 一个c b i r 系统包括图像处理模块 对象库与特征库 查询模块 知识库等 组成部分 其核心部分是图像处理模块中图像特征的提取过程以及对象库与特征 库的生成和操作 作者设计实现的c b i r 原型系统就重点完成了这两个部分 首先特征提取过程中需要有一整套强大高效的工具来处理图像 对于图像的 显示 格式转换和存储 作者选取了m i c r o s o f t 公司推出的g d i 引擎 因为这 套引擎具有操作简单和实用性强的特点 对于图像处理过程中牵涉到计算机视觉 专用算法的部分 作者使用了i n t e l 公司的o p e n c v 库 6 1 因为你可以在o p e n c v 中找到几乎所有的计算机视觉以及图像处理的专用算法 并且这些算法都得到了 很好的优化 使用得当可以大大提高对图像进行处理的效率 其次需要对于图像的主要视觉特征选择合适的表达形式 比如对于色彩特征 使用图像的色彩直方图来代表 在图像处理的过程中运用一定的算法来提取特 征数据 根据特征提取之后用于相似性匹配的实际效果 对特征提取算法进行修 正 以期取得更好的效果 这个过程可以帮助获取较为实用高效的特征提取方法 使得c b i r 系统的特征引擎更为强大 特征库和对象库的实现采用了简化的方式 对于每个特征 都有相应的索引 文件与之对应 索引文件记载了已经过特征提取的图像文件的u r l 存放的是 一个链接 这样就不需要用专门的空间来存放图像资源了 根据这个u r l 按照 一定的映射方式可以找到实际存储该图像特征数据的文件 具体的插入 删除 8 c b i r 中特征提取技术的研究和实现华东师范大学硕士学位论文 查找 修改等数据库操作都是对索引文件进行的 这些变化会反映到对应的特征 数据文件上去 但不会影响到图像文件 在实现的过程中讨论到了多维数据库索 引的问题 针对目前图像数据库还比较小的现状 加入多维索引还不能对检索性 能产生可观的影响 但实际应用中的图像库中都有海量的图片 图像特征向量的 维数也非常之高 必须考虑多维索引的问题 本文讨论的侧重点是c b i r 中特征提取这一关键技术 而作者设计实现的 c b i r 原型系统只是研究与实现特征提取技术的一个工具 所以在此不会给出具 体的实现 但文中讨论的关键技术大都运用到了这个系统中并得到了实践的检 验 该c b i r 系统也是本文研究的一个成果 可以较为方便的投入实际应用 下一章中我们将对c b i r 中经常用到的图像视觉特征及其表达形式进行详细 的介绍 c 8 ir 中特征提职技术的研究和实现 华东师范大学硕士学位论文 第二章c b i r 中的图像视觉特征介绍 本章中主要介绍c b i r 系统中经常采用的图像视觉特征及其表达方法 视觉特征又可分为通用的视觉特征和领域相关的视觉特征 前者用于描述所 有图像共有的特征 与图像的具体类型或内容无关 主要包括色彩 纹理和形状 后者则建立在对所描述图像内容的某些先验知识 或假设 的基础上 与具体的 应用紧密相关 例如人的面部特征或指纹特征等 由于领域相关的图像特征主要 属于模式识别的研究范围 并涉及许多专业的领域知识 在此就不再详述 而只 考虑通用的视觉特征 对于某个特定的图像特征 通常又有多种不同的表达方法 由于人们主观认 识上的千差万别 对于某个特征并不存在一个所谓的最佳的表达方式 事实上 图像特征的不同表达方式从各个不同的角度刻画了该特征的某些性质 在本章 中 主要介绍那些由实践证明对图像检索比较有效的特征和相应的表达方法 本 章的第l 2 3 节中将分别介绍图像的颜色 纹理和形状特征 第4 节中介绍包 含有空间信息的图像特征 2 1 图像的色彩特征 颜色特征是在图像检索中应用最为广泛的视觉特征 主要原因在于颜色往往 和图像中所包含的物体或场景十分相关 此外 与其他的视觉特征相比 颜色特 征对图像本身的尺寸 方向 视角的依赖性较小 从而具有较高的鲁棒性 面向图像检索的颜色特征的表达涉及到若干问题 首先需要选择合适的颜色 空间来描述颜色特征 其次 要采用一定的量化方法将颜色特征表达为向量的形 式 最后 还要定义一种相似度 距离 标准用来衡量图像之间在颜色上的相似 性 在本节中将主要讨论前两个问题 并介绍颜色直方图 颜色矩 颜色集 颜 色聚合向量以及颜色相关图等颜色特征的表示方法 1 0 c br 中特征提取技术的研究和实现 华东师范大学硕士学位论文 2 11 色彩直方图 颜色直方图是在许多图像检索系统中被广泛采用的颜色特征 它所描述的是 不同色彩在整幅图像中所占的比例 而并不关心每种色彩所处的空间位置 即无 法描述图像中的对象或物体 颜色直方图特别适于描述那些难以进行自动分割的 图像 当然 颜色直方图可以是基于不同的颜色空间和坐标系 最常用的颜色空间 是r g b 颜色空间 原因在于大部分的数字图像都是用这种颜色空间表达的 然 而 r g b 空间结构并不符合人们对颜色相似性的主观判断 因此 有人提出了 基于h s v 空间 l u v 空间和l a b 空间的颜色直方图 因为它们更接近于人们对 颜色的主观认识 其中h s v 空间是直方图最常用的颜色空间 它的三个分量分 别代表色调 h u e 饱和度 s a t u r a t i o n 和强度值 v a l u e 从r g b 空间到 h s v 空间的转化公式如下所示 v m a x r g 6 s v m i n r g 6 兑 v h 5 b c a s e 1 1 g c a s e 2 1 r c a s e 3 3 一b c a s e 4 3 g c a s e 5 5 一 c a s e 6 r v r v m j n r g 6 g v g l v m i n r g 6 b i v 一6 v m i n r g 6 c a s e 1 i fr 2 m a x p g b a n d g m i n r g 6 c a s e 2 i fr 2 m a x p g 6 a n d g m i a r g b c a s e 3 i fg2 m a x g b a n db r a i n g b c a s e 4 i f 2 l q a x r g b a n d b m i n r g 6 c a s e 5 i fb i d a x r g b a n d r m i n r g 6 c a s e 6 其他情况f 1 其中 j 吕b o 1 lhe o 6 且丘v o l 从r g b 空间到 l u v 空间和到l a b 空间的转化可以在文献 l 中找到 计算h s v 空间中两种颜色的距离由多种不同的方法 例如在 2 中提出了如 下的颜色距离计算公式 a i 1 一l v 一 p 十 s c o s h 一j c s 1 p s is i n s s i n 嘭 2 j 2 c b i r 中特征提取技术的研究和实现 华东师范大学硕士学位论文 其中 红 s v 和 矗 s v 分别代表两种h s v 空间中的颜色 这种相似度量 方法相当于一个圆柱形颜色空间中的欧拉距离 该空间中的颜色值表示为 s c o s h s s i n h v 在 3 l e o 这样的圆柱空间被进一步变形称为圆锥性空间 其 中的颜色表示为 s v c o s h s v s i n 矗 v 这些改变使v 值较小的时候 降低了直方 图对h 和5 分量的分辨能力 计算颜色直方图需要将颜色空间划分成若干个小的颜色区间 每个小区间成 为直方图的一个b i n 这个过程称为颜色量化 c o l o rq u a n t i z a t i o n 然后 通 过计算颜色落在每个小区间内的像素数量可以得到颜色直方图 颜色量化有许多 方法 例如向量量化 聚类方法或者神经网络方法 最为常用的做法是将颜色空 间的各个分量 维度 均匀地进行划分 相比之下 聚类算法则会考虑到图像颜 色特征在整个空间中的分布情况 从而避免出现某些b i n 中的像素数量非常稀疏 的情况 使量化更为有效 另外 如果图像是r g b 格式而直方图是h s v 空间中 的 可以预先建立从量化的r g b 空间到量化的h s v 空间之间的查找表 l o o k u p t a b l e 从而加快直方图的计算过程 上述的颜色量化方法会产生一定的问题 设想两幅图像的颜色直方图几乎相 同 只是互相错开了一个b i n 这时如果我们采用 距离或者欧拉距离 见3 1 1 节 计算两者的相似度 会得到很小的相似度值 为了克服这个缺陷 需要考虑 到相似但不相同的颜色之间的相似度 一种方法是采用二次式距离 4 见3 1 3 节 另一种方法是对颜色直方图事先进行平滑过滤 即每个b i n 中的像素对于 相邻的几个b i n 也有贡献 这样 相似但不相同颜色之间的相似度对直方图的相 似度也有所贡献 选择合适的颜色小区间 即直方图的b i n 数目和颜色量化方法与具体应用 的性能和效率要求有关 一般来说 颜色小区间的数目越多 直方图对颜色的分 辨能力就越强 然而 b i n 的数目很大的颜色直方图不但会增加计算负担 也不 利于在大型图像库中建立索引 而且对于某些应用来说 使用非常精细的颜色空 间划分方法不一定能够提高检索效果 特别是那些不能容忍相关图像错漏的应 用 另一种有效减少直方图b i n 的数目的办法是只选用那些数值最大 即像素数 目最多 的b i n 来构造图像特征 因为这些表示主要颜色的b i n 能够表达图像中 望 堑堑塑里堡查塑堕塞塑壅望 兰查塑苎查兰堡主兰堕堡墨 大部分像素的颜色 实验证明这种方法并不会降低颜色直方图的检索效果 事实 上 由于忽略了那些数值较小的b i n 颜色直方图对噪声的敏感程度降低了 有 时会使检索效果更好 两种采用主要颜色构造直方图的方法可以在文献 5 6 中找 到 2 1 2 色彩矩 另一种非常简单而有效的颜色特征是由s t r i c k e r 和o r e n g o 所提出的颜色矩 c o l o r m o m e n t s 5 1 这种方法的数学基础在于图像中任何的颜色分布均可以 用它的矩来表示 此外 由于颜色分布信息主要集中在低阶矩中 因此仅采用颜 色的一阶矩 m e a n 二阶矩 v a r i a n c e 和三阶矩 s k e w n e s s 就足以表达图 像的颜色分布 与颜色直方图相比 该方法的另一个好处在于无需对特征进行向 量化 颜色的三个低次矩在数学上表达为 舻专善p v 3 印 专善 旷 2 2 i 4 1 驴 二1 荟n p g z e 3 5 其中p 是图像中第j 个像素的第i 个颜色分量 因此 图像的颜色矩一共只 需要9 个分量 3 个颜色分量 每个分量上3 个低阶矩 与其他的颜色特征相 比是非常简洁的 在实际应用中为避免低次矩较弱的分辨能力 颜色矩常和其它 特征结合使用 而且一般在使用其它特征前起到缩小范围 n a r r o wd o w n 的作 用 2 1 3 色彩集 为支持大规模图像库中的快速查找 s m i t h 和c h a n g 提出了用颜色集 c o l o r s e t s 作为对颜色直方图的一种j 匠似 6 1 他们首先将r g b 颜色空间转化成视觉 均衡的颜色空间 如h s v 空间 并将颜色空间量化成若干个b i n 然后 他们 c b i r 中特征提取技术的研究和实现华东师范大学硕士学位论文 用色彩自动分割技术将图像分为若干区域 每个区域用量化颜色空间的某个颜色 分量来索引 从而将图像表达为一个二进制的颜色索引集 在图像匹配中 比较 不同图像颜色集之间的距离和色彩区域的空问关系 包括区域的分离 包含 交 等 每种对应于不同的评分 因为颜色集表达为二进制的特征向量 可以构造 二分查找树来加快检索速度 这对于大规模的图像集合十分有利 2 1 4 色彩聚合向量 针对颜色直方图和颜色矩无法表达图像色彩的空间位置的缺点 p a s s 7 提出 了图像的颜色聚合向量 c o l o r c o h e r