（信号与信息处理专业论文）基于roi图像检索的研究及文化遗产图像检索系统实现.pdf

摘要 摘要 图像检索技术在网络大发展及人们对读陲的强烈渴麓的背景下成为学术赛 研究的一个热点。建立图像检索系统豹关键技术包括：图像采集、图像及其相关 信息的自动归档技术、建立完冬的图像痒及特雏数据库，图像特征提取，相似性 匹配，图像检索系统的用户接口设计，检索系统平台架构几个主要部分。零文对 建立文化遗产图像检索系统涉及到的关键技术展开了研究。 本文主要的贡献是1 ) 采集了大量文化遗产图像，建成了一个具有一定规模 的文化遗产图像数据艨、图像特征库；2 ) 设计并实瑗了图像及其信息的自动归挡； 3 ) 首次将慕予内容的图像特征弓l 入文化遗产圈像检索领域中来；4 ) 针对文化遗 产图像的特 正，提如了一矛申改进的图像内容描述方法；5 ) 提出了一种纂予改进的 图像内容描述方法实现感兴趣嚣的图像检索的方法，设计了新的相似性匹配算法： 6 ) 实现了一个其有高度灵活性的基于w 曲的文化遗产图像检索系统。 在文化遗产图像黪缝描述方薅，根据文化遗产图像大多具有明显分块的特 征，本文选取分坟颜色直方图特，谯提取算法进行改进。改进的分块颜色直方图特 ，镬提取算法根据信息论原理，利用信息增益来皂动选择图像分块方案，解决了传 统分块颜包壹方图特锤提取时采翔统一分块方察造成的不好煞分割( 景观的主体 部分被分割) 的问题，使提取的圈像特征更接近入的主观意愿。实验诞实，改进 的分块颜包直方图比传统分块颜色蛊方图的检索的查全率和准确度都有提高。 在基于感趣送的图像检索方菰，选取改进的分块颜色翥方图作为匹配特 征，设计了将用户提交豹感兴趣区与圈像霹中文化遗产图像每一块的楣似性距离 的最小值作为检索图像与库中图像豹最终距离，取代传统相似性距离度量方法， 从丽保持了检索的旋转不变性，即无论感兴趣区图像处于备选图像的哪一个区域， 都可以准确地获取含有感兴趣嚣图像豹所有图像。 最后本文设计并构建了一种基予浏览器绡殴务器结构的文化遗产图像检索系 统一c h 双，给出了完全基于j a v a 豹系统实现方案。系统具有实用性，同时具蠢 较强的灵活性、可扩展性。实验系统的运行结采证明了方案豹可舒性。 关键词图像检索；特征提取：感兴趣区；文化遗产图像；自动归档 独创性声明 本人声明所里交豹论文是我个人在导师指导下进行艉研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的磷究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书丽使用过的材料。与我一嗣工作的犀志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：高圈拯园期：翌! ：! 媲 关于论文使用授权的说明 本人完全了解j e 京王业大学有关保黧、使用学位论文的规定，鄹：学校有权 保留送交论文的复印件，允许论文被蠢阅和倦阕：学校可以公布论文豹全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后度遵守此规定) 日期：量婴丘g 母 1 1 课题背景和意义 第1 章绪论 在信息时代的今天，“数字北京”是北京市政府在新的历史发展机遇下提出 的具有时代主题的构想。2 0 0 8 年奥运会的成功申办，将带给北京无限的契机， 在北京成为全世界人民关注焦点的重要时刻，如何采用数字化技术向全世界展示 北京瑰丽的文化遗产，对于咀科技、人文为主题的2 0 0 8 北京奥运具有重要的意 义，对于宣传中国文化，升华奥运精神都将大有裨益。 北京有着丰富的文化遗产：长城，故宫，天坛，北海等等，都是中华民族悠 久历史遗留给世界的瑰宝，都是中国古代文明的象征。利用先进的数字化信息技 术采集这些珍贵文化遗产的影像信息，通过海量存档技术建立数字化影像库，来 保存这些海量数据：利用检索技术来实现对文化遗产数字化影像的检索、浏览： 甚至通过数字化影像资料建立虚拟现实环境，在虚拟环境中重现古代文化资源的 历史原貌：最终，在网络技术的基础上构建展示系统，以便于这些珍贵资料的资 源共享。文化遗产的数字化使文化遗产的保护进入了一个崭新的时代，然而在数 字化应用的进程中，还存在着很多有待解决的问题。 正是在此背景下，2 0 0 4 年北京市教委设立了科技发展的重点项目“北京文 化遗产的数字化保护、存档及检索的关键技术研究”，其目的在于宣传以科技、 人文为主题的2 0 0 8 北京奥运，同时，该项目对于宣传中国文化，推动北京的“2 4 8 ” 重大示范工程，都具有重大意义。本课题就是针对文化遗产图像检索系统中的关 键技术开展研究，并建立相应的展示检索系统。 1 2 研究的主要内容 根据文化遗产图像检索系统的实际应用需求，本文从整体出发，对文化遗产 图像检索系统进行了分析实现。在完成论文期间主要的研究内容包括： 文化遗产图像的采集、自动归档技术 数字图像处理从图像采集开始。图像收集的程度直接影响着检索系统的性 能，因此文化遗产图像检索系统建设中，图像采集工作是重要的一部分，需要 投入大量的精力去做好它。本文研究了目前的图像采集技术，然后采用多种方 案采集文化遗产图像，并建成具有一定规模的文化遗产图像数据库。 案采集文化遗产图像，并建成具有一定规模的文化遗产图像数据库。 j 京z 业太学工学硕士学位论文 另一方鼷，在被海量图像信惑拐筑淹没瓣各稚最常用的网络应用中，系统 不仅癸存取常溉的字符数字数据，_ i 嚣曼越来越多包含多媒体数据的信感需要处 理。如何有效地按照多媒体数疆的特髓去存取多媒体数据，成为各种多媒体检 索系统硒究豹热点和创新突破口。本文综仑剥用常规荧系数据库和基予内容豹 方法来管璞文化遗产图像数据及文本信息数据，设计并实现了文化遗产图像数 据痒和特征数据库。为了避一步提高检索系统的性能，本文采用数据库存储过 程实现基于f q 容的多媒体数据存取，减小w c b 服务器的运算压力。通过对数据 库存储过程调研、在系统中使用存储过程豹优点及可行性分析，本文从实际融 发，设计了专门针对文化遗产蓬像捡索系统鲶存储过程。 图像及其信惑的蚕动归楼实现盘骚务嚣叁动宠成圈缘信息的数据库保存搽 作以及幽像本身的分类保存。由于图豫的收集王传繁复，薯作罴大，当用户掇 交一个文件滋彳予稔索或是管联员提交文件夹进行图像录入时，都霈要将提交的 图像上传到溅务器特定的文件夹下，以方便避一步的处理 同时，还要提取并 存储图像的文本信息、糊像特征向量，用爰乏作检索条件。光靠人力去完成这魑 工作显然是不现实的。因此设计一套合理、快速、准确的图像及其信息豹自动 归档策略是非常必要的。怎样处理图像文本信息的提取、怎样把图像特征存入 到数据库中、懿俺保存图像也成为整个捻索系统设计中的一个难点。自动魉穗 充分剥溺了诗舞稳豹优势，蔺优了数据收集步骤，使爱螽管理更翱方便。本懿 分内容涉及的一个关键技术是鲡侮分类保存霪像，考虑劐实际的斑藤场景，本 文采用j a v a b e a 娃技术实现了图豫文 睾豹分炎保襻，所霄支持h t t p 协议的网络 均适用。这种方式京其优点，像存在缺点，论文中将详纲讨论。 特征提取、毅配算法及针对文化遗产图像特点的改进 图像特镊提取技术在图像检索系统中始终是最关键豹一个技术。在检索系 统中，特征即是检索酶条传，无论是在以前的基于文本的检索系统中，还是在 目前流行静蒸予内容豹蘸像捡索中，甚至在未来抟綦予语义的图像检索系统中， 特征提取的遗像帮不会动摇，始终楚必不剪少屐是至关重要的。图像特征存文 本特征，辩名称、大小等；纂予蠹察熬特饺，熏嚣颜色、纹理、形状等；基予语 义翦，如情感、宗教意义等。在综合考虑瞧熊及实用瞧的基础上，本文将针辩 基于文本和蒸于内容的图像特征提取方法进彳亍深入的研究、比较，并针对文化 遗产图像的特点进行改进，试图找到对文化遗产图像有效豹特征提取算法，宽 服已有算法的缺陷，使提取出的图像特征更按避入的视觉效果。 基子感兴趣嚣的图像梭索方法的研究 第l 辇鳍论 本文提出了基于感兴趣区( 黜啦o n0 fk t c r e s t ，翔0 i ) 的图像检索，文中将 讨论基于感兴趣医( r o i ) 的豳像检索方式及实现，介缨本文设计的一种应用策 略。基于感兴趣区的检索遮过锯能忧交点式接口的设计褥以实现。在慕予感兴 趣区豹稔索实现孛，本文还深入褥究了相关反馈的技术，设计了加入反馈的相 似性匹配算法。 系统体系结构的设计与应用系统的建立 本论文所要究成嬲是一个应用系统，其中的每个环节都有针对性缀强豹关 键技术，孺最终各释技术都需要运行在一令统一的、稳定的系统平台之上。同 时，锺对不断改变驰需求及将来可以预见和无法预见的新的应粥，在系统结构 设计当中必须予以考虑，翳出扩展接口。因此，个具有良好扩展性，霹维护 性的系统结构设计就最褥尤为耋要，这也是本论文的熏点之一。 。3 论文的安摊 本论文的结构安排如下： 第l 章为绪论，檄述了谍越的提出，研究内容以及论文的安撵。 第2 章介绍图豫检索系统，详缀介绍了露像检索系统的关键技零及现状。 第3 章对图像采集技术进行研究，通过分析比较，选取恰当的采集方式，获 收集到6 9 个景点、3 8 类景观的1 0 0 0 余箍图像。同时，本章还介绍了图嫁及其 信惑的自动归档的渡诗与实现，主要根据本文系统特煮提出劳实璇了自动归档模 块。 第4 章研究并讨论了图像检索系统中的关键技术图像特征掇取及匹配 技术。详细讨论了文化遗产图像检索罨统中涉及到各种图像特征，如各种颜色特 燕驹袭示、提取、疆配算法；图像的边缘特疑提取、珏醚算法。并选取袋绞分块 颜色袁方图特征摄取的方法进萼子锋对文佬遗产弱像特点的算法改进，文中详缁介 绍了改进算法的恩想，以及算法实现。 第5 章提出了一种使用本文的改进分块颜色畿方阉算法实现的蒸于感兴趣 送鲍检索方法，设计了餐能亿的交嚣缓鞠，融合相关反馈策略，提如了一种耨型 的秘钕犍匹酝算法。文中详缬介绍了慕予感兴趣送的图像检索静设计和嶷现。 第6 章对文化遗产图像检索系统的结构进行了分析和详细设计。主要从应用 系统的角度出发，结会特定的需求，讨论了j a v a 体系结掏下的系统实现方案。 北京工业大学z 学硕士学位论文 最后，展示了本文实现的首都文化遗产图像检索系统的功能。 第7 章是结束语，总结了研究生期间完成豹工作，以及对今后工作的进一步 展望。 最后是硕士期间参加的科研琐舀、发表的学术论文、申请的软件著作权、参 考文献和致谢。 第2 章鞫像检索系统关键技术教研究现状 第2 章图像检索系统关键技术及研究现状 近年来夔麓计辣概性糍潍大襁度撼离以及裔速通信潮络盼迅速发震，计算橇 的计算能力和网络通倍速度对图像检索系统已商足够的支持能力。闷时图像检索 依为当蓠研究领域的热点之一，吸弓i 了大鬃专家学者开展楣关研究工作。但是嚣 前仍然存在一些瓣素影响图像检索斡功和性能，这些关键技术的解决辩予强像 检索今艏的发震蠢蓿熏要意义，也歪是本文工髂的熏耍缝成部分，零章针对建立 个图像梭索系统涉及豹主要方嚣的已有研究工作帮其体内容展开讨论，最爱介 绍了常用的几种检索系统性能评价指标和评价猴则。 建立图像检索系统的关键技术包括：图像采集、图像及茭榻关髂惑的皂动烟 档技术、建立完备的图像瘁及特筑数据簿；图像特征静提取；对图像特筑避萼亍撩 似挂匹配；图像检索系统豹闵户接口设计；检索系统平台絮稳几个主要部分。磁 续的每个小节分别对应一方覆内容的暴体讨论。 2 零l 畜 纂于肉容豁图像捻索c b 承( e o l 琏e n t 弱a s e d 融a g e r e 蕊e v 螂，是剃愆图像内容 实现图像检索豹一项综合性技术，怒指根据图像内容特征以及特征缀合，从图像 岸中直接找到含脊特定内容的图像。图像的内容特征包括图像的外溉特征( 颜色、 纹璎、形状) 帮语义。其中，图像瓣颜琶、纹理、形状等夕 观特征被认为是较低 层次上的特征，最蠢鞠对点戏的特点；蔼语义是较离屡次上黢特征，爨有裙对主 观掏象的特点。搴实土，图像的内容特 芷怒对圈像内容的压缩帮抽象，与人类的 观察十分穗似，因两慕予内容豹图像检索络果能够满足用户豹器要。霾蘸磅究粒 皮溺的层次主要怒采蹋基于特征的梭索方式。基予图像内容实现梭索的熬本愚鼹 怒： 首宠，避过对瀚像内容游分檬，自动残半自动豹糖取鬻像静颜色、纹瑗、形 状、对象的空间关系等特征； 其次，建立图像豹特征矢量传为葵索引，利翅纂予这些特征定义的棚似度羹 薮数计冀或评价特缓之阗豹穗戗性： 最嚣，将辕似的鞫缳作为捡索缭莱返强绘用户。 在整个的梭索过程中，第一步是至关耋要懿，它关系到以艏粒锫个垮麓。嚣 北京王控大学王学硕士学位论文 j 墩基于内容蠡勺图像特，谯提取的研究一蠢以来是人稍关注豹焦点，也是本文磷究的 重点，将在后西微较详细躲分析。 2 。2 图像采集及鑫动归档 蘧着影像聚集设备的发矮，帮以逐过多耱途径采集圈像，但不潮黔采集方式 番自存在着优势与不足，在建立文化遗产图像检索系统时需根据系统要求采用适 合的方式。关于黪像及其褶关信息的自动归档技术，与图像牧集与蹩毽酌对象类 型、捡索系统的实际纛用有关，毽裁并没有统一的标潍。襻麓方式包括合瑷镳存 鼹嚣像及其稳关傣惠，考虑存储容黧_ 摹鞋存取熊力，摄赢存取速度。农零文巾提出 的存储方式主要指关系数据库结合嫒盘作为存贮媒介，因为图像数据爨大，需要 长勰僳存，瓣存储容蹙静可扩展链魄鸯一定的耍求。 有关多媒体数据麾方蘧，从1 9 8 3 每d 。t s i c 碱t i z e 帮s 。c 碱t o d o u l a k 等人第一 次提出多媒俸数据瘴豹概念，对予多媒体数攥瘁的研究已搿展了邋2 0 年，瓣予 包括数馕、字符文本、图形、图像翻声音等形式媒体躲数据痒的研究取得了熏蔡 的成果，僚是在多媒体数据模黧方弱，传统豹关系数据模型缺少支持多媒体数摄 麾的能力。 嚣露两对象数据痒模型类的概念对多媒体数据特剃嘉用。铡麴增宓瓣反 映多媒体对象之瀚黠空笑系的描述，撼述多媒体对象间受深猁的语义。但是，嚣 阍对聚的数据模型西前尚无一个统一的标准，缺乏蟹实的理论基础，许多实际技 术还不成熬。麓了受好趣满避多媒体数据纛管理的器求，也需要骰递一步匏磅究 和数进。 2 。3 图像特搓提取和匹配 圈豫检索系统豹矬熊，簸孬曼好趟满足入们对强像麓检索需求，潮像特征摄 取和禚配技术始终是图像检綮系统中最核心翡技术。 举在7 0 年代，人们藏开始了图像检索技术的研究，实现了纂予文本方式的 图像检索。典型框架蹩：首先对图像避雩亍入王标注，然嚣墩用文本梭索技术实现 对栎滚灏像豹捡索。这孝申方法在辫像簿中熬图像数鬟不大盥图像内容比较单一 日重，不失为一种简单翳行的方法。然藤，警圈像数据爨非常纛大时，蒸于文本黪 图像稔索存在着诸多灏难： 繁先，手工辩图像进行标注所嚣瑟的工作量大，效搴低； 其次，图像内容的复杂多样使褥图像注释具有较强的恚瀛性：鼯使摇丽的图 像，不同的人对图像的理解识不完全一致，存在二义性； 第2 章隧像捡囊系统关键技术及研究现状 另外，对图像藤玄它不嗣于文字信惑，图像内容本身不能童接进零亍摊序，不 能赢接进行准确比较，罴有难以用符号攥述的视觉特征信息，如图像内容的空间 哭系、图像羰色、纹理、形状等是难以瘸准确豹词汇描述的。 表2 1 蒸予关键字标注瓣图像检索方法和基于内容捻索方法的比较 撵标 图像特摄特征表示特征匹 适用领域糖效饿代侩 检索方；l 提取方法配方法 基于哭键字的由领域专萋予关键采取精确只适用于需要时闻 耗对、费 力代价较 检索家标注孛方法臣配方法静态图像较长 赫 基予内容的梭由计算机基于特征采取模糊动、静态图嚣要时阀 快速、便 捷代价较 索盘动撬联参数方法匹瓣方法像均适胡较短 低 由于图像内容的事富内涵以及人们对图像内容进行j 谯取的主观褴，使得基予 文本的方法往往不准礁的梭索，不能取褥较为瀵意的效果，这种技术的适用范 围及领域受到极大的限制。避年来，一种区别予传统的基予文本豹检索手段，被 称为基于内容的圈像检索技术成茺研究豹热点。 基于肉容的检索技术其蠢重大的理论意义和实用价值，其在数字鬻书镕、天 气预掇、知识产权保护、建壤债惑系统、安全管理( 如入脸识别积攒纹识剐) 、 医疗图像管理、卫星遥感图像管理、交遴检测、纺织和服装设计以及多媒体视觉 内容枪索等领域都有着十分广滴的应用，国内夕 学术界菲常重税这一领域的研究 和歼发。国黼标准化组织l s 。瑾c 下辖的h 糟嚣g 专家组开始着手制定被称为“多 媒体内容描述接口”的m p e g _ 7 标准，它的主要嚣标邸是支持多媒体信息豢予肉 容的检索。夜介绍颜色! | 等征提取方法部分我将会提至l 在凇e g 7 中推荐了一种颜 色描述符一可伸缩颜色。它利用h s v 空滴的颜色直方躅，其奁方条的数堂和 在t e 特表达精度上都是可 申缩的，可根据检索精度的要求进行选取。笼其怒远几 年受嬲络稆攫缩技术的撼动，原来从事图像处瑾、模式识掰、计算枫视觉秽分布 式数摄库等智能系统的学者纷纷转向这一领域，形成了一个新的国际性的研究热 点。现在每年不仅脊大黛论文发表，雨且也建立了一些实验系统。霪际学术组织 s p 诱惑连续多年予春、狡两攀分剐在美鞫谣部藏东部召开与藏相关的专题研讨 会，褰攀会议的主题为“图像与视频数据痒的存储与检索”( s t o r a g ea 砖r e 舾e v a l f o rh a g ea i l dv i d e od a t a b 黼e ) ，秋季会议的主题为“多媒体存储与档案系统” o d u l 虹m e d i as t o 穗勰鑫n da c l l i e v i n gs y s t e m ) 。此外，毯e e 、a c m 和l 艚r ( 园涿模 式识别联合会) 等学会缝织也有类似的专题讨论会，由此足以看出国际学术弊对 这一问题的煎视。 已建成的实验系统霄：m m 州m 8 d e n 研究中心推出了q b i c 系统，此系统已 北衷工娥大学工学硕士学位论文 露予超票、褒标、艺术媾物馆等强缘数据豹管瑾农检索；哥伦毙亚大学磷制了农 h t e m e t 上运行豹蒸予内容静强象视频检索系统硪s u a l s e e k ，墨应用在电子强书 馆等领域；魏外还霄加州大学圣迭哥分较r a g e 系统，将查询作为一个擂律， 既可以用到通阉的图像查询，墩可阁到特定的领域中；嚣门予公司的c a r a = r 数 字多媒体档案系统；麻省壤工学院的p h o t o b o o k 等。 近年来，国内在綦予内容的图像检索方谣也得到了缀大的发展。例妇，浙江 大学计算机系研究的基予图像颜色的检索系统和熬予图像形状的检索系统、清华 大学的孙te _ r i l e t 上静态图像的基于内容的稔索的原蛩系统，中圜科学院诗算机技 零磷究正在研究的多媒体信惠检索系统，碍以在撇e m e t 土按内容对圈像影像僖 惠或文本傣意避行检索。 基于内容的图像检索技术己成为霉翁多媒体、信息检索、人工智能、数据艨 等领域共阉荧淀的一个重要的研究领域。比较流行的c b 双方式是通过铡予的誊 询和相关反馈技术1 1 2 1 查找到与绸子图像在视懿内容上比较相似的图像，按稠似 度大小排列返图绘用户。 依据检索的复杂度将赢询分为三个等级： 等级l ，摄攥颜色、文本、鬻形和图像元素戆窆藤位麓等基本特征迸彳亍稔索。 馕如在数据瘁中整筏其弯鲡下特征翡图片“在左上蕉鸯一个细长的黑色物体”， “由黄色的星攫缀成翡馨圈”等。此类型鹊图像检索不需要强何的先验知识，系 统只是从图片自身巍接提取棚关的特征信息并按照某种特定豹相似度计算褥准， 找到满足用户要求豹图片。出予以上的原因使其_ 陂月范围受到很大的鞭剩，强前 主要用予商标淀船等特定的应羽环境中。 等级2 ，鏊予逻辑特缎的梭索，它可以分为：熬于给定类型对象的图像检索 ( 例如绘骞双层公共汽车的图片) 帮基予单个对象和人物的检索( 例如描绘艾嚣 尔铁塔的图片) 。在第一个例子中要求对象熬正确识别系统不能将公共汽车谖别 为卡车。第二个铡子簧求系统首先知道给定对象艾赣尔铁塔豹结构，并器熬在数 据库中迸雩亍检索。j 蹴类梭索都要求系统其有先验知谖的支持，在实际应用环境孛 主要遇到盼怒与此裰似的图像查询。 等级3 ，萋予抽象特摄的图像检索，涉及列对耀户所描述意思的理解和对图 片中对象及景物的较商等级的推理。例如：基予特定事情和活动的图像检索( 描 绘苏格兰人民欢乐舞蹈场景的图片) ；基于某种情感和特定宗教意义的图像梭索 ( 描述人类受繁情形的图片) 。_ l 篼等级的阁像检索可以满足用户复杂的检索蘩求。 通过复杂的撩理帮对象的判断在图片豹内容和所说弱鳇弦象概念之闽建立联系。 第2 章鼷像检索系统关键技术及研究现状 此方面的阂像梭索妻要用于报纸业和艺术博物馆。 对应不同的检索等级要求不同的图像提取技术。隧翦的检索技术主要处于等 级l ，嚣基于图片的颜色、图形和文本等基本特征的图片检索，其研究主要从用 户接口和有效熬查询方式蕊个方透展开。铡如，除了我们刚才介绍的几个系统弧 外，c u m u l u ss i g n p o s t ，f o t o w a r e 在这些产品中，所采用的界面多要求闵户向系统 提供一个阉片，同时裰摆用户豹反馈倍惑帮韵系统在数据库中查找与其最相似沟 图片；或者允许翔户构筑个镄单的挺架，系统在数摆库中豢找形状与掰提供的 框架最为相似的图片。 目前的象索域图像检索方法通常采用颜色特征、纹理特征、形状特缝、草图 特诬、区域与霞标特征、用户反馈偿惠等作为梭索弱依据。 颜魏怒一张熏癸的视觉信息，颜龟特镬计算篱肇、计算牲质稳定，成为现有 检索系统中应震最广泛鸵特，谯。 纹理是与物体袭露撵质有关的图像特鬣，其鸯照明不变性。纹理分析一裹足 计算枕视觉的一个鬟要研究方向。其方法主要分为甄类，即结枣句方法和统计方法。 基于图像内物体形状豹检索，首要闼题是采用合适的图像分割算法把不同对 象从图像串分割出来，关键是罨找符合入隈感知特性的形状特 正。传统的基予形 状的检索是基于形状特征构成的形状特镊矢量的。 基于孳图的方法足一秘类似与基予形状姆征、僚受崖瓣的梭索方法。用户提 供一个草图作为查询，草图包含的信怠爨取决予酒草图的用户。好的草图能很好 蟪剃用备静技术，如：颜惫、藐影等。氆m sq 转i c 提供鹣l a y o u ts e a 量l 就饺耀 了草图作为检索的依据。 基于区域与目标特征的检索，由予基予颜色、纹理的检索仅适会部分图像的 硷索，且检索的正确率不离，丽曩，很多情况下，入们感兴趣的并不是整幅图像， 蕊是图像中的菜些嚣域或嚣标。因此，近几年寒，人们撼出了綦予区域或目标瓣 图像表示方法和检索方法。 基于用户反馈信息的检索，很多系统中将入龟括在检索环路中，以弥於自动 分橱面褊的困滩，通_ j 建交互式的反馈来决定采用俺释特征组会及各种特征豹权值 进行检索，从舔使数据痒中的图像分类更接避傻用者的主观愿望，使梭索结果符 会使用者豹个性化要求。该研究方向怒当煞的研究热点。这种方法不需要实际的 嚣檬图像稻关键字，篱攀交用。 北京工业大掌工学硕士学位论文 当前c b 嘏的研究多集中于未压缩豹原始图像。对于压缩图像，如果把图像 解鹃至空域，再愆现存的技术，器要对整个数据露的图像鳃码，效率极低。谣壹 接在压缭域提取蘑像特缓，则避免了鳃码和熏新编鹳的过程，极大地提嚣了效率。 目前适合撬取图像特 芷豹压缩策略窖：j p e g ，小波，分形，矢量量化等。存在 的一个问题：现存的压缩策略中压缩数据的不相关性，导致特缝矢量提取过程中 特定的露像处理任务。 耳前的图像检索方法酱遍存在些缺陷，如颜色盛方图是描述全局颜色特征 的重要方法。国内外对童方图方法的研究已很成熟，并取得了一定的成果。但颜 煎直方图不包含饪何位羧等图像中反映空闺关系的信惠。为了克自受这一缺点，几 种令人注弱的研究试圈将空间信息结合到基于颜织特征的检索中来。这些研究大 多数是在颜色直方圈测量的基础上，引入用于摇遮位覆信患或空阀关系的图形或 矩阵。邋过图形接导或筑阵运算，怼满足颜燕囊方豳襁似性测爨标准褥到的候选 图像孬进行第二次相戳程测量。尽管在戴方殛豹骈究取得了缀重要的进震，然而 这撰描述空间位霪关系的图形或矩阵，有些针对特殊的应用对象或者擢导过予复 杂，使其应用范围j 阳实用憔具有一定的局限性：肖些加上了位爨约束条件蜃，破 坏了踉来鹣旋转和平移不变性。翻鼷麓为止，还没有报道在这方瑟豹研究有一葶孛 大家公认豹跑较理想的箨法。 2 。4 图像检索系统的用户接口设计 用户的交互接嗣是多媒体系统中最重要髂方露之一f 轴。在实辩的图像羧索废 用系统中，人们一方顽关注检索的准确性，另一方面关注检索的便捷和易懂。因 此，一个操作箍单，壹躐的用户交互接口使得检索系统在实际斑用中更能受戮人 f j 的毒昧，被入襄广泛使餍。两投术研究救真聪慧义也燕是在于技术豹实用偬。 用户接翻设计涉及刘用户对图像内容的感知表达、交互方式豹设计、用户如 何形成并提交查询等方瑟。现代多媒体信息系统的一个重要特征裁是信息获淑过 程的霹交耍性，人在系统中是主动鲍。除了疆供零镝和描绘纛询基零接嗣之外， 用户的查询接口应提供丰富的交互能力，使用户在主动的交互j 建稷中表达对图像 语义的感知，调整查询参数及其组合，最终获绲满意的查询缩采。用户的蠢询接 口应该是纛观易用的，底瀑静特征选择对埔户是透明豹。这鬟涉及到如僻把惩户 的查询表达转换为可以执穹亍检索的特征矢量，如俺从交互过程中获取用户的内容 感知，以便选择合适髂检索特征等同题【4 】。友好性豹入枫界面可以提高入帆交互， 提齑工作效率：图像稔索系统另一霪要研究方向为用户接口和脊效的查询方式。 备季孛反馈机制的弓l 入，使键检索更加入性纯。 从系统设计的角度，可集成性是必缵考虑瓣阀题。系统集成鸯几种方式：( 1 ) 功能集成，主要指从不丽系统的功能角度，通过界掰羹构实瑷对原膏系统功能豹 集成。这萃中方式会由于不瓣系统翡功能实现方式的差异，随着联要集成的系统的 增蕊两在难凄上增量上丹。( 2 ) 泣务集成，帮工作流程。它由一系列的活动稠曩 连接，从愿完成特定的业务活动。( 3 ) 数据集成，方法生要存数据静转换、数据 格式的定义、援则的攒述、数据的整理及褥加王等。集成镪含数据共事、数据迁 移及数据复每l 等。主螫难点有数据格式的转换、数据冗余以及完整性的保持等。 由于韪前建成的落像检索系统大多为实验系统，只提供对单一媒体的支持， 因北，辩系统架梅并没有太多考虑。本文设计韵系统是文化遗产数字纯保护项霹 中的一部分，将来与其它瑟统，如音频、视频等处理系统集成，形成大型多媒体 应用系统，这涉及到胃行的系统集成技术。另外，多种特征的检索需要业务集成。 2 。6 检索系统性能评价指标和评价准则 为了判定各个辫缘检索系绞的性能秘不同技术赝得到的检索结果，鬻要定义 一些计量准则。图像信息捻索是一个交互的避稷，所以以下三个性评价指标值 得考虑。 计算复杂度：一般仅考虑为完成一个典型的查询蔼需要的最重螫搽作： 平均迭代次数：与计算复杂度相关但又不完全相间( 更多考虑了操作复杂 度) ，一般仪考虑为获得一定的满意结桨历攒的搜索迭代次数： 平均范例数堂：指为获褥一定的满意穗度嚣所爨静查询范铡数爨的平均篷 梭索豹目标燕发现和摄取所需要豹图像，所以受多的情况下要考虑磁检索出 来的榻似图像豹数量和萄 序等级。下瑟介绍几种常见的评价准则。 1 套全率( r e c a l l ) 和准确度( p r e c i s i o n ) 检索作势综合描述、撬取、嚣配的处瑾，有成功和失效的霹能。搬据模式识 嗣的藤理，可褥到表2 2 的4 释情况，对应4 个基本参数。 北京工业犬学工学硕士学位论文 裘2 2 表示检索系统性能的基奉参数 评诠者的判断 有关系无关系 检索到a ( 正确检索)b ( 谡梭) 没肖检索到c ( 漏捡)d ( 正确拒绝) 稠用表2 2 豹基本参数，可定义常用的鸯全率露准确发以爝来表示检索系统 豹性能。套全率和准确度豹定义如下f 5 】： 蠢撵= 蔫鬻鬻= 忐 猴黻= 蔫薏瓣= 熹 ( 2 - 1 ) ( 2 2 ) 对查全率和准确度的计算都需要知道真实的结果( g r o l l l l d 饥浊) 。 2 有效蕊( e f 靶c t i v e n e s s ) 要 贝| | 爨系统的查全率和准确皮，常需要对诲多祥本进行统计才能得到较好的 效果，聪要测堂系统的有效性只嚣要一个较小的实验图像组部可【贸。这些图像龟 会与查溺所使用的样雠豳像不宪全稳融的视觉元索( 纹理、形状、予鹫像) ，毽 它们与样例图像又属予阏类。实验中可采取将系统输出结果与用户或评价者对比 的方法来评价系统性能，具体对实验缀中的每个图像f 个和每个轰诲样铡图像， 确定一个狱系统分配豹序p i ( i ) 为中心，宽度炎蕊( i ) 的窝。通过魄较系统和入分 别对鞫像f 相对于查询样例图像_ ，的播廖来推断检索的有效性。一个排序所用的 测度可以表示为： q 璺# s j ( i ) =q j ( i k ) ( 2 _ 3 ) k t i 卜m 这个溅度值给出了将潮像f 撑在位鐾p j ( i ) 一最( i ) 和p i ( i ) + 艿i ( i ) 之闻的人数 q ；( i ) 懿秘，穰据测度德可比较检索效祭的优劣。 3 。检索效率( e 攒c i c n c yo f r c 骶e v a l ) 对一给定盼查询图像f ，设k 楚图像蓐中稳儆图像豹总数，n 是提取感浆楣 似性图像数，t 是系统提取出的总图像数，则捡索效率定义为f 5 l ： 强= 舞嚣筹 强。 蚪警n t t 。q ， 当进行了一系列检索实验对，如果某些实骏中n t 雨在另一些实验中n 四， 第2 荤鬻缳蝗繁系统芙键技术及婿甓现状 熙么根攥公式( 2 1 2 ) ，菜些实验结果就念眈其它实验结果被赋予较大鹃权限。为 了避免这个阖趱，以程一致条件下魄鞍不阉的技术，需要提取毙攘似鞫豫的总数 更多的图像，即总爨取n 2 。7 本耄总结 本章详细讨论了建立一个图像检索系统所涉及的关键技术邑及研究现状，并 给出了评价图像检索系统的髋能指标和评价准则。到目前为止，图像检索系统的 褶哭技术仍然在发餍输段。瑟续鼹章节将详细介缓零文对实现文俄逡产图像捻索 系统套关键技术的研究过程和结莱。 l e 京工业大学工学硕士学位论文 第3 章文化遗产图像采集及自动归档 数字图像处理从图像采集开始。图像收集的程度直接影响着检索系统的性 能，因此图像采集工作在文化遗产图像检索系统建设中占有重要地位，需要投入 大量的精力去做好它。 本章首先简单介绍图像采集技术，然质介绍文化遗产图像的采集方案、图像 收集情况和图像库的组成。最后，介绍根据本文系统特点设计实现的豳像及其信 息的自动归档模块。 3 1图像采集 3 1 1数字化图像采集技术 目前，以硬件设备的不同可将获取数字化强像的方法分为以下几种方式：普 通栩机+ 扫描仪、摄像头或摄像枫+ 图像采集卡、数码褶税。 3 。1 1 1 普通相机+ 扫描仪 首先用普通稠机拍摄景观图像，然后将得到豹照片利用扫撼仪进行数字化。 这种方法将冲洗盾的照片闵平扳式扫描仪扫描，僵这样强像的质薰会有较大的损 失。此方法要求扫描仪光学分辨率至少6 0 0 线，色彩位数2 4 。3 6 位真彩色。仪在 计算机屏幕上观看，扫描分辨率不必设得太高；但如果需要打印输出，则分辨率 要设鬣的尽可能离一点。这种方式的缺点是，拍摄周期长、技术条馋复杂、成本 离，对普通非专渡摄影人员技术难度较大。 3 。1 1 2 摄像头或摄像梳+ 图像采集卡 摄像头或摄像机掐摄景戏图像，要邋过图像采集卡实现数字化。摄像头或摄 像枫的分辨率要求达至4 8 0 线，图像采集卡要求能采集囊彩色、分辩率趸少为 1 0 2 4 7 6 8 的图像。如果使用摄像讥，要注意最好直接将图像采集到硬盘而不要 先存在录像带上，以免图像质囊的下降。这种方式由予要经过从模拟图像至i 数字 第3 章文纯遗产躅像采集及鑫动妇档 图像的转换，其成像蒺量受摄像梳、图像采集卡等多方面因素影痢，不阕懿配麓 价榛鞠威像质鬟有很大的麓券。尽管市场上该类产晶很多，但由于采集到的溪像 分辨率较低，打印输出辩震餐较麓，已蠢羧显徽数码籀机取代豹趋势。 3 1 3 数码榴枫 数磁相机的出现，绘图像的拍摄带来了极大的方便。其操作箍举，成像质爨 商，并配蠢专门螅塑像处理分横和数据麾软 串。数码相机豁图像分辨率较数码摄 像枫商，蕊且价格相对硬宣，廉以是强前常见粒勇一种照片采集技术。瓣翦，数 码姻机的光学分辨率一般在5 0 0 万像素以上，远远高于数码摄像头的光学分辨 睾。嚣外，数褐相枫调节焦距的范潮积遥远越过数鼹摄像头，并鼠蹙有鑫渤对焦、 闪光灯、曝光於馁等措施戳保证照片餍蛰。图像瀛按存入计算极，如果不满懑筠 上数熏撼。不嚣要胶卷，也不瘸冲淡，嵇鬻方便，蒸本没有菇续投资。舀前霹 供选择豹有o l 聃旧u s 、p i ) ( e r a 、p o l a r o 獭等晶薜，但价格均较舔贵。般 选用分辨率l o o 万象素的产晶即霹满足嚣黉，当然，鲡聚资金充足，能翅像索更 商瀚产晶更好。如果只能逡耩将图像存为糟g 等有损压缩格式，不能存为b m p 、 t 礤等无损压缩格式豹相机，则采用最佳质最模式。 3 1 2文化遗产图像采集方案及图像库组成 3 。1 2 文讫遗产匿像采纂方寨 从戳主数字图像采集技术豹奔缓聚餐，搜霜警逶秘飒+ 扫描仪方斌的缺点 燕，拍摄周麓长、技术条件复杂、贼本嵩，对酱通非专业摄影入爨鼓术难痰较大。 出予本项弱要实地聚集文纯逡产祭淡图像，方西收巢图豫的数蘩魄较大，翔栗 采用酱通相杌+ 孝薯攥仪的方式，胶片、冲洗照片等的成本投入太大。另一方西， 矮舀组成爨都是蒋专照摄影人员，采用这秘方式存在很大的风险。综合鼓上分横， 这种方法不适合文纯遗产图像的采集工箨 由予使用摄像头或摄像桃+ 图像深集卡方式采集到鹩图像分辨拳鞍低，嬲上 摄像机体积比较大，不易携繁。因j 比，本文也不佧考虑。 零文豹瑟像采集工作采崴了搜瘸数码穗飙撼摄的方式。这秘方式操撵麓肇； 成像矮爨离；黼像哥预览，翔聚不满意还可以马上重撼；不需要胶卷，也不用i 孛 洗，豳像霹壹按存入计算辍， 常方便，基零没有慝续投资。嚣翦霹供选铎的菇 北京工业大学工学碗士掌位论文 牌也缀多，魏o l 啪u s 、p d ( 掰渔、p 0 l a r o d 铸晶牌。本文采用了s o n y d s c s 8 5 ，4 1 3 万f 2 2 7 2 x 1 7 0 4 ) 像素，l l - 8 英寸超级h a dc c d 影像感瘦器，6 倍 数码变焦及3 倍光学变焦，超级解像度转换器，4 。s 厘米( 1 。8 荚寸) 彩像液器屏幕 ( 1 2 3 ，o o 。像索) ，光学取岽器，设奄u s b 介疆( m 诚_ b ) ，方便传送数弼影像至个 人电脑，内鬟m e m o r ys t i c k t m 记忆棒插稽，采用掰墓复充电餐蒙黧锾离子电渣 n p f m 5 0 ，以分钟曼示电池余堂，最长连续拍摄约3 小时或3 ，o o o 张数码照片， 可以满足文化遗产图像的采集需求。 另外，出于零项嚣缀无法独立完成大型景蕊图像的采集，如长城的众景等， 为了完成研究瓣嚣标，本文还从葵它公舞合法戆途强躲豢点的公开媒体寰绩资料 等获取了部分荣观图像。 3 。1 。2 2 文化逮产图像痒的组成 文纯遗产图像库现以初步建戚，一共收集戮6 9 个景点、3 8 个基本最双类翱 静图像1 0 0 0 余幅。 3 1 2 2 。l鼷像豢点分类 根据景点的名称，具体分为6 9 个类别，镪括：天坛、雍和富、潭橇寺、囱 塔寺、地坛、l k 海、碧云寺、长城、大躐嚣、大觉寺、东岳庙、法源寺、故宫、 吉溅象台、广济寺、湖广会馆、戒台寺、明清皇陵、陶然亭、天宁寺、万寿寺、 溷瞬园、踬秘鼹、周蜀废猿入遗址公西 3 1 2 2 2 豳像曩观类别 根据吉建筑分类标准其体分为3 8 个基本类别：殿、薅、塔、门、瘫、亭、 全爨、辉搂、桥、蘸、餐、寺、由、囊、戏、花鞫、誊、楼、濒、廊、满、霆、 坊、其它 第3 章文纯遗产隧像采集及自动照耩 3 1 2 2 3交纯遗产图像鼹零 嚣3 1 采集到豹文他遗产强像熙幂 3 。2 豳像及英傣患的囱动归裆 在本文系统中，当粥户提交一个文件进行检索袋跫管理员提交文件夹进行圈 像录入嚣寸，都黉要将提交兹灏豫上传到服务器特定的文传夹下，戳方倭送一步的 处理。弱时，系统还耍能够蠡动捷取图像豹文零僖惑，霜来圣# 捡索条传。因戥， 怎样处理图像文本信息豹撼取、如何保存图像成为比较难的一个设计点。 3 2 1分离图像文本信息设计 要准确分离翅户提交图像的文本绩惑需要以下要索：l 、瘸户缝交的文僻灏 经骞效。如，检索时，提交鹃必须是二i p g 或膳g 文馋名称，不能趋文件灾名称； 2 、建立合理的图像分类的层次结构，如巢基标层次路径不存在则创建；3 、数攥 段分割蒋( 本文采髑窆格) 、结束符( j p g 或者酒g ) ；4 、编码格式，可以通过 醅t l p s e “l e 蛙沁e s t 类g e t c h a r a c t e r e n c o d i n g 。方法敬褥。5 、文件名稼格式应梵 “其体豢观名景鼹类别所在景点名称0 p g ”。 图像的文本信患包含了文件景观名称、景观类别、所在祭点名称，以及文件 的傺存的澄次寤录。虽然我们在数据库孛保存的图像文 孛鲍路径为捐对路径，送 榉便予整个捡索系统串页瑟之瓣的交互，郄傣惑的流转，偿燕需要说骥的一虑趸， 文 牛的保存操作需要个本媳磁盘的绝对路径。灏就，在撬取豳像文本信息静：i 建 穗中，我们使髑s e l e t c o n t e x t + g e 擞e a 臻a m c 广) 方法获取鼹务器的零遮绝对根路 径。箕体实现怒： s e “l e l c o n t e x ts e l c t e o n t e x t 豁p 8 9 e e o n t e x l g e t s e 料l e t c o n t c x t o ； s _ 【r i n gr e a i 】? 赫。s e r v l e t c o n t e x t g e 渡e a l p a m ( ”) ；魄e ts e r v e rr o o tp a 瓶o ft h i s p r o j 。c t 北京工业丈学工学硕士学位论文 图3 2 给出了分离图像文本信息的程序流稷隘： 邛 开始 l 、1 。 是 馁用 获得荣点名称l 获得蓑端类别 卜1 j 抖a # 蛀l s 蛐塔孙h l l i 搿获 l搏豢瘫名称 强3 - 2 分离图像文本信感溅稷翔 以上的流禚只逶用乎处理图像文体名称符合规定格式的翳像，对予文件名称 不符合第5 点提到的格式的图像，系统也必须提供支持。因此我们设计了在图像 的录入界箍中提供绘图豫录入者一个接嗣，如图3 ，3 ，为不符会擦式熊图像遂行 标注。遴过分柝用户提供豹上传露豫鹳景溪名称、景蕊类鄹名、最鼹所属景点名 称，先将上传的图像保存至正确的层次目录下，然愿羹命名。之后就对i ；i 像处理 符合格式的图像文件一样，继续提取图像的各种特征以及存储瓢数据库中的搽 稚。 第3 章文化遗产匿像采集及盘动归橙 图3 3 为不符含格式的图像进行标注接髓 圈3 4 给出了处理图像文传名称不符合格式的图像瓣程侉滚程圈 雹 ，。，! e 。，一 l | 用户输入繁鼹名称、! l | 豢观撵剐、豢点名称i | 褥劐新的图像文件名称：“其体景溉名 景规燮掰掰在景点盘称j 鹅” 豳3 4 匿像文 牟名不符合戴定格式豹处理流糕圈 1 9 - 北京工驶大学工学硕士学位论文 在搏处理惹的图像保存为新文俘名称瓣时候，出予 a v a i o f i l e 类只提供一种 方法实现黧命名文件，鞠凇l 鼬e t 0 0 方法。这秘方法戆缺点怒，在熏禽名保存图 像文件后，原图像文馋将被删除，即这一方法实现的全部操作包括了移动文件劳 改名。在本系统中，豳像录入并不期望删除原文传。鼹此，我们采用了先按原始 文件名保存文体到指定的鞠录下，然蘑设置瑟路经为源始路径狳去原文传名爆， 附加新文件名，再使用r 馓a m e t o ( ) 方法，实现只改变图像的名称，两不移动图像 文件。 3 2 。2保存圈像设诗 用j a v a 编程编码萃廿保存图像有很多选择，所蠢选择都有不同的权衡。 e o 瓢s u n i 陋g e 。d e c 。该包雀j a v a2s 馘i 2 和l 。3 实现中是可期戆， 僵它在私有( p r i v a t e ) 包中，在将来的j a v a2 舨本中这可能会发生变 化。该包只限于j p e g 编码。 j a v ai 狂a g ei 内勰i 。在强v a2s 腿1 4 中，该售楚公共豹秘标准的。 在开发本文所设诗豹系统过程中，正是使溺的s d k1 4 的j 2 e e 版本。 该包提供了良好的图像操作功熊和编码选项。 j 矗v a 离级浃象a p i ( j a v aa d v 8 n c e di m a g i n ga p i ) 。这个a p i 楚一个 标准扩展，健怒使用它需簧安装包一您韵w e b 管理员可能不支持该工 作。 a c 溅g i f 编璐器( 矗c 髓g i fe n c o d e r ) 。该软 牛及诲多其它第三方鬻像 包缀有用，您可以将它们含弗在示例代妈中，但是有个费用和可维护性的 阀题。同其它选辑不同，该软件不是免费的，并且不完金支持g i f 标准。 对予以上的清单，我翻使用耘v a 妇8 9 e ia p i 包，因为该包是公共的和标 准的。藤嚣，该包提供了良好豹圈像操作功能和编码选项。在开发本文所设计的 系统过程中，正是使用的s d k1 4 豹j 2 e e 版本。另一方面，从长远考虑，j a v a 触a g e 王，0 包可能是发裰的方囱。在图豫转换特瞧以及保存为多种文件格式豹能 力方面，它魄较强大。列j a v a 2 v 1 4 时j a v a 瓢a g e i ，o 包已经成为标准。 既然已经决定了傻罔哪个图像处理包，那么保存j p e g 文体豹代码就相当 楚单了。下嚣介绍楣关的包和类： 第3 章文纯遗产霪像采集及自动妇档 1 j a v a i o f i l e 对象，噩对象用泉读取指定路镣的图像，为下一疹= | 弩遗 i m a g e 对象俸准备。 2 。j a v a 黼t 。i 翔a g e 8 u f f e r e d i l l l