基于云计算模式下图像检索系统的研究设计

盐 城 师 范 学 院毕业设计20152016学年度基于云计算模式下图像检索系统的研究设计 学生姓名 朱 青 学 院 数学与统计学学院 专 业 信息与计算科学 班 级 12（6） 学 号 12213453 指导教师 朱 青 2015年4月25日 毕业论文（设计）承诺书本人郑重承诺：1、本论文（设计）是在指导教师的指导下,查阅相关文献,进行分析研究,独立撰写而成的.2、本论文（设计）中,所有实验、数据和有关材料均是真实的.3、本论文（设计）中除引文和致谢的内容外,不包含其他人或机构已经撰写发表过的研究成果.4、本论文（设计）如有剽窃他人研究成果的情况,一切后果自负.学生（签名）： 朱青 2015 年4月25日 基于云计算模式下图像检索的研究设计 摘要随着web2.0技术为代表的当代技术不断地快速成长及应用,加快了网络信息容量的膨胀,但是怎么才能在这庞大的信息中快速简单地寻找到自己需求的信息,特别像图像这种信息.然而图像检索传统算法,难以解决海量数据存储问题,而云计算作为一种新兴的计算模式也在迅速的发展,对于解决图像检索所存在的问题有着较为重要的作用.本篇文章利用了云计算模式的模型和理念,为解决如今大数据时代下的图像检索系统的大数据信息的储存、处理和计算等问题提出了一条思路.通过分析其中的存储方式、计算方法，来理论说明云计算模式下的图像检索系统节约了储存空间、提高了计算能力、提升了读写效率.具有无限制的数据存储计算性能,较高的经济性,数据的可靠性,信息更新的及时性等一系列优点优点.因此在信息化的这个大时代中，对云计算的这种新技术的革新必将加速图像信息检索技术的快速发展. 【关键字 】 云计算 图像检索 海量数据 算法研究 Study Design cloud computing model-based image retrieval窗体底端 Abstract 窗体顶端窗体底端With web2.0 technology as the representative of modern technology continue to grow rapidly and applications to speed up the expansion of the capacity of the network information, but how can this vast information quickly and easily find information about their needs, especially like this image information. However, the conventional image retrieval algorithms, massive data storage is difficult to solve the problem, but also the rapid development of cloud computing as an emerging computing model for solving the problems of image retrieval has a more important role. This article utilizes the cloud computing model and the concept model, to address the large data storage and so now in an era of big data image retrieval system information, processing and calculation of a proposed idea by analyzing the way in which memory, calculation method to explain the theory of image retrieval system under the cloud computing model saves storage space and improves the computing capacity, improve the efficiency of reading and writing. reliability data storage has unlimited computing performance, high economic, data, and information update the timeliness of the advantages of a series of advantages. Thus in this era of information technology, the innovation of cloud computing this new technology will accelerate the rapid development of image information retrieval technology【Keywords 】 Cloud computing image retrieval algorithm massive research data窗体底端目 录1绪论11.1研究背景11.2研究意义12 图像检索技术系统12.1基于文本和内容的图像检索技术12.2云计算图像检索的定义22.3 云计算模式下图像信息的系统结构32.4 云计算模式下图像信息的存储32.5 云计算模式下图像信息的计算方式43 云计算模式下图像检索系统设计的实例分析63.1云计算模式下的图像存储63.2云计算模式下的检索系统的图像处理73.2.1图像写入流程73.2.2图像读取/查询流程73.2.3实验测试84 结论104.1云计算模式下图像检索系统的优点104.2云计算模式下图像检索系统存在的部分问题10参考文献12盐城师范学院毕业论文1绪论1.1研究背景当代网络信息技术快速发展及运用,加快了网络信息容量的膨胀,但是怎么才能在这庞大的信息中快速简单地寻找到自己需求的信息,特别像是图像这种信息.其中的数据存储、计算及传递一系列问题已经成为了当务之急.然而近年来出现的云计算技术充分利用信息资源平台的海量的数据,构造出一套新的体系架构,使云计算技术从幕后走向前台,为解决大数据时代海量图像信息检索,提出了一种快捷轻便的解决方案,加快了大数据时代的来临.1.2研究意义伴随着信息技术迅速发展,图像数据急剧增多,现有的检索技术已经不能提供各方面的技术支持,再者近年来云计算技术逐渐走向成熟,这是一种全新的结构体系,云计算极大得利用到了信息所提供的资源.对于图像大数据的检索方法这方面,云计算模式下的图像检索为其提供一个新的解决方法,使其成为可能.为了提升海量图像检索的效率,摒弃传统图像检索的算法,利用新的算法获取图像数据的频域和空域特征,运用具有并行式、分布处理能力的云计算将各个任务分配到每个工作节中同时完成图像信息的检索.要是基于云计算模式下的图像信息检索系统提升了图像信息检索的速度和效率,就能解决批量的图像数据检索问题.大数据的图像检索问题的得到的最优,最快的解决,使云计算应用到更多的领域.2 图像检索技术系统2.1基于文本和内容的图像检索技术图像检索是依据对图像信息的描述,在目的图像信息集合中寻找到具有符合特征或者包含指定信息的图像1.从上个世纪70年代起,对于图像检索的研究就已经开始了，随着信息时代的来临，我们主要运用的方法还是仅仅停留在对图像的内容和文本来进行检索图像的信息内容.(1) 文本图像的检索方法,主要方式是利用图像存储位置及其他信息来检索图像,但是当数据增多就会出现效率较低；对于文本的图像检索方法来说，首先我们是在数据库中添加对于图片信息描述的文字,并且将文字的描述对应到数据库中相应数据.在利用数据库中本身关系查询功能，进行一一对应的查询。但是存在的问题是不一样的检索系统中对不同的数据的描述和关键字段不能有统一的的关联,所以缺少统一的描述系统,资源共享率比较低.针对图像信息的利用率也随之下降，无法达到信息资源的共享.因此为了在互联网方式下解决图像检索的问题,在1995年3月第一届数据研究的都柏林讨会上,产生了一个简单的元数据集合-都柏林核心元数据集2.(2) 内容的图像检索方法,主要是描述图像的基本特点,再从图像的特点中检索.例如为了寻求到自己需要的图像,可以从图像的色彩,基本的特征及图像不同的纹理和分布中分析.但是当随着数据库中图像数据的急剧增多,就出现了检索的图像信息准确率下降.对于内容的图像检索系统也必须具有视觉的自动识别功能,才可以在完成此项检索.而针对内容的图像检索的技术国外也有不少的涉及.首先是针对图像的直方型特征,章毓晋3和刘忠伟4提出了累加直方图和局部累加直方图的方法运用于检索图像的技术.Zachary5在Lab颜色空间上建立了直方图特征的办法来检索图像.而针对空间特征上,张磊6提出了对量化后的色彩计算质心的方法来描述颜色特征,从而用于图像检索技术.也有不少人提出了运用纹理特征的计算方法,用于图像检索技术.2.2云计算图像检索的定义增加、使用和交付模式是基于网络相关的服务,一般是通过网络来提供动态易扩展并且常常虚拟化资源.云计算具有庞大的运算能力,用户可以通过PC、笔记本、手机等方式连接中心数据库,按照自己的具体需求进行计算.云计算是结合了数据的储存、分布式的并行计算、负载均衡等几种传统网络技术和计算机功能,凭借着特有的较低的错误率、较高的经济性性及较为方便的推广方式受到广泛的认可.Apache开发的Hadoop主要包含分布式文件的系统及并行运算的框架.对于Hadoop来所,它是云计算模式下的开源平台.集群规模的大小依据客户需求来确定,储存和计算的要求低时可以由几台来完成,储存和计算的要求高则需要成百上千台来完成,集群规模的大小可以根据具体的需求来确定.数据集运用到了分布式的文件系统，而分布式文件系统是Hadoop的一种,具有文件储存功能，因此数据集拥有了庞大存储能力.之所以运用分布式文件系统是因为其可以极大的防止单点出现问题，这是由于此系统是把一个较大文件分解成几个小的分文件,然后再进行多次拷贝并保存在含有多个数据节点的集合里.因此利用分布式的文件系统能使该系统实现,有以下几大特色：大规模的数据储存、高的冗余、轻松的扩容、负载可以均衡7等能力.Hadoop是并行计算的结构，其基础是分布式文件系统,使用者需要进行大数据的并行计算时可以自由获得并行编程模式。2.3 云计算模式下图像信息的系统结构云计算模式下庞大的图像信息在互联网上形成了一个云资源库,成为了一个检索速度快、利用率高的图像检索系统.为了实现该系统的检索功能,我们首先要建立云计算的计算模型和大数据存储模型来解决图像的计算和储存.再者要检索系统需要建立统一的客户端检索系统,当用户使用的检索系统为统一的前端时,可以更加方便、快捷的系统中查询到所需的图片信息.最主要是云计算模式下的图像检索系统一定要建立统一的查询标准，这使得不同的数据库的资源可以广泛的使用.根据云计算模式下图像信息检索不同的层次可以分成两个部分.如图1所示；(1)云资源层：可以组建大型服务器层,所有的图像信息的检索、存储、传递都可以建立在云资源层中,实现了一致性和高效性.(2)用户层：用户根据检索系统制定的统一检索标准,在输入端输入图像检索的请求,可以迅速的检索出用户需要的图像信息,可以有效的提高检索出的数据的准确性以及高效性.图1反应的是云模式下图像检索系统的结构。 图1云计算模式下图像信息的系统2.4 云计算模式下图像信息的存储图像的自动检索的基础是图像储存,是通过数据密集型的计算来实现的,然而传统方法是把图像放到分布式文件系统中,且耗时.因此需要运用分布式的处理方式把图像传输到分布式文件系统中：在Map过程中,利用函数Map可以获取每一幅图像的信息,并且从中获得图像的纹理和颜色等特征.在Reduce过程中,将获得的图像信息特征数据储存到分布式文件系统.可以设置存储到一个面向列的分布式的数据库中,因此分布式文件系统的图像是采用表形式的储存方式.Map与Reduce的关系反应如图2； 图2 Map与Reduce的关系 云计算模式下图像检索方法与传统的图像检索方法存在的最大不同之处就是使用者通过整个云资源层来检索图像信息，而服务器的单一不会影响到存储的空间,因而云计算模式下的数据储存技术需要具备较高的传输速率和较高的输入输出率.（1）在云计算模式下图像存储技术具有较好的数据保护性.云计算模式的图像数据是存储在巨大的云资源层中，而云资源层就是由一个个网络服务器组成的.当有一个或者几个出现问题后,不会对数据的存储和检索产生影响.相对于传统的图像存储技术相比,该模式下的图像存储技术不会由于部分服务器的失去功能,从而出现数据的丢失.（2）在云计算模式下的图像存储技术与传统图像存储相比,提供统一的存储标准.2.5 云计算模式下图像信息的计算方式在云计算模式下，该图像检索系统可以在不一样的地址下,由不同的使用者一起使用该图像的检索功能.与传统的图像检索系统相比,该图像检索系统资源范围比较大、数据量大,因而如何同时解决多用户海量的图像检索成为了一个非常重要的科研问题.目前阶段,基于云计算模式下的并行计算技术多数是MapReduce.而大数据的并行计算，就可以运用到MapReduce技术.这是因为在Hadoop的分布式文件系统生成的MapReduce,可以让使用者轻松的获得可靠的并行式编程模版,来完成庞大的信息并行运算.MapReduce是利用图片与数据一一对应的关系将图片信息输入到数据库的主要节点中，然后映射给各个从节点来进行并行计算,最后利用规约函数把各个从节点的运行的结果归约合并,输出最后的运行结果.这个方法主要是把一份任务分成多个很小的任务集,而小的任务可以随机被分配到不同的节点中，在运用和快读处理之后,经过指定的规格来合并生成结果,处理过的规模类型与传统的编程模型的分解和归纳方法相似8.利用Mapreduce程序使得图像的检索系统得以实现，步骤有下文所示。图3为Mapreduce程序步骤.(1)客户端写入检索的请求文件；(2)通过云网络将客户端发出的检索请求任务分解不同的小任务集,例如不一样的节点可以同时满足不一样的客户端的请求任务,或者是将一个大的任务分解成小的任务来满足对同一个客户端的需求。(3)每一个节点可以接收来自系统将分解后的小任务。(4)当系统中的节点完成各自的任务时，通过将小的任务进行归纳产生为大的任务再回馈给检索的客户端. 图3 Mapreduce程序结构同时Mapreduce 模型具有很强的可靠性,可用性以及可测性9,当节点出现无法识别时,检索任务是不会因此停止运行的,它会直接跳过无法识别的节点，再把任务转移到别的节点上来完成任务.所以在Mapreduce中具有大数据的并行计算的功能,可以将它运用到云计算下的图像检索上.3 云计算模式下检索系统设计的实例分析3.1云计算模式的图像存储通常一个三甲医院每日可以生成60 GB以上的数据信息,整个院总的数据信息量有45TB,因此医务人员每天需要大量的浏览图像信息用来诊断病人的病情.要是可以设计出一套基于云计算模式下图像检索系统的设计模型,用于该系统的检索.为了可以更好的解决这个问题,本系统的储存是一种把分布式和集中式储存相结合的PACS架构.先形成Hadoop云集群并建立在每所医院园区网的内部中,而Hadoop集群的HDFS是一种分布式的存储数据信息结构,将MapReduce利用到处理大数据就可以实现对庞大的图像信息的检索.PACSD架构示意图如图4. 图4 PACS的架构系统把全部原始的信息移至HDFS,集中式的存储服务器只能保存最近一段时间的数据信息.而新增加的图像信息集中式的存储服务器之上或者保存在HDFS里.这就使得集中式的存储器储存空间得到释放,因此提升了原二级的储存与读写的速度,使得最好的解决了HDFS的数据信息的储存问题,让Hadoop的MapReduce实现了对数据的进行并计算.在今后的系统更新中,只用简简单单地增多Hadoop集群中节点的数量,就可以使得系统的内存和计算效率有了质的飞跃.而为了使不同地区之间医疗组织中信息资源得到的共享同时不会出现较大的安全漏洞,可以将防火墙置于医院得园区网与公共网络之间.在面对来自于公共网络上出现得任务要求时,防火墙可以识别是否安全，控制是否可以进行访问,当符合条件的任务请求出现时,就可以传递至中心的服务器上.3.2云计算模式下的检索系统的图像处理 3.2.1图像写入流程为了使每一次的访问不存在安全隐患,将必要的权限写到园区的设备中与内部的工作站里.外界人员想要通过公共网络来进行访问时,则屏蔽了对HDFS与FC-SAN进行的写入.以下是对于图像写入的操作方式：(1)图像中心的服务器可以接受来自具有权限的工作站发出写入请求(C_STORE)报文； (2)图像中心在面对不同的文储存地址来及时的更新索引表中的数据,.当储存信息进入HDFS时,就可以进行第(3)、第(4)这两个阶段,当储存的信息进入FC-SAN时就可以进行第(5)阶段； (3)节点的文件名称是根据Hadoop而来的,再在各个分块数据的节点列表中建立起节点的名称； (4）把文件输入到HDFS数据的节点,出现输入成功的信息时,就说明输入的过程完成了了. (5)就把信息输入FC-SAN,输入的阶段完成了. 当对FC-SAN的数据进行转移或者拷贝到HDFS时,就要利用递归的方式来访问全部的源文件下的文件夹,不停地进行第(3)、第(4)阶段的输入,直到将所有的数据的都拷贝出.具体的文件写入过程如图5. 图5文件写入阶段3.2.2图像读取和查询流程(1) 对于那些公共网络的外部访问者和园区的网关搭建而成的SSL,可以输入所要查询的信息指令. (2)网关中的指令接收器可以收录HTTP的指令这是因为它已经合法的和外部关联上了. (3)网关中释义器把HTTP的指令转变成DICOM形式的C_FIND报文. (4)指令器把C_FIND的报文输送到图像中心,图像中心就可以收录C_FIND指令,再把文件的物理地址信息从数据库中提取出,由不同的文件存在着不同的地址信息所以进行第(5)或第(6)阶段. (5对于那些来自FC-SAN的数据,进行第(8)阶段. (6)当需要使用文件每一部分数据的节点时，需要对HDFS名称节点信息进行判断. (7)运用组件中的文件读取器从名称节点的每一个部分中获得信息. （8)释义器把响应的报文转变为HTTP报文. (9)将HTTP报文发送给HTTP请求器. (10)SSL可以把HTTP的指令输送给外部使用者,读取阶段完成.当出现局域网内部的工作站指令的报文时,因为它早已存在于局域网的中,而且报文已转成DICOM3.0的样子,只要把报文输送到DICOM的指令器中,在进行第(4)阶段.文件的读取和查询的阶段如图6. 图6文件读取和查询阶段 当工作站需要对图像进行较大数据的检索时，其运行阶段的过程与上图的过程大致相似,在进行第(4)阶段中利用到MapReduce方式来进行特征的计算和匹配从而得到所需要的信息.3.2.3实验测试(1) 实验结果分析(1)写入和读取对比分析：从图7可得到,写入与读取的HDFS平均速度是3.52Mb/s和28Mb/s,对比以前的系统FC-SAN的1.4 Mb/s和2.35 Mb/s来说,其速度有了很大进步. (2)压缩比测试：如果平均每一个病人的图像信息大约是300 MB而将其变成SDCM时,其信息的大小仅为120MB,压缩率达到了40.8%；从而整个系统平均的压缩率为是40.6%.由于SDCM不但可以把原来的信息进行无损失的压缩,而且还可以把信息转换成键值对,这样就方便使得MapReduce将信息进行快捷处理计算,减少了再次格式化信息的时间,大大提升计算的效率. (3)计算测试：图像的计算第一步就是特征提取,这个系统设计的模型是大小为4.2 GB的DICOM的信息(11438个图像)将全部的信息进行挖掘并处理,用于测定系统设计的模型计算性能.集群的数目可以分成1、2、3、4(当集群的数目是1的时候,就是单机形式的原系统设计模型)每一组都进行6次运算,再计算平均运算的时间.在图8中我们可以得到结果,即当出现较为庞大的信息云算时,使用到较多个节点运行的模型比单机运行的模型,在速度上有着这个明显的差异,多个节点的优于单机运行的 图7写入和读写速度对比图8运行时间对比经模拟测试,系统在储存能力上节约了空间、计算能力上得到了提高、读写方式上加快了效率,使得云计算在图像检索上的运用奠定了基础，让这种技术得到广泛的运用提供理论依据。 在不同节点情况下,有图像检索请求时,从图像存储所需要的时间可以得出,在图像的量较小时,这两种系统储存的性能相差不怎么明显；但当图像数量的请求逐渐增加,单节点的系统储存的时间极快的增多,而Hadoop分布式的系统储存时间缓慢地增多；同时云计算下图像检索的系统的存储能力要优于传统的图像处理系统.所以,系统设计模型减少了图像储存的时间,可以将图像检索的系统整体性提高.基于云计算模式下图像检索系统查准率与查全率略要高于传统图像检索系统以及B/S单节点图像检索系统,优势就不是很明显了.但是当时大规模的图像检索时,云计算下的图像系统性能优就可以通过其速率直接反应出来了.在基于云计算模式图像检索中的Hadoop分布式的系统就可以有效降低图像检索的时间,提升了图像检索的效率,轻松地使海量图像检索效率低的难题得到解决,获取到想要的图像信息4 结论4.1云计算模式下图像检索系统的优点云计算模式下的图像检索系统对比与传统的图像检索系统来说有以下几大优点：第一点从无限制的数据存储来说,云计算的信息储存在云里面,不会被限制容量即使是单一数据库的储存；第二点从计算性能的提高来说,云计算的图像检索分布式的网络计算方式不仅可以进行庞大的信息运算,而且在加快了运行的速度同时，使得其正确率得到了提高；第三点从经济性的提高来说,云计算的图像检索系统在每一个计算中心都可以完成对信息进行运算与存储,使其利用率得到了提高；第四点从数据的更新来说,云计算图像信息可以快速的查找到最新的信息回馈给使用者，无论是信息的更替或者是储存地址的更改；第五点从信息可靠性的提升来说,外在因素的变化不会降低检索功能的使用能力,所有的图像信息和硬件服务都保留在运资源层中,使用者只用访问网络就可以享受到安全可靠的服务.4.2云计算模式下图像检索系统存在的部分问题虽然利用了云计算技术可以处理大数据时代下的海量信息,使得在原来的基础上提高了工作效率,但我们还面临一些暂时无法解决问题,希望在以后的研究中得到完善.(1)图像检索请求问题的统一性.不同的人对同一组图像的理解不一定是相同,因此存在的问题有：用户会关心图像信息不同的层次,即使是一样层次也会注重图像信息不一样的类别10.面对不一样的使用标准我们怎么才能融合它，由此该制定一个怎样的统一使用标准也成为了一个难题.(2)系统之间的交叉操作.在云计算模式的系统中最重要的就是运资源层中具有到庞大的信息.而当一个图像检索系统要利用另一个图像检索系统时，必定要通过云来完成的，这样就可以完成不同的图