基于内容的网络商品图像检索系统设计.doc

第六届浙江省大学生电子商务竞赛参赛作品第六届浙江省大学生电子商务竞赛作品名称:基于内容的网络商品图像检索系统作品类别： 技术类 2011年3月13日目录第1章 项目背景3第2章 关键技术介绍6第3章 系统分析与设计83.1需求分析83.1.1 功能性需求分析83.1.2 非功能性需求分析83.2系统设计103.2.1 总体结构设计103.2.2 功能模块设计113.2.3 检索流程设计123.2.4 数据存储设计143.2.5 算法设计17第4章 系统实现254.1 数据采集模块254.2 数据检索模块284.3 数据显示模块294.4 数据推送模块34第5章 盈利模式与市场营销推广策略365.1 目标市场365.2 盈利模式365.3 系统推广策略37第6章 财务分析416.1搜索系统建设成本416.2搜索引擎运行维护成本416.3搜索系统宣传推广成本42第7章 风险及对策437.1 市场风险及对策437.2 技术风险及对策437.3 项目风险及对策447.4 竞争风险及对策44第8章 创新点45第9章 总结46【参考文献】47第1章 项目背景随着计算机软硬件和互联网技术的飞速发展，多媒体数据的数量以惊人的速度增长。各行各业有越来越多的信息通过图像的形式进行表达，这些图像中包含了大量有用的信息。但是这些图像松散的分布在世界各地，缺少有效的组织，难以达到资源共享的目的。因此如何利用如此众多的图像信息并从中定位感兴趣的图像，是对图像信息的查询技术提出的重大挑战。早在1951年，信息检索(Information Retrieval)这一术语就被Calvin M oores描述为使用户的信息需求能够变为最终的有用信息的过程。当然，他当时指的是文本格式的文件检索。但他的描述却揭示了信息检索系统的实质:帮助用户具体定位相关信息。在 1970年以后，随着数据库管理和计算机视觉两个领域的飞速发展，图像检索技术(Image Retrieval)的研究成为热点。由于图像检索在这两个领域的不同应用，所以它们采用的研究方法也各自有所侧重。数据库管理领域的研究采用基于文本的图像检索方法，而计算机视觉领域则偏重于基于视觉的图像检索。基于文本的图像检索（text-based image retrieval），主要在数据库领域中进行研究，它的一个典型框架是，首先对图像用文本进行注解(关键字)，然后用基于文本的数据库管理系统(DBMS)来进行图像关键字检索，诸如数据模型、多维度索引、查询评价等的研究进展均是沿着这一领域所作的。但是，基于文本的图像检索存在很大困难，尤其是图像的数据量非常大的时候，其一，手工对图像进行注释所需的工作量太大；其二，许多图像很难用文字的方式进行描述;其三，不同的人对同一幅图像的理解不一样，即使同一个人对同一幅图像在不同环境下理解也不完全相同，这样使得对图像的描述不唯一，造成检索结果的千差万别;其四，由于世界上存在许多语种，采用不同的语言文字对图像进行描述而建立的索引在应用中造成了一定的阻碍。因此基于文本方式的图像检索存在很大的局限性。90年代初期，随着大规模数字图像库的出现，上述的问题变得越来越尖锐。为克服这些问题，基于内容的图像检索技术(content-based image retrieval)应运而生。区别于原有系统中对图像进行人工标注的做法，基于内容的检索技术自动提取每幅图像的视觉内容特征作为其索引，如色彩、纹理、形状等。此后几年中，这个研究领域中的许多技术发展起来，一大批研究性的或商用的图像检索系统被建立起来。基于内容的图像检索系统具有与传统基于文本的检索系统完全不同的构架。首先，由于图像依赖其视觉特征而非文本描述进行索引，查询将根据图像视觉特征的相似度进行。用户通过选择具有代表性的一幅或多幅例子图像来构造查询，然后由系统查找与例子图像在视觉内容上比较相似的图像，按相似度大小排列返回给用户。这就是所请的通过例子图像的检索(query by image example)另外，基于内容的检索系统一般通过可视化界面和用户进行频繁的交EL，以便于用户能够方便地构造查询、评估检索结果和改进检索结果。基于内容的图像检索作为一种利用图像的颜色、纹理、形状等特征进行检索新的检索技术。它融合了传统的模式识别技术与多媒体良好的人机交互技术，有着广泛的发展应用前景，特别是在电子商务领域。近年来，随着Imemet技术和电子商务技术的不断发展与成熟，以此为技术基础的网络购物平台层出不穷。网络购物平台中的商品货源广泛、品种齐全且价格合理，有着巨大的消费需求，因此得到了迅速的发展。目前，随着物流服务的完善，网络购物作为一种新型的购物方式已经渐渐取代了传统的购物方式，成为一种时尚。纵观国内外的知名购物网站，它们无一例外的都为用户提供了商品检索功能。然而，很多购物网站只为用户提供了基于关键字的检索功能。网络购物平台中的一些商品难于用文字来表达其自身的属性，这给用户挑选中意的商品带来的很大的不便。例如，服装的款式花色很难用文字表达，这使得用户难以用关键字检索到具有欣宜花色和款式的服装。然而，利用商品图像作为查询信息，这个问题就会迎刃而解。CBIR就像是一种为其量身定做的技术，可以很好的解决对某些不便于用文字描述其特征的商品图像的检索问题，极大地方便用户利用网络购物平台选购商品。我国个人消费网购规模正在以每年超过100%的增速快速发展。根据艾瑞、易观等机构的统计数据，2009年中国个人消费网络购物的金额已经达到2500亿，预计到2012年将达到7130亿。尽管如此，网购交易额仍然只占个人消费总体消费额不到2%，发展空间巨大。随着网购规模的发展，越来越多的商家和商品出现在互联网，这就给消费者挑选商品带来了越来越大的困难。根据统计，目前淘宝已经有超过300万家商户，在线超过3亿件商品。这就给购物搜索带来了巨大的市场机遇。根据艾瑞的统计，2009年购物搜索市场规模已经超过11亿，而且随着网购交易规模的发展，增速也越来越快。而图像购物搜索是购物搜索的重要组成部分，是近几年国内外研究的重点。同时，近年来随着智能手机和3G通信网络的发展，人们又多了一种购物选择：利用手机实现移动购物。这种方式与传统网购相比更加快捷、灵活、方便，可以充分利用手机的照相功能，结合图像搜索，随时随地实现购物。由于移动商务需要基于手机平台进行操作，考虑到手机平台的特殊性，如何让商品更条理、更清晰的展示在用户面前是提升用户体验的核心因素。在分析商品购物特点的基础上，设计与开发了基于内容的网络商品图像检索系统，通过对商品图像的自动识别，在海量商品数据中准确、快速的寻找消费者感兴趣的满意商品。开发的系统同时支持网络环境和移动环境。第2章 关键技术介绍本系统采用Jsp+Servlet+Javabean三层结构，将用户界面、数据内容清晰地分离开来，明确了各个角色的定义。Servlet程序在服务器端运行，动态地生成Web页面。与传统的CGI和许多其他类似CGI的技术相比，Java Servlet具有更高的效率，更容易使用，功能更强大，具有更好的可移植性，更节省投资。下面就jsp，servlet，javabean三方面进行介绍。1. servletservlet是在服务器端执行的，具有良好的移植性，不论操作系统是Windows、Linux、Unix等等，都能将写好的Servlet程序放在这些操作系统上执行，是真正的写一次，到处执行。另外Servlet功能强大，Servlet能完全发挥Java API的威力，想写网络目录查询程序，则可利用JNDI API,想连接数据库，则可利用JDBC等等。其次是性能，执行一次以后，会停留在内存中一段时间，当有相同的请求发生时，Servlet会利用不同的线程来处理，在性能上会有大幅的提升，而服务器会自动清除停留时间过长而且没有执行的Servlet，最后Servlet也有类型检查的特性，并且利用Java的垃圾收集与没有指针的设计，使得Servlet避免内存管理的问题。2. jsp为了弥补Servlet在开发Web-based系统不足的地方，JSP出现了。 JSP的出现大大简化了Servlet处理Web系统的工作量。JSP是一种动态网页技术，即在传统的HTML里嵌入Java程序，客户端发出请求，服务器端执行，仅此而已。3. JavaBeanJavaBean是一个可重复使用，且跨平台的软件组件，可以在JBuilder、eclipse等软件以可视化的方式来开发，它是一个类，并封装若干方法，当我们需要时，直接可以拿来用。 本系统中将jsp作为视图层，servlet作为控制层，javabean作为模型层，三者结合使用，取长补短，总的优点有如下几点：1. 低耦合性视图层和业务层分离，这样就允许更改视图层代码而不用重新编译模型和控制器代码，同样，一个应用的业务流程或者业务规则的改变只需要改动模型层即可。因为模型与控制器和视图相分离，所以很容易改变应用程序的数据层和业务规则。2. 高重用性和可适用性随着技术的不断进步，现在需要用越来越多的方式来访问应用程序。该架构允许使用各种不同样式的视图来访问同一个服务器端的代码。它包括任何WEB（HTTP）浏览器或者无线浏览器（wap），比如，用户可以通过电脑也可通过手机来订购某样产品，虽然订购的方式不一样，但处理订购产品的方式是一样的。由于模型返回的数据没有进行格式化，所以同样的构件能被不同的界面使用。例如，很多数据可能用HTML来表示，但是也有可能用WAP来表示，而这些表示所需要的命令是改变视图层的实现方式，而控制层和模型层无需做任何改变。3. 较低的生命周期成本使降低开发和维护用户接口的技术含量成为可能。4. 快速的部署使开发时间得到相当大的缩减，它使程序员（Java开发人员）集中精力于业务逻辑，界面程序员（HTML和JSP开发人员）集中精力于表现形式上。5. 可维护性分离视图层和业务逻辑层也使得WEB应用更易于维护和修改。6. 有利于软件工程化管理由于不同的层各司其职，每一层不同的应用具有某些相同的特征，有利于通过工程化、工具化管理程序代码第3章 系统分析与设计3.1需求分析3.1.1 功能性需求分析在一个基于内容检索的图像数据库中，用户可以根据自己定义的图像特征，查找类似或相关的图像。例如：服装设计师需要查找一些自己需要的服装样本：医学工作者需要从医学影像数据库中查找一些相关的病例资料；互联网爱好者可能需要在互联网上下载一些图像资料；文物工作者需要查找相关的文物图像资料；公安部门需要根据指纹、脚印等进行罪犯资料的查询；以及一些特殊环境里的电子锁装置(指纹识别、面容识别、掌纹等识别)等。基于内容的网络商品图像检索系统是指用户提交一张商品图像，系统对该商品图像进行特征提取，用于检索的特征主要有颜色、纹理、形状、空间关系等，其中颜色、形状、纹理应用较为普遍，然后用提取出来的商品图像特征和商品图像库中商品图像的特征进行匹配，获得特征相符的图像集结果。在进行图像查询时，图像的相似度是一个比较抽象的概念。它不像文字那样比较直观。在进行图像查询时，检索的结果在原则上应该达到人眼所能识别的程度。为了高效的进行图像查询，首先根据图像的自身信息，利用一些分析方法进行图像特征的提取，并将图像的特征信息存入图像数据库中。当这些图像由于需要被处理后，应该重新进行特征信息的抽取，并更新图像数据库中该图像对应的特征信息。在进行图像检索时，首先抽取被检索图像的特征信息，然后和图像数据库中图像的特征信息进行相似性比较。最后依据相似度的大小输出查询结果。这一查询技术是多学科结合的结果。具有较好的查询结果。3.1.2 非功能性需求分析1用户界面需求 用户界面需求如表3.1所示。表3.1 用户界面需求需求名称详细要求合适性界面风格应合乎形象以及系统本身的用途简洁易用界面应该简洁，不应花哨，使用户能够很快上手，各个操作均提供帮助一致性保证系统各个窗体界面风格的一致国际化设计应考虑国内和国际语言和文化的差异美观界面应该专业美观及时反馈信息对于处理时间较长的操作，应有进度提示功能屏蔽对于不具备使用某功能权限的用户，系统对该功能进行屏蔽2系统质量需求系统质量需求如表3.2 所示。表3.2系统质量需求主要质量属性详细要求正确性系统的各项功能必须能够正确地运行健壮性具有一定容错功能，在出现系统死机或网络出现故障及其其他问题时候，应能通过重新运行程序或者重启系统恢复到上次正常运行时候的状态可靠性系统应能在相当长的时间内7*24小时运转性能，效率响应用户请求不应该超过10秒，超过的必须提供进度提示易用性操作应该简单方便清晰性各个模块之间的关系应该清晰，做到强内聚、低耦合安全性防止非法用户使用，对各级用户提供不同权限可扩展性系统必须易于扩展功能，便于以后升级兼容性兼容多种数据库可移植性可以移植到Linux或Unix系统之上3.2系统设计3.2.1总体结构设计本系统主要实现以下功能：用户上传一张商品图像，然后系统对上传的商品图像进行特征提取，并与服务器中的已提取特征的商品图像集进行匹配，由系统查找与用户上传商品图像特征相似的商品图像，并返回给用户的系统。本系统总体框架结构如图3.1所示。 数据源用户预处理特征提取目标库网络爬虫、蜘蛛程序特征提取子系统查询子系统查询接口检索索引/过滤特征库图3.1 系统总体框架结构图（1）查询接口接收用户提交的查询商品图像，将查询请求传给检索模块进行操作。（2）描述模块将用户的查询要求转化为对图像内容的比较抽象的内容表达和描述，即通过图像的分析，从而以一定的、计算机可以方便表达的数据结构建立对图像内容的描述。这个模块在图像数据库建库时也需对每幅图像进行。 （3）检索匹配模块检索是指利用特征之间的距离函数来进行相似性匹配，模仿人类的认知过程，可以从特征库中寻找匹配的特征，也可以临时计算对象的特征。该模块接收用户查询请求，对于文本的查询直接搜索关键字与图像描述，对于提交的图像通过提取其的特征和特征库中的图像进行匹配，查找出符合条件的图像集。向用户返回匹配的结果并显示。在图像库中搜索所需的图像内容。因为对被查询图像建立的表达描述也以对图像数据库中的图像建立了，所以将对查询图的描述与图像数据库中被查询的描述进行内容匹配和比较就可以确定它们在内容上的一致性和相似性。这个匹配的结果将传给提取模块。（4）提取模块根据匹配的结果在图像数据库中对感兴趣的图像定位，并在内容匹配的基础上将图像数据库中所有满足给定要求的图像自动地提取出来以让用户使用。如果事先对图像数据库建立了索引，这样在提取时就可提高效率。3.2.2功能模块设计本系统主要包括数据采集、数据检索、数据显示和推送服务等功能，具体功能模块结构如图3.2所示。基于内容的网络商品图像检索系统数据采集数据检索数据显示推送服务图3.2 系统功能模块结构图（1） 数据采集从网上采集相关商品图像以及商品信息。通过对采集的网页分析，进行正则表达式匹配，解析出Deep Web中网页中商品图像的实际URL，有效地实现视商品图像的自动批量下载。（2） 数据检索用户向系统提交一幅待查询的示例图像（又称关键图像），然后系统将用户提交的商品图像与本地商品图像库进行相似比较，检索出符合用户要求的商品图像及其信息。（3） 数据显示 检索后系统将满足一定相似要求的图像集结果反馈给用户。搜索结果可以采用缩略图和列表两种显示方式，并可以按照相似度进行排序。（4） 推送服务通过分析用户历史操作记录，然后将其推送给系统服务器，服务器根据用户喜好对采集到的商品图像信息进行分析判断，并将符合条件的信息条目推送回客户。3.2.3检索流程设计图像检索子系统是整个系统的核心，系统根据用户提出具体的查询需求在图像数据库中进行检索，并将结果集返回给用户。这一阶段主要需要考虑的问题包括：用户需要的输入形式、特征向量的相似性匹配、检索结果的展示浏览、以及相关反馈的方式。因此图像检索子系统可以由查询接口，相似性匹配，结果浏览及相关反馈四个模块组成。图像检索的流程如图3.3所示。开始用户选择要匹配的图片用户选择要查询的图片类型提取用户图片特征向量获取特征库中一幅图片的特征向量相似性计算数据库中还有未搜索过的图像？返回相似度较高的图像用户是否满意？结束图3.3 图像检索流程3.2.4 数据存储设计本系统数据库语言采用Microsoft SQL Server 2005 ，数据库名为ImageSerch，共有ImageInfo数据表、Admin数据表、User数据表、ImageFeature数据表以及Matching数据表五张表。它们的关系如图3.4所示。图3.4 数据表关系ImageInfo数据表用来记录商品图像的各种信息，信息包括商品图像网站介绍，商品图像出处url，价格，产地，商家信息等。具体信息结构如表3.3所示。表3.3 ImageInfo表列名数据类型是否允许空是否主键备注idint否是表idimageIdint否否图像编号，对应存储的图像名称namenvarchar(80)是否图像网站介绍urlnvarchar(100)是否图像出处urlkindnvarchar(10)是否类别pricenvarchar(20)是否价格productionnvarchar(20)是否货物产地sexchar(2)是否物品男/女用gradenvarchar(8)是否商家等级fullUrlnvarchar(210)是否点击图像放大时显示图像的urldescribechar(1)是否该商品是否是如实描述，0为不是，1为是retirechar(1)是否该商品是否是7天退换，0为不是，1为是Admin数据表用来记录管理员信息。具体信息如表3.4所示。表3.4 Admin表列名数据类型是否允许空是否主键备注idint否是表idadminNamenvarchar(20)是否管理员名passWdnvarchar(20)是否登录密码regTimenvarchar(20)是否注册时间User数据表用来记录注册用户信息。具体信息如表3.5所示。表3.5 User表列名数据类型是否允许空是否主键备注idint否是表iduserNamenvarchar(20)是否用户名passWdnvarchar(20)是否登录密码regTimenvarchar(20)是否注册时间ImageFeature数据表用来记录各张商品图像的特征的信息，包括商品图像特征对应的商品图像信息表中的id，特征内容，商品图像类别等。具体信息如表3.6所示。表3.6 ImageFeature表列名数据类型是否允许空是否主键备注idint否是表idimageInfoidnvarchar(40)是否图像特征对应的图像信息表中的idfeatureContentnvarchar(1000)是否特征内容kindnvarchar(20)是否图像类别timenvarchar(20)是否提取特征时间Matching数据表用来记录注册用户的历史搜索记录，为系统对用户个性化设置提供数据基础。具体信息如表3.7所示。表3.7 Matching表列名数据类型是否允许空是否主键备注idint否是表iduseridnvarchar(40)是否用户idimageFeatureidnvarchar(1000)是否图像特征表中的idtimenvarchar(20)是否搜索时间3.2.5算法设计图像特征包括视觉特征和语义特征，如何实现这些特征的提取和表达是CBlR的基础和核心技术，特征选取的好坏对整个CBlR系统有着重要的影响。图像视觉特征包括颜色、纹理、形状、外观等。视觉特征又可分为一般特征和领域特征，前者包括颜色、纹理、形状和物体间方位关系等，而后者根据不同的应用有所不同，如人脸识别、指纹识别的专有特征等。本文中提到的特征都是视觉特征范畴中的一般特征。对特征提取技术的基本要求是准确和快速，特征选取时要考虑下列四个原则：(1)图像的区分能力：应能很好的区分视觉上差异较大的图像(2)图像的描述能力：一次查询中能检索到的最大图像数(无关图像排除能力(3)特征计算复杂度(4)特征的存储空间需求图像内容可以理解为一个简化了的层次模型，第一层为原始数据层，即图像的原始像素点；第二层为物理特征层，反映了图像内容的低层物理特征，如颜色、纹理、形状、轮廓、图像内容的空间关系和时间关系(对视频来说)等；第三层为语义特征层，是人们对图像内容概念性的反映，一般是对图像内容的文字性描述。图像特征的表示方法有三种：数值表示、关系表示和语义表示。譬如，图像的颜色可用R、G、B三种数值表示，图像中对象之间的位置关系就要用到关系表示，而语义表示方法需要对物体进行识别和解释，往往要借助人类的知识推理。采用的表示方式不同，查询时进行相似性比较的算法也不一样，如数值式的特征比较可采用多维空间中点的距离来计算。图像检索所用到的基本特征大多属于第二层特征，即颜色、纹理、形状、轮廓空间关系等等。本系统涉及到的算法主要包括图像特征提取和相似度量两大部分。1、 图像特征提取图像特征的提取是基于内容的图像检索技术的基础。从广义上讲，图像的特征包括基于文本（语义）特征（如关键字、注释等）和视觉特征（如色彩、纹理、形状、对象表面等）两类。在本项目中，主要针对图像视觉特征进行提取和表达。视觉特征又可分为通用的视觉特征和领域相关的视觉特征。前者用于描述所有图像共有的特征，与图像的具体内容无关，主要包括色彩、纹理和形状；后者则建立在对所描述图像内容的某些先验知识（或假设）的基础上，与具体的应用紧密有关，例如人的面部特征或指纹特征等。由于领域相关的图像特征主要属于模式识别的研究范围，在此我们就不再详述，而只考虑通用的视觉特征。对于某个特定的图像特征，通常又有多种不同的表达方法。由于人们主观认识上的千差万别，对于某个特征并不存在一个所谓的最佳的表达方式。事实上，图像特征的不同表达方式从各个不同的角度刻画了此特征的某些性质。下面分为颜色、纹理和形状特征三部分介绍。（1）颜色特征颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色与图像中所包含的物体或场景紧密相关。此外，与其他的视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。在提取颜色特征时，我们首先需要选择合适的颜色空间来描述颜色特征，然后采用一定的量化方法将颜色特征表达为向量的形式，最后定义一种相似度（距离）标准用来衡量图像之间在颜色上的相似性。在本节中，我们将主要采用颜色直方图作为颜色特征的表示方法。颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。颜色直方图可以是基于不同的颜色空间和坐标系。最常用的颜色空间是RGB颜色空间，原因在于大部分的数字图像都是用这种颜色空间表达的。然而，RGB空间结构并不符合人们对颜色相似性的主观判断。因此，我们采用基于HSV空间、Luv空间和Lab空间的颜色直方图，因为它们更接近于人们对颜色的主观认识。其中HSV空间是直方图最常用的颜色空间。它的三个分量分别代表色彩（Hue）、饱和度（Saturation）和值（Value）。从RGB空间到HSV空间的转化公式如下所示： (1)其中r, g, b 0 1, h 0 6,且 s, v 0 1。计算颜色直方图需要将颜色空间划分成若干个小的颜色区间，每个小区间成为直方图的一个bin。这个过程称为颜色量化（color quantization）。然后，通过计算颜色落在每个小区间内的像素数量可以得到颜色直方图。颜色量化有许多方法，例如向量量化、聚类方法或者神经网络方法。最为常用的做法是将颜色空间的各个分量（维度）均匀地进行划分。相比之下，聚类算法则会考虑到图像颜色特征在整个空间中的分布情况，从而避免出现某些bin中的像素数量非常稀疏的情况，使量化更为有效。另外，如果图像是RGB格式而直方图是HSV空间中的，我们可以预先建立从量化的RGB空间到量化的HSV空间的查找表，从而加快直方图的计算过程。（2）纹理特征纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征。它是所有物体表面共有的内在特性，例如云彩、树木、砖、织物等都有各自的纹理特征。纹理特征包含了物体表面结构组织排列的重要信息以及它们与周围环境的联系，在基于内容的图像检索中得到了广泛的应用。用户可以通过提交包含有某种纹理的图像来查找含有相似纹理的其他图像。在本节中，我们将着重介绍在基于内容的图像检索中采用的Tamura纹理特征。1)Tamura纹理特征基于人类对纹理的视觉感知的心理学的研究，Tamura等人提出了纹理特征的表达。Tamura纹理特征的六个分量对应于心理学角度上纹理特征的六种属性，分别是粗糙度（coarseness）、对比度（contrast）、方向度（directionality）、 线像度（linelikeness）、规整度（regularity）和粗略度（roughness）。其中，前三个分量对于图像检索尤其重要。粗糙度：粗糙度的计算可以分为以下几个步骤进行。首先，计算图像中大小为2k 2k个像素的活动窗口中像素的平均强度值，即有 （2）其中k = 0, 1, , 5 而g(i, j)是位于(i, j)的像素强度值。然后，对于每个像素，分别计算它在水平和垂直方向上互不重叠的窗口之间的平均强度差。 （3）其中对于每个像素，能使E 值达到最大（无论方向）的k 值用来设置最佳尺寸。最后，粗糙度可以通过计算整幅图像中Sbest的平均值来得到，表达为 （4）粗糙度特征的另一种该进形式是采用直方图来描述Sbest的分布，而不是像上述方法一样简单地计算Sbest的平均值。这种改进后的粗糙度特征能够表达具有多种不同纹理特征的图像或区域，因此对图像检索更为有利。对比度：对比度是通过对像素强度分布情况的统计得到的。确切地说，它是通过a4 = m4/s4来定义的，其中m4 是四次矩而s2 是方差。对比度是通过如下公式衡量的: （5）该值给出了整个图像或区域中对比度的全局度量。方向度：计算方向度的需要计算每个像素所在位置上的梯度向量。该向量的模和方向分别定义为： (6)其中DH 和 DV 分别是通过将图像和下列两个3x3操作符进行卷积操作所得的水平和垂直方向上的变化量。当所有像素的梯度向量都被计算出来后，一个直方图HD被构造用来表达q 值。该直方图首先对q 的值域范围进行离散化，然后统计了每个bin中相应的|DG|大于给定阈值的像素数量。这个直方图对于具有明显方向性的图像会表现出峰值，对于无明显方向的图像则表现得比较平坦。最后，图像总体方向性可以通过计算直方图中峰值的尖锐程度获得，表示如下: (7)上式中的p代表直方图中的峰值，np为直方图中所有的峰值。对于某个峰值p，Wp 代表该峰值所包含的所有的bin，而 fp 是具有最高值的bin。(3)形状特征物体和区域的形状是图像表达和图像检索中的另一重要的特征。不同于颜色或纹理等底层特征，形状特征的表达必须以对图像中物体或区域的划分为基础。由于当前的技术无法做到准确而鲁棒的自动图像分割，图像检索中的形状特征只能用于某些特殊应用，在这些应用中图像包含的物体或区域可以直接获得。另一方面，由于人们对物体形状的变换、旋转和缩放主观上不太敏感，合适的形状特征必须满足对变换、旋转和缩放无关，这对形状相似度的计算也带来了难度。通常来说，形状特征有两种表示方法，一种是轮廓特征的，一种是区域特征的。前者只用到物体的外边界，而后者则关系到整个形状区域。本项目采用傅立叶描述符。1)傅立叶形状描述符傅立叶形状描述符（Fourier shape descriptors）的基本思想是用物体边界的傅立叶变换作为其形状描述。假设一个二维物体的轮廓是由一系列坐标为（xs, ys）的像素组成，其中0 s N-1，而N是轮廓上像素的总数。从这些边界点的坐标中可以推导出三种形状表达，分别是曲率函数、质心距离和复坐标函数。轮廓线上某点的曲率定义为轮廓切向角度相对于弧长的变化率。曲率函数K(s) 可以表示为： (8)其中q(s) 是轮廓线的切向角度。质心距离定义为从物体边界点到物体中心（xc, yc）的距离，如下所示： (9)复坐标函数是用复数所表示的像素坐标： (10)对这种复坐标函数的傅立叶变换会产生一系列复数系数。这些系数在频率上表示了物体形状，其中低频分量表示形状的宏观属性，高频分量表达了形状的细节特征。形状描述符可以从这些变换参数中得出。为了保持旋转无关性，仅仅保留了参数的大小信息，而省去了相位信息。缩放的无关性是通过将参数的大小除以DC分量（或第一个非零参数）的大小来保证的。请注意变换无关性是基于轮廓的形状表示所固有的特点。对于曲率函数和质心距离函数，我们只考虑正频率的坐标轴，因为这时函数的傅立叶变换是对称的，即有 |F-i| = |Fi|。基于曲率函数的形状描述符表示为 (11)其中Fi表示傅立叶变换参数的第i个分量。类似的，由质心距离所导出的形状描述符为 (12)对于复坐标函数，正频率分量和负频率分量被同时采用。由于DC参数与形状的所处的位置有关而被省区。因此，第一个非零的频率分量被用来对其它变换参数进行标准化。复坐标函数所导出的形状描述符为 (13)为保证数据库中所有物体的形状特征都有相同的长度，在实施傅立叶变换之前需要将所有边界点的数目统一为M。例如 M可以取为2n = 64，这就可以采用快速傅立叶变换来提高算法效率。2. 相似度量图像的相似性度量，是基于内容的图像检索技术中一个关键问题。它是建立在图像内容的基础上，由图像内容的相似度得到图像相似度的一种比较方法。描述图像颜色特征的方法有直方图和颜色句柄。设描述图像特征的颜色句柄，(pi,wi)|p=1,N表示颜色,p=(Ri,Gi,Bi)在图像中包含wi个像素点。数据库内图像颜色句柄的长度N一般是不同的,每幅图像颜色句柄的长度由图像本身的内容决定。直方图同颜色句柄有相同的表示形式,但对所有的图像而言,直方图对颜色空间的划分是一致的。图像的相似性测量用图像之间的距离表示。距离越大,图像之间的差别越大。反之亦然。距离有Minkowski距离、2统计距离,二次距离等。但是就本质而言,这些方法可以被分成两类:一一映射法和交叉映射法。一一映射法测距公式可以用下式表示：D(H,K)=DISTANCE(hi,ki) （14）其中H和K分别代表两幅图像的直方图或颜色句柄，并且两幅图像直方图簇数或颜色句柄的长度一定相等，对应簇hi和ki之间的距离称为基本距离。常用的属于一一映射法的距离有：Minkowski距离： 交集距离： （16）Kullback-Leibler距离： （17）2统计距离： （18）其中mi=(hi+ki)/2属于交叉映射法的距离，其通用的表达式表示为： （19）二次距离：d2(H,K)= ，其中矢量h和k分别代表直方图或颜色句柄中的簇矢量，矩阵A=aij，aij定义第i簇和第j簇之间的距离。本系统采用欧式距离作为特征相似度量的尺度。给定两个高维特征向量：X(x1,x2,xd), Y(y1,y2,yd)，则其欧式相似距离为： (20)第4章 系统实现本系统为用户提供了一个快速查找网络商品的平台。系统开发环境采用Microsoft Windows XP，开发工具采用MyEclipse 8.5，以及Microsoft Visual C+ 6.0。系统架构采用B/S结构，其中图像数据相关信息的存储和管理采用Microsoft SQL Server2005数据库。本系统主要支持JPG格式图像的检索。下面从数据采集模块、数据检索模块、数据显示模块、数据推送模块四个方面详细介绍基于内容的图像检索系统的实现。4.1 数据采集模块通过对采集的网页分析，进行正则表达式匹配，解析出Deep Web中网页中商品图像的实际URL，有效地实现视商品图像的自动批量下载。信息采集的流程如图4.1所示。基于正则表达式匹配的图像采集获取Deep Web网页机器人（Crawler）预先设定的Url种子商品图像网页商品图像图4.1 基于Deep Web的商品图像信息采集流程由于主要的信息内容为各商品图像的详细信息，因此在对网络上大多数产品展示及交易的网站，要进行筛选，应遵循以下准则：1）网站信息量要足够大；2）网页结构简单，不会经常变化，这有利于对信息的整合；3）尽量避免动态网页，因为动态网页的内容是在浏览网页时生成的，爬虫程序获取网页信息比较困难。信息采集方式包括人工采集和自动采集，也可以通过人工设定网址和网页分析url方式共同进行。本系统数据采集模块实现采用网页机器人（Crawler）。机器人实际上是一些基于Web的程序，通过请求Web站点上的HTML网页来对采集该HTML网页，它遍历指定范围内的整个Web空间，不断从一个网页转到另一个网页，从一个站点移动到另一个站点，将采集到的网页添加到网页数据库中。机器人每遇到一个新的网页，都要搜索它内部的所有链接，所以从理论上讲，如果为机器人建立一个适当的初始网页集，从这个初始网页集出发，遍历所有的链接，机器人将能够采集到整个Web空间的网页。网络机器人原理示意图如图4.2所示初始的Url库抢先式多线程技术高效率的调度算法一定时间内收集到最大数量的商品图片信息图4.2 网络机器人原理示意图机器人的运行方式为：从一组初始的URL集开始遍历，首先将一个URL放入队列中，队列中记录所有将被访问的URL及访问顺序。spider从队列中抽取一个URL，下载页面，记录该URL 所指HTML文件中所有新的URL并将其加入队列中。然后再以这些新的URL为起始点重复上述过程，直到没有满足条件的新URL为止。在遍历web 的过程中，spider 通常将web作为一个有向图来处理，将每一个页面看作图的一个节点，将页面中的超级链接看作有向图中的边，于是可以使用有向图的遍历算法来对web 进行遍历。具体数据采集流程如图4.3所示。开始初始化Url队列将Url种子集加入队列待处理队列为空是否满足结束条件建立多线程Url是否访问过抓取网页抓取成功相关度分析结束获取新Url下载网页是否相关待处理队列是是否否是否是是否图4.3 信息采集过程4.2 数据检索模块在本系统中涉及的数据有：图像数据，图像特征数据和其它数据。图像数据的存储有两种策略:一是把图像数据整体存入数据库;二是用文件管理的方式，图像数据仍然存放在原来的文件系统中。前一种策略便于图像数据的管理，图像数据的安全性得到了保障，但是同时给数据的存取带来了麻烦，而且图像数据只是非结构数据，对其的操作依赖于应用程序本身。另外图像数据都存入数据库中数据库会变得非常庞大，使得图像的检索过程中，开销大且对图像数据的操作效率低。而第二种策略，在数据库中通过存储图像数据的路径来管理图像，减小了系统开销，也便于图像显示。因此系统采用第二种方法来管理图像数据。在编程实现图像显示时，只要知道图像数据的路径和文件名称，就可以通过相关函数方便的显示图像。本系统中图像特征数据包括各个分块的颜色直方图和颜色布局特征。在检索中要进行实时的匹配，需要直接从特征文件中读取图像的特征数据，所以每个分块的颜色直方图数据和颜色布局特征都必须存储在特征文件中。其它数据包括图像的文件名、图像的来源、图像的类别等等，这些数据与图像的路径等信息一起存放在数据库中。数据检索模块由查询接口，相似性匹配2个子模块组成。查询接口模块负责用户以什么样的方式输入，通常输入形式有很多种，如利用查询语言SQL、直接给定图像特征数值、给定待查询图像的类似图像、手绘描述待查询图像等等。本系统采用例子图像查询作为用户需求的输入方式。该方法让用户向系统给出一幅待查询的示例图像（又称关键图像），系统先对示例图像提取其特征向量，然后系统将示例图像提取其特征向量，然后系统将示例图像与图像数据文件中的图像特征向量进行相似度匹配。系统主界面如图4.4所示。图4.4 系统主界面系统主界面总体分上中下三部分，主部分由logo和搜索功能块组成，用户可以点击浏览按钮选择本地要搜索的商品图像进行上传，如果想得到更精准的结果，可以在类型中选择要搜索物品的类型，减少搜索范围，默认是在全部类别里面进行搜索。4.3 数据显示模块数据显示模块负责将相似性计算后图像数据库中每个图像与示例图像的相似度值进行匹配，然后将相似的图像显示给用户。搜索结果可以采用缩略图和列表两种显示方式。具体结果显示界面如图4.5所示。图4.5 结果浏览界面该界面的左侧为用户上传的商品图像，经过一定缩放处理后显示，右侧为搜索结果，结果信息包含了物品的价格，产地，商家的等级，信用保证，以及物品的名称等信息，用户可以直接点击商品图像跳转到相应的商铺中进行操作。用户可以通过点击显示方式动态的改变结果的显示方式，方便不同用户的浏览习惯。列表形式显示结果的界面如图4.6所示。图4.6 不同效果的浏览界面如果用户对搜索结果不满意，用户则可以通过调节相似度匹配值进行调整重新过滤结果。用户也可以点击相似度按钮，对搜索的结果进行以相似度大小为依据的结果排序显示。过滤排序界面如图4.7所示。图4.7 过滤排序界面用户在搜索结果区中用户在搜索结果中还可以点击商品图像左上角的按钮，进行商品图像放大操作，以便更细致的观察细节，确定是否是自己要找的物品。界面如图4.8所示。图4.8 商品图像放大浏览界面如果用户想对自己提交的商品图像进行进一步的精确搜索，用户可以点击预览图下的细节搜索按钮，对上传的商品图像进行重点细节截取，然后在全图搜索的结果集中再进行搜索，细节搜索界面如图4.9所示。图4.9 细节搜索界面如果没有商品图像与用户提交的商品图像相似，则返回无结果界面如图4.10所示。图4.10 无结果浏览界面用户通过浏览界面浏览到系统返回的与示例商品图像相似的商品图像。如果用户对返回的结果不满意，用户可以重新提交商品图像，然后在搜索类型中选择搜索类型，这样可以减少搜索范围，大幅度提高搜索结果的精准性，若用户得到一个较为满意的结果，则检索完毕。4.4 数据推送模块通过用户的检索记录分析用户喜好，然后将其推送给系统服务器，服务器根据用户喜好对采集到的商品图像信息进行分析判断，并将符合条件的信息条目推送回客户。主动个性化推送过程图如图4.11所示。返回结果发送请求信息推送发送定制请求定制请求互联网订阅库推送服务器数据服务器图4.11商品图像信息主动个性化推送 系统个性化推送界面如图4.12所示。图4.12商品图像信息主动个性化推送用户进行搜索后，在搜索结果区，系统会自动的根据用户历史的搜索记录，自动的为用户推送相关商品图像，并在您可能感兴趣的商品区中展示给用户。第5章 盈利模式与市场营销推广策略5.1 目标市场随着近年来，网上购物行业飞速发展，其独特的营销风格，迎合了现代人快节奏的生活方式，网络购物规模不断扩大，根据统计，目前淘宝已经有超过300万家商户，在线超过3亿件商品，这就给在线商品图像搜索带来了巨大的市场机遇。根据艾瑞的统计，2009年购物搜索市场规模已经超过11亿，而且随着网购交易规模的发展，增速也越来越快。因此在互联网上海量的商品找到自己所感兴趣的商品也就更加困难，然而这对网络商品图像搜索的发展创造了一个良好的空间。基于内容的网络商品图像检索系统的建立迎合了市场趋势，满足了当前电子商务行业对网络商品图像搜索的需求。5.2 盈利模式盈利模式是每个项目的生存之本。本项目的主要盈利在于广告费和商家商品推送费。本系统在建设初期，明确盈利方向，以此建立起一个良性正向循环的商业模式。在系统建立之初，由内容和技术开始，吸引足够多的用户进而形成品牌效益，然后先通过广告形式赚取一定费用，并将利润再投入内容和技术，继续吸引用户。在品牌效应形成之后，通过收取商家的一定费用，在