毕业设计（论文）-基于Hadoop Hbase的Android手机拍照购物系统设计.docx

重庆理工大学毕业论文 基于hadoop_hbase的android手机拍照购物系统设计 编号 毕业设计（论文）题目 基于hadoop_hbase的android 手机拍照购物系统设计 二级学院 计算机科学与工程 专 业 软 件 工 程 班 级 学生姓名 学号 指导教师 职称 评阅教师 时 间 目录摘 要iabstractii1绪论11.1 选题背景及意义11.2 现状分析11.4 本章小结22关键技术32.2关键技术概述32.2.1spring32.2.2hibernate32.2.3struts242.2.4jquery mobile和phonegap52.2.5hadoop和hdfs52.2.6hbase62.2.7图像检索技术62.3 本章小结73 系统需求分析83.1非功能性需求83.1.1 操作可行性分析83.1.2 技术可行性分析83.1.3 经济可行性分析83.1.4 进度可行性分析83.2系统功能总体描述83.3 数据获取和处理（分布式爬虫）子系统总体描述103.3.1 浅层爬取113.3.2深层爬取123.3.3 图像特征提取143.4 移动app子系统总体描述153.4.1 会员操作163.4.2商品展示173.4.3我的信息203.5 后台显示子系统总体描述213.5.1 集群信息管理223.5.2 商品信息管理233.5.3 会员信息管理243.5.4 用户行为信息管理253.5本章小结254 系统设计274.1 总体架构274.1.1 技术架构274.1.2 功能架构274.2爬虫模块设计284.2.1 浅层爬取（商品链接获取）2功能说明浅层爬取2 功能结构284.2.2 深层爬取（商品信息和图片获取）2功能说明2 功能结构294.2.3 图片特征提取2功能说明2功能结构294.3网站后台设计304.3.1集群信息管理30功能说明30功能结构304.3.2商品信息管理30功能说明30功能结构304.3.3 会员信息管理3功能说明3功能结构314.3.4 用户行为信息管理3功能说明3功能结构314.4手机app设计324.4.1会员操作3功能说明3功能结构324.4.2商品展示3功能说明3功能结构324.4.3我的信息3功能说明3功能结构334.5 数据库设计334.5.1 mysql数据库设计3pogou_admin表3pogou_cus表3 pogou_intpro表344.5.2 hbase数据库设计3 product_info表3 product_user_bhvr_attr表3 product_user_bhvr_attr_nreg表364.6算法设计374.6.1 算法比较374.6.2 加速稳健特征（speed up robust features,surf）374.7本章小结425 系统实现435.1软件环境435.2网站后台实现435.2.1网站登陆界面设计435.2.2 dashboard界面设计435.2.3 商品信息界面设计445.2.4 注册用户信息界面设计445.2.5 用户行为信息界面设计455.3手机app实现455.3.1 手机用户登陆界面设计455.3.2 手机用户注册界面设计465.3.3 手机图片选择搜索界面设计465.3.4 手机搜索界面475.3.5 手机商品列表界面475.3.6 手机商品详细界面485.4本章总结496 系统测试与评估506.1测试目的506.2测试原则506.2.1 边开发、边测试506.2.2 合理的测试用例设计506.2.3 测试的标准是需求506.2.4 第三方参与测试工作506.3 测试表格507 总结54致谢55参考文献56摘 要随着计算机网络和移动手持设备的不断普及，人们渐渐习惯于能随时随地从网络上获取自己所需要的信息，并不断的从虚拟信息转移到生活物质上的需求，因此淘宝网和京东商城等电子商务行业得以急剧发展，这些电子商务行业改变了传统实体店商品营销模式。但是怎样准确迅速地检索到自己想要购买的商品，成为用户们最为关切的问题。为了使用户能够准确快捷地搜索到自己想要购买的商品，本文提出一种基于图像搜索技术的手机拍照购物系统，通过根据用户所上传的图片获取对应的商品。本系统的开发平台采用hadoop构建网络爬虫来获取商品数据，其中系统的服务器端程序及管理页面程序采用ssh2框架设计，并且利用jquery mobile和phonegap来编写android 移动端，图像检索的算法是采用surf特征提取算法。经过针对系统功能的各项测试，基于hadoop_hbase的android手机拍照购物系统系统已在实验室正常运行，设计目标基本达到。关键词：hadoop； ssh2 ；surf；手机拍照购物abstractwith the expansion of computer networks and mobile devices, people become more accustomed to get the information what they need from the internet anytime and anywhere, and constantly change the demands from virtual information transferred to the material life. therefore, taobao, jingdong and other e-commerce companyies have surged quickly, which has changed the traditional commodity marketing model. however, how to quickly and accurately search the merchandise which you want to buy become a serious problem. in order to make customers search the products quickly and accurately, this paper proposes a phone photographed shopping system based on the technology of image search , by according to the users to upload images to obtain the corresponding goods. the development platform of this system uses the hadoop web crawler to obtain goods data, while the system of the server program and management page designed by ssh2 framework, and using phonegap and jquery mobile to write the android mobile application. the image retrieval algorithm is to use surf feature extraction algorithm. after testing each function of the system, the android photographed shopping system based on hadoop_hbase system has been running in the laboratory, which has basic to the design goal. keywords: hadoop ; ssh2 ; surf ; photo shopping581绪论1.1 选题背景及意义随着计算机网络和移动手持设备的不断普及，人们渐渐习惯于能随时随地从网络上获取自己所需要的信息，并不断的从虚拟信息的获取转移到生活物质上的需求，因此淘宝网和京东商城等电子商务行业得以集聚发展，这些电子商务行业改变了传统实体店商品营销模式，并在人们的生活中渐渐替代传统商店。但是现今的电子商务网站具有明显的缺陷，用户只能通过商品的一些模糊关键字描述来检索获得对应的商品信息，并且有些不符合实际的商品描述容易影响商品关键字的检索结果，尤其是当买家对购买商品的模糊描述更容易提升商品获取的误差。如何准确快速地搜索到自己心仪的商品，成为买家用户最为在意的问题。为了使用户能够准确快捷地搜索到自己想要购买的商品，本文提出一种基于图像搜索技术的手机拍照购物系统，通过根据用户所上传的图片获取对应的商品。1.2 现状分析将图像检索技术应用于电子商务购物系统仍是处于起步阶段，近些年来，国内外也有少数的初创公司和资深电子商务公司也根据具体的应用设计出了一些图片检索购物系统。其中国内比较典型的如图图搜、淘淘搜等。淘淘搜前段时间刚完成b轮融资，目前主要是web端产品，不久前也推出了移动应用，但在移动应用端尚未提供图片检索功能。图图搜则是倾向于服装性质的检索，相应的也有移动应用推出，只不过也未将识图技术应用到手机应用上。在国外，例如可视化搜索的初创公司superfish，不久前也刚获得1000万美元的d轮融资，该公司已研发出具有商品图像识别技术的iphone手机应用，能够提供针对亚马逊、ebay等国外大型电子商务平台的商品图片检索。将图片检索技术应用到现有的电子商务系统，能为人们日后的生活带来了极大的方便，坚信在今后的几年里，尤其是在手机移动端，将会出现更多更好的手机拍照购物系统来满足人们的日常生活需求。1.3 本文主要工作本文的目的在于设计一款基于android手机拍照购物系统，实现对用户提供的图片和关键字查找相应的商品，从而提升用户商品获取的多样性和特定商品获取的精确性。本文设计的拍照购物系统目前尚未成熟，主要应用环境仍为粗糙的商品识别，无法应用于精确的商品信息获取。本文主要内容如下：1.介绍了拍照购物系统的开发背景和必要性，并针对国内外拍照购物系统的发展现状，对拍照购物系统的可行性进行了分析。2.对拍照购物系统开发所涉及的技术框架进行了简单阐述，并说明了使用这些术框架的优势。3.详细分析了拍照购物系统的行业特征与系统需求。并采用面向对象的系统分析方法, 对功能需求进行了系统的描述。4.详细阐述了系统架构、算法设计和对应的软件设计。5.对主要系统模块的界面设计实现进行了说明和分析。并介绍了相关的实现方法与技巧。6.对系统主要功能进行了用例测试，并对测试效果进行了评估。7.在系统需求分析，设计实现与测试的基础上，对本次系统进行了总结和展望。1.4 本章小结本章首先对手机拍照购物系统的概念进行了阐述与说明，然后分析了当前拍照购物系统的发展现状和拍照购物系统对人们日常生活的必要性，最后说明了拍照购物系统存在的意义和本次毕业设计主要完成的内容。2关键技术2.2关键技术概述本节主要介绍了本次系统所用到的一些核心的技术，其中包括spring、hibernate、struts2、jquery mobile、phonegap、hadoop和hbase的简介。2.2.1springspring框架被称为java ee应用设计经典解决方案3。它是由rod johnson开发创建，目的是为了解决企业应用开发的复杂性和降低组建之间的高耦合度。spring采用基本的javabean来替代ejb完成某些特定功能。然而，spring不仅只用于企业服务器端程序的开发。从降低耦合度方面考虑，任何java应用都可以采用spring框架技术。spring是一个具有ioc和aop功能的低侵入式技术框架。控制反转(ioc)spring通过一种叫做控制反转（ioc）的技术来降低组建之间的松耦合。通过使用ioc技术，对象依赖的其余对象会以被创建的形式传递过来，而不是通过对象本身的创建或者需要寻找其依赖对象。 面向切面(aop)spring提供了针对面向切面编程的功能支持，通过隔离业务逻辑各个部分，降低它们之间的耦合度，借以提升开发效率。 容器spring包含并控制应用对象的配置和生命周期，它相当于是一种特殊的容器，能够配置每个bean的创建方式。2.2.2hibernatehibernate是一种基于面向对象的对象关系映射框架技术。用来把现实中事务抽象表示的对象映射到一般的关系模型结构中去，为面向对象的抽象模型到传统关系型数据库的映射，提供了一个使用方便的解决方案。hibernate对jdbc对象进行了底层封装，使得开发人员可以毫无顾虑的使用面向对象编程思维来对数据库进行操作。hibernate使用在任何jdbc的使用场合，它不仅可以在通常的客户端程序使用，也能够在web应用中使用。最具有创新意义的是，hibernate可以在应用ejb（enterprisejavabeans）的企业级系统中替代cmp，作为数据持久化的组件。hibernate其实也是一个中间件，主要提供数据库服务。如下结构图：图2-1 hibernate架构由上图可以看出hibernate的基本架构，主要是通过xml的配置来具体实现hibernate的相关功能，由图2-1看出hibernate相当于一个处于数据库和应用程序之间的中间层，既然是中间层就有着承上启下的作用，从应用程序中的实体对象到数据库表结构、从数据库表结构到实体对象的处理都由hibernate完成。2.2.3struts2struts2是struts的下一代产品。是将struts和webwork的技术特殊优点进行合并的全新框架。其全新的体系设计结构与struts1有着较大的区别。struts2以webwork作为框架核心，通过拦截器的机制来处理用户请求，这样的设计使得业务逻辑控制器不再与servlet api偶合在一起，所以struts2可以说是webwork的更新产品。因为struts2和struts1有着很大的差别，但是和webwork相比，struts2的变化很小。struts2的工作流程如图2-2所示：图2-2 struts2工作流程图1.当struts2接收到一个httprequest请求的时候，interceptor模块就会对这个请求进行拦截或者初始化的工作。这时候如果有外部的httpservletrequest到来时，数据就会进入到servlet容器中，然后被传递给一个过滤器链actioncontextcleanup。2.然后struts2开始调用dispatecher去查找相应的actionmapper，如果找到了相应的actionmapper struts2将会将控制权限交给actionproxy。接着actionproxy通过configurationmanager来查找和配置struts.xml文件。3.最后struts2通过actioninvocation来负责命令模式的实现，action返回result。（返回的result类型可以是 jsp或者freemark 等）。2.2.4jquery mobile和phonegapjquery是现在很流行的javascript网页前端库1，但它却只是为pc浏览器设计的。为了满足web程序能更好地运行在移动手持端设备浏览器的需求，在jquery 与jquery ui 的基础之上，推出了jquery mobile框架，它的目的就是在移动产品项目开发的过程中，为开发人员提供统一的接口，通过便捷的jquery类库，节省在javascript部分的开发时间，提高项目整体开发效率。jquery mobile为移动应用项目的开发提供统一的应用接口，通过标记来驱动接口的配置，开发者在页面中无须使用任何javascript代码，就可以建立程序接口。使用页面元素标记驱动仅是它众多特点之一，概括而言，它具有强大的ajax驱动导航、强大的浏览器兼容性、框架轻量级等特点。phonegap是一个能让网络开发人员快速进行移动应用开发的开源框架。主要涉及的技术包括html，css，javascript。即便是不懂java的开发者也可以使用它开发android应用程序，只需要对程序进行非常小的改动就可以让它在各种平台上运行，包括ios，android，blackberry等。一般情况下我们采用jquery mobile设计应用界面而硬件交互则交给phonegap处理。2.2.5hadoop和hdfshadoop是一个apache开源组织的分布式计算开源框架2，它能够运行在大中型的廉价硬件设备集群上，为应用程序的开发提供了一套稳定可扩展的接口。同时，它也是google的一个分布式集群系统项目总称，google集群系统是一个稳定性高、性能强劲、低成本的系统，它的底层是google文件系统(google file system，gfs)。hdfs是gfs的开源实现，它是hadoop的底层文件系统，用来存储hadoop集群中存储节点上的文件。hadoop平台虽然是一项新技术，但它的发展非常迅速，其主要原因是它将并行计算“平民化，它使开发人员无须在意并行应用开发的细节，只需将精力放在业务逻辑上的处理。并且hadoop平台可以运行在日常的pc机群上，很大地降低了企业成本，这也更易于让个人和中小型企业研究和搭建分布式系统。2.2.6hbasehbase是一个建立在hdfs上的nosql数据库4，支持对结构化、半结构化、甚至非结构化大数据的分布式实施读写和随机访问能力。可以用于存储海量的数据。hbase中每张表的数据可以多达几十亿条甚至更多，每条记录可以具有百万以上的字段属性。而这样的存储能力却不需要特别的硬件，普通的服务器集群就可以胜任。通过使用hbase，用户可以对其中的数据记录进行增（增加新的记录或者字段）、删（删除已有的记录或者字段）、查（查询已有的数据）、改（更新已有的数据）操作。而且这些操作的性能（完成时间）大多可以和hbase表中的数据量基本无关。也就是说，即使用户的表中已经有100亿条记录，基于逐渐查询任意单条记录仍然可以在毫秒级（一般约在100毫秒，主要受限于磁盘的寻道时间）时间内完成。hbase的一些主要技术特点包括：1） 列式存储。2） 表数据是一种具有稀疏性的多位映射表3） 读写的严格一致性4） 提供很高的数据读写速度5） 良好的线性可扩展性6） 提供海量数据存储能力7） 数据自动分片2.2.7图像检索技术随着信息与通信技术的普及，人们对图像检索和识别的需求与日俱增。精确的图像检索和识别，能够对可用图像数据进行高效快速的管理和获取；能够识别网络中不雅图片、在大量社交网络分享图片中查找犯罪人员等。目前图像检索技术研究主要集中在以下两个方面，第一是图像检索算法研究，主要图像检索算法又可以分为三个方向：基于文本的图像检索，基于内容的图像检索，还有将两者结合在一起的结合文本和内容的融合性研究图像检索算法。目前图像检索算法主要是通过后者来提高精度。第二是图像检索系统研究，国外关于图像检索系统的研发比较丰富，例如有谷歌的图片检索系统和百度的图片检索系统等，这些系统都已具有较高的识别精确性。2.3 本章小结本章围绕了此次毕业设计所采用的技术如hibernate技术、hadoop技术、图像检索技术等进行了阐述和探讨。3 系统需求分析3.1非功能性需求基于现有的手机拍照购物系统的基础上，较易提出新的系统目标，即新系统设计完成后所要达到的指标，这是程序开发和评价的准则。设计出来的系统目标应适应与用户操作的基本特点，能够针对为用户提供的关键字和图片来获取商品信息的功能。本系统的目标确定后，就能从以下几个方面对系统目标的实现进行多种可行性分析：3.1.1 操作可行性分析本系统根据用户实际操作情况开发的，符合用户需求，且由于是android平台上的程序，界面友好，操作简单，便于用户随时随地使用。3.1.2 技术可行性分析手机拍照购物系统采用的是hadoop平台进行商品数据爬取，采用c/s结构构建手机与服务器端程序，目前基于hadoop平台和c/s结构的系统开发已经很成熟；其次，开发人员如果熟悉相关hadoop平台知识、mysql数据库、java语言、eclipse等开发工具，并且具有独立编程的能力以及信息管理系统分析与设计的经验，则该系统在技术上是可行的。3.1.3 经济可行性分析本系统采用廉价废弃的计算机搭建集群进行数据爬取，无需依仗高价的商业服务器，便于解决企业系统成本。而且本系统如果成功实施将会提升企业在电子商务行业中的领导地位和用户对企业商品的使用率，为企业取得可观的投资收益。3.1.4 进度可行性分析由于使用的技术是以前未曾学习过的，在时间上虽然有点紧张，但由于老师的精心指导再加上科学合理的安排时间，所以进度上不存在问题。3.2系统功能总体描述本章通过对手机拍照购物系统的功能分析，提出了系统的主要功能需求，而通过对功能的逻辑性分析，可将系统大致分为三个子系统，然后再对这三个子系统分别分析得出多个子模块，而这些模块又有多个功能。通过对这些功能的描述使得本系统的功能更加明确，结构更加清晰。三个子系统与其对应的功能如下：1. 数据获取和处理（分布式爬虫）：a) 浅层爬取：提取关键字、存储获取关键字对应商品链接b) 深层爬取：读取商品链接、存储获取商品描述和图片c) 图像特征提取：读取图片存储位置、提取图片特征并存储2. 移动app：a) 会员操作：会员注册、会员登录b) 商品展示：关键字搜索商品、图片搜索商品、浏览商品、添加喜欢商品c) 我的信息：我的收藏、个人资料3. 后台显示：a) 集群信息管理：查看集信息b) 商品信息管理：查看爬取商品信息c) 会员信息管理：查看注册会员信息d) 用户行为信息管理：查看注册用户的行为记录，查看非注册用户行为记录以上是手机拍照购物系统所要实现的功能目标，这是为实现一个手机拍照购物系统所需的基本功能，也有本系统所独有的功能，如用户行为信息等。这些功能相互的联系在一起组建成了一个完整的系统。系统功能模块总体用例图如图3-1所示：图3-1 系统功能总体用例图3.3 数据获取和处理（分布式爬虫）子系统总体描述数据获取和处理（分布式爬虫）具备以下基本功能模块1）浅层爬取：获取商品列表中的商品链接2）深层爬取：获取商品描述和图片3）图像特征提取：提取商品图像的特征值其系统功能总体用例图如图3-2所示：图3-2 数据获取和处理（分布式爬虫）子系统总体用例图3.3.1 浅层爬取浅层爬取主要分为提取关键字和存储获取关键字对应商品链接。提取关键字是系统初始化的第一步，系统需要根据管理员提供的关键字爬取相应的商品，如果关键字不正确，系统将无法和获取正常数据。当获取关键字相应的商品列表时，系统需要对这些列表进行文本分析，获取商品列表网页中的商品链接。浅层爬取用例图如图3-3：图3-3 浅层爬取用例图浅层爬取的用例说明描述，规格说明列表如下表3-1 提取关键字用例说明用例提取关键字用例编号1活动者系统目的提取初始文件中的商品关键字用例描述爬虫需要从关键字文件中提取关键字便于后续商品列表获取前置条件hdfs中已存在关键字文件后置条件成功获取关键字基本操作流程 管理员上传关键字文件 爬虫解析备选操作流程无表3-2 存储获取关键字对应商品链接用例说明用例存储获取关键字对应商品链接用例编号2活动者系统目的在关键字获取的商品列表网页进行商品链接提取用例描述存储获取关键字对应商品链接前置条件已成功中关键字文件获取到关键字后置条件成功存储获取关键字对应商品链接基本操作流程 根据关键字拼接链接 获取链接对应的商品列表网页 解析网页，获取商品列表中的商品链接 存储链接备选操作流程无3.3.2深层爬取深层爬取主要分为商品链接读取和商品描述信息与图片的获取。商品链接读取是商品信息获取的第一步，系统需要从hbase中获取商品链接，如果商品链接不存在则无法获取该商品。当获取到商品网页链接时，系统需要根据该链接获取商品信息网页，通过对该网页的解析获取到商品的描述和图片链接，并将图片存储到hbase。深层爬取用例图如图3-4图3-4 深层爬取用例图深层爬取的用例说明描述，规格说明列表如下表3-3 商品链接读取用例说明用例商品链接读取用例编号3活动者系统目的商品链接读取用例描述系统从hbase中获取前置条件用户已登陆后置条件成功获取到商品链接基本操作流程1遍历hbase读取商品链接备选操作流程无表3-4 商品描述信息与图片的获取用例说明用例商品描述信息与图片的获取用例编号4活动者系统目的获取商品信息和图片用例描述根据获取到的商品链接，获取对应的商品信息和图片前置条件成功获取商品链接后置条件成功解析并存储商品信息和图片基本操作流程1 根据链接获取商品信息网页2 解析网页获取网页信息和图片链接并存储到hbase3 根据图片链接获取图片并存到hdfs备选操作流程无3.3.3 图像特征提取图像特征提取主要包括：图片存储位置读取和图片特征提取。图像位置存储是指爬虫模块从hbase中获取图片的hdfs位置。图片特征读取阶段根据该位置信息获取图片并对该图片进行特征提取，然后将特征值存到hbase中。图像特征提取用例图如图3-5所示：图3-5 图像特征提取用例图图像特征提取的用例说明描述，规格说明列表如下表3-5 图片存储位置读取用例说明用例图片存储位置读取用例编号5活动者系统目的获取图片位置信息用例描述获取图片的存储位置前置条件成功获取商品图片后置条件成功解析获取图片位置信息基本操作流程1. 从hbase中提取商品图片信息备选操作流程无表3-6 图片特征提取用例说明用例图片特征提取用例编号6活动者系统目的获取商品图片特征提取用例描述根据获取到的商品图片hdfs位置信息，提取该图片的特征前置条件成功获取图片hdfs位置信息后置条件成功获取图片特征基本操作流程1. 根据hdfs信息获取图片2. 对图片进行特征提取3. 存储特征到hbase备选操作流程无3.4 移动app子系统总体描述移动app具备以下基本功能模块：1）会员操作：对会员账号注册和登陆操作；2）商品展示：对商品进行检索获取；3）我的信息：对会员信息进行修改和查看。系统功能总体用例图如图图3-6 移动app子系统总体用例图3.4.1 会员操作会员操作主要包括：会员注册和会员登陆。会员注册是指用户第一次使用本系统的app时可以选择注册用户，在注册页面上需要输入用户账号、密码、收入等信息。会员登录是指用户在使用app时输入账号和密码登录个人中心，可以获得和修改自己的信息，并且能查看自己收藏的商品信息。会员操作用例图如图3-7所示：图3-7 会员操作用例图会员操作的用例说明描述，规格说明列表如下表3-7 会员注册用例说明用例会员注册用例编号7活动者用户目的注册会员账号用例描述输入信息注册账号前置条件用户输入信息正确后置条件成功进入个人中心基本操作流程1. 进入注册界面2. 输入注册信息3. 点击注册备选操作流程无表3-7 会员登陆用例说明用例会员登陆用例编号8活动者用户目的会员登录个人中心用例描述会员登录个人中心前置条件用户账号已经在系统中成功注册后置条件进入个人中心基本操作流程1.进入注册界面2.输入账号和密码3.点击登录按钮备选操作流程无3.4.2商品展示商品展示模块主要包含：关键字搜索商品、图片搜索商品、浏览商品和收藏喜欢商品。关键字搜索商品是指用户能够通过商品的一些关键字来获取对应的商品列表。图片搜索商品是指用户可以通过图片来获取相似的商品列表，而提供的图片有两种选择方式，一种是从相册中选择已经存在的图片，另一种就是从摄像头获取，通过摄像头拍摄照片。浏览商品是指用户可以从商品列表中点击自己感兴趣的商品，便可进入到该商品的详细介绍页面。收藏喜欢商品是指用户在进入商品详细介绍页面时可以选择将该商品添加为收藏。商品展示用例图如图3-8所示：图3-8 商品展示用例图商品展示的用例说明描述，规格说明列表如下表3-8 关键字搜索商品用例说明用例关键字搜索商品用例编号9活动者用户目的根据关键字获取商品用例描述通过用户输入的关键字来获取对应描述的商品前置条件已有该关键字对应的商品后置条件显示对应关键字的商品列表基本操作流程1.进入搜索页面2.输入关键字3.点击搜索按钮备选操作流程无表3-9 图片搜索商品用例说明用例图片搜索商品用例编号10活动者用户目的根据用户提交的图片来获取对应图片用例描述会员登录个人中心前置条件通过用户上传的图片来获取相似的商品后置条件显示对应的商品列表基本操作流程1.进入图片搜索页面2.选择图片来院方式3.选择相册图片或者通过摄像机拍照4.点击提交备选操作流程无表3-10 浏览商品用例说明用例浏览商品用例编号11活动者用户目的查看商品的详细信息用例描述通过对商品列表中商品点击进入商品详细页面前置条件商品列表中已经显示该商品后置条件进入商品详细页面并显示商品信息基本操作流程1.在商品列表中点击商品2.进入商品详细页面备选操作流程无表3-11 收藏喜欢商品用例说明用例收藏喜欢商品用例编号12活动者用户目的收藏用户喜欢的商品用例描述用户通过在商品详细页面点击收藏按钮来收藏喜欢的商品前置条件用户已经通过账号成功登录系统后置条件提示成功收藏基本操作流程1.进入商品详细页面2.点击收藏按钮备选操作流程无3.4.3我的信息我的信息模块包含我的收藏、个人资料。我的收藏是指用户在通过登录系统之后可以查看自己添加过的收藏商品，并且可以将不再需要的删除。个人资料是指用户登陆系统后可以查看用户的自身信息，并且能够重新修改信息。我的信息用例图如图3-9所示：图3-9 我的信息模块用例图我的信息模块的用例说明描述，规格说明列表如下表3-12 收藏管理用例说明用例收藏管理用例编号13活动者用户目的收藏管理用例描述用户对收藏商品进行查看和管理前置条件用户已经通过账号成功登录系统后置条件收藏商品列表已经没有该商品基本操作流程1.进入商品详细页面2.点击删除按钮备选操作流程无表3-13 信息管理用例说明用例信息管理用例编号13活动者用户目的查看和修改用信息用例描述用户通过登陆系统后进入到个人中心，选择修改并输入新的信息保存前置条件用户账号已经在系统中成功注册后置条件提示修改成功基本操作流程1.进入个人中心2.点击修改3.输入新的信息4.点击保存备选操作流程无3.5 后台显示子系统总体描述后台显示子系统具备以下基本功能模块1）集群信息管理：获取集群的一些信息；2）商品信息管理：获取爬虫爬取的商品信息；3）会员信息管理：提取已注册商品信息；4）用户行为信息管理：获取用户行为信息。后台显示子系统功能总体用例图如图3-10所示：图3-10 后台显示子系统总体用例图3.5.1 集群信息管理集群信息管理基本功能模块包含查看集群信息。查看集群信息是指管理员登陆到后台管理系统可以通过dashboard页面查看集群数目、hdfs容量和访问者数目等信息，而这些数据都是通过后台从集群上获取的。集群信息管理模块用例图如图3-11所示：图3-11 集群信息管理用例图集群信息管理的用例说明描述，规格说明列表如下表3-14 查看集群信息用例说明用例查看集群信息用例编号14活动者管理员目的获取集群的信息用例描述管理员通过登陆系统后进入到dashboard，可以查看集群的信息前置条件管理员已经通过账号成功登录系统后置条件显示出集群信息基本操作流程1.登录后台管理系统备选操作流程无3.5.2 商品信息管理商品信息管理基本功能模块具有查看爬取商品信息功能点。查看爬取商品信息是指管理员成功登陆到后台管理系统时可以通过点击导航栏的商品选项，页面会显示出系统爬虫获取到的商品信息。商品信息管理模块用例图如图3-12所示：图3-12 商品信息管理模块用例图商品信息管理的用例说明描述，规格说明列表如下表3-15 查看商品信息用例说明用例查看商品信息用例编号14活动者管理员目的获取商品信息用例描述管理员通过登陆系统后进入后台页面点击商品导航栏，可以查看集群爬取的商品信息前置条件管理员已经通过账号成功登录系统后置条件显示出商品信息基本操作流程1.登录后台管理系统2.点击导航栏商品备选操作流程无3.5.3 会员信息管理会员信息管理基本模块具有查看注册会员信息功能点。查看注册会员信息是指管理员成功登陆到后台管理系统时可以通过点击导航栏的用户选项，页面会显示出系统获取到的注册用户信息。会员信息管理模块用例图如图3-13所示：图3-13 会员信息管理模块用例图会员信息管理的用例说明描述，规格说明列表如下表3-16 查看会员信息用例说明用例查看会员信息用例编号15活动者管理员目的获取会员信息用例描述管理员通过登陆系统后进入后台页面点击用户导航栏，可以查看集群爬取的商品信息前置条件管理员成功登陆后置条件显示出会员信息基本操作流程1.登录后台管理系统2.点击导航栏用户备选操作流程无3.5.4 用户行为信息管理在用户行为信息窗口中，除了包含有菜单选择导航，用户可以查看注册用户的信息，并以此点击下一页、上一页或者对应页数进行查看。当用户点击功能导航链接，系统就会跳转进入到相应界面。用户行为信息管理用例图如图3-14所示：图3-14 用户行为信息管理用例图用户行为信息管理的用例说明描述，规格说明列表如下表3-17 查看用户行为信息用例说明用例查看用户行为信息用例编号16活动者管理员目的获取用户行为信息用例描述管理员通过登陆系统后进入后台页面点击用户行为导航栏，可以查看集群爬取的商品信息前置条件管理员已经通过账号成功登录系统后置条件显示出用户行为信息基本操作流程1.登录后台管理系统2.点击导航栏用户备选操作流程无3.5本章小结本章主要描述了手机拍照购物的需求分析，通过对数据获取和处理（分布式爬虫）、移动app和后台显示的更深入分析使得手机拍照购物的功能明确，主要介绍了本文系统的一些基本的功能，同时重点介绍了只有在本系统中才有一些功能，总之通过这章的内容可以了解到手机拍照购物的基本功能和所需要实现的目标。4 系统设计本章主要讲述了手机拍照购物系统的设计，首先是对系统做了总体架构的设计，其中包括技术架构和功能架构的设计，然后是分别对数据获取和处理模块、移动app模块和后台显示做了详细的设计。通过本章内容不仅可以了解手机拍照购物系统的架构而且可以知道手机拍照购物系统的详细功能。4.1 总体架构本节主要是对手机拍照购物系统在总体架构上的说明，总体架构包括技术架构和功能架构2部分，技术架构是对手机拍照购物系统技术层次上的说明，功能架构是对系统中各个模块功能的说明，通过这两部分架构的说明将体现出本文系统的架构。4.1.1 技术架构图4-1 系统架构图本课程手机拍照购物系统架构图如上，hadoop平台和hdfs文件系统组成数据处理层，用来从京东爬取商品，hbase、mysql和服务器程序构成服务器业务逻辑层，针对浏览器和手机客户端操作响应处理。而手机客户端程序则作为显示层，通过与服务器业务逻辑层传输数据进行交互。4.1.2 功能架构本节主要是介绍了手机拍照购物系统中的功能架构，所谓功能架构就是手机拍照购物系统中功能模块的组成和各自要实现的功能。具体的信息如下图所示：图4-2 系统总体模块图手机拍照购物系统分为了分布式爬虫系统、移动app系统和后台信息显示系统。分布式爬虫子系统主要是商品的浅层挖掘、商品的深层挖掘和图像的特征提取组成三个功能模块组成的。移动app子系统包括会员操作、商品展示和我的信息这三个功能模块。而后台显示子系统则包括集群信息管理、商品信息管理、会员信息管理和用户行为信息管理这四个模块。4.2爬虫模块设计在数据获取和处理模块中系统需要根据关键字从京东获取商品数据并对商品所对应的图片做特征提取。4.2.1 浅层爬取（商品链接获取）浅层爬取浅层爬取模块可以分为提取关键字和存储获取关键字对应商品链接。提取关键字是指爬虫模块能够从hdfs中获取管理员所提供的爬虫所需的关键字文件，然后并将关键字从中解析出来。存储获取关键字对应商品链接则是指爬虫模块要能够根据解析出来的关键字获取对应的商品列表信息并存到hbase中。 功能结构图4-3 浅层爬取模块功能结构图4.2.2 深层爬取（商品信息和图片获取）功能说明深层爬取基本功能模块分为商品链接读取和商品描述信息与图片的获取。读取商品链接是指爬虫模块够从hbase中遍历读出获取商品链接。存储获取商品描述和图片则是指爬虫模块够根据商品链接爬取商品的描述信息和图片，分别将描述信息和图片存到hbase和hdfs。 功能结构图4-4 深层爬取基本功能结构图4.2.3 图片特征提取功能说明图像特征提取基本功能模块分为图片存储位置读取和图片特征提取。读取图片存储位置是指爬虫可以从hbase中获得图片的hdfs位置信息。提取图片特征并存储是指系统可以根据图片位置信息对图片进行特征提取，并将获取到的特征存储到hbase中。功能结构图4-5 图像特征提取基本功能结构图4.3网站后台设计4.3.1集群信息管理功能说明集群信息管理基本功能模块具有查看集群信息功能点。查看集群信息是指 管理员登陆到后台管理系统可以通过dashboard页面查看集群数目、hdfs容量和访问者数目等信息。功能结构图4-6 集群信息管理基本功能结构图4.3.2商品信息管理功能说明商品信息管理基本功能模块具有查看爬取商品信息功能点。查看爬取商品信息是指管理员成功登陆到后台管理系统时可以通过点击导航栏的商品那一选项，页面会显示出系统爬虫获取到的商品信息。功能结构图4-7 商品信