电商平台下用户画像的设计与分析培训资料

1、The dessign aand immplemeentatiion off userr pro e-commmerce platfform专 业： 计算机科学学与技术姓 名： 史维君指 导 教 师：申请学位级别： 学 士论文提交日期： 20166年6月1日日学位授予单位： 天津科技技大学 引言 随着互联网时代代的来临，人人们越来越重重视对数据的的利用与处理理，在海量数数据中提取有有效信息，进进行数据分析析与挖掘发现现商业价值1。用户是时代发展展的最重要的的因素，利用用大数据来分分析用户的行行为与消费习习惯，可以预预测商品的发发展的趋势，提提高产品质量量，同时提高高用户满意度度2。本文基于大数

2、据据与Hadooop技术进行电商商用户画像的的开发与设计计，论文将从从国内外研究究，需求分析析，系统概要要设计，系统统详细设计，系系统的实现等等方面进行整整个项目的描描述。 用户画像的的背景及意义义 随着大数据兴起起与不断发展展，数据量越越来越来，人人们想着从这这些数据中挖挖掘出自己想想要的信息。所所以有了各种种各样的数据据挖掘方式或或者种类并将将其抽象到各各个行业。再再次我们讨论论的是其中的的一个种类，用用户画像。 在“用户中心心论”理论支支持下，很多多行业意识到到用户的重要要性，在整个个社会发展的的过程中用户户是主导因素素3。所以以有很多行业业从原来以产产品和服务为为中心的思维维方式转换到

3、到以用户为主主导，开始研研究用户的需需求，反馈和和用户满意度度等信息44。互联网网行业也是如如此，互联网网企业开始加加深对用户的的了解。为了了使生产或销销售的产品能能够吸引更多多的新用户，同同时留住老用用户，提高企企业的利润，基基于用户的研研究越来越重重要了5。 在很多传统行行业中，商家为了了提高用户量量，经常会分分析用户的生生命周期和价价值，用户的的忠诚度，地地域等信息来来进行商业决决策6。比如如电商行业，商商家会对用户户的年龄分布布，地区，性性别，星座，消消费能力，家家庭收入的方方面对用户进进行分析，判判断用户将来来会给商家带带来的利润，来来进行商业决决策7。再者者分析用户的的整体消费情情

4、况可以了解解用户的消费费偏好，进行行商品的推送送服务，例如如：短信推送送，邮件推送送等。这样就就形成了比较较成熟的用户户行为与消费费习惯分析体体系，为商家家如何长远的的获得利益与与吸引新用户户打下坚实的的基础。 随着互联网行行业的不断发发展，人们对对网上消费人人群的分析越越来越重要。例例如很多大型型互联网企业业都推出了自自己的分析体体系，例如：百度，谷歌歌，阿里和京京东等。京东东将在电子商商务全过程中中的所有用户户的数据都添添加到用户画画像的建模当当中，而且对对用户进行全全方位的精确确定位，描绘绘用户的特征征。目前京东东的用户画像像中运用大约约三百多个标标签来描述客客户，涵盖了了用户的基本本属

5、性，购买买能力，偏好好等各个方面面，利用分析析的结果来推推荐产品，广广告等，同时时也更加智能能的设置搜索索提示功能，更更好的服务于于用户，来提提高用户的满满意度8。 系统所用的的开发技术及及工具简介一、 开发技技术简介 Java与与JavaEEE简介Java是一种种与C+相相似的面向对对象编程语言言，但它比CC+功能更更强大、学起起来更为简单单，而且它具具有简单、安安全、高性能能、面向对象象、高可移植植性以及跨平平台性等优点点，因而受到到了广大编程程人员的追捧捧。同时由于于其具有其强强大的平台无无关性，所以以用Javaa开发的应用用程序可以在在各个系统平平台上运行，这这使得Javva成为目前前

6、应用范围最最广的编程语语言9。JavaEE是是一套用于开开发Javaa企业级应用用程序的规范范标准，功能能十分强大，目目前有许多网网站的服务端端代码都由它它完成编写，使使用JavaaEE可以开开发出类似电电子商务网站站和企业资源源评估系统这这一类伸缩性性与灵活性强强，且容易维维护的分布式式企业级网络络应用程序10。JavaaEE的APPI结构如图图1-1所示示。图1- SEQ Figure * ARABIC 1 JJavaEEE的结构图分布式框架Haadoop Hadoop本本质上来说是是一个开源的的分布式框架架。在Gooogle的三三大论文发表表之后，有AApachee基金会负责责开发的大数

7、数据的开发工工具。Haddoop的核核心内容是HHDFS和MMapredduce算法法11。HHadoopp有以下三个个特点：1.可靠性，因因为Hadooop在数据据处理是会维维护多个数据据副本，使得得即使在某一一节点上计算算失败还能重重新继续分布布处理，而不不对数据造成成不可恢复性性错误。2.高扩展性，HHadoopp在集群处理理上，可以特特别方便的扩扩展节点数量量。3.低成本，因因为Hadooop是开源源的，所以可可以降低好多多软件开发成成本。数据仓库HivveHive是一款款基于Haddoop的数数据仓库基础础架构，他可可以方便的将将一个结构化化的数据文件件映射成数据据库里面的一一张表，

8、还提提供sql查查询，学习成成本低等优点点12。Hive还可可以将sqll查询语句转转为Maprreducee算法运行，特特别适合大型型数据的开发发与分析。目目前想Faccebookk，淘宝等大大型公司都是是用Hivee进行数据仓仓库建模和数数据分析。easyui简简介easyui是是一个轻量级级的前端UI开发框架架，easyyui是一套套的前端开发发库，提供了了很多常用的的各种CSSS和JavaaScrippt合集，内内置了非常多多的漂亮样式式，简洁灵活活，而且eaasyui是是可扩展的，我我们可以根据据自己需求在在他原始的基基础上加以扩扩展来达到我我们个性化功功能的开发，除除此之外eaas

9、yui还还对一下常用用的jQueery方法进进行了分装可可以很简单的的时候webb项目开发过过程中前后要要的交互。二、 开发工工具与环境介介绍CentOS操操作系统CentOSS全成Commmunitty ENTTerpriise Opperatiing Syystem，又又被很多人成成为“社区企企业操作系统统”，是liinux的发发行版之一。CentOS是是Redhaat企业版产产品RHELL的克隆版，但但是CenttOS是不收收费的，CeentOS具具有以下四个个特点：1环境比较稳稳定2有稳定的开开发团队提供供长久的免费费的更新支持持3具有保守性性4. 性能比比较好，就算算是大规模的的系统

10、也能保保持良好的性性能Eclipsee工具Eclipsee是一款开源源的Javaa开发工具，EEclipsse系列里面面有很多版本本，比如说支支持PHP,andriiod等开发发的专门的EEclipsse版本。而而且Ecliipse可扩扩展能力比较较强，可以给给里面做各种种插件，比如如说我们熟知知的SSH插插件，在这EEclipsse具有很好好的提示和查查找功能，给给我们的开发发带来了很多多的便利之处处。当前Ecclipsee也有收费的的不开源，但但是提供了很很多插件的开开发工具myyEclippse。 系统环境搭搭建基础环境搭建本系统的开发运运行环境都是是基于虚拟机机安装的CeentOS系系

11、统，安装JJDK和配置置环境变量1 解压jdkk首先在userr目录下创建建一个Javva文件夹，然然后将执行ttar -zzxvf jjdk-7uu55-liinux-ii586.ttar.gzz -C /usr/JJava/ 语句将jddk安装到JJava目录录下2 将Javva添加到环环境变量中执行vim /etc/profiile 命令令打开配置文文件在文件最最后加入以下下两句话配置置环境expport JJAVA_HHOME=/usr/JJava/jjdk1.77.0_555export PATH=$PATHH:$JAVVA_HOMME/binn然后执行souurce /etc/pp

12、rofille 刷新环环境配置Hadoop集集群搭建1配置haadoop,搭建Haddoop伪分分布式，需要要修改一下五五个配置文件件内容：第一个：haadoop-env.ssh,配置jjdk路径，HHadoopp开发依赖于于jdk vim hhadoopp-env.sh exporrt JAVVA_HOMME=/ussr/Javva/jdkk1.7.00_65第二个：coore-siite.xmml 配置HHDFS中NNameNoode的地址址 fs.defauultFShddfs:/hadooop01:99000haddoop.ttmp.diir/iitcastt/hadooop-2.4.

13、1/ttmp 第三个：hddfs-siite.xmml配置HDDFS数据存存储是，备份份副本的数量量dfss.repllicatiion1 第四个：maapred-site.xml 指定mr运运行在yarrn上mappreducce.fraameworrk.nammeyaarn 第五个：yarrn-sitte.xmll，配置yaarn的管理理者ResoourceMManageer的地址yarrn.ressourceemanagger.hoostnammeittcast001 yarrn.noddemanaager.aaux-seerviceesmaapreduuce_shhufflee 2将h

14、adooop添加到到环境变量vim /eetc/prroflieeexporrt JAVVA_HOMME=/ussr/Javva/jdkk1.7.00_65exporrt HADDOOP_HHOME=/soft/hhadoopp-2.4.1exporrt PATTH=$PAATH:$JJAVA_HHOME/bbin:$HHADOOPP_HOMEE/bin:$HADOOOP_HOOME/sbbinsourcee /etcc/proffile3格式化naamenodde（是对nnamenoode进行初初始化）hdfs namennode -formaat (haadoop namennode -f

15、ormaat)4.配置sshh免登陆首先生成sshh免登陆密钥钥然后到我的hhome目录录cd /.sshssh-kkeygenn -t rrsa （四四个回车）执行完这个命命令后，会生生成两个文件件id_rssa（私钥）、iid_rsaa.pub（公公钥）将公钥拷贝到要要免登陆的机机器上ssh-coopy-idd locaalhosttHbase安装装与配置HBase安装装完成后修改改一下配置文文件：1修改hbasse-envv.shexportt JAVAA_HOMEE=/usrr/Javaa/jdk11.7.0_55告诉hbasse使用外部部的zookkeeperr exportt HB

16、ASSE_MANNAGES_ZK=faalse2 vim hhbase-site.xml hbasee.roottdir hdfss:/nss1/hbaase hbasee.clusster.ddistriibutedd truee hbasse.zoookeepeer.quoorum hadooop01:22181, hadooop02:22181 Hive安装与与配置1.安装和配置置Hive查询以前安装的的mysqll相关包rppm -qaa | grrep myysql暴力删除这个包包r pm -e myysql-llibs-55.1.666-2.ell6_3.ii686 nodeeps

17、rpm -ivh MMySQL-serveer-5.11.73-11.glibbc23.ii386.rrpm rpm -ivh MMySQL-cliennt-5.11.73-11.glibbc23.ii386.rrpm执行命令设设置mysqql/usr/bin/mmysql_securre_insstallaation执行一下语句句，将Hivve添加到环环境变量当中中GRANTT ALL PRIVIILEGESS ON HHive.* TO root% IDENTTIFIEDD BY 123 WITH GRANTT OPTIION;2. 利用sqqoop将mmysq当中中的数据直接接导入到Hi

18、ive当中sqoop imporrt -cconnecct jdbbc:myssql:/192.1168.722.10:33306/ttest userrname root -passswordd roott -taable uuser_iinfo Hivee-impoort Hive-overwwrite -Hivve-tabble usser_innfo fieldds-terrminatted-byy t 论文整体设设计结构一、 系统设设计思想本项目通过JaavaEE+Hadooop+Hivve技术，设设计并实现一一个简单的用用户画像的wweb界面系系统，系统通通过后台数据据操作得出的的

19、结果，将其其以界面形式式反映到前台台，决策者可可以根据系统统提供的图表表等信息对整整个平台下客客户的忠诚度度，所属区域域，访客的跳跳出率等几个个方面对客户户进行初次的的总结归纳，最最后知道企业业的整体营销销措施。二、 论文结结构安排第一章主要介绍绍了本设计的选选题背景、选选题意义、然然后再介绍开开发所使用的的语言与软件件工具，再者者介绍个整个个系统的环境境搭建，最后后介绍本论文文的整体结构构安排。第二章主要介绍绍了系统整体体的需求分析析，然后根据据需求写出初初步的概要设设计。首先对对系统进行简单单的需求分析析、可行性研研究分析，然然后接着介绍绍本网站总体体结构、功能能模块设计，最最后对界面进进

20、行简单描述述。第三章主要介绍绍介绍了用户画画像的详细实实现过程，在在需求分析和和概要设计之之上更加详细细的设计和实实现部分系统统功能，其次次进行功能模模块流程图设设计，并对一一些关键的地地方进行代码码的说明，最最后对整个系系统的界面做做一下简单的的说明与介绍绍。第四章主要介绍绍了系统测试试的方法与步步骤。首先简单介介绍了系统测试的目目的、意义及及步骤，然后后根据系统测测试要求对本本系统进行某某些模块的测测试。第五章是总结与与展望。对本本系统开发与与设计过程中中遇到的问题题和难点，还还有自己所收收获到的东西西进行总结，并并对自己以后后的职业生涯涯和努力方向向加以重定向向、或者进行行阶段性的计计划

21、。 系统需求分分析与概要设设计在这一章里面我我们对用户画画像这整个系系统进行进行行需求分析，可可行性研究，还还有系统的总总体结构介绍绍和和分模块块介绍，最后后对部分页面面进行简单的的介绍。 用户画像的的需求分析本系统大的范围围划分总共分分为两块：1. 后台数据据处理与分析析采用Haddoop+HHive进行行数据分析与与数据仓库的的建模，系统统分析元数据据来源于myysql数据据库2. 前台显示示运用了JaavaEE+JfreeeChar+Echarrts技术，对对后台分析数数据进行前台台展示。本系统利用这样样的总体结构构对整个用户户画像进行开开发与设计，使使之能够初步步实现对电商商客户的初步

22、步分析以及对对领导者决策策进行帮助。首先我们从系统统的后台数据据处理进行分分析，我们利利用Hivee进行数据分分析，将整个个平台的与客客户相关的数数据分为了以以下的七张表表进行数据分分析与数据结结构化存储：客户消费订单表表根据客客户的消费情情况提取用户户标签用于了了解用户的消消费总体情况况，以根据用用户的消费习习惯和消费能能力来进行营营销行为。数据来源于myysql数据据库中的：订订单表，退货货表，购物车车表，用户表表。 客户购买类目目表根据客客户购买类目目的情况来提提取用户标签签用于了了解购买人群群情况和某一一类目的营销销策略数据来源于myysql数据据库中的：订订单表，类目目维表，购物物车

23、表。客户购买商店表表根据客客户购买商店店来提取用户户标签用于了了解商店及品品牌的购买人人群情况常用来来用作某一商商店或者某一一品牌的营销销数据来源于myysql数据据库中的：订订单表，退货货表，购物车车表，商店表表。客户基本属性表表根据用用户所填写的的属性标签与与推算出来的的属性用于了了解用户的人人口属性的基基本属性和按按属性统计按人口口属性进行营营销，例如金金牛座的优惠惠和生日优惠惠数据来源于myysql数据据库中的：用用户表，用户户调查表，孕孕归模型表，马马甲模型表，用用户价值模型型表。客户营销信息表表将用户户营销相关的的常用标签放放到一张表中中，方便使用用数据来源于myysql数据据库中

24、的：用用户表，订单单表，用户价价值模型表，购购物车表，客客户品类分群群模型表，活活动表。客户活动信息表表根据客客户参与的活活动的情况提提取的客户标标签用户了了解用户的对对活动的参与与情况，以进进行活动的策策划或者根据据对活动不同同敏感度的人人群做营销数据来源于myysql数据据库中的：订订单表，活动动表，活动订订单表，用户户表。客户访问信息表表根据客客户访问的情情况提取的客客户标签用户了了解用户的访访问总体情况况，以根据用用户浏览的习习惯做营销数据来源于myysql数据据库中的：PPC端PV表表，PC端vview表，AAPP端PVV表，APPP端vieww表。然后进行前台显显示界面功能能的分析

25、，在在前端我们要要用图表加数数据的模式展展示给用户或或者决策者，主主要以一下几几个方面进行行展示：系统管理模块在这个模块里面面我们就主要要对用户画像像前端系统的的一个管理和和配置，主要要包括，菜单单管理，系统统用户管理，和和角色管理，当当然在这个里里面也对整个个系统的权限限进行管理。用户行为分析在这个模块里面面我们就针对对用户的一些些行为进行分分析，然后得得到具体的数数据，主要从从用户的跳出出率，忠诚度度，活跃度等等几个方面对对用户进行分分析。客户分析在这个模块里面面我们就根据据访客所在的的地域信息，访访客使用的终终端环境，还还有访客访问问速度等几个个方面进行分分析。 可行性分析析每个软件的开

26、发发过程中都会会受到各种条条件限制，比比如说资源，时时间，技术，资资金等制约因因素。所以在在每个软件开开发之间我们们都要对这个个软件各个方方面进行调查查出一份比较较权威的可行行性分析研究究报告，看这这个软件开发发各个方面条条件是否满足足，对于商业业软件来说主主要还是这个个软件的开发发是否盈利，是是否成本大于于盈利等等各各个方面进行行权衡。在软软件开发之前前进行可行性性的研究可以以避免软件开开发风险，避避免人力，资资源等方面的的浪费。下面面我们就这几几个方面进行行简要的可行行性分析。技术可行性本系统在后台服服务方面利用用了CenttOS和Haadoop+Hive 因为现在是是大数据时代代，我为了

27、提提高自身能力力所以自学了了大数据方面面知识，其中中就包括Haadoop+Hive ，而且对于于linuxx操作系统我我们在大学课课程里面学了了操作这门可可能讲的liinux操作作系统所以在在后台服务方方面技术上是是可行的。本系统的前台展展示页面使用用的JavaaEE技术，在在大学课程里里面我们既学学习了JavvaSE也学学习了JavvaEE并且且本人从事JJava开发发行业也一年年多了所以在在这方面还是是比较有经验验的所以技术术上也是可行行的。对于eeasyuii前端显示框框架和Echharts图图表插件而言言，他们两都都是轻量级的的，并且在官官网上都有所所对应的案例例，所以学习习起来也比较

28、较容易，再者者在前面公司司做项目是也也用到了这两两个框架，所所以整理而言言在技术方面面也是可行的的。再者UMML图，我们们在大学阶段段开设过软件件工程这门课课学的就是uuml图的制制作和整个软软件开发流程程，在上课时时我们也学会会了利用viisio等工工具画umll图，所以在在技术上也是是可行的。综上所述，我们们可得出结论论本系统的开开发在技术上上是可行的。经济可行性本系统开发使用用的IDE，环环境还有开发发语言都是开开源的，所以以在整个开发发成本上节约约了很多资源源。法律可行性由于本系统开发发过程中使用用的开发语言言，开发环境境这些都是采采用开源项目目，所以不涉涉及版权问题题，而且本系系统不

29、会用于于商业用途，当当然也不会泄泄露企业内部部信息，所以以软件整体而而言在法律上上是可行的。操作可行性本系统后台数据据不需要用户户进行操作，用用户或者决策策者所能接触触到的只是前前台的数据分分析成果展示示，所以在操操作上没有什什么难度，主主要是需要用用户操作的地地方和专业名名词都有相应应的备注。用用户只需要有有一台电脑，能能够联网就可可以对系统进进行操作，所所以系统整体体而言操作简简单符合操作作可行性。 系统总体结构构设计本系统是由JaavaEE和和Hadooop开发，其其中数据分析析采用Haddoop，在在数据分析时时需要计算出出用户的各种种行为等，比比如说用户的的跳出率的计计算，用户忠忠诚

30、度的分析析方法，还有有用户对商品品打折促销等等电商进行的的促销活动的的敏感度，用用户价值的潜潜力等各个方方面的计算与与分析，在系系统前端用JJavaEEE做的前台展展示效果，侧侧重于整个系系统权限的管管理还有对用用户行为，地地域等信息进进行分析。本本系统达到的的效果是使电电商更加了解解客户，理解解客户的真正正需求，然后后分种类，分分地域，分人人群进行产品品的推销，已已达到客户满满意度最高，也也可以使电商商获得最大利利润。系统的的整体框架图图如图2-11所示。图2-1 用用户画像整体体框架图本系统分为后台台数据分析和和前台分析结结果展示，后后台数据分析析主要是为了了数据挖掘工工程师用来研研究和统

31、计，建建模用的，前前台是展示给给一般系统用用户看的，这这个主要是提提供给企业内内部，领导者者，或者公司司内部做营销销等专家作分分析，并在分分析的基础上上领导企业的的发展方向和和以后生产产产品定向。系统后台全是数数据的分析和和算法，基本本上是供程序序员使用的，后后台通过Hiive简历的的七张表对整整个企业客户户的消费行为为，购买能力力等方面进行行分析，统计计生成数据。而而统计数据来来源于企业以以前系统用来来储存数据的的数据库myysql中的的表。整个后后台的整个功功能就是数据据仓库建模，根根据一定的算算法模型计算算出客户消费费订单表，客客户购买类目目表，客户购购买商店表，客客户基本属性性表，客户

32、营营销信息表，客客户活动表，客客户访问信息息表七张表。这这七张表分别别从不同的方方向统计了用用户在购买能能力，区域分分布，忠诚度度，敏感指数数等方面的值值，对用户潜潜在价值进行行挖掘与分析析。同时后台台还进行很多多算法模型的的设置和分析析例如：潜在汽车消费模模型现在大多数电商商网站都具有有汽车频道，对对用户的汽车车模型也很关关心，如表22-1所示。表2-1 汽车车消费模型表表用户是否有车0：未识别1：是根据用户是否购购买汽车相关关的产品来判判断用户是否否有车潜在汽车用户0：未识别1：是用户浏览或者搜搜索汽车相关关的产品进行行判断用户价值模型体现用户对网站站的价值，对对于提高用户户留存率非常常重

33、要使用FRM实现现用户价值模模型参考指标标最近一次消费时时间或者最后后一次消费至至今时间消费频率消费金额用户忠诚度模型型忠诚度越高的用用户越多，对对网站的发展展有利，如表表2-2所示示表2-2 用户户忠诚度模型型表用户忠诚度忠诚型用户偶尔型用户投资型用户浏览型用户未识别浏览型用户：只只浏览没购买买购买天数大于一一定天数的直直接判断为忠忠诚用户购买天数小于一一定天数的大大部分有优惠惠才购买的其他类型根据购购买天数，购购买最后一次次距今时间，购购买金额进行行聚类客户活跃状态模模型注册未购买（只只注册没购买买，多是第三三方登录）活跃（可以分为为高频，中频频，低频，或或者直接最近近六十天有购购买者）沉

34、睡（近九十天天购买了，近近六十天没有有购买）流失（近九十天天无购买，曾曾经购买过）疑似马甲模型马甲是指一个用用户注册多个个账号多次访问ip地地址想的用户户账号是同一一个人所有同一台手机登录录多次的用户户账号是一个个人所有收货手机号相同同的账号是同同一个所有以上几个模型是是其中比较典典型的几个分分析模型，我我们的整个数数据分析都是是在这些模型型的基础上生生成的和操作作的。本系统前台主要要功能有菜单单管理，用户户管理，角色色管理，跳出出率，忠诚度度，活跃度，访访客流失度，地地域分析，速速度分析，客客户端分析等等，如表2-3所示。表2-3 系统统功能表用户管理实现对新添用户户，给用户赋赋予角色，和和

35、编辑用户基基本信息，删删除用户等功功能。菜单管理对系统的左侧菜菜单进行管理理，实现增删删改查等功能能。角色管理一个系统可以具具有多个角色色，而每个角角色又具有不不同的权限，在在这个模块里里面实现了对对角色的增删删改查的功能能，除此之外外，还有给角角色赋予权限限和修改权限限等功能。跳出率利用折线图对客客户跳出率进进行展现，同同时在图表下下面配有查询询的数据集做做图表作为支支持。忠诚度利用饼状图对用用户忠诚度进进行展现，同同时在图表下下面配有查询询的数据集做做图表作为支支持。活跃度利用折现图对用用户活跃度进进行展现，同同时在图表下下面配有查询询的数据集做做图表作为支支持。在这个个模块里面还还统计了

36、用户户流失率的统统计，同时也也有相应的数数据作为对图图表的支持。地域分析利用饼状图对用用户所在地域域等信息进行行展现，同时时在图表下面面配有查询的的数据集做图图表作为支持持。速度分析利用地图对每个个地方用户的的访问速度进进行分析，同同时在地图下下面配有查询询的数据集做做图表作为支支持。客户端分析利用饼状图对用用户访问所使使用的浏览器器和操作系统统进行分析。同同时在图表下下面配有查询询的数据集做做图表作为支支持。 系统功能模块块设计系统用例图分析析用例图是在整个个软件或系统统开发的分析析阶段，常用用来描述整个个网站的或系系统的整体功功能，是软件件开发中的一一种可视化的的建模语言。用用例图由三部部

37、分组成，分分别是参与者者，用例，以以及参与者与与用例之间关关系的线或箭箭头。参与者者，是指系统统以外的操作作系统或者与与系统发生交交互的人。用用例，是指整整个系统的功功能模块。在在画用例图时时一般小人表表示参与者，椭椭圆形图标表表示用例。用用例图只是展展示整个系统统功能模块和和操作人的关关系，并不是是介绍代码。本系统利用用例例图展示系统统前台的功能能模块和操作作者的关系。超超级管理员可可以操作：菜菜单管理，用用户管理，角角色管理，用用户行为分析析，用户访客客分析等整个个功能，而普普通用户或者者一般决策者者只能使用用用户行为分析析，用户访客客行为等非系系统管理功能能模块。本系系统的总体用用例图

38、如下下图2-2：图2-2 系系统总体用例例图系统功能模块分分析 根据前面的对对本系统的需需求分析，我我们可将整个个系统分为三三块，系统管管理，用户行行为，访客分分析。以下对对每个模块进进行介绍：系统管理系统管理，管理理的是整个系系统的配置信信息，比如说说权限管理，系系统菜单管理理，用户管理理等等。(1) 用户管管理：由于本系统统是公司或企企业内部系统统，所以不存存在注册等信信息，本系统统的用户管理理包括：新用用户的添加（只只有超级管理理员才有权限限），用户角角色的分配，还还有用户基本本信息的修改改，例如修改改密码等等功功能。(2) 用户登登陆：系统里里面已经存在在的用户，可可以根据自己己的账号

39、和密密码，同时输输入系统自动动生成的验证证码，当这些些信息都对的的时候才能登登录系统。进进入系统后系系统会根据用用户的不同角角色显示不同同的菜单和数数据，同时支支持登录用户户修改自己密密码的功能。(3) 角色管管理：此功能只有有超级管理员员才能用，在在这块里面用用户可以建立立不同的角色色，比如说超超级管理员，一一般用户等等等信息，除此此之外还可以以对角色信息息分条件查看看，删除，修修改等功能，在在这个里面最最重要的就是是给不同的角角色授予不同同的权限。 (4) 菜单管管理：这个模模块只有在建建系统或者系系统功能变更更或者系统新新添加或去除除功能的时候候才会用到，因因为这个涉及及到写代码，建建立

40、后台处理理了。当然我我们在本系统统中对此功能能也是进行了了添加修改，删删除，查看等等功能。用户行为模块用户行为模块主主要包括对用用户的行为分分析，包括用用的使用网站站的跳出率，用用户忠诚度，用用户的活跃度度等信息。注： 跳出出率：跳出者是指访问问量只有一页页（即PV(page view)是1）访问问者。此类访访问者所占的的比例越高，说说明网站的对对他们没有太太高的吸引力力。跳出率是指单页页访问次数（即即访问者从进进入页面离开开网站的访问问次数）所占占的百分比。跳出率是衡量访访问质量的指指标，跳出率率较高通常表表示网站进入入页（目标网网页）与访问问者相关性不不强。我们可以针对每每个关键字和和我们

41、投放的的广告来调整整目标网页，从从而最大程度度地降低跳出出率。目标网网页应提供广广告中承诺的的信息和服务务。 忠诚度度：回访次数，距离离上次访问超超过12小时时的再次访问问，被记录为为一次回头。 该功能有助助于站长了解解站点粘性和和用户忠诚度度。忠诚的访问者通通常对我们的的品牌有较高高的兴趣，大大量的重复访访问表示客户户为优质客户户并且网站有有较好的访问问者保持力。新新访问者量大大表示对访问问者有强烈的的吸引力。(1) 跳出率率：根据后台HHive数据据统计的数据据建立用户的的跳出率菜单单，该功能在在界面上显示示功能主要包包括，根据时时间查询一个个时间段内的的访客量和跳跳出访客量，然然后做成折

42、线线图进行展示示，并提供相相应的数据支支持。(2) 忠诚度度：根据后台台Hive数数据统计的数数据建立用户户的忠诚度菜菜单，该功能能在界面上显显示功能主要要包括，根据据时间查询一一个时间段内内的访问次数数和比例，然然后制成饼状状图进行显示示，并提供相相应的数据支支持。(3) 活跃度度：根据后台HHive数据据统计的数据据建立用户的的活跃度菜单单，该功能在在界面上显示示功能主要包包括，根据时时间查询一个个时间段内的的活跃访客量量，当然在这这个模块里面面我们也添加加了查看流失失访客的数量量，然后做成成折线图进行行展示，并提提供相应的数数据支持。访客分析该模块里面主要要是针对客户户地理位置，访访客浏

43、览速度度，和访客所所使用客户端端类型等几个个方面从客观观角度，对客客户进行分析析。（1）地域分布布：根据后台台Hive数数据统计的数数据建立用户户的地域分布布菜单，可以以使决策者直直观的看出我我们现在的客客户主要来自自哪里，等地地域分布情况况。根据用户户自己设定的的时间查询不不用地区客户户的访问量和和占总访问量量的百分比等等信息，将统统计结果利用用饼状图显示示，并提供的的相应的数据据支持。（2） 速度分分布：根据后后台Hivee数据统计的的数据建立用用户的速度分分布菜单，查查询每个地方方的访客访问问速度等信息息，最终在前前台用一张地地图作为图表表，显示不同同地区访问速速度等数据，直直观大方同时

44、时提供相应的的数据支持。（3） 客户端端分析：根据据后台Hivve数据统计计的数据建立立用户的客户户端分析菜单单，查询并统统计用于使用用的不同客户户端信息，如如浏览器版本本，不同浏览览器，操作系系统等，然后后将统计数据据制作成饼状状图进行显示示，提供相应应的数据支持持。（4） 移动端端分析：根据据后台Hivve数据统计计的数据建立立用户的移动动端分析菜单单，查询并统统计用于使用用的不同移动动端信息，如如移动版版本本，手机型号号等，然后将将统计数据制制作成饼状图图进行显示，提提供相应的数数据支持。 系统的详细细设计与实现现本章主要介绍了了详细实现过过程，在上一一章需求分析析与概要设计计的基础之上

45、上首先进行数数据仓库建模模，其次进行行功能模块流流程图设计，再再次对功能模模块的实现过过程与代码进进行详细说明明，最后对本本网站的大体体结构进行简简单介绍。 数据仓库建模模数据仓库概述数据仓库从本质质上来讲是一一种工具或者者整个企业内内数据集成环环境。它是操操作系统过渡渡到决策者为为了决策而用用的支持系统统14。在在这个过程中中它还解决了了好多数据流流相关的问题题。这些问题题主要包括以以下几类：如何从原来的操操作系统中提提取数据。如何把不同数据据统一化，并并且能够提高高性能等。二、 数据仓仓库表的概念念结构设计不管是数据库建建库还是利用用数据仓库建建模，建表，其其实其最重要要和最本质的的东西或

46、者原原型就是实体体15。一个实体应应包含名称和和属性等各个个属性。一个个实体一般有有其所特定的的概念模型。概念模型的表示方法有很多，目前最常用的是实体-联系（E-R）模型设计方法，实体-联系模型一般使用E-R图来表示，它使用不同形状来分别表示实体、属性、和联系，其中实体用方框表示，代表用户体中客观存在的事务；属性使用椭圆来表示，描述了每个实体所有的特性；而实体间的联系用菱形来表示16。根据上一章对系统的需求分析以及概要设计，建立部分实体的ER图，如图3-1所示。 图3-1 系统统管理E-RR图三、 数据库库逻辑结构设设计数据仓库逻辑结结构设计，这这个阶段是将将上个阶段完成成的数据库实实体-属性

47、图图转换成在HHive数据据表里面可以以建表的属性性和字段类型型，属性名等等信息177。在实际际应用时，应应先建立实体体的物理模型型，将模型关关系和应该包包含的字段确确定下来之后后进行数据仓仓库表的建模模。 (1) 系统用用户表，存放放所有的系统统用户信息，表表结构如表33-1所示。表3-1 普普通用户表（ssys_usser）字段名称类型字节数描述Idint10用户编号（主键键）（自增）usernammestring32用户名（非空）passworrdstring32密码（非空）emailstring64邮箱（非空）stateint4状态（非空）addresssstring64地址（可为空）

48、sexstring6性别（可为空）phoneint20联系电话（可为为空）roleIdint4用户角色（非空空）userTyppeint4用户类型（非空空）Remarkstring500备注（可为空）(2) 系统菜菜单表，存放放所有的系统统菜单信息，表表结构如表33-2所示。表3-2 系统统菜单表（aauth）字段名称类型字节数描述cidint10菜单id(主键键)（自增）authNammestring32菜单名（非空）authpatthstring20对应路径（非空空）parentIIdint10父级菜单Id（可可为空）iconstring50菜单图标（可为为空）stateint4菜单状态r

49、emarkstring500备注（可为空）(3) 系统角角色表，存放放所有的角色色信息，表结结构如表3-3所示。表3-3 系系统角色表（rrole）字段名称类型字节数描述roleIdint10角色id（主键键）（非空）roleNammestring32角色名称（非空空）authIdstring32菜单Id（非空空）remarkstring500备注（可为空）(4)客户消费费订单表，存存放所有的客客户消费订单单的分析结果果数据，表结结构如表3-4所示。表3-4 客客户消费订单单表（useer_porrtraitt_ordeer）字段名称类型字节数描述user_iddbigint20客户IDfir

50、st_oorder_timetimestaamp第一次消费时间间last_orrder_ttimetimestaamp最近一次消费时时间first_oorder_agobigint20首单距今时间last_orrder_aagobigint20尾单距今时间month1_hg_orrder_ccntbigint20近三十天的购买买次数month1_hg_orrder_aamtdouble近三十天的购买买金额month2_hg_orrder_ccntbigint20近六十天的购买买次数month2_hg_orrder_aamtdouble近六十天的购买买金额month3_hg_orrder_ccn

51、tbigint20近六十天的购买买次数month3_hg_orrder_aamtdouble近九十天的购买买金额max_ordder_ammtdouble最大消费金额min_ordder_ammtdouble最小消费金额total_oorder_cntbigint20累计消费次数total_oorder_amtdouble累计消费金额total_ccouponndouble累计使用代金卷卷金额common_addreessstring200常用收货地区common_paytyypestring200常用支付方式forenooon_ordder_cnntbigint上午下单总数afternooo

52、n_orrder_ccntbigint20下午下单总数night_oorder_cntbigint20晚上下单总数(5)客户购买买类目表，存存放所有客户户购买类目的的分析数据，表表结构如表33-5所示。表3-5 客客户购买类目目表(useer_porrtraitt_cat)字段名称类型字节数描述user_Iddbigint20客户Idfirst_ccatbigint20一级分类IDfirst_ccat_naamestring20一级分类名称second_catbigint20二级分类IDsecond_cat_nnamestring20二级分类名称third_ccatbigint20三级分类ID

53、third_ccat_naamestring20三级分类名称month1_cat_ccntbigint20近三十天购买类类目次数month1_cat_aamtdouble近三十天购买类类目金额month2_cat_ccntbigint20近六十天购买类类目次数month2_cat_aamtdouble近六十天购买类类目金额month3_cat_ccntbigint20近九十天购买类类目次数month3_cat_aamtdouble近九十天购买类类目金额total_ccat_cnntbigint20累计购买类目次次数total_ccat_ammtdouble累计购买类目金金额last_caat_

54、timmetimestaamp最后一次购买类类目时间 (6) 客户户购买商店表表，存放商店店近期的所有有分析数据信信息，表结构构如表3-66所示。表3-6 客客户购买商店店表（useer_porrtraitt_shopp）字段名称类型字节数描述user_iddbigint20客户Idshop_iddbigint20商店IDshop_naamestring50商店名称brand_iidbigint20品牌Idbrand_nnamestring20品牌名称Month1_cart_cntbigint20最近三十天购物物车次数Month1_cart_goodss_cntbigint20最近三十天购物物

55、车商品件数数Month1_cart_submiit_gooods_cnntbigint20最近三十天商品品提交件数Month1_cart_ratebigint20最近三十天的交交易成功率Month1_cart_canceel_cnttbigint20最近三十天的购购物车取消商商品数last_caart_tiimetimestaamp最后一次购物车车时间Month3_validd_goodds_cnttbigint20最近九十天排除除退据商品件件数Month3_validd_goodds_amttdouble最近九十天排除除退据商品金金额Month3_saless_cntbigint20最近九十

56、天购买买订单数Month3_cod_ccntbigint20最近九十货到付付款订单数Month3_returrn_gooods_cnntbigint20最近九十天的退退货数Month3_returrn_gooods_ammtdouble最近九十天的退退货金额Last_reeturn_timetimestaamp最后一次退货时时间(7) 客户属属性信息表，存存放所有客户户属性信息，表表结构如表33-7所示。表3-7 客客户属性信息息表（useer_porrtraitt_basiic）字段名称类型字节数描述user_iddint10客户IdUser_naamestring100客户登录名Sexst

57、ring10性别birthdaaystring20生日Ageint4年龄constelllatioonstring10星座big_areea_nammestring32大区域provinccestring50省份Citystring50城市City_leevelstring50城市等级Hex_maiilstring50邮箱Hex_phoonestring50加密手机Fore_phhonestring50手机前几位Op_phonnestring50手机运营商Add_timmestring50注册时间Login_iipstring50登录IP地址Login_ssourceestring200登陆来

58、源Requestt_userrstring50邀请人Total_mmarkbigint20会员积分Used_maarkbigint20已使用积分Level_nnamestring20会员等级名称Blackliistbigint20客户黑名单Is_marrriedbigint20婚姻状况Educatiionstring50学历Monthlyy_incoomedouble月收入Professsionstring50职业Sex_moddelbigint20性别模型Is_preggnant_womannbigint20是否为孕妇Is_havee_chilldrenbigint20是否有小孩Childr

59、een_sexx_rateedouble20孩子性别概率Childreen_agee_rateedouble20孩子年龄概率is_havee_carbigint20是否有车Potentiial_caar_useer_rattedouble 潜潜在汽车用户户概率Phone_bbrandstring50使用手机品牌Phone_bbrand_levellstring50使用手机品牌档档次Phone_ccntbigint20使用多少种不同同手机Change_phonee_rateedouble更换手机频率majia_fflagstring50疑似马甲标识Majia_aaccounnt_cnttbigi

60、nt20疑似马甲账号Loyal_mmodelbigint20用户忠诚度Shoppinng_typpe_moddelbigint20用户购物类型Figure_modellbigint20身材Staturee_modeelbigint20身高 (8) 客户户营销信息表表，存放所有有客户营销分分析数据的表表，表结构如如表3-8所所示。表3-8 客客户营销信息息表（user_portrrait_mmarkett）字段名称类型字节数描述User_iddbigint20客户IdTag_phoonestring32营销手机号First_oorder_timetimestrramp32第一个有效订单单时间Fi