【基于大数据技术的企业业务智能化管理平台研发系统设计14000字（论文）】

盐城工学院本科生毕业设计说明书（2016）基于大数据技术的企业业务智能化管理平台研发系统设计摘要：在当今信息技术飞速发展的时代下，随着数据量的逐渐扩大，普通的企业业务管理平台已经不能满足巨大的数据量，而大数据技术的诞生为企业管理提供了可靠的模式。本项目开发了一个基于大数据技术的企业业务智能化管理平台，企业管理员可以通过此平台进行对企业业务的统一管理和调度。本项目提供了供应商管理，订单管理、库存管理等企业功能，并且实现了数据增量更新、库存预警和供应商最优选择算法等智能功能，对企业管理人员更加方便的操作起到了促进作用。系统主要数据处理技术包括：1）使用flume信息采集框架对用户提交的数据进行采集，并且通过ftp协议上传到大数据服务器中等待分析和处理。2）通过hadoop大数据框架中的两个核心hdfs和MapReduce实现对海量数据的存储和处理，其中hdfs是用来对数据的快速存储，MapReduce主要用于数据的分析和清洗。3）利用hive数据库中进行二次数据处理——把数据进行分类汇总。4）把二次处理的数据通过sqoop导入到mysql数据库进行对数据的一个持久化操作。5）最后再通过java编程来进行数据的ui显示。6）同时此系统还是用了分布式存储系统fastdfs来进行对用户图片和一系列的杂项数据进行存储，非常方便而且便于管理。本项目主要采用了前后端分离开发，前端使用了ElementUI+Vue-cli脚手架，后端使用springboot、springsecurity权限管理、redis数据缓存来进行开发，可视化使用了echarts。本系统具有较高可用和可维护性，及故障转移和负载均衡的能力。关键词：大数据；Hadoop；SpringBoot；Java；Vue目录TOC1绪论 绪论1.1课题背景在当今时代，用户和其他数据的飞速上升，使得许多企业不得不去升级自己的平台和服务器来容纳如此巨大的数据量，在平常的企业业务管理系统下数据会变得非常的冗杂，烦乱。也不容易对大批数据进行数据分析，而且在单服务器的情况下数据丢失的可能性变得非常大。大数据的诞生是时代的一个标志。有一本书叫做《分析的时代：在大数据》是2016年12月发表的一份报告，五年前MGI就指出了大数据分析存储应用在基于定位的服务、零售业、制造业、欧盟公共部门及健康医疗领域都有很大的增长潜力。大家的数据也正在被商业化，来自网络、智能手机、传感器、相机、支付系统以及其他途径的数据形成了一项重要的资产，产生了巨大的商业价值。据统计，2011年全球的数据存储量就达到了1.8ZB，与2011年相比2015年大数据增长了近4倍，未来十年，全球的数据存储量还将增长十倍，所以大数据存储和处理技术将会成为建立一个全新的一个商业模式和体系，大数据在企业中也充分得到了应用并且产生了巨大的商业价值。比如百货的SAS系统可以根据7300中货品的需求和库存实现实时的定价和补充库存。零售寡头摩尔通过最新的搜索引擎Polaris，利用其语义数据技术使得在线购物的完成率提升了10%到15%。我国信息数据资源80%以上都掌握在各级政府部门手里，但是也有很多数据却与世隔绝，成为了极大的浪费。大数据的飞速发展为我们提供了集群来提高数据的安全性、可靠性和高可用性的模式，即使一台服务器宕机或者出现其他一些问题都可以进行数据的恢复和服务器的代替。可以说大数据技术已是企业业务管理必不可少的技术之一，它能快速对企业业务进行管理、企业数据进行保存并且实现对企业业务及数据进行智能化管理。1.2课题意义在科技和数据超高速发展的今天，数据量的持续增大，使得传统的企业系统和数据库无法进行有效的存储和管理，在此环境下大数据框架及技术为此展示了先进的处理模式，他可以帮助企业进行数据的挖掘、数据的采集、数据的分析与清洗和数据的统一存储。使得企业对数据的管理更加的可靠和可用，提升了数据的一致性和安全性。也对企业管理用户提供了一个更加操作方便的环境。本项目使用了hadoop大数据技术框架为企业业务提供了一个可视化智能管理平台，企业管理员可通过此项目系统对主数据进行统一管理，此项目系统集成了库存管理、供应商管理、订单管理等一系列管理系统并且实现了对企业业务的智能化管理。有效的应对了企业中数据冗杂和分类不均匀的问题，并且他可以帮助系统管理员进行决策有效的减少了系统管理的负担，提供了一个有效的管理方案。1.3运行环境软件环境：a）操作系统：WINDOWS7以上；b）开发工具：IDEA+JDK+VisualCode+VMwareWorkstationPro；c）数据库：MySQL；d）框架技术：Hadoop；springboot；flume；sqoop；hive数仓；springsecurity；redis硬件环境：CPU主频不低于2.5GHZ的电脑一台；内存不低于16G的电脑或者至少有三台云服务器。1.4开发工具介绍 a）IDEA：IDEA的全称是IntelliJIDEA，他是一款特别好用的java语言开发IDA工具，尤其在智能代码助手、代码自动提示、JAVAEE、重构代码、git、svn、Junit单元测试、CVS整合、代码分析等领域都是十分出色的。 b）VisualCode：是一款Miscrosoft在2015年4月30日Build可开发者大会上发布运行在MacOSX、Windows和linux上的IDA，它具有可以编写丰富的语言（比如C#，java，C++，Java，PHP，GO等）。c）VMwareWorkstationPro：它是一个款非常强大的桌面虚拟计算机软件，提供了用户可在单一的物理机操作系统下课虚拟化出不同的操作系统，进行开发、测试、部署新的服务和应用。 d）Mysql：它是一个关系型数据库管理系统，由瑞典MySqlAB公司开发，属于Oracle旗下的产品，现今Mysql数据库管理系统是最流行的管理系统之一，在web应用方面，Mysql是最好的关系型数据库之一。1.5Hadoop平台架构Hadoop是一个Apache基金会所独立开发的分布式基础架构。使用者可以在不充分了解分布式底层细节逻辑的情况下，开发分布式程序网站或软件。充分使用和利用集群的威力来进行高速的存储和运算数据。Hadoop实现了一个分布式文件系（HDFS），HDFS有高容错性的特性。同时还拥有大数据计算框架（MapReduce）来对海量数据进行计算。Hadoop平台架构如图1-1所示：图1-1系统架构图a）Hadoop是一个能够对大数据进行分布式计算和处理的软件框架。Hadoop用一种非常可靠、高效率、可自主伸缩的方式进行数据处理。b）Hadoop是可靠的，原因是它如果计算元素和存储会失败，因此它维护了很多歌工作的数据副本，确保能够针对失败的节点进行重新分布处理解决。c）Hadoop是高效的，因为它用并行的方法方式工作，通过并行处理以来加快处理的速度。d）Hadoop同时是可以伸缩的，能够处理PB级量的数据。e）Hadoop是一个能使用户能够轻松架构和使用的分布式计算平台。用户可以非常轻松的在Hadoop上进行开发和处理运行海量的数据应用程序。1.6系统设计目标本项目系统的目标是为了设计一个便于企业管理员方便管理的系统，通过用户提交数据来进行处理，比如现在存在库存数据管理系统和供应商数据管理系统，这两个子系统可以每天每个时间点提交相关数据到企业智能化管理系统，然后系统会通过Hadoop会进行数据的计算和保存。并且把它统一保存到此系统中，这样方便了企业管理员更加容易管理。1.6.1系统的安全性本系统使用了springsecurity安全框架，关于企业管理员及用户的密码安全问题，此系统使用了ByCrypt加密方式。每次注册用户设置或者修改密码都会对输入的密码进行加密并且存到数据库当中。即使被黑客拿到了密文后也无法直接登录此系统必须要进行密码的解密，但是此密码的解密难度非常的困难。其二，就是数据的完整性，此系统使用了集群的方式来构建系统，使用了zookeer框架来对服务器进行负载均衡和故障转移。充分保障了当服务器宕机或者误删文件后的数据恢复。充分保障了数据的安全性。1.6.2数据的完整性本系统保障了数据的完整性主要体现在使用了Hadoop框架中的MapReduce组件对数据完整性的判断和统一对数据格式的清洗保证了数据的一致性和完整性。然后通过Hive来对数据的持久化操作。2系统可行性分析2.1系统设计要求本项目的设计不但要完成大数据的存储和处理功能同时也要使用java和前端技术给用户提供一个友好的UI交互界面，经过调研，系统应该需要如下功能：a）首先界面必须让管理员通俗易懂，简洁明了，其次在界面中提供可视化图表，更加好的去监控数据的变化，以便于系统管理员去监控数据的变化和做出一些响应的操作。b）数据的统一格式，通过子系统上传数据然后使用flume框架对数据进行采集，采集后统一上传到hdfs然后通过mapreduce来对数据进行ETL数据清洗。做到数据的统一性。c）数据的统一自动调度，使用大数据框架azkaban进行任务调度管理，实现整个运行流程的自动化和透明化要使企业管理员用起来非常的方便。d）在系统的架构上应该留有扩展接口能够方便其他开发人员开发或者下一次的二次开发。e）系统必须要有一定的安全性，保证系统数据的安全和系统安全，不能存在一些常规漏洞使黑客乘虚而入。2.2技术可行性本系统使用了采用了Hadoop大数据框架、flume数据采集框架、sqoop框架、hive数据仓库以及springboot+Vue技术选用IDEA+VisualStudiocode来进行系统的开发与实践。Hadoop大数据框架包含了MapReduce和HDFS两大工具，分别做数据处理和数据存储，Flume框架是来采集用户上传的数据，sqoop框架用来持久化数据库，hive数仓用来保存和二次处理数据。2.3经济可行性经济可行性分析是在项目开发中是比较重要的一个环节，整个开发过程只需要一台性能良好的个人电脑即可，个人电脑上配备Vmware虚拟化软件可以通过虚拟化搭建三台大数据集群服务器，并且在这三台大数据集群服务器上构建服务。所以本系统在经济上是十分可行的。2.4操作可行性系统在完成以下三个方面就可以实现正常运行：a）Hadoop大数据框架，Hadoop大数据框架拥有两大工具一是HDFS存储系统，还有就是MapReduce大数据处理框架。他可以处理和存储用户上传的大批量数据并且汇总保存到HDFS中。b）操作系统，本系统开发使用了Windows作为宿主机开发，使用Vmware虚拟化出Centos7（Linux发行版）来进行构建服务器系统集群，不过开发用的任何软件都是基于在Windows平台下进行运行、维护、与开发的。c）Linux集群，使用运行在Vmware虚拟环境下的Centos7集群可以保证数据的安全性和完整性。也能充分实现服务器的负载均衡和故障转移机制，做到服务器宕机之后能够做到马上有集群中的服务器进行顶替。2.5法律可行性本系统只是为了完成毕业设计写的，完全没有商业利益的冲突所以不会产生侵权等一系列的小问题。3系统需求分析3.1系统功能需求分析基于Hadoop的大数据企业智能化管理系统只分为一类用户那就是系统管理员，其他权限的管理员只能访问其子系统，不可能问主系统进行管理，一下是按照系统的总体全部功能进行需求分析。3.1.1系统用户注册/登录功能在本系统中开发了企业用户注册和登录功能不过都是企业的系统管理员注册和登录。企业系统管理员的注册功能可以在系统设置当中点击添加用户设置用户名的昵称、密码、权限等属性，然后点击确定以此来更新到数据库当中；并且注册时会检测你用户是否已经被注册过了，这样更加保证了程序软件系统的安全性。企业系统用户的登录，系统管理员可以使用自己的账号和密码，并且正确输入验证码，验证码的作用可以识别是人还是机器，然后通过login页面来进行登录并且获取自己的权限。注册/登录功能如图3-1所示：图3-1注册活动用图3.1.2企业用户管理员权限本项目软件系统使用了Springsecurity权限框架，Springsecurity框架是一款功能超级强大且高度可定制的访问权限控制框架，Springsecurity可以为此项目提供身份验证和权限控制。本系统使用springsecurity来对系统用户和其他非系统用户提供权限控制，企业系统管理员拥有最高权限，可添加或删除修改用户并且可以修改其用户的角色和访问权限同时也拥有所有菜单的访问控制权限，其他类型的管理员一般在此系统中都是子系统的管理员他们一般拥有自系统的最高权限但是没有总系统的最高权限同时也不能修改其他用户信息的权限。3.1.3供应商管理本项目软件系统集成了供应商管理系统，来对供应商数据进行统一的管理，包括数据的展示，数据的删除，数据的更新等一系列操作，同时提供了供应商数据的一个可视化界面，可以使系统管理员用起来更加的方便和快捷。供应商管理的功能包括：第一模块，供应商预警管理：本模块可以监控，与供应商最近的联系时间，并且给出分析。假设供应商已经超过一个限度没有联系了就会进入供应商的预警模式，这样就可以提醒企业系统管理员去尽快联系此供应商，以建立良好的企业合作关系。 第二模块，供应商数据管理：供应商数据管理模块，供应商数据管理表包含了供应商的名字，供应商ID，供应商联系电话，供应商信用，供应商提供的货物，供应商地址，供应商省份，供应商联系负责人等一系列字段，方便企业系统管理员去统一管理和维护供应商之间的关系。 第三模块，全部订单模块：订单模块，订单信息表拥有订单号，货物名称，发送方，接收方，交易时间，联系电话，负责人，交易数量等一系列字段每次供应商给库存供货在订单模块中都会显示出记录，可以使得企业系统管理员更加容易去汇总最近的交易订单。3.1.4库存数据管理在本项目系统中同时也集成了库存数据管理模块，主要由库存管理模块、仓库管理模块、库存预警模块组成。第一模块，库存管理模块：库存数据表拥有货物ID、货物名称、仓库名称、当前数量、总数等一系列字段管理员可以通过此模块快速看出库存的数量和一系列问题，同时管理员可以在此模块中设置预警值来进行智能库存预警。方便了企业系统管理员去管理库存模块。第二模块，仓库管理模块：仓库管理数据表拥有仓库ID、仓库名称、仓库地区、负责人等一系列字段同时管理员可以通过此模块去增加或者删除仓库。第三模块，库存预警模块：库存预警数据表拥有id，预警物品、预警时间、状态、当前容量等一系列字段，这个模块能显示出当前库存中所预警的物品极其数量，即时的提醒了企业系统管理员去即使补仓。3.1.5集群设备管理在本项目系统中同时也配置了集群管理功能，他可以通过IP地址来进行服务启动以及各种基础的维护指令这样能使企业系统管理员更加方便的远程管理Linux大数据主机集群。3.1.5人事管理在本项目中同时集成了人事管理系统，企业系统管理员包括hr可以通过此模块来管理现行员工的一个状态。包括了查看员工信息、录入员工信息、删除员工信息、修改员工信息等模块。3.2非功能性需求非功能性需求主要是指项目系统或者软件产品为了去满足用户业务的需求从而必须具有而且除功能需求以外的特性，包括程序软件的安全性、可靠性、互操作型、健壮性等。本系统中使用了echarts来进行可视化使得系统管理员更加容易操作、而且此项目充分利用了设计模式进行设计代码。4系统设计4.1系统总体体系结构根据上面的需求分析系统的总体体系结构模块如图4-1所示：图4-1系统总体结构模块图4.1.1管理员功能模块首先要设计用户权限管理以及用户的权限管理，用户角色分别为企业超级管理员和其他子系统管理员两类。所以基于大数据的企业智能管理系统的管理员包括以下功能：a）管理员注册：通过企业系统管理员账号进到管理系统当中，然后在权限设置当中点击添加用户输入设置的昵称和设置的密码等一系列属性即可添加管理员，同时在添加过程中要选择你所添加的管理员的权限属性。b）管理员登录：每一个企业管理员都拥有自己的账号和密码，根据自己的账号和密码然后输入指定的验证码即可登录系统并且在登录的后会获得相应的权限，然后对数据进行操作。c）管理员权限及信息修改：企业信息超级管理员具有最高权限他可以修改其他管理的密码或者信息和权限并且能管理所有信息。管理员权限模块结构如图4-2所示：图4-2管理员结构模块图4.1.2供应商数据管理模块基于大数据的企业智能业务管理平台集成了供应商数据管理模块功能如下：a）供应商延期告警：根据系统自动分析长时间不联系的供应商，检测到后马上加入供应商预警的sql表中进行对企业系统管理的一个提示。做到及时补救，防患于未然。b）供应商管理：供应商管理此模块具体管理供应商的具体数据，方便企业系统管理员的一个可视化。并且能够操作数据的一系列增删改。c）全部订单：全部订单此模块是当企业向供应商采购原料的时候才生成的订单。方便企业系统管理的统一汇总管理。供应商模块结构如图4-3所示：图4-3供应商管理模块图4.1.3库存数据管理模块大数据的企业智能业务管理平台集成了库存数据管理模块功能如下：a）库存管理模块：实时显示出当前库存的信息和库存数量并且企业系统管理员可以手动设置他的预警值，同时也可以开启自动智能预警功能，实现预警。b）仓库管理模块：能够显示现在公司所拥有的仓库的一些信息并且能够修改仓库信息或者删除仓库信息等。c）库存预警模块：通过企业系统管理员设置的预警值或者智能预警自动检测库存不足的货物并且显示到库存预警表中进行对企业系统管理员的一个智能提示。库存模块结构如图4-4所示：图4-4库存管理模块图4.1.4设备管理模块此模块可以统一管理和维护大数据的集群主机，企业系统管理员课通过此模块来进行对大数据集群主机的一个管理和运行维护，同时也提供了一系列维护主机的命令方便企业系统管理员去维护集群主机。4.2系统功能架构设计4.2.1超级管理员的操作：a）超级管理员可以通过此系统来添加管理员用户b）超级管理员可以查看在此系统的用户c）超级管理员可以在此系统中删除用户d）超级管理员可以修改此系统中用户信息e）超级管理员可以修改此系统汇总的用户权限4.2.2供应商管理的操作：a）供应商数据汇总显示b）供应商数据删除及修改c）供应商延期告警d）供应商延期告警解除e）供应商全部订单管理汇总显示4.2.3库存数据管理的操作 a）企业库存管理汇总显示 b）企业库存预警设置 c）仓库管理汇总显示 d）仓库编辑或删除 e）库存预警汇总显示4.2.4大数据集群管理当集群服务器服务不小心挂了或者出现了意外服务关闭，企业系统管理员都可以通过设备管理模块中的大数据主机模块进行IP连接进行管理大数据集群主机。本系统同时也支持远程连接其他主机，进行对其他主机的一个管理。4.2.5人事管理模块 基于大数据的企业智能业务管理平台集成了人事数据管理模块功能如下：a）添加录入员工：假设有新的员工入职可以通过此系统对员工信息的一个录入和管理。b）删除离职员工：如果有老员工离职，可以删除此员工的数据并且办理离职手续。c）查询员工：在此系统模块中企业系统管理员可通过员工的姓名来查询员工的详细资料。d）更新员工数据：在此项目中可以对员工数据进行更新修改。人事管理模块结构如图4-5图4-5人事管理模块图4.2.6大数据数据上传增量更新算法 在此项目中会不断的有新的数据产生，假设有相同的商品但是单价进行了改变那么就可以在大数据Hive处理的过程中进行对其增量更新，新的商品就可以直接增加不会进行更新。本算法使用大数据框架Hive进行实现。下面就用库存信息表来做示例。增量更新中使用的表如表4-1、4-2、4-3所示：表4-1stockgoods信息表名称数据类型长度备注Idint11Id主键CurrentnumbersInt11当前数据WarnningnumberInt11预警数据AllnumberInt11所有数量SidInt11所在仓库表4-2stockgoods_tmp临时信息表名称数据类型长度备注Idint11Id主键CurrentnumbersInt11当前数据WarnningnumberInt11预警数据AllnumberInt11所有数量GoodsVarchar25货物名称 表4-3tmp_stockgoods临时信息表名称数据类型长度备注Idint11Id主键CurrentnumbersInt11当前数据WarnningnumberInt11预警数据AllnumberInt11所有数量GoodsVarchar25货物名称增量更新逻辑过程：首先数据上传到Hive仓库中来等待数据处理,然后删除上次创建的tmp_stock临时表以免数据冲突，然后再把增量数据导入stock_tmp临时表，进行对增量数据的一个备份，然后根据数据的分类分区导入到stockgoods_tmp主表备份表中最后导入主表stockgoods中最后清空stockgoods_tmp临时表。如图4-6如下：图4-6库存表的增量更新流程4.2.7大数据优先决策算法在本项目中系统管理员拥有补充库存的功能但是在补充库存的时候采用决策树算法可以帮助企业系统管理员去优先选择最佳的方案。决策树算法是一种可以通过逼近离散函数值的方法。它是一种非常典型的分类方法，它首先对其数据进行处理，利用归纳算法生成可读的规则和决策树，然后通过此决策树模型进行对新数据的分析，在本系统中选取了决策树的ID3算法。ID3算法数学意义：从信息论知识中可以知道，期望信息越小，信息增益越大，从而纯度就越高。ID3算法的核心思想就是以信息增益度量信息选择，选择分裂后信息增益最大的属性进行分裂。假如设D为用类别对训练元祖进行的划分，则D的熵表示为：（4.1）其中pi表示第i个类别在整个训练元组中出现的概率，可以用属性于此类别元素的数量除以训练元组元素总数量作为估计。熵的实际意义表示是D中元组的类标号所需要的平均信息量。现在假设将训练元组D按属性A进行划分，则A对D划分的期望信息为： （4.2）则信息增益就为： （4.3）通过计算来的得出他的最大增益值作为根节点并且构建决策树，然后训练模型即可。在本项目中的应用：选取了三个参数作为决策变量，来进行对数据的一个推荐，分别是credit（供应商信用）、iscity（距离）、isState（是否紧急）。最后把选取的最终结果保存到ischoose（是否选择字段）这个字段中。供应商优先推荐算法流程如图4-7所示：图4-7本项目中决策树使用流程首先判断货物是否紧急，如果紧急就先选取距离相对近的，然后再去判断信用选取供应商信用高的。如果不紧急就选取信用相对高的，接着就去判断选取距离相对近的供应商。训练项目模型：本项目使用了一些测试数据来进行对供应应商和库存管理决策树模型的一个训练。数据格式有credit{high,middle,low}（信用有高、中、低三等）、iscity（距离有same，different是否同城两等）、isState{hurry,easy}（状况有赶快和不着急两等）、ischoose{yes，no}（是否选取有选取、不选取两等）训练数据如下：high, same, hurry, yeshigh, different, hurry, nomiddle,same,hurry,yesmiddle,same,easy,nolow,same,hurry,nolow,different,easy,no训练完毕把供应商数据进行导入就能得出最后结果。项目数据来源：遍历供应商表（在第4.3节如表4-13）数据从供应商表中获取供应商的所有数据，然后导入模型进行数据分析计算这些数据的熵值，然后计算数据的最大增益选择最优数据即可。4.2.8大数据智能预警算法通过分析往年的库存信息表得出一个预警值采用了朴素贝叶斯分类算法来进行对数据的一个处理。朴素贝叶斯算法分类器是源于古典数学理论，所以他有着非常坚实的数学基础，以及非常稳定平稳的分类效率。 朴素贝叶斯算法数学公式： （4.4）项目应用：在本项目中使用了朴素贝叶斯算法来进行对过去的库存进行分析来得出一个预警值。和上面的决策树一样，选取了当前库存数量、当前预警值、是否准时供货作三个参数为决策变量。最后选取结果。下列为本项目的测试数据如表4-4所示：表4-4预警预测数据训练表当前库存数量当前预警值是否准时供货是否选取12030YesYes13020YesYes50030NoNo45060NoNo500200YesYes600450YesYes15060YesYes在表4-4中：把这三个参数代入公式比如设h+是准时供货h-为没有准时供货，D为当前预警值代入公式P（h+|D）=P（h+）*P（D|h+）/P（D）来计算能够准时供货的概率，然后同理通过P（h-|D）=P（h-）*P（D|h-）/P（D）来计算不能准时供货的概率这些测试数据用来进行对朴素贝叶斯算法的一个模型训练。然后在把库存预警表中的数据进行导入来预测每个记录的预警值大概是多少。根据这些数据训练如果准时供货的概率大于50%就选取此预警值如果低于就不选取。数据训练来源：通过仓库预警表（在第4.3节如表4-12）的历史信息来对数据进行分析处理，然后在把现有库存货物表中的输出放入训练出来的模型中进行计算得出最优预警值。4.3数据库设计4.3.1数据库表的设计系统数据库enterprisemanager中共包含13个表：a）员工部门表用于记录部门的信息如表4-5所示：表4-5员工部门表名称数据类型长度备注Idint11Id主键Dnamevarchar20部门Create_dateDatetime创建时间Update_dateDatetime更新时间Del_flagInt11逻辑删除标识符 b）员工信息表该表用于记录员工的信息如表4-5所示：表4-5员工信息表名称数据类型长度备注IdInt11Id主键EnameVarchar20员工名称SexChar2性别DepartmentidInt11部门idPositionidInt11职位idBirthdayDatetime生日AddressVarchar20地址EducationVarchar20教育程度GraduatedfromVarchar20毕业院校SpecifiyVarchar20专业eCardVarchar30身份证WeblockVarchar5是否结婚workIdVarchar20工号Phone_numberVarchar20手机号码Create_dateDatetime创建时间Update_dateDatetime更新时间Del_flagInt11逻辑删除标识符c）menu菜单信息表如表4-6所示：表4-6菜单信息表名称数据类型长度备注IdInt11Id主键urlVarchar50路径PathVarchar50具体路径ComponentVarchar50页面名称NameVarchar50名称iconClsVarchar50图标parentIdInt11父目录的idEnabledInt11是否启用Create_dateDatetime创建时间Update_dateDatetime更新时间Create_byInt11创建者idUpdate_byInt11更新者idDel_flagChar1逻辑删除标识符d)menu_role菜单角色信息表如表4-7所示：表4-7菜单角色表名称数据类型长度备注Idint11Id主键MidInt11菜单权限id（续表4-7）RidInt11角色ide)职位信息表如表4-8所示：表4-8职位信息表名称数据类型长度备注idInt11Id主键PnameVarchar20职位名称Create_dateDatetime创建时间Update_dateDatetime修改时间Del_flagInt11逻辑删除标识符f)角色表如表4-9所示：表4-9角色信息表名称数据类型长度备注IdInt11Id主键RnameVarchar25角色名称Create_dateDatetime创建时间Update_dateDatetime修改时间Del_flagInt11逻辑删除标识符g)库存货物表如表4-10所示：表4-10库存货物表名称数据类型长度备注IdInt11Id主键GoodsVarchar20货物名称CurrentnumersInt11当前数量WarnningnumbersInt11预警值AllnumbersInt11总数SidInt11所在仓库idh)仓库表如表4-11所示：表4-11仓库信息表名称数据类型长度备注IdInt11Id主键StocknameVarchar25仓库名称RegionVarchar25仓库所在地区ChargepersonVarchar25负责人Del_flagInt11逻辑删除标识符仓库预警表如表4-12所示：表4-12仓库预警表名称数据类型长度备注IdInt11Id主键（续表4-12）Currentnumbersint11当前数量GoodsVarchar20货物名称WarnningtimeDatetime预警时间isSolveint11是否解决字段j)供应商表如表4-13所示：表4-13供应商信息表名称数据类型长度备注IdInt11Id主键GoodsVarchar50货物名称SuppliernameVarchar50供应商名称AddressVarchar50地址ProvinceVarchar50省份PhonenumberVarchar20手机号ChargepersonVarchar20负责人k)订单表如表4-14所示：表4-14订单信息表名称数据类型长度备注IdnumberVarchar20IdGoodsnameVarchar25货物名称SenderVarchar25发送方ReceiveVarchar25接受方TransitiontimeDatetime发送时间ConnectionphoneVarchar30联系电话ChargepersonVarchar25负责人NumbersInt11数量l)系统管理员表如表4-15所示：表4-15系统管理员信息表名称数据类型长度备注Idint11Id主键UsernameVarchar25用户名NameVarchar25名称PasswordVarchar60密码MobileVarchar25手机号EmailVarchar25邮件Del_flagInt11逻辑删除标识符Create_dateDatetime创建时间Update_dateDatetime更新时间StatusInt11状态UserfaceVarchar150头像地址m)系统管理员和角色表如表4-16所示：表4-16系统管理员和角色信息表名称数据类型长度备注Idint11Id主键UidInt11用户idRidInt11角色id4.3.2系统概念E-R图在本系统总体设计阶段，使用系统分析获得的用户需求，将其反应为概念设计的结构。概念结构设计主要采用了E-R图表示，确定了实体集和属性后，再进行联系，并拓充。E-R图提供了表示实体型、属性的方法。用矩形表示E-R图，写明名称实体。用椭圆表示属性，并将其与对应的实体联系起来。本系统的E-R图如图4-9，图4-10，图4-11，图4-12所示：图4-9企业系统管理员E-R图图4-10供应商E-R图图4-11供应商E-R图图4-12员工表E-R图5系统实现5.1管理员注册与登录管理员的注册和登录模块，注册模块是管理员通过企业系统管理员身份进入管理界面进行对新用户的一个增加或者删除注册模块可以指定新增用户的信息和他的一个权限，管理员用户登录模块，用户可在登录界面输入用户名和密码和指定的一个验证码即可登录此系统，登录后可根据用户的权限分配合理的菜单。如果密码不正确就会提示用户名或者密码不正确，如果验证码错误则会提示验证码错误。图5-1管理员（单位）登录页面系统登录流程图如图5-2所示：图5-2系统登录流程图5.2用户管理企业系统管理员可对企业管理用户进行管理，包括修改管理员信息和密码同时还能修改管理员的各种权限。同时也能新增管理员用户来对此系统进行管理。用户管理信息如图5-3所示：图5-3用户管理管理界面5.3供应商数据管理供应商数据管理包含了供应商延期告警、供应商管理、全部订单模块，供应商延期告警是通过大数据分析来找出好久没有联系的供应商并且把好久没有联系的供应商添加到告警表中，以便企业系统管理员解决和联系。供应商管理是显示通过大数据进行数据清洗过后并且导入Mysql数据库的数据来进行页面显示和编辑删除等操作。全部订单模块是供应商提供给企业库存的订单，方便管理进行信息核对和汇总。供应商数据管理界面如图5-5所示：图5-5供应商数据管理界面5.4库存数据管理库存数据管理拥有库存管理模块，仓库管理模块，库存预警模块，企业系统管理员可以通过库存管理模块来查看和修改删除现有的库存，库存的数据是通过子系统上传的，并且数据使用hadoop框架进行数据清洗过。仓库管理模块是指企业中有多少个仓库，并且把数据显示到页面上去，供系统管理来进行统一管理，管理内容有编辑仓库和删除仓库，库存预警模块是通过Mapduce进行智能分析来得出库存的预警。以供企业系统管理员及时补充库存，具体实现界面如图5-7所示：图5-7库存数据管理界面5.5库存智能预警模块 库存预警通过MapReduce对现有库存数量进行分析通过库存计算公式来进行对库存智能预警。假设你的库存为30，它会对你现有的库存进行计算，得出一个预警值然后对你现在的库存进行对比，如果你的库存小于这个预警值就会自动报警。图5-8库存智能预警界面5.6库存入库智能推荐模块 当库存不够时，本软件系统可以通过现有条件来进行对做供应商做一个推荐，可以方便企业系统管理员选择最优的供应商。本项目选取了供应商的应用、所在城市、库存是否紧急等三个条件来进行优先选择供应商。数据格式如表5-1所示：表5-1库存入库智能推荐训练数据表Credit（信用）Iscity（同城）isState（紧急状况）Ischoose（是否选择）highsamehurryyeshighdifferenthurrynomiddlesamehurryyesmiddlesameeasynolowsamehurryno效果如图5-8所示： 图5-8库存智能推荐界面5.6设备管理模块设备管理模块是为了让企业系统管理员更好的去维护和管理大数据集群主机，内置了许多服务器的基础指令可以方便企业系统管理员的操作和维护大数据集群主机。如图5-9所示：图5-10大数据主机界面6系统测试与维护一个好的系统必须经过严密的测试才能检测出系统是不是有BUG，测试时必须对每一个模块进行多个数据和多次测试，在此项目中特别是登录模块和权限管理模块。6.1测试方法软件测试方法可分为黑盒测试和白盒测试等。6.2测试计划 根据网站开发的特点以及管理系统的安全特性，对用户的登录是否有sql注入和其他一些漏洞的测试，还有用户权限更改的测试。6.2.1黑盒测试黑盒测试主要为了检测整个项目管理系统是否出现程序异常导致奔溃，还有就是整个管理系统是不是有安全性的问题。a）程序崩溃：程序崩溃是指在管理系统运行期间出现功能不可用的状态比如出现抛异常等操作。b）功能完整性检查：这个是指实现的功能是不是符合前期需求分析的所有功能。c）操作错误提示：一般是指当用户在输入框中输入非法的字符或者文字，系统会自动过滤或屏蔽并且给出响应的提示，就比如在登录模块中，当用户输入输入用户名和密码后输入错误即会提示“用户名或者密码不正确”假设你验证码输入错误即会提示“验证码错误”。6.2.2管理员登录测试用例登录注册功能的用例如图6-1所示：表6-1管理员登录测试用例编号测试步骤输入数据预期结果测试结果1单击登录按钮无出现提示，请输入用户名和密码请输入用户名和密码2输入用户名和密码填写验证柠萌甜茶，123出现提示，用户名或者密码错误用户名或者密码错误（续表6-1）3输入管理员用户名和密码admin，123进入管理员系统界面页面跳转，进入管理员系统界面4输入管理员用户名和密码错误输入验证码admin，123，code出现提示：验证码错误验证码错误5注销退出管理员用户无页面跳转到登录页面页面跳转，进入登录页面6.2.3系统测试流程和结果管理系统测试要对系统数据进行多次试验多次测试，才能保证此系统是安全的是可行的，经过对本管理系统的部分模块进行多次的测试后，得出以下几张效果图。打开权限管理页面，运行成功后如图6-1所示：图6-1权限管理页面图6-2添加管理员页面6.3系统测试结论 经过这次对本项目系统性的测试，检测了本次项目系统的制作成果，程序基本上运行良好，预期的效果基本都能实现。对于数据的安全性和数据的存储都能达到预期的效果，在对程序进行Mysql注入和各种入侵非法字符测试都表示出本管理系统的安全性，同时对用户输入的数据监测都完成的十分的完美，基本上没啥漏洞。但是在进行大数据处理模块中可能存在着处理过慢的问题这些还是需要后期进行改进和调试的。7结束语 光阴如流水一般，潺潺而过，大学几年时间也随着时间的流逝慢慢的消逝殆尽，留给我们的是一幅成熟的面孔，和即将进入社会的身躯。在这大学几年生活中我们不仅学会了如何去生活，同时在课堂上也学到了许多专业的知识。这些专业知识也让我萌生做这个项目系统的一个想法，虽然在本科期间没有学到过Hadoop大数据框架但是通过我在寒假期