企业大数据分析应用平台及其实现获奖科研报告

企业大数据分析应用平台及其实现获奖科研报告【关键词】大数据;开源软件;企业系统平台

一、企业大数据分析平台的构建目的

（一）国家政策的支持

国家将大数据视为经济转型升级、重新展现优势和提高政府管理能力的重要机遇和挑战。大数据已经上升为国家战略，全国各级政府都在大力的推进，颁布实施多项优惠政策，扶持和引导相关产业的发展。

（二）大数据所处在的技术环境

云计算、物联网、移动互联网等技术的逐步成熟并且集中展现，使得大数据时代的产生，并且为此提供了数据基础。目前大数据应用分析技术的不断发展，造就了以开源技术为基础的大数据平台，多种技术协调发展的良好的技术体系，为大数据的采集、存储、分析、利用提供了强有力的支持。

（三）应用的前景

目前来看，大数据技术日新月异，需求旺盛，整体呈现出井喷的态势，所产生的价值越来越明显。企业的信息管理系统顾名思义就是在任何时候都应该记录和保存着企业在这段时间发生所有事件，尤其是重点记录公司的主要销售业务的变更，例如公司某一产品在一段时间内价格的波动以及销量的高低，最好能用数据统计图来表示一个周期内的销售情况。通过对这些信息的分析和了解，能够让我们了解到企业的发展情况，以及今后企业应该如何发展，这样做的目的不仅仅是为了企业的经济效率考虑更重要的是企业理念的深入表现，往往一个企业的企业理念的制定会是个很长远的目标[1]。

（四）应用的现状

据统计，当前我国有三分之一的成规模的公司正在探索大数据应用，但目前都处在实验阶段，技术相对来说比较成熟但是经验相对还是比较缺乏;这大部分公司已经在生产加工环节应用大数据分析，并且取得了很不错的成果生产出良好的产品，还有一半的公司已经对大数据开始进行了解，准备开始生产运用，对大数据一点不了解的企业只有很小的一部分。大数据应用最广的企业应该是关于互联网方面的企业，比如说淘宝，他能够根据你几次的搜索记录，为你分析出你想要的产品，尽可能的满足你的需求。

二、关于企业大数据分析平台的整体框架

关于开源软件的企业大数据分析平台的整体框架基本上分为四个层次：数据源层、数据存储层、大数据的分析处理层以及大数据的应用层。

（一）数据源层的分析

数据源层作为开源软件大数据平台整体架构的第一层级，它是负责大数据分析中所需要的最基础的数据同时它也是数据中最容易搜集到一部分的数据。企业的最基本业务就是企业本身的系统数据，从时间方面来分析，可以大体分为对时间的长短要求不急用的批处理数据和对时间要求较高的流式数据。在这个数据高度集中的互联网时代中，企业本身的经营数据固然很重要，但是没有与他人的对比怎能知道自己的企业同其他企业到底是谁强谁弱呢，只有在对比中才能找到问题，所以要想办法获得自己同行业的或者是与这个行业沾点边的企业信息也要进行分析，尤其要重点分析同行业中比自己优秀的企业，分析出他们的优势在什么地方，进而更好的制定出应对的措施。

（二）数据储存层的定义

数据储存层的最重要的功能就是存储，能够进行存储的这些内容在之前都需要严格的审查，尤其要进行一下杀毒，防止一些不法分子通过不正当地手段来窃取我们的重要数据，又因为这些数据来自不同的部门，所以更要小心企业中一些唯利是图的小人恶意修改数据内容，防止最后的数据不正确。在这个层级中，我们要将这个以数据库的概念形式进行设计从而达到实现的目的。以往的传统储存方式都是基于手写的模式的，也就是说，在储存数据的时候，只会储存提前设定好的数据，如果数据不符合存储的要求则会在存储的过程中发生丢弃，这就好像一个人有多大的脚他就得需要买多大的鞋，如果太小就穿不下去会挤脚，太大虽然能穿的上但是并不能够跑步甚至赶不上不穿鞋的人，数据也有这样的道理只有符合的数据才能够顺利地进入数据库。数据库存储系统的存储技术基于读的模式，在储存数据时，所有的原始采集到的数据都会原封不动的保存在存储系统中，当这些数据需要被分析的时候，才会根据分析的需要，从数据库中抽取所需要的数据来进行分析。例如;你的衣柜中有很多的衣服和鞋子，当你在夏天的时候你需要穿夏天穿的短袖凉鞋，这时候你可以把他们从衣柜中拿出来，冬天来临时你就需要把羽绒服和棉鞋给拿出来，只有当你需要的时候，他才会发挥作用，数据库中的数据也是这样。大多数情况下，采用数据库存储技术，不会造成原始数據的丢失，以此能够满足企业数据分析在未来中的各种需要[2]。

（三）大数据分析处理层定义

在大数据分析处理层，我们会采用SQL技术来对数据湖中的数据进行交互式大数据的分析;这个方面对实时性的分析要求较高，通常采取流式数据分析技术。我们需要根据现有的数据挖掘和机器学习算法库来对企业保存在数据库中的数据进行分析。

（四）大数据应用层的价值所在

大数据应用层是企业大数据中最为直观的关系到企业利益，它将会最终反映一个企业的营收的好坏。在这一层中，企业可以获取各种生产经营类所需要的各项报表以及各种决议支持与反对的意见。采用数据可视化技术，例如可以通过扇形图柱状图的分析，通过图示让企业的相关工作人员一眼就能看明白企业的目前的生产经营状况，从而更好的为企业制定更加完美的发展战略以及实现企业的高营收、高利润的目的[3]。

三、企业应用大数据分析的关键因素

首先要明确用户群体，便随着互联网的高速发展，大数据也在这个数据潮流中得到了前所未有的发展，这个发展背景下，大数据的群体也变得更加庞大以及更具有多样性，大数据能否被成功应用的关键是大数据系统人员类型的选择。大数据成功的重点标志是给其整体挖掘出潜在价值和机遇，所以说现在的企业应将重点放在战略层面的用户上，但是有相关的客户将重点放在战术层面上。

所以说，大数据必须要面对不一样的客户而建立不一样数据，以满足不同用户关注重点的不同数据范围。在这种情况下，大数据在一定的范围内被锁定的时候，应该按照不同人需要不同的数据范围，进而满足多元化的需求。与此同时，不同人也会拥有不同的兴趣爱好，所以必须按照每个人关注的利益来进行涉及客户所需要的报表，进而让更多的人加入进来。比如，将企业所生产的所有产品都一一列出来这样就会缺乏指定性，这关键是因为企业不同部门的职责不同，各部门管理者只会关注自己部门产品生产的进展情况，因此企业应该对用户的相关数据进行整理，做到单个报表就能反映出用户个体需要的数据结论，这样不仅仅会满足用户多方面的需要，并且还能够提高企业的管理效率和管理的质量。所以说用户群体是企业大数据重点分析的对象。

总结：

基于开源软件Hadoop/Spark实现的企业大数据分析应用平台，