中小型大数据企业数据分析平台建设

中小型大数据企业数据分析平台建设

摘要

中小企业如果要提高市场反应速度和提升公司管理水平，那么实现信息化则是

这类企业做大做强的重要手段，它也是被大公司，尤其是跨国公司当做通信工具的

一种通用语言，由此之外信息化的实现也是中小企业进入国际舞台的便捷之道。⑴

近年来，以计算机和网络技术为核心的信息技术正被慢慢转化到企业的产品开

发、管理运营、业务发展等各个方面，使得在国民经济中发挥重要作用的中小企业

的生存和斗争环境被信息技术的快速发展和使用所改变。目前，中小企业已经为我

国经济社会发展谋得了一席之地。

本文着重分析目前中小企业被信息化管理所带来的现有问题和存在的现状，以及

对中小型企业所带来的影响，并给出相应的应对措施。⑵。

关键词：中小企业大数据信息化

目录

1.绪论......................................................1

1.1研究背景与意义........................................1

L2中小型企业发展现状....................................1

L3研究目的.............................................1

2.信息化管理体系............................................1

2.1系统设计原则..........................................1

2.2总体架构设计..........................................2

2.3系统架构.............................................2

3.信息化成果展示...........................................3

3.1数据质量管理平台......................................3

3.2平台应用流程..........................................8

3.3平台测试.............................................9

3.4平台运行错误解决方案.................................11

3.5平台对企业所带来的意义...............................12

4.结论.....................................................12

4.1总结与展望...........................................12

参考文献....................................................13

后记........................................................14

L绪论

1.1研究背景与意义

通过调研发现现在的中小型大数据企业采集到的数据，大多数数据质量都不能直接满足业

务系统的要求，怎么能从大量结构复杂，人工难整理出来的数据中尽可量快速的分离出有价值

的或者是满足各个不同业务系统要求的数据格式的数据，就成了不好解决的问题。这时企业信

息化的实现，就体现出了重大意义。

L2中小型企业发展现状

信息化的发展对•于中小企业发展来说发挥很重要的作用，相对部分企业来说,无论是观念管

理上的还是信息化基础设施方面还是人才等方面，使得信息化建设仍然存在很大困难。⑶随着信

息技术的发展和网络应用被普及，无论是大企业还是中小型企业都面临着全球化，多样化，信息

化的改变。随着企业适应环境的能力与他们掌握的信息资源量和信息处理能力的关系越来越密

切，企业信息化建设受到越来越多的关注。⑷。

随着中小企业信息管理的不断深化，目前许多中小企业具有推动它们前进的物质条件，但

是不要忘记，在发展的同时，我们应该看到仍然存在其中有很多问题，应该及时处理。更正

并引导其进入正常轨道。要发展中小企业的信息管理，首先要考虑企业的实际情况，在政府的

不断指导和监督下，逐步提高企业信息管理系统的安全性；通过不同的渠道介绍信息管理所需

的人才。在企业中，从而促进中国中小企业信息管理的进一步发展⑸。

L3研究目的

本文的研究目的，在于研究中小型大数据企业通过信息化建设，制定合理的信息化方案，

利用信息化程序来处理采集到的数据，从而提高数据质星，再通过高质量的数据抽取有用的信

息，被企业所利用C

2.信息化管理体系

2.1系统设计原则

2.1.1标准化原则

统一规划数据标准及数据采集接口。在准备开发阶段，要认真参照别人的项目规范，做到标准

和统一，方便以后统一管理和维护。

2.1.2安全性原则

系统具有完善的安全俣护体系,按照安全等级保护三级设计,从物理安全、数据系统安全、

网络索统安全、应用系统安全、安全管理等多个层面全面防护，确保系统安全。

2.1.3易管理性原则

整个系统必须易于管理、操作、学习和使用，并且易于配置。它可以从设备、安全、数据

流、性能等方面得到有效的监控、管理和诊断,并且需要具备在不改变系统运行的情况下能够便

捷的调整系统功能的能力。

2.1.4易用性原则

应站在用户的角度去设计和开发，充分考虑是否在满足业务需求的情况下，做

到了操作最简化，页面是否直观，用户无需精通技术即可熟练操作，人机界面友好，无多

余步骤，无重复操作，并具有一定的数据自动验证功能。并且系统要有帮助功能，给用户提

供帮助。

2.2总体架构设计

应所有系统都采取松耦令设计，拓展性要好，因为随着项目的扩建，功能的增多，从开发的

角度要做到减少变动代码量，而且不能怕坏原有的业务功能。

所有系统具有良好的可靠性和稳定性,保证系统正常运转，以及数据、传输方面的安全性。

系统应考虑全面，应考虑到各种情况，数据量大下的数据处理，网络慢下的处理，运行异

常下的处理，尽量使用缓存一类的工具来提高页面加载速度。

为了使相关业务分析人员能够快速掌握系统使用，开发出的应用系统应本着易于上手的原

则，开发出易于使用的系统。而相对于系统维护人员，系统架构则需要相对健全，开发时简单，

易学，系统完成后则应该易于管理和维护。

实现前后端分离，使得更好更便捷的维护系统;坚持创新与改革,为后续面向社会提供风险

数据共享，为政府提供调控决策支持,奠定坚实的数据和风险监测应用基础。

2.3系统架构

使用层次化、组件化设计思路，设计系统整体架构，由下到上包括:数据基础支撑层、数据归

集处理层、数据分析挖掘层、数据应用层、数据服务层。同时系统将建立数据标准体系和数据

安全体系，为系统提供高可犷展性和高安全性支撑。

2

2.3.1数据归集处理层

数据归集处理层按照业务内容和应用目标的需要，利用数据处理技术,全面整合与业务应用

相匹配的互联网数据，为多系统、多数据源之间的安全、灵活、有效、快速地数据交换奠定基

础,为系统内分析应用模块和功能提供统一的数据支撑。

2.3.2数据分析挖掘层

数据分析挖掘层主要包括:挖掘工具、模型体系、方法体系三个部分，是系统的关键支撑层，

通过对数据的加工、计算、处理,将结果反馈到数据应用系统数据分析挖掘层提供一个开放的数

据分析框架,具有良好的可扩展性，通过提供各类标准数据分析、数据挖掘接口，使系统在数据应

用层上能够快速、高效稳定的构建各类数据模型及数据应用。

3.信息化成果展示

3.1数据质量管理平台

3.1.1平台背景

在大数据时代，随着信息量的快速增长，数据质量被受到越来越多的关注。⑹对于企业而

言，数据的管理、数据的重用、数据质量的好快直接影响着企、业的发展，该平台借鉴文献⑻和⑼

讨论数据质量问题的根本原因，数据质量管理和持续改进策略，数据质量管理技术的实施思路

以及管理平台的构建进行论述，'助其目的就是通过将管理和技术手段相结合来减小人力的消

耗，提高数据的精准度，从而为企业赢取最大程度的经济效益。

3.1.2数据质量模型

该模块提供项目模型的查询、添加，展现企业做过项目所做的项目信息，该模块主要对所

建的项目进行维护管理，可具体到对字段进行配置效验规则，在规则中添加效验字段，任务执

行结果展示，问题数据展示，使用角色为公司内部人员。具体操作如下：

(1)鼠标点击不同的页面，页面显示对应数据。

(2)在模型列表页面点击操作列，可进行相应的操作。

(3)点击模型名称,可查看模型详情。

(4)每个模型可进行规则配置、任务配置。

3

数据腐■般暨

»#名弊描述■近更新时间启用时间

1竞■项目般气质■事型梵•项目数理座2019-10-20201M»-20停用■除XM

2市场注■项目也据质XX5目®樵原201/1620启用MHIM

图3-1（数据质量列表）

保存当前保存所有

党建审目数据质■模赘B*.­，・

HMEI任务配■BXnBfiS问■故■反惯M质■分析

T»e««lN双则配■字段

.号T»«B

■党"中目H超*

■bdn

cocte党蛆跳代日

■M

随■:如SIR代码臭Mvarchar

■网

■edziOrgtnas*cn

冗余检密.空■总需0加现剜•»»1

■3M建帜名称ftSI：vi*

■yxm

用

■ydnrz冗余检IL/加规aBM»1

：即

■v^ga蚓■:也承决擀fftt2

■ydyrzhd

Orstrtd

工会检■:空■*■；区划代码

■

标・行总区划A9：即2

■y^oci

■ydyuhd•ntity

工会检■；SttMi；就计H；

■后■:♦位名峰关也：VWCMrWAtlttJI；加含脸鼻；美«性检・

■

■ydyrzhdM（5）条记录

图3・2（数据质量信息〉

3.1.3数据源管理

该模块提供数据库信息的查询、添加，展现企业做过项目所建的数据库信息，该模块主要

对所建的数据库进行维护管理。使用人员为：公司内部人员。具体操作如下：

（1）鼠标点击不同的页面，页面显示对应数据。

（2）在数据库列表展示页面点击操作列，可进行相应的操作。

（3）点击查看库表，可查看具体数据库的表结构信息。

4

敬搪座连接

删除।剧新

序号名称擢述类型W操作

1党*项目故鬼座Oracte172.1334.85•asx»n

2XX项目致密库Oracle172.13.34.85♦•麻寰fillM»

图3-3（数据源列表）

新建连接X

♦名称

•数据库类型

♦链接地址

*端口

・用户名

•密码

描述

测试连接取消确让

图3-4（数据源创建）

5

表结构

,政务值1

■业务a1序q字改名峰长度小•位Bt可为空・否・一

■业狗

1name姓名char600s£

■业务寰3

■A*a42血况

2005£

■业务a5

3name姓名char600否S

4kfcard身份量号H200否£

5namechar600否5

6idcard身帆号H200£S

7name姓名char600S否

8idcard身份证号H2003否

9name姓名char600否否

10idcardH200SS

图3・5(数据源树歹IJ表)

3.1.4模板规则管理

该模块提供模板规则的展示和制订，目的在「对数据制订规则，规则包括检查数据是否冗

余，是否有空值，是否有美联性，内容是否有效等。使用角色：公司内部人员。具体操作如

下：

(1)展示某个规则下的具体细化规则。

(2)点击操作列，可进行相应的操作。

(3)可添加合理的新规则。

M»'］启用|［一.|

模板规则

Q全的现剜

内再有效住检测：有效的数据字段,且符合业务应用规则

9冗余短翻(1)

S空值⑥H(1)浮0W»J«W短网携速«M»9也建叼汽US»ff

B关H住(3)

1o„«rt»8YYYY*M4)O；mamK201X8评情ffa.除

5内b有效伐怆现(«)uwd限定在200001<M至检测日WBnatiwa后用WTW

s代创”1(1)2MN矗遇反”名。主机各域45内效0检方2019^»<»后用徉情ffa・隆

satrnsa(i)

5眇网展裔(1)3・定电诏格式制星区号♦电话,且区"M3"内0臂鼓性检冽2oi#x»<ie启用洋情"atUtt

位.电话号网R制7』位，且字

B蝴合除霸(1)

4手机电话格Ki■6莉效饯植・20194J9-08启用详情MSM0

6•份碰号格IM28196703243478内6羽效性检、2019Q998启用详情US«tt

6«1一社含<8用代舄格式H足9”52198»435«0«1内容*效区检冽201XW98后用详情律”■建

7年》年“1X0■岁.《1定散字内&府效性检冽2019306启用律情HS»»

8«M1Witaioa),限定■(字内日有效性检*2019Q9Q8启用详情MSan

共(8)Nfi•Ql234S>RSGO

图3-6(模板规则列表)

6

添加新规则X

冗余检测

,规则名称

空值检测

数据源

•全部选择

关联性检测

►❽数揖源1

内容有效性检测►OBDZZ

代码检测name

Oentity

统计监测

organization

协同检测

规则描述

组合检测

确认

图3-7（模板规则创建）

3.1.5任务管理

该模块记录程序执行任务情况，展示任务信息，直观的展示执行、未执行、已结束的任

务。使用角色：公司内部人员。具体操作如下：

（1）在页面进行维度的选取，页面显示所查询的数据。

（2）点击操作列，可进行相应的操作。

（3）可添加合理的新任务。

任务列表

日・■

□序号任务名除执行方式运行方事■作

1任务一♦天2019-060209X)0830执行中兑■项目修改Mt

□2任务二一次201火*020980030耒执行修改9»

3任务一・天2019*0602098830已给烹工0项目修改g

□4任务四一次20190602(»000030梵・项目修改■跖

共（S）条记象•O245•UGO

图3-8（任务列表）

7

创建任务X

•任务名称

*选择数据表

•任务设置执行方式

©一次

O每天

▼分oo▼秒

O每周

O每月

任务运行时间超过3天▼结束运行

到期日期：选择日期向00▼时00▼分00▼秒

取消确认

图3-9（创建任务）

3.2平台应用流程

3.2.1制定效验规则

用户在模板规则管理模块添加新规则。可以添加模板规则，也可以添加自定义规则，模板

规则可以效验像邮件，口期，空值等固定格式的数据字段，而某些特殊格式的字段，模板规则

则不能一一满足，这时配置的自定义规则则针对某个特殊格式的数据字段效验。

3.2.2规则配置字段

在某个具体规则中配置要进行效验的字段，也可以通过查看表中字段来

8

配置需效验的规则。配置完成后可通过列表杳看已经配置的字段。

3.2.3任务配置

配置执行任务来根据规则进行效验，可以配置周期任务，定时任务和手工任务，周期任务

可以按月、周、天进行配置，而定时任务则选择具体的执行时间，手工任务则需点击执行，该

任务就开始执行。

3.2.4数据质量监控

任务执行结果在该模块进行展示，问题数据也会相应直观的展示出来。

3.3平台测试

3.3.1测试内容

本次功能测试覆盖：教据质量模型、数据源管理、模板规则管理、任务管理、数据质量分

析。本次测试验证如下指标：

（1）功能是否全部实现：对照标书查看具体功能是否全部完成。

（2）易用性：是否噪作简单，新手可用。

（3）容错性：把系统置于某种极端条件下，查看系统是否正常运行或者是否有对于灾难

性错误的处理方式。

（4）其他：如适合性，准确性，可维护性等。

3.3.2问题级别定义

级别名称描述

导致系统崩溃、异常退出系统、异常死机、服务停止、数据库混乱及系统不

P1级致命性错误

能正常运行

P2级严重性错误功能未实现、不完整、功能出现问题并导致其他功能及模块出现问题

P3级告警性问题功能已实现，存在不影响主要功能使用的小问题

P4级建议性问题满足需求，功能使用不方便、不合理、界面不友好或风格不统一

3.3.3测试用例

数据质量模型根试用例如下表所示:

用例编号FXZL用例作者王鑫用例设计日期

9

用例描述验证页而数据显示实现的正确性。

用例前置条件无。

步骤操作输入数据预期结果

1点击停用修改数据库字段状态为0

名称:*♦*

2点击编辑数据源：***可以对该条数据进行修改

描述:***

3点击删除可以删除改条记录

4点击复制添加界面自动输入除名称以外的字段

名利::***

点击新建模型

5数据源，***成功添加该条记录

按钮

描述：***

选择模板规则：所选字段配置所选模板

字段配徨规则

规则

6一点击添加规

自定义规则：所选字段配置所选自定义

则

规则

规则配置字段

7-点击添加字添加所选字段到所选规则

段

10

点击任务配置

8展示所选任务的详细情况

tab页

点击数据质量

9展示任务运行情况和问题数据

监控tab页

点击数问题数

10展示问题修目情况列表

据反馈tab页

用例间关系无。

3.3.5测试结果

项目功能测试列表和结果如下:

等级P1-致命P2-严重P3-告警P4-建议合计

bug数量00000

功能测试内容列表:

图试功能测试结果

数据质量模型通过

3.4平台运行错误解决方案

如果发现系统挂掉了，应该如何排查呢？

1.首先检查是否为外界原因所导致的网络错误，如果是请尽快解决网络问题。

2.其次检查是否为服务器错误，如果为服务器错误请尽快联系运维，争取最短时间内解决

服务器问题。

3.检查是否为内存溢出错误：

1.检查程序代码中是否有重复创建对象的情况或存在死循环代码。

2.查看正在使用的线程是否为内存溢出的原因，这些线程是否应该被使用，并且