高校大数据整体解决方案(智慧校园高校大数据解决方案)

010L/^>x1

5

|0TO10010010010-

*110110101^011

整（校园大数据）

目录

第1章前言........................................................................8

1.1、大数据发展分析...........................................................9

1.1.1,大数据定义............................................................9

1.1.2,大数据5V特征及其应用................................................10

1.2、高校大数据建设背景......................................................11

121、战略机遇.............................................................11

122、大数据产业政策支持...................................................12

1.3、高校大数据建设面临问题..................................................13

1.3.1,高校大数据应用分析...................................................13

1.3.1.1,数据规模日益庞大.......................................................13

1.3.1.2.缺乏稳定高效的大数据环境..............................................14

1.3.1.3.数据利用不充分.........................................................14

1.3.1.4,数据驱动带来的科研新挑战..............................................14

1.3.2、高校大数据数据源分析.................................................14

1.321、数据涉及面窄...........................................................14

1.322、有效数据量少...........................................................15

1.3.2.3、数据接口不完善.................................................15

1.3.3、高校大数据服务用户分析...............................................15

134、高校大数据建设责任制问题.............................................16

1.3.4.1,校领导..................................................................16

134.2、教师....................................................................17

1.3.4.3、学生....................................................................17

1.3.4.4.家长....................................................................17

134.5、校园环境................................................................17

134.6、教学管理与服务.........................................................17

1.3.4.7、社会....................................................................17

1.4、建设原则................................................................18

1.4.1、安全性................................................................18

1.4.2、可扩展性.............................................................18

1.4.3、灵活性................................................................18

1.5、建设目标................................................................18

1.5.1,实现数据的共享和交换................................................18

152、大数据的采集和存储...................................................19

1.5.3,大数据分析与决策.....................................................19

1.6、高校大数据平台建设意义..................................................19

1.6.1,实现个性化学习.......................................................19

1.6.2、实现教育评价体系重构................................................20

1.6.3、实现科学研究范式转型................................................20

1.6.4、开启“大数据创客”新模式..............................................20

1.6.5、实现教学模式改革.....................................................20

1.6.6、实现科学化教育管理...................................................20

第2章高校大数据云平台建设......................................................22

2.1、高校大数据架构..........................................................22

2.1.1,基础硬件层...........................................................23

2.1.2,数据集成.............................................................23

213、数据计算与分析挖掘...................................................23

2.1.4、数据安全.............................................................23

215、服务器集群...........................................................24

2.1.6、大数据技术标准.......................................................24

2.1.7,大数据数据中心.......................................................24

218、大数据业务开发平台...................................................25

219、大数据业务可视化分析.................................................25

2.2、高校大数据平台标准体系..................................................25

221、基础标准.............................................................27

222、数据表示标准.........................................................27

223、数据处理标准.........................................................28

224、数据存储标准.........................................................28

225、大数据服务标准.......................................................28

226、大数据安全和隐私标准.................................................28

227、行业大数据应用标准...................................................29

2.2.8、大数据产品测试标准.............................................29

2.3、高校大数据业务开发平台..................................................29

231、高校大数据业务开发平台架构图........................................30

232、大数据数据中心.......................................................30

233、大数据业务平台层.....................................................31

2.331、组件.............................................................32

233.2、大数据处理引擎...................................................32

233.3、APP...............................................................................................................32

2.334、BI引擎...........................................................32

2.4、高校大数据平台建设关键技术..............................................33

2.4.1、Hadoop技术..........................................................33

2.4.2、HDFS技术............................................................34

243、MapReduce技术......................................................34

2.5、高校大数据平台建设效果..................................................35

251、开展大数据顶层设计，以大数据应用全面推进学校发展...................36

252、快速推进教学和管理工作的信息化，建立丰富的数据来源.................36

2.5.3、基于个性化服务需求，建立大数据分析模型........................37

2.5.4、综合应用大数据成果，推动学校全面创新..........................37

2.6、高校常见业务系统........................................................38

2.7、高校大数据服务用户类型..................................................41

2.7.1、校领导...............................................................41

2.7.2、院领导................................................................41

2.7.3、校工会...............................................................41

2.7.4、设备处...............................................................42

2.7.5、图书馆...............................................................42

2.7.6、校医院...............................................................42

2.7.7、老师.................................................................43

2.7.8、学生.................................................................43

2.7.9、企业.................................................................43

第3章高校大数据应用............................................................44

3.1、大数据教学创新应用.....................................................45

3.1.1,教学质量评估.......................................................45

312、上网行为.............................................................46

313、学生成绩分析.........................................................46

3.2、大数据科研创新应用.....................................................47

321、科研成果.............................................................47

322、科研项目.............................................................48

3.2.3、科研经费........................................................49

3.3、大数据管理创新应用.....................................................49

3.3.1、招生分析.............................................................49

3.3.2、就业分析.............................................................50

3.3.3、住宿分析.............................................................51

334、资产数据统计分析.....................................................51

3.4、大数据创新应用.........................................................52

3.4.1、学生轨迹分析.........................................................52

3.4.2、学生画像.............................................................53

3.5、高校大数据建设模块......................................................54

3.6、学校概况模块............................................................54

3.6.1、全校一卡通消费情况...................................................55

362、学生生源分布地图.....................................................55

3.6.3、教师职称统计图.......................................................56

364、各学院学历分布图.....................................................56

365、全校学历分布情况.....................................................57

366、全校成绩统计图.......................................................57

367、全校/各院学生综合分析................................................58

368、各院逃课率占比.......................................................58

369、全校上网信息.........................................................58

3.6.10,学校舆情情况......................................................59

3.6.11,各省成绩分布图....................................................59

3.6.12、综合预警平台......................................................59

3.7、我的大学模块.............................................................60

3.7.1、学生成绩详情分析.....................................................60

3.7.2、学生图书借阅分析.....................................................61

3.7.3、学生详细当前借阅信息................................................61

3.7.4、学生课程表...........................................................62

375、我的消费.........................................................62

376、我的网络.........................................................63

3.8、行为画像模块.........................................................64

3.9、综合预警模块.........................................................65

3.10、舆情分析模块.........................................................66

3.11、招生就业模块.........................................................67

3.12、数据安全模块.........................................................69

第1章前言

大数据正在逐渐成为社会基础设施，成为每一家组织机构的标

配。“大数据”之“大”，更多的意义在于：人类可以“分析和利用”

的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发

现新的知识，创造新的价值，并让很多常态化的认知、判断、思维定

式、产品形态、服务模式，形成全新的面貌和演进方向。

大数据已经引起国际社会的高度重视，世界各国都在加快推进大

数据战略布局。大数据产业已上升至国家战略高度，正日益渗透到经

济发展和社会生活的方方面面。2015年9月5日，国务院发布《促

进大数据发展行动纲要》，文件指出“数据已经成为国家基础性战略资

源”，并在启动的十大工程之一“公共服务大数据工程”中明确提出要建

设教育文化大数据。

教育大数据已经上升到国家战略层面，引起社会各界的广泛关注

和高度重视。教育大数据将首先破解传统教育面临的六大难题（发展

不均衡难题、方式单调化难题、信息隐形化难题、决策粗放化难题、

择校感性化难题、就业盲目化难题），助推教育的全方位变革与创新

发展。

确立教育大数据在我国教育事业发展与改革中的战略地位已是

国家教育现代化建设的必然要求。教育大数据是重要的国家战略资

产、教育领域综合改革的科学力量与发展智慧教育的基石。

8

人类社会已经迎来“大数据时代”。培养大数据人才、利用高校

大数据深化高校管理促进高校改革发展、使用大数据平台提高高校科

研水平和效率，既是高校面临的重要任务，也是高校发展的战略机遇。

1.1、大数据发展分析

1.1.1、大数据定义

大数据（Bigdata）是一种规模大到在获取、存储、管理、分析

方面大大超出了传统数据库软件工具能力范围的数据集合，需要使用

新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适

应这种海量、高增长率和多样化的信息资产。大数据能够帮助我们洞

见隐藏在巨量、杂乱的大数据背后的知识、真相和行为，通过挖掘数

据的潜在价值，透析过去，预测未来。

9

■已经进入大数据时代，数据规模由GB级上升到了ZB级

♦日・电产生■・过•天rcux"*fl.

WT».件“ESO万包米计♦、300TBI*M

■讯

cffio11aHiEHa万事/»

Q文一+♦■★■+

■8万次,*91千方次

联通北京公交

■b户签Z年万的交易■.

华大基因京东两城

■天以幡得“质囹僧

叁，刈

t,aisMiSMw*10«HX,■内3TB

中山大学交通银行衣夫山泉国东电网・*I・f

112、大数据5V特征及其应用

大量化(Volume)

存储量大，可从数百TB到PB、甚至EB的规模

多样性(Variety)

来源广、格式多，包括各种格式和形态的数据

时效性(Velocity)

在一定的时间限度下得到及时处理

准确性(Veracity)

处理的结果要保证一定的准确性

价值(Value)

大数据分析挖掘和利用将带来巨大的商业价值

10

1.2.高校大数据建设背景

1.2.1、战略机遇

培养大数据人才、利用高校大数据深化高校管理促进高校改革发

展、使用大数据平台提高高校科研水平和效率，既是高校面临的重要

任务，也是高校发展的战略机遇。

大数据正在逐渐成为社会基础设施，成为每一家组织机构的标

配。“大数据”之“大”，更多的意义在于：人类可以“分析和利用”

的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发

现新的知识，创造新的价值，并让很多常态化的认知、判断、思维定

式、产品形态、服务模式，形成全新的面貌和演进方向。

大数据已经引起国际社会的高度重视，世界各国都在加快推进大

11

数据战略布局。大数据产业已上升至国家战略高度，正日益渗透到经

济发展和社会生活的方方面面。2015年9月5日，国务院发布《促

进大数据发展行动纲要》，文件指出“数据已经成为国家基础性战略资

源”，并在启动的十大工程之一“公共服务大数据工程”中明确提出

要建设教育文化大数据。

教育大数据已经上升到国家战略层面，引起社会各界的广泛关注

和高度重视。教育大数据将首先破解传统教育面临的六大难题（发展

不均衡难题、方式单调化难题、信息隐形化难题、决策粗放化难题、

择校感性化难题、就业盲目化难题），助推教育的全方位变革与创新

发展。

确立教育大数据在我国教育事业发展与改革中的战略地位已是

国家教育现代化建设的必然要求。教育大数据是重要的国家战略资

产、教育领域综合改革的科学力量与发展智慧教育的基石。

人类社会已经迎来“大数据时代培养大数据人才、利用高校大

数据深化高校管理促进高校改革发展、使用大数据平台提高高校科研

水平和效率，既是高校面临的重要任务，也是高校发展的战略机遇。

1.2.2、大数据产业政策支持

目前政策对大数据的支持力度正不断提升，大数据已上升至国家

战略。自去年3月“大数据”首次出现在《政府工作报告》中以来，国

务院常务会议一年内6次提及大数据运用。在6月17日的国务院常

12

务会议上，总理李克强再次强调大数据运用的重要性。7月1日，国

务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若

干意见》。

9月5日电经李克强总理签批，国务院日前印发《促进大数据

发展行动纲要》，系统部署大数据发展工作。其中，也提到了教育大

数据系统的建设。

2015年12月21日，《中国基础教育大数据发展白皮书》首次

研讨会在京召开，对全国教育大数据的建设给予探索和指导参考意

义。

1.3、高校大数据建设面临问题

1.3.1、高校大数据应用分析

高校作为高科技人才以及创新技术的摇篮，承载着科研攻关和人

才培养的双重使命。在新的科技浪潮中，高校应瞄准时代最前沿，将

教学科研创新、专业人才培养与大数据紧密融合在一起，在更高起点

上推动学校在大数据教学、科研以及创新方面再上新台阶。

1.3.1.1,数据规模日益庞大

数据来源多元化，共享数据库涵盖系统多，高校生源不断扩张，

信息不断积累，致使数据库中的信息不断增加，进而为数据挖掘、管

理和分析带来了困难。

13

1.3.1.2,缺乏稳定高效的大数据环境

高校不同学科与专业采用的大数据环境大多依赖现有的IT环境,

导致大数据运行的基础软硬件环境比较混乱且极其不稳定，缺乏有效

的运维管理，严重影响教学和科研工作的正常进行。

1.3.1.3,数据利用不充分

校园的信息仍然停留在收集和累积阶段，尽管移动终端系统的不

断发展为信息采集带来了极大的便利，但采集后的数据仅仅停留在查

询阶段，并没有对数据进行整合、分析和梳理，使得这些信息仍未被

管理者采用，作为决策依据的信息则少之又少。

1.3.1.4,数据驱动带来的科研新挑战

数据剧增由量变引起质变，使科研人员的思维和行为模式在传统

的学科研究领域发生转变。如何借助大数据相关技术以及资源，找到

本学科研究成果的新视角，已经成为当前高校研究的重要课题。

1.3.2、高校大数据数据源分析

1.321、数据涉及面窄

令主要是数字化校园系统产生数据

令数据的维度少，业务来源不足

14

1.322、有效数据量少

令数据量百GB到几TB,数据量少

令以结构化数据为主，达不到大数据要求

1.323、数据接口不完善

令部份数据源有错误，数据不一致

令业务接口与数据结构不规范

1.3.3、高校大数据服务用户分析

高校类似一个小社会，用户群体较多，各部门都存在大数据需求,

而关注的内容会有较大的区别。比如校领导关注全校基础数据和总体

情况，用于战略决策与发展评估。管理部门关注学生的生活、消费和

心理状态。教学部门关注学生成绩情况、教师教学质量和学生满意度

等。因此，这些特点决定了高教大数据的应用模块和类型会比较丰富。

15

1.3.4、高校大数据建设责任制问题

高校的特点是数量据并不算大，几万人规模的数据比起我们之前

参与的电信几百万人的规模来说不算大，但数据源丰富，而且重视数

据关联分析。

现阶段有些高校的大数据是由某些学院自己在搞，没有从全校的

层面来进行统一部署，数据处于割裂的状态，大数据价值不明显。高

校大数据在很多学校属于一把手工程，需要由学校高层领导牵头，协

调和部门的数据，并进行统一的顶层设计和全校规划，由具体的单位

比如网络中心来落地建设。

134.1、校领导

令决策更加科学。

16

134.2、教师

令教学更加便捷

。教学水平提升

1.3.4.3、学生

令随时随地个性化学习。

1.3.4.4、家长

令及时掌握子女在校情况。

1.3.4.5,校园环境

令更加绿色、环保、安全

令信息化覆盖范围和服务水平有效提升

1.346、教学管理与服务

令管理更加简单高效

。服务水平不断提升

134.7、社会

令更多优质教育资源和科研成果开放共享

17

1.4、建设原则

安全性

高校信息化工作中有许多保密性内容，大数据分析平台应采取安

全性高的访问认证机制，同时在平台建设中要充分重视系统自身的安

全性以及其他应用系统的安全性。

1.4.2、可扩展性

对高校教育大数据的分析和应用是一项长期持久的工作，随着管

理工作的重点、教育信息化工作的变化推进，对于信息平台的规模和

要求也会不断变化。因此，要求平台的设计和实施要具有良好的扩展

性，以满足不断发展变化的要求。

1.4.3、灵活性

在平台的设计和实施中要考虑到与其他应用系统的整合，开发出

多个类型的接口，能够灵活接入其他系统、拓展服务类型。

1.5、建设目标

1.5.1、实现数据的共享和交换

将学校各应用系统的数据进行集成和整合，使来源各异、种类不

一的各类数据可以相互使用，丰富数据的来源，打破系统间的信息孤

18

岛，实现数据的共享和应用。

1.5.2、大数据的采集和存储

研制数据适配接口，对接校内各应用系统获取各类异构数据，并

采用大数据主流的框架和系统对数据进行统一存储，为数据的挖掘和

分析打好基础。

1.5.3、大数据分析与决策

采用数据挖掘、数理统计等相关技术，构建大数据分析框架，提

取数据中隐含的、未知的、极具潜在应用价值的信息和规律，为学校

的教务管理、科研管理、学生管理、后勤管理等各项工作提供决策和

指导。

1.6、高校大数据平台建设意义

高校作为高科技人才以及创新技术的摇篮，承载着科研攻关和人

才培养的双重使命。在新的科技浪潮中，高校应瞄准时代最前沿，将

教学科研创新、专业人才培养与大数据紧密融合在一起，在更高起点

上推动学校在大数据教学、科研以及创新方面再上新台阶。

1.6.1、实现个性化学习

集成教育数据挖掘与学习分析技术，持续采集学习行为数据，智

能分析，推送适合的学习资源并进行个性化学习建议。

19

1.6.2、实现教育评价体系重构

采集教与学的全过程数据，全面客观记录学生成长轨迹，引导学

生培养模式和教育质量管理方式科学健康发展。

1.6.3、实现科学研究范式转型

解决科研经费等科研管理难题，提供便捷的技术支撑与人性

化服务，提高研究的效率和结果的可信度。

1.6.4、开启“大数据创客”新模式

完成创新应用及发布，完善高校信息化建设，提升高校实力,

加速创客成果转化，推动创意实现产业化，打造具有影响力的“创

客校园二

1.6.5、实现教学模式改革

教学数据分析与预测，改变教学模式，实现个性化教育，调

整教学方案，优化教学方法，提高教学质量。

1.6.6、实现科学化教育管理

注重相关关系识别，强调因果关系的确定，发现隐藏的、有

用的信息，做好教育管理和决策工作的数据支持。

20

21

第2章高校大数据云平台建设

以构建基础硬件层为底层支撑，利用云计算、大数据的数据集成、

数据安全、服务器集群、数据计算与挖掘分析等技术，遵循“18”（1

个中心平台8大技术标准）大数据标准体系，通过HIVE和HBASE

构建大数据数据中心。在此基础上，公司自主研发了“国子数据魔方”

业务开发平台，通过业务开发平台进行应用开发、应用发布、服务注

册的信息化管理，并可以将应用以可视化界面展示给用户，为领导决

策提供数据依据。

2.1、高校大数据架构

22

2.1.1、基础硬件层

基础硬件层是由一组低廉的PC或服务器组合构建而成。基础硬

件层主要承载着数据的存储、运算、容错、调度和通信等任务，对基

础应用层下达的指令进行执行和反馈。

212、数据集成

大数据特征表现在实时、交互、海量等方面，并且以半结构化、

非结构化数据为主，价值密度低，为了更好地“让数据说话”，并充

分发挥大数据价值效应，应坚持“能采尽采”的原则，数据源的涵盖

范围要尽量大。

2.1.3、数据计算与分析挖掘

大数据平台涵盖了大数据场景下常用的计算场景，包含离线计

算、实时计算、流式计算、数据挖掘与机器学习等。可以更容易、更

方便地构建全生命周期的数据湖，使数据的加工、处理、创新过程更

加丰富，从而实现数据的更大价值。

2.1.4、数据安全

大数据平台通过一系列的认证授权和资源隔离机制，实现数据资

源的安全性、可维护性、可用性、可信性。提供统一认证服务负责对

使用者的身份进行验证；提供统一授权服务负责对用户的资源访问权

23

限进行控制；提供统一资源调度负责对用户使用的底层资源进行隔

离。

215、服务器集群

服务器集群是将很多服务器集中起来一起进行同一种服务，集群

可以获得更高的计算速度，也可以用作备份，任何一个服务器损坏整

个系统都能正常运行。群集化操作可以减少单点故障数量，实现群集

化资源的高可用性。

2.1.6、大数据技术标准

一个中心平台：大数据业务开发平台。

8大技术标准：基础标准、数据表示标准、数据处理标准、数据

存储标准、数据服务标准、数据安全和隐私标准、行业大数据标准、

大数据产品测试标准。

2.1.7、大数据数据中心

通过对各种类型的结构化、半结构化、非结构化数据信息的采集、

预处理、分析处理以及存储等相关操作，构建统一、规范、全面的大

数据数据中心，为相关工作提供数据支持。

24

2.1.8、大数据业务开发平台

以Hadoop为核心，融合优秀技术，提供开放的数据和业务开发

平台，进行应用开发、应用发布、应用注册及应用服务的信息化流程

管理，从而提升了大数据应用体验，有利于发挥创新精神，创造无限

价值。

2.1.9、大数据业务可视化分析

大数据业务可视化分析能够将隐藏于海量数据中的信息和知识

挖掘出来，为用户提供可视化的操作分析界面；为用户的相关活动提

供数据依据，从而提高工作效率。

2.2、高校大数据平台标准体系

大数据信息标准为数据收集、数据处理、数据存储、数据分析与

挖掘提供指导和参照标准，加快建立高校信息采集、存储、公开、共

享、使用、质量保障和安全管理等技术标准，引导建立信息共享交换

的标准规范，促进信息资源开发利用，实现大数据汇聚整合，为大数

据、云计算提供强有力的基础支撑。

抓好大数据标准体系建设，推进国家大数据战略实施，应对三方

面需求：面向高校教育的需要，研制开放、共享大数据标准；助力高

校教育创新发展，制订典型领域相关标准；保障资源安全、保护个人

隐私，研制安全标准等，以数据为基本元素进行数据安全管理，规范

数据的共享、使用和管理的整个流程，解决跨平台的数据交互、数据

25

开放共享等难题。

公司对我国现有标准、在研标准和将提出的标准计划进行梳理，

依据大数据技术体系，从基础、技术、产品、应用等不同角度进行分

析，形成了大数据标准体系框架，按照"18"的理念进行设计,，即以"

国子数据魔方"业务开发平台为支撑，构建基础标准、数据表示标准、

数据处理标准、数据存储标准、大数据服务标准、大数据安全和隐私

标准、行业大数据应用标准和大数据产品测试八大技术标准。

通过平台和技术标准的建设，整合和引导资源、激活科技要素、

推动自主创新与开放创新，促进大数据健康发展；加速技术积累、科

技进步、创新成果推广，加速大数据在高校的广泛应用，促进高校全

面、协调、可持续发展；解决数据共享难、数据格式不统一、数据标

准不规范、数据重复建设等难题。

26

2.2.1、基础标准

大数据术语、大数据参考架构、大数据平台架构标准，能够更加

切合实际的对相关操作进行描述，形成统一数据标准，进而为数据库

提供基础支撑和服务。

222、数据表示标准

数据编码规范、元数据规范、非结构化数据、数据集统一描述规

范等，确保数据信息的交互共享，进而消除信息孤岛。

27

223、数据处理标准

数据质量评价标准、数据采集标准、数据组织标准等大数据处理

阶段相关的标准规范，消除变量自身变异和数值大小的影响，为大数

据应用打下良好的基础。

2.2.4、数据存储标准

非关系型数据库规范、非结构化数据管理系统规范等大数据背景

下的新型存储系统相关规范，有助于数据进行交互式传输和管理，提

高存储量、存储速度，进而为大数据快速挖掘、提取、分析提供基础。

2.2.5、大数据服务标准

提供大数据实时分析服务、可视化服务等一系列大数据服务的标

准化描述和接入，提升数据之间的关联性，降低数据分析的复杂度，

大幅度提高分析的准确性。

2.2.6、大数据安全和隐私标准

大数据对外服务时，制定数据存储安全、数据传输安全、数据分

析挖掘安全等方面的标准，为安全面临的内部管理和外部攻击提供可

靠的数据存储、安全的挖掘分析、严格的运营监管。

28

2.2.7、行业大数据应用标准

相关领域大数据应用、领域大数据的分类和编码等方面的标准，

能够更准确地规范各行业的数据标准，并推出与行业相匹配的产品。

2.2.8、大数据产品测试标准

大数据产品的测试场景、测试指标、测试工具等。大数据产品测

试标准的建立能够公平、客观地评测大数据产品的功能和性能，对人

们选择合适的大数据产品具有重要的参考价值。

2.3、高校大数据业务开发平台

为提供众多便捷易用的开发框架和服务引擎，使用户可以迅速地

掌握、认知以及使用平台上开放的数据，针对不同的应用场景选择合

适的服务引擎进行二次开发，公司自主研发“国子数据魔方”业务开

发平台，在提供开放数据的同时，也允许用户通过该平台进行大数据

应用的开发，为用户提供一体化应用开发、测试、部署、运行、管理、

监控等托管环境，使应用开发人员无需关心应用的底层硬件和基础设

施建设，从而提高工作效率。

29

2.3.1、高校大数据业务开发平台架构图

“国子数据魔方”业务开发平台总体架构

2.3.2、大数据数据中心

大数据数据中心不是简单的硬件设备集成，也不仅仅是数据存储

30

的中心，而是数据流通和应用服务的中心。它具备十分丰富的信息资

源、安全可靠的机房设施、高水平的网络管理和十分完备的增值服务,

数据中心是高校信息化建设的基础性项目之一。

数据中心通过统一的数据格式实现应用系统之间的数据交换和

共享。高校数据中心具有以下建设意义：

1.收集、存储各类数据的同时有效地将数据管理起来，打破“信

息孤岛”的存在，为高校各个应用系统提供统一的数据服务，保证数

据的一致性。

2.为学校部门和各位领导提供实时数据。各部门之间可以很方便

地查看其他部门的公开数据；领导可以统筹查看全校所有部门的业务

数据，能够直观地了解学校的情况。

3.便于后期的应用系统开发，将应用与数据分离开来，降低应用

系统扩展开发的难度，为全面整合高校应用系统打下坚实的基础。

2.3.3、大数据业务平台层

大数据业务平台由组件、大数据处理引擎、APP、BI引擎构建

而成。大数据业务平台是基于PAAS思想构建，并遵循SAAS标准。

31

233.1、组件

组件是大数据业务平台的最基本元素，在大数据业务平台中内建

组件接口标准，所有的组件都遵循该标准。在标准中定义组件的输入、

私有项和输出。在业务开发过程中，通过图形化界面对一个或多个组

件进行创建、编辑和关联，从而组合成一个数据处理服务对外发布。

2.332、大数据处理引擎

大数据处理引擎是整个业务平台的执行中枢，通过对发布服务中

的关联组件进行解析、调度、执行、迭代、合并等操作实现整个服务

的平稳运行。

233.3、APP

APP是由一个或多个发布的数据处理服务组合而成的轻应用。

用户通过图形化界面编辑APP展现的数据和图表形式。

233.4、BI引擎

BI引擎对构建的APP的数据绑定服务和图表形式进行解析和展

现。

32

2.4、高校大数据平台建设关键技术

大数据平台的构建借鉴了开源系统的先进理念，采用了Hadoop

开源系统，充分利用HDFS的可靠性，MapReduce的引入大大加强

了平台在数据分析方面的弹性，使平台在可扩展性、可靠性、易用性

和性能方面都有良好的表现。

2.4.1>Hadoop技术

Hadoop框架是一个开源的大规模数据处理平台和工具，主要来

源于Google公司提出的MapReduce编程框架，GFS文件系统以及

BigTable存储系统等技术。Hadoop具有庞大的家族体系，本平台的

构建主要涉及到Hadoop框架的分布式文件系统HDFS和

MapReduce模型。分布式文件系统作为Hadoop框架的底层，主要

负责分析数据的分布式存储和管理，MapReduce模型主要是负责对

大规模数据集进行计算处理。Hadoop采用HDFS文件系统子框架来

实现其所具有的存储能力，用MapReduce编程模型框架来实现其计

算能力，二者的巧妙结合使得Hadoop拥有高效的存储和计算能力。

33

2.4.2、HDFS技术

HDFS分布式文件系统是对大规模数据实现分布式存储和管理

的有效工具，也是分布式计算的存储基础，具有很高的容错性和扩展

性，并且对数据读写提供了的高吞吐率。HDFS实现了数据的分布式

存储，使得应用程序能够更加灵活地访问大规模的数据集，同时也为

后续对大规模数据的分析提供了数据平台。HDFS分布式文件系统采

用的是典型的主/从结构，这种结构极大的简化了系统的架构，使得

系统更加简洁，方便系统的管理。Hadoop的分布式文件系统HDFS

主要由主控制器和数据节点组成，主控制器管理名字空间和数据节

点，同时管理数据块到数据节点DataNode的映射等。

文件系统中的DataNode作为数据节点，主要存储实际的数据，

主要负责所在的物理结点上的存储管理，执行主控制器下达的命令。

数据节点能够及时接收客户发送的读写请求，并针对这些请求完成相

应的操作。从分布式文件系统的结构内部来看，数据文件被存储分割

成多个数据块存储在每个数据节点上，每个数据节点存储着来自多个

文件的数据块，同时每个数据节点上也会存储这些数据块的多份副

本，保证后续数据操作的准确性。

2.4.3、MapReduce技术

MapReduce技术基于分布式文件系统，通过编写相应的处理过

34

程能够实现对大规模数据集进行并行计算和处理，通过对不同分析模

块编写相关的MapReduce处理函数能够实现对大规模数据的精确分

析，同时能够控制各个节点之间完成高效的任务调度。MapReduce

通过将操作分发给网络上的各个节点，每个节点会周期性的返回它所

完成的工作和最新的状态，从而实现对大规模数据集的操作，这种处

理方式保证了操作的可靠性。

MapReduce技术处理的方式是，首先将一个具体的任务分解成

为若干个很小的任务，然后将分解后的任务分配到各个分节点，通过

主节点来对分节点的任务进行管理和调度，然后得到分节点处理后的

结果，再将结果整合，得到最终结果，通过多个节点之间的相互合作

和调度，从而实现对大规模数据集的计算和处理。总的说

来,MapReduce就是基于“分而治之”的思想实现“任务的分解与结果

的汇总”。

2.5、高校大数据平台建设效果

构建高院校大数据分析平台是以高校战略发展规划为蓝本，以高

校信息化建设纲要为依据而进行的创新性探索。以大数据建设顶层设

计为基础，收集整合高校教育各方面所产生数据，从数据中提取出有

价值的信息和模型，推动高校教育的全面创新。

35

2.5.1、开展大数据顶层设计，以大数据应用全面推进学校

发展

大数据将成为推进学校发展的新动力，通过开展大数据顶层设

计，对大数据获取、收集、整理、利用进行全面规划，从应用需求出

发，明确建设目的和路径，明确什么要做，什么不要做，什么应该先

做，什么应该后做，用什么模式做，做到什么程度，达到什么效果，

以指导学校未来3-5年的大数据建设。

2.5.2、快速推进教学和管理工作的信息化，建立丰富的数

据来源

用大数据方法全面分析现有教学和管理工作，新建或升级信息系

统，对教学和管理实现全过程记录，建立丰富的数据收集渠道。

如通过对现有远程教育系统进行全面升级，跳出远程教育的概

念，实现对教学过程的全面支持，详细记录每个学生的学习行为数据,

包括课程学习数据、视频观看数据、资料查阅数据、作业完成数据、

互动交流数据、成绩数据等，将数据细分到每个行为细节，以提供超

越传统系统的数据精细度，客观地反映出学习的实际状况。

通过建立物联网应用，实现对物品、人员、安全等各方面管理的

强大支撑，提升管理质量的同时积累大量管理数据和行为数据。

36

2.5.3、基于个性化服务需求，建立大数据分析模型

提供优秀的个性化服务是教育和管理的重要目标之一，大数据应

用则是提供规模个性化服务的必要条件，而大数据分析模型的质量决

定了数据的价值。一个平时被忽略的数据在好的模型中，会产生难以

想象的作用。

我们可以通过对学习行为数据的分析，了解学生的学习兴趣和学

习效果，研究哪些学习方式是最容易被接受的，哪些课程的设计是最

受欢迎的，或具体到某个作业问题回答的正确率以及横向和纵向的比

较，并深层次的展现出其中的原因。这些数据被提供给教师，将对教

学创新提供最为直接的支撑。

通过对一卡通行为数据的分析，可以了解学生的日常行为规律和

消费规律，了解学生行为与学习成绩、学校效果之间的关联关系，提

供学生管理创新的依据。

2.5.4、综合应用大数据成果，推动学校全面创新

通过大数据的综合应用，可以建立对各项教育和管理工作的分析

和判断，应用到实际工作中，从各个方面推动学校全面创新。

通过对教学过程、学习行为、学习成绩、教学满意度、教师需求

量、专业师资质量、专业成熟度、行动轨迹等综合分析，建立教师画

像、学生画像、专业画像，直观了解优势和不足，预测发展状况。

通过对学生人数、宿舍分配、教室使用、能源消耗、网络消耗、

食堂消费、图书馆利用等进行综合分析，建立各资源利用率指数，实

37

现数据可视化，引导管理工作的精细化和管理的扁平化。

通过对一卡通、图书借阅、专业分布、课程分布、成绩、学习行

为等进行聚类分析，发现具有某些特征的特殊群体及其独有的行为方

式，并利用相关性数据进行挖掘，从中发现规律。

通过对教学数据、教学效果、考勤记录、个人数据、管理数据进

行综合分析，建立科学的、真实客观的教师绩效评价体系，改变传统

人为评价的主观性，让大数据选出真正优秀的教师。

2.6、高校常见业务系统

设备管理网络计费

系统系统

图书管理无线WiFi

系统系统

科研管理宿舍管理

系统系统

医疗管理房产管理

系统系统

上网行为管

财务系统

理系统

以下是高校常见的业务系统。

这是某个高校业务系统的数据流情况，我们可以发现业务系统和

数据中心并未完全数据交互共享，因此我们在规划建设高校大数据时

需要协调各个职能部门的资源确认业务系统的数据接口。同时由于各

个业务系统之间数据不统一，我们在采集数据过程中还需进行数据转

换，转换成我们所需的数据格式，这些都带来大量的工作量。

38

系统名称品牌可获取效据大融掘方向

科研项目评估和管理科研项目

科研队伍组织架构情况

科研管理系统易普拉格科研平台平台数据的处理和分析

科研经费判雕:费预算和合理性

科研成果将科研成果和项目绩效结合

图书记录