智慧教育大数据云平台建设方案

1、智慧教育大数据云平台建设方案V3.0智慧教育大数据云平台建设方案I智慧教育大数据云平台建设方案V3.0目录第1章 前言 101.1、教育大数据建设背景 101.1.1、战略机遇101.1.2、大数据产业政策支持 121.2、教育大数据的来源 121.2.1、个体教育大数据 131.2.2、课程教育大数据 131.2.3、班级教育大数据 141.2.4、学校教育大数据 141.2.5、区域教育大数据 141.2.6、国家教育大数据 141.3、教育大数据采集技术图谱 151.4、教育大数据建设面临问题 151.4.1、产品同质化严重 161.4.2、分析端是整体短板 161.4.3、缺乏统一的行

2、业标准 161.4.4、大数据价值尚未体现 161.4.5、数据模型的科学性不足 161.4.6、数据的权利制度未明确 171.4.7、数据规模日益庞大 17148、缺乏稳定高效的大数据环境 17149、数据利用不充分 171.4.10、数据驱动带来的科研新挑战 181.5、教育大数据云平台建设原则 181.5.1、要提前规划设计 181.5.2、要有清晰的边界 191.5.3、要保持连续性和规范性 191.5.4、采集粒度要尽可能小 201.5.5、教育大数据数据源分析 211.5.5.1、数据涉及面窄 211.5.5.2、有效数据量少 211.5.5.3、数据接口不完善 211.5.6、教

3、育大数据服务用户分析 211.5.7、教育大数据建设责任制问题 221.5.7.1、校领导 231.5.7.2、教师 231.5.7.3、学生 231.5.7.4、家长 231.5.7.5、校园环境 231.5.7.6、教学管理与服务 231.5.7.7、社会 241.6、建设目标 241.6.1、实现数据的共享和交换 24162、大数据的采集和存储 241.6.3、大数据分析与决策 241.7、教育大数据平台建设意义 251.7.1、实现个性化学习 251.7.2、实现教育评价体系重构 251.7.3、实现科学研究范式转型 251.7.4、开启“大数据 创客”新模式251.7.5、实现教学模

4、式改革 261.7.6、实现科学化教育管理 26第2章教育大数据需求分析和应用前景 272.1、智慧教育大数据需求分析 272.1.1、政府部门272.1.1.1、资源分配 272.1.1.2、教育管理 272.1.2、教师282.1.2.1、教学资源精准投放 282.1.2.2、教师教学评价 282.1.2.3、云题库建设 282.1.2.4、教师综合评估 292.1.3、学生292.1.4、教学管理292.1.5、教育技术服务商 302.1.5.1、平台技术服务商 302.1.5.2、语音识别技术服务商 312.1.5.3、物联网技术服务商 312.1.6、教育平台服务商 322.1.6.

5、1、教育资源平台 322.1.6.2、教育管理平台 322.1.6.3、O2O 平台 322.1.6.4、学习交流平台 322.1.7、用户332.1.8、采集过程要符合伦理道德 332.2、教育大数据应用场景分析 342.2.1、政府部门342.2.1.1、生师比场景举例 342.2.1.2、农村学生寄宿生比例场景举例 352.2.1.3、教室、实验室的空置率/利用率场景举例 352.2.1.4、学生体质健康达标率场景举例 352.2.1.5、改革教学标准场景举例 362.2.2、教育机构 36222.1、教师场景举例 36222.2、学生场景举例 372.2.2.3、教学管理场景举例 38

6、2.2.3、教育服务商 392.2.3.1、技术服务商场景举例 391、平台技术服务商 392、语音识别技术服务商 402.2.3.2、平台服务商场景举例 401、教育资源平台 402、O2O 平台 413、学习交流平台 412.2.4、用户41第3章教育大数据云平台建设 433.1、教育大数据架构 433.1.1、基础硬件层 443.1.2、数据集成443.1.3、数据计算与分析挖掘 443.1.4、数据安全443.1.5、服务器集群 453.1.6、大数据技术标准 453.1.7、大数据数据中心 453.1.8、大数据业务开发平台 463.1.9、大数据业务可视化分析 463.2、教育大数

7、据平台标准体系 463.2.1、基础标准483.2.2、数据表示标准 483.2.3、数据处理标准 493.2.4、数据存储标准 493.2.5、大数据服务标准 493.2.6、大数据安全和隐私标准 493.2.7、行业大数据应用标准 503.2.8、大数据产品测试标准 503.3、教育大数据业务开发平台 503.3.1、教育大数据业务开发平台架构图 513.3.2、大数据数据中心 513.3.3、大数据业务平台层 523.3.3.1、组件 533.3.3.2、大数据处理引擎 533.3.3.3、APP 533.3.3.4、BI 引擎 533.4、教育大数据平台建设关键技术 543.4.1、H

8、adoop 技术54342、 HDFS 技术553.4.3、MapReduce 技术553.5、教育大数据平台建设效果 563.5.1、开展大数据顶层设计，以大数据应用全面推进学校发展573.5.2、快速推进教学和管理工作的信息化，建立丰富的数据来源573.5.3、基于个性化服务需求，建立大数据分析模型 583.5.4、综合应用大数据成果，推动学校全面创新 583.6、教育大数据常见业务系统 593.7、教育大数据服务用户类型 623.7.1、校领导623.7.2、院领导623.7.3、校工会623.7.4、设备处 633.7.5、图书馆 633.7.6、校医院633.7.7、老师643.7.

9、8、学生643.7.9、企业64第4章教育大数据应用 654.1、大数据教学创新应用 664.1.1、教学质量评估 664.1.2、上网行为674.1.3、学生成绩分析 674.2、大数据科研创新应用 684.2.1、科研成果684.2.2、科研项目694.2.3、科研经费704.3、大数据管理创新应用 704.3.1、招生分析704.3.2、就业分析714.3.3、住宿分析 724.3.4、资产数据统计分析 724.4、大数据创新应用 734.4.1、学生轨迹分析 734.4.2、学生画像744.5、教育大数据建设模块 754.6、学校概况模块 754.6.1、全校一通消费情况 764.6.

10、2、学生生源分布地图 764.6.3、教师职称统计图 774.6.4、各学院学历分布图 774.6.5、全校学历分布情况 78466、全校成绩统计图 78467、全校/各院学生综合分析 794.6.8、各院逃课率占比 794.6.9、全校上网信息 794.6.10、学校舆情情况 804.6.11、各省成绩分布图 804.6.12、综合预警平台 804.7、我的大学模块814.7.1、学生成绩详情分析 814.7.2、学生图书借阅分析 824.7.3、学生详细当前借阅信息 824.7.4、学生课程表 834.7.5、我的消费834.7.6、我的网络844.8、行为画像模块 854.9、综合预警模

11、块 864.10、舆情分析模块 874.11、招生就业模块884.12、数据安全模块90X智慧教育大数据云平台建设方案V3.0第1章前言2015年是中国的教育大数据元年，政府、企业、学校、研究者、 管理者、教师、社会公众等都开始关注教育大数据，相关政策文件、 研究机构、学术活动、市场产品等开始纷纷出现。然而，我国的教育 大数据研究与实践领域整体还处于起步探索阶段，是在摸着石头过河”涉及一系列关键问题亟待解决（如教育数据的自然采集、教育 数据的安全管理与隐私保护、教育数据的无缝流转与开放共享、 教育 数据的深度挖掘以及学习分析等）。其中，教育数据的全面、自然、 动态、持续采集是构建教育大数据的基

12、础性和先导性工作，这就需要 厘清一些基本问题：教育数据的产生源头在哪里？哪些数据需要采 集？有哪些常用的数据采集技术？采集时需要注意什么？大数据发 展分析1.1、教育大数据建设背景1.1.1、战略机遇培养大数据人才、利用教育大数据深化高校管理促进高校改革发 展、使用大数据平台提高高校科研水平和效率， 既是高校面临的重要 任务，也是高校发展的战略机遇。大数据正在逐渐成为社会基础设施，成为每一家组织机构的标 配。“大数据”之“大”，更多的意义在于：人类可以“分析和利用” 的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发 现新的知识，创造新的价值，并让很多常态化的认知、判断、思维定 式、

13、产品形态、服务模式，形成全新的面貌和演进方向。大数据已经引起国际社会的高度重视，世界各国都在加快推进大 数据战略布局。大数据产业已上升至国家战略高度， 正日益渗透到经 济发展和社会生活的方方面面。2015年9月5日，国务院发布促 进大数据发展行动纲要，文件指出 数据已经成为国家基础性战略资 源”，并在启动的十大工程之一“公共服务大数据工程”中明确提出 要建设教育文化大数据。教育大数据已经上升到国家战略层面，引起社会各界的广泛关注 和高度重视。教育大数据将首先破解传统教育面临的六大难题（发展不均衡难题、方式单调化难题、信息隐形化难题、决策粗放化难题、 择校感性化难题、就业盲目化难题），助推教育的

14、全方位变革与创新 发展。确立教育大数据在我国教育事业发展与改革中的战略地位已是 国家教育现代化建设的必然要求。教育大数据是重要的国家战略资 产、教育领域综合改革的科学力量与发展智慧教育的基石。人类社会已经迎来 大数据时代”。培养大数据人才、利用教育大 数据深化高校管理促进高校改革发展、 使用大数据平台提高高校科研 水平和效率，既是高校面临的重要任务，也是高校发展的战略机遇。1.1.2、大数据产业政策支持目前政策对大数据的支持力度正不断提升， 大数据已上升至国家 战略。自去年3月大数据”首次出现在政府工作报告中以来，国 务院常务会议一年内6次提及大数据运用。在6月17日的国务院常 务会议上，总理

15、李克强再次强调大数据运用的重要性。7月1日，国务院办公厅印发了关于运用大数据加强对市场主体服务和监管的若 干意见。9月5日电 经李克强总理签批，国务院日前印发促进大数据 发展行动纲要，系统部署大数据发展工作。其中，也提到了教育大 数据系统的建设。2015年12月21日，中国基础教育大数据发展白皮书首次 研讨会在京召开，对全国教育大数据的建设给予探索和指导参考意 义。1.2、教育大数据的来源教育是一个超复杂的系统，涉及教学、管理、教研、服务等诸多 业务。与金融系统具有清晰、规范、一致化的业务流程所不同的是， 不同地区、不同学校的教育业务虽然具有一定的共性， 但差异性也很 突出，而业务的差异性直接

16、导致教育数据来源更加多元、数据采集更 加复杂。教育大数据产生于各种教育实践活动，既包括校园环境下的教学 活动、管理活动、科研活动以及校园生活，也包括家庭、社区、博物 馆、图书馆等非正式环境下的学习活动；既包括线上的教育教学活动， 也包括线下的教育教学活动。教育大数据的核心数据源头是“人”和 “物”一一“人”包括学生、教师、管理者和家长，“物”包括信息系统校园网站、服务器、多媒体设备等各种教育装备。依据来源和范围的不同，可以将教育大数据分为个体教育大数 据、课程教育大数据、班级教育大数据、学校教育大数据、区域教育 大数据、国家教育大数据等六种，它们从下向上、从小到大逐级汇聚：121、 个体教育大

17、数据包括教育部2012年正式发布的教育管理信息化系列行业标准（教技20123号）中规定采集的教职工与学生的基础信息、 用户各 种行为数据（如学生随时随地的学习行为记录、 管理人员的各种操作 行为记录、教师的教学行为记录等）以及用户状态描述数据（如学习 兴趣、动机、健康状况等）。1.2.2、课程教育大数据是指围绕课程教学而产生的相关教育数据，包括课程基本信息、 课程成员、课程资源、课程作业、师生交互行为、课程考核等数据， 其中课程成员数据来自个体层，用于描述与学生课程学习相关的个人信息。1.2.3、班级教育大数据是指以班级为单位采集的各种教育数据，包括班级每位学生的作 业数据、考试数据、各门课程

18、学习数据、课堂实录数据、班级管理数 据等。124、学校教育大数据主要包括标准规定的各种学校管理数据（如概况、学生管理、办 公管理、科研管理、财务管理等）、课堂教学数据、教务数据、校园 安全数据、设备使用与维护数据、教室实验室等使用数据、学校能耗 数据以及校园生活数据。125、区域教育大数据主要来自学校以及社会培训与在线教育机构， 包括国家标准规定 的教育行政管理数据、区域教育云平台产生的各种行为与结果数据、 区域教研等所需的各种教育资源、各种区域层面开展的教学教研与学 生竞赛活动数据以及各种社会培训与在线教育活动数据。126、国家教育大数据主要汇聚了来自各区域产生的各种教育数据， 侧重教育管理

19、类数1.3、教育大数据采集技术图谱教育数据的采集需要综合应用多种技术，每种技术采集的数据范 围和重点都有所不同。图2展示了教育数据采集的技术体系，共包括4大类、13种常见数据采集技术。.采集设备状态数据 学生体质数据采集教i学生考试成绩数据 各x业纟学生课示星笔记等手与数据1.4、教育大数据建设面临问题大数据是智慧教育行业跃迁的新变量，但目前也面临着诸多挑战:141、产品同质化严重主要以考量测评类产品为主，重点聚焦于如何“提分”；盲目跟风现象严重，产品同质化且差异不大。142、分析端是整体短板目前的产品多集中在关系维系端和数据存储端，缺乏深度数据分析；教育行业数据半结构化、非结构化突出，在分析

20、端技术整体不成 熟。1.4.3、缺乏统一的行业标准行业正在重走教育信息化早期发展阶段的“老路”，盲目混乱发 展；专门针对教育大数据的标准制定工作还未正式启动。144、 大数据价值尚未体现整个行业缺乏有影响的大数据实践案例，普遍对价值认可不足；缺乏有影响案例的情况下，大数据定价缺乏依据和标准。1.4.5、 数据模型的科学性不足教育业务具有异常的复杂性和独特性，目前大多数产品仅靠IT思路构建教育数据库，在数据源选择和指标、权重设计方面往往脱离 实际。146、数据的权利制度未明确教育数据的归属权、开放范围、开放方式、隐私保护等还无清晰 界定；在提供教育数据产品与服务中，往往存在极大的政策风险。147

21、、数据规模日益庞大数据来源多兀化，共享数据库涵盖系统多，咼校生源不断扩张， 信息不断积累，致使数据库中的信息不断增加，进而为数据挖掘、管 理和分析带来了困难。148、缺乏稳定高效的大数据环境高校不同学科与专业采用的大数据环境大多依赖现有的 IT环境, 导致大数据运行的基础软硬件环境比较混乱且极其不稳定， 缺乏有效 的运维管理，严重影响教学和科研工作的正常进行。149、数据利用不充分校园的信息仍然停留在收集和累积阶段，尽管移动终端系统的不 断发展为信息米集带来了极大的便利，但米集后的数据仅仅停留在查 询阶段，并没有对数据进行整合、分析和梳理，使得这些信息仍未被管理者采用，作为决策依据的信息则少之

22、又少。1.4.10、数据驱动带来的科研新挑战数据剧增由量变引起质变，使科研人员的思维和行为模式在传统的学科研究领域发生转变。如何借助大数据相关技术以及资源， 找到 本学科研究成果的新视角，已经成为当前高校研究的重要课题。1.5、教育大数据云平台建设原则数据采集是建设教育大数据的基础性、 先导性工作。随着很多新 型技术（如眼动追踪技术、语音交互技术、体感技术等）的逐步成熟， 将有越来越多的数据采集技术应用到教育领域， 推动教育大数据更加 实时、连续、便捷的采集。为了保证高质量教育数据的可持续性采集， 教育数据采集在实践过程中需要注意如下事项：1.5.1、要提前规划设计教育大数据的建设与应用是一项

23、系统工程，需要进行顶层设计， 以便有目的、有序地采集高质量教育数据。规划设计的内容包括：数 据米集的范围、使用的数据米集技术、数据米集环境的部署、数据米 集质量的保障措施、采集数据的应用目的和场景、数据的存储方案、 数据的更新机制、数据的交换标准等。不同层级的教育数据采集应当 有不同的侧重点国家教育大数据和区域教育大数据应以管理类 数据采集为主，同时注重与社会、医疗、交通等领域大数据的关联交 叉分析与挖掘，重点服务教育政策的制定以及区域教育的均衡发展； 学校、班级、课程大数据应以教与学活动数据采集为主，重点服务教 学质量的提升；个体大数据应以学习者个体的行为数据、状态数据、 情境数据等采集为主

24、，重点服务学习者的个性化学习诊断和发展。1.5.2、要有清晰的边界大数据虽然具有混杂性、来源多样性等特征，数据的存储成本也 越来越低，但并非要囊括一切数据，没有价值的数据是不值得收集和 分析的。教育大数据同样如此，其采集应当有清晰的边界，而非盲目 采集任何教育活动数据。究竟要采集哪些数据，取决于数据的应用目 的。举个例子，为了检测评估学生的学习进展，就需要对课程浏览、 作业练习、交流互动、提问答疑等数据进行实时采集和分析，而不必 采集学生的饮食、运动等数据。当然，我们并不否认饮食、运动等数 据在诊断学生体质状况方面的价值。这里所提的“数据边界”是相对 于具体的应用目的而言的，任何数据分析模型的

25、构建都需要依赖特定 的数据集合，唯有如此才能保证分析模型的有效性和分析结果的应用 价值。1.5.3、要保持连续性和规范性很多时候，仅凭某个学生的一次作业成绩并不能说明什么问题, 但如果将一个班级每位学生历次的作业成绩甚至作业的过程数据都 全部采集到，便可以客观评估学生的整体学习效果、发现学习盲点、 诊断教学难点，开展针对性教学和个别化辅导，这时的作业数据便具 有了“大”价值。教育大数据的采集应秉持“持续创造价值，规范提 升价值”的理念。教育数据的采集一方面应当保持连续性，即根据前 期规划设计，定期、连续、有规律地采集各种教育数据，通过长时间 累计从小数据生成大数据；另一方面，为了保证后期数据的

26、融通互换 和一致化处理，教育数据的采集应遵循特定的技术标准和规范。 目前, 全国信息技术标准化技术委员会教育技术分技术委员会已在教育信 息化标准研制方面做了大量的工作，有些技术标准已经成为国标，各 应用系统的研发应当遵循教育管理信息化标准、教育资源建设标准等。此外，国际上一些通用标准也值得借鉴，如IMS-QTI （问题与测试交互）标准、xAPI （学习体验记录）规范等。1.5.4、采集粒度要尽可能小数据粒度是指数据的细化和综合程度。一般来说，细化程度越高， 粒度越小；细化程度越低，粒度越大。数据采集应处于一个合适的粒 度级别，粒度的级别既不能太高也不能太低。这是因为，低的粒度级 别能提供详尽的

27、数据，但要占用较多的存储空间、需要较长的查询时 间；高的粒度级别能快速方便地进行查询，但不能提供过细的数据。 就教育大数据采集而言，在保证数据有效性的基础上，数据粒度应尽 可能细，以便从中挖掘更多的潜在价值。传统的教育数据以分数为核 心，一份作业、一张试卷最后采集到的仅仅是一个表征成绩的数字符 号，即采集的数据粒度比较大。如果基于在线学习平台或点阵数码笔 技术能够采集到每个学生的答题过程，如做题的顺序、每道题的停留 时间、答案修改次数等更细化的过程记录数据， 便能更加精准地判断 学生在哪些知识点存有疑惑和答错的具体原因（马虎大意还是未掌握 知识）。因此，可以说“小颗粒汇聚大数据，大数据蕴藏大价

28、值”。1.5.5、教育大数据数据源分析1.5.5.1、数据涉及面窄主要是数字化校园系统产生数据数据的维度少，业务来源不足1.5.5.2、有效数据量少数据量百GB到几TB，数据量少以结构化数据为主，达不到大数据要求1.5.5.3、数据接口不完善部份数据源有错误，数据不一致业务接口与数据结构不规范1.5.6、教育大数据服务用户分析高校类似一个小社会，用户群体较多，各部门都存在大数据需求， 而关注的内容会有较大的区别。比如校领导关注全校基础数据和总体 情况，用于战略决策与发展评估。管理部门关注学生的生活、消费和 心理状态。教学部门关注学生成绩情况、教师教学质量和学生满意度 等。因此，这些特点决定了高

29、教大数据的应用模块和类型会比较丰富。1.5.7、教育大数据建设责任制问题高校的特点是数量据并不算大，几万人规模的数据比起我们之前 参与的电信几百万人的规模来说不算大， 但数据源丰富，而且重视数 据关联分析。现阶段有些高校的大数据是由某些学院自已在搞， 没有从全校的 层面来进行统一部署，数据处于割裂的状态，大数据价值不明显。教 育大数据在很多学校属于一把手工程， 需要由学校高层领导牵头，协 调和部门的数据，并进行统一的顶层设计和全校规划，由具体的单位 比如网络中心来落地建设。1.5.7.1、校领导决策更加科学。1.5.7.2、教师教学更加便捷教学水平提升1.5.7.3、学生随时随地个性化学习。1

30、.5.7.4、家长及时掌握子女在校情况。1.5.7.5、校园环境更加绿色、环保、安全信息化覆盖范围和服务水平有效提升1.5.7.6、教学管理与服务管理更加简单高效服务水平不断提升1.5.7.7、社会更多优质教育资源和科研成果开放共享1.6、建设目标161、实现数据的共享和交换将学校各应用系统的数据进行集成和整合，使来源各异、种类不 一的各类数据可以相互使用，丰富数据的来源，打破系统间的信息孤 岛，实现数据的共享和应用。162、大数据的采集和存储研制数据适配接口，对接校内各应用系统获取各类异构数据， 并 采用大数据主流的框架和系统对数据进行统一存储， 为数据的挖掘和 分析打好基础。1.6.3、大

31、数据分析与决策采用数据挖掘、数理统计等相关技术，构建大数据分析框架，提 取数据中隐含的、未知的、极具潜在应用价值的信息和规律，为学校 的教务管理、科研管理、学生管理、后勤管理等各项工作提供决策和 指导。1.7、教育大数据平台建设意义高校作为高科技人才以及创新技术的摇篮， 承载着科研攻关和人 才培养的双重使命。在新的科技浪潮中，高校应瞄准时代最前沿，将 教学科研创新、专业人才培养与大数据紧密融合在一起，在更高起点 上推动学校在大数据教学、科研以及创新方面再上新台阶。1.7.1、实现个性化学习集成教育数据挖掘与学习分析技术，持续采集学习行为数据，智能分析，推送适合的学习资源并进行个性化学习建议。1

32、.7.2、实现教育评价体系重构采集教与学的全过程数据，全面客观记录学生成长轨迹，引导学 生培养模式和教育质量管理方式科学健康发展。1.7.3、实现科学研究范式转型解决科研经费等科研管理难题，提供便捷的技术支撑与人性 化服务，提高研究的效率和结果的可信度。1.7.4、开启大数据创客”新模式完成创新应用及发布，完善咼校信息化建设，提升咼校实力， 加速创客成果转化，推动创意实现产业化，打造具有影响力的“创客校园”1.7.5、实现教学模式改革教学数据分析与预测，改变教学模式，实现个性化教育，调 整教学方案，优化教学方法，提高教学质量。1.7.6、实现科学化教育管理注重相关关系识别，强调因果关系的确定，发现隐藏的、有 用的信息，做好教育管理和决策工作的数据支持。27智慧教育大数据云平台建设方案V3.0第2章教育大数据需求分析和应用前景2.1、智慧教育大数据需求分析2.1.1、 政府部门政府部门依据统计报表制定各种指标，指导教育发展工作，而利用大数据技术采集、挖掘、分析这类数据能够更好地量化教育现状， 并用作制定教育资源分配建议、教育管理政策