高校大数据解决课件

1、数据创造价值、创新驱动未来高校大数据解决方案高校大数据建设国家政策背景2015年12月21日，中国基础教育大数据发展白皮书首次研讨会在京召开，对全国教育大数据的建设给予探索和指导参考意义。9月5日电 经李克强总理签批，国务院日前印发促进大数据发展行动纲要，系统部署大数据发展工作。其中，也提到了教育大数据系统的建设。目前政策对大数据的支持力度正不断提升，大数据已上升至国家战略。自去年3月“大数据”首次出现在政府工作报告中以来，国务院常务会议一年内6次提及大数据运用。在6月17日的国务院常务会议上，总理李克强再次强调大数据运用的重要性。7月1日，国务院办公厅印发了关于运用大数据加强对市场主体服务和

2、监管的若干意见。2015年总结：大数据产业政策频出 步入快速发展期高校大数据建设遇到的问题数据涉及面窄数据量少数据接口不完善缺乏数据积累，数据质量不高校领导决策更加科学教师教学更加便捷教学水平提升学生随时随地个性化学习家长及时掌握子女在校情况教学管理与服务管理更加简单高效服务水平不断提升校园环境更加绿色、环保、安全信息化覆盖范围和服务水平有效提升社会更多优质教育资源和科研成果开放共享高校大数据建设遇到的问题用户涉及范围广，需求各异，大数据范围需要界定高校大数据建设的其它行业问题关联分析统一规划运维服务大数据产品规划架构图教务系统图书管理系统一卡通系统认证计费系统就业指导系统上课考勤系统校园论坛

3、网站校外招聘网站校外论坛网站数据源大数据管理平台网络设备行为审计数据库安全设备服务器云管理平台虚拟桌面智慧课室数据采集Socket采集DB采集Ftp采集Webservie网络爬虫建模清洗数据清洗数据质量任务调度加载入库Spark coreSpark StreamingMLlibSpark SQL数据仓库统一api/Jdbc接口HiveHbaseHdfsMongoDBMysql主流数据库结构化数据半结构化数据应用服务我的大学就业指导行为预警学生行为画像学校舆情数据安全分析科数据ETL工作箱支持高校大数据建设的整体与应用的真正落地，实现“一体化”交付学校舆情分析学校舆情分析数据安全分析数据安全分析

4、学生行为画像学生行为画像就业指导就业指导教学就业我的大学我的大学学生行为预警学生行为预警学生管理学校管理大数据业务模块（已完成）学校概况“我的大学”我的教学“我的大学”我的教学基础知识学习方式学习需求课程标准资源类型授课特点家庭背景兴趣爱好个性特点最佳的学习路径最佳的学习时间表最适合的课程材料适合的最佳教师数据仓库数据收集数据收集收集大数据关联与挖掘分析“我的大学”我的消费“我的大学”我的网络学生管理和服务-学生行为预警超市食堂门禁辅导员学工部学生邮件微信提醒大数据平台预警平台学生本人根据对学生一卡通、上网行为、课程信息等情况的实时收集，了解各学生在学校的这时行为，在出现特殊情况时可及时报警，

5、提升学校管理的及时性与风险预判定位的能力。一卡通学籍信息课程信息上网记录教学与就业-就业指导教学与就业-就业指导年纪分步学历分步薪资分步地域流向职业分析工作轨迹爬虫引擎清洗引擎邮件告警采集集群互联网数据采集平台实时检索引擎数据挖掘分析平台分布式存储预警模块日报、周报监控仪表板通知管理微信告警监控平台通过对学校内部的论坛、社会上的常用互联网平台的监控，实时了解学校舆论的关注热点词，以及社会上对学校的舆论动态，并实时反馈给学校管理者和校领导，使学校做出及时的舆论导向工作。学校管理能力-学校舆情学校管理能力-安全大数据校园网教师研究生本科生网络日志数据上网身份认证数据学籍、人事数据大数据存储与交换平

6、台大数据分析平台信息收集通过校园信息化平台的各软硬件的日志和其它信息的收集分析，动态评估学校安全的整体情况。网络设备安全设备服务器业务系统支持安全状态监控图大数据业务模块（正在开发）企业辅助招生学生行为预警学生辅助就业我的大学学习考试平台学校舆情分析战略决策分析数据安全分析资产管理分析学生行为预警学生辅助就业企业辅助招生教学质量评估学生行为画像教学质量评估家长信息同步学生行为预警家长信息同步定制搜索引擎学生行为预警定制接索引擎战略决策分析电子资源统计就业指导电子资源统计失联预警报警学生行为预警综合预警报警校园地图管理学生行为预警Wifi地图分析大数据辅助科研学生行为预警辅助科研系统资产管理分析

7、学习考试平台大数据产品：架构01-ETL业务数据采集：公司自我研发的采集模块。外部数据采集：Apache开源爬虫工具、二次开发02-存储静态数据：采用当前最流行的开源数据库Mysql动态数据：存储在HDFS上，使用Spark进行数据分析；热数据：存储在HBase上，进行快速检索03-呈现后台：使用SpringMvc+Hibernate+Druid+Shiro框架前端：使用Jquery+BootStrap+Echarts组件大数据采集ETL行政待办行政待阅审批申请学生信息考核信息奖惩信息资助学生信息老师信息考勤信息学生系统教务系统宿舍系统行政管理图书馆管理一卡通其他系统上网行为课程信息班级信息排

8、课排考成绩身份信息消费信息余额信息各类数据输出ININ成绩信息宿舍评比一卡通信息班级信息专业信息学生信息老师信息学生信息老师信息学生信息卡身份老师信息审批信息事务提醒各类跨系统数据输入数据 仓库服务提供宿舍资源分配信息日常评比身份信息访问告警流量信息身份信息消费信息余额信息大数据产品:数据存储MysqlHiveHbaseHdfsMongoDBOracle其它集群二次开发和接口封装（DBBOX）统一访问接口统一对外接口我的大学我的大学学生行为画像学生行为画像学校舆情分析学校舆情分析就业指导就业指导数据安全分析数据安全分析学生行为预警学生行为预警其它业务其它业务使用统一的大数据接口大数据服务：标准

9、规范高校大数据规模体系基础数据规范业务数据规范架构及实施规范基础数据标准规范基础数据业务交互规范基础数据维护规范业务数据标准规范业务数据维护标准平台构架设计规范实施指导规范数据接口结构规范大数据平台数据字典建立了各高校大数据标准，对各个业务系统的数据进行规范梳理大数据系统物理架构图（参考）Data Node数据节点集群Name NodeName NodeJob Tracker二层交换机分步式文件域域节点集群Hmaster二层交换机分步式数据库域关系性数据库My SQL二层交换机关系数据库域域节点集群门户系统集群模式统一代理系统MR系统Pig分析Hive数据仓库系统Chukma采集系统应用系统域

10、安全运维域大数据管理系统ETL数据采集域数据采集清冼、建模系统数据挖掘分析域数据关联与挖掘系统交换机用户域数据存储系统大数据产品硬件配备情况（参考）高校大数据解决方案配套的服务器资源可根据实际的项目需求与数据量大小进行灵活的调整。大数据硬件网络爬虫接口服务器应用服务器数据仓库 / 检索 / 分析服务器集群Mysql集群4台，参考配置：Hadoo集群6台，参考配置：应用服务器1台接口服务器1台爬虫服务器2台2路6核96G 内存10*300G SAS盘2路6核96G 内存10*300G SAS盘4个1000M网口2路6核96G 内存10*300G SAS盘参考配置：能够提供云计算与大数据融合，在云平台上实现大数据节点的自动部署。大数据“端到端”交付具体内容需求调研产品开发技术服务应用扩展咨询设计调研客户信息系统的现状调研客户数据源现状与质量调研学校大数据关注内容调研学校背景与发展需求评估技术实现可行性与规模数据样例分析确定使用的大数据的关键技术确定使用的数据呈现模式制作完整的咨询规划落地方案协助客户进行项目规划与申报调研学校背景与发展需求提供大数据产品与功能采集客户源数据针对性进行建模与数据库设计针对客户需求进行对应的数据关系与挖掘分析提供大数据应用分析报表与结