高校大数据应用发展与实践【星环 杨洪山】

开开放融合·智慧互联高校大数据应用发展与实践趋势育大数据DoungCutting创立Nutch搜索项目，并DoungCutting创立Nutch搜索项目，并基于Google论文实现DFS/MapReduce2008表MapReduce论文2003202003Doung加入雅虎并2006202007Hadoop第一个版本发布Hadoop2.0发布，引入资源管理2013公司成立2016Gartner发布数据仓库与数据管理解决方案魔力象限，首次将Hadoop厂商作为远见者进行评判信息化基础设施技术成熟度曲线科学技术成熟度曲线了云计算的用户接受度。大数据中的分布式计算和存储本身即是云计算的重要组成部分。2云计算与大数据的关系云计算解决系统架构问题，大数据解决业务架构问题，大数据是连接云计算和客户具体需求的纽带。155大数据+云计算正在成为整个社会创新的基43础设施大数据+云计算正在成为整个社会创新的基43础设施，吸纳各种新技术、新商业模式。未来大数据市场将保持高速增长全球最具有前瞻性的大数据厂商——Gartner2016年数据仓库及数据管理解决方案魔力象限远见者领域•最早入选中央政府采购网的Hadoop发行版产品•中国最早自主研发的大数据基础软件•率先支持银行业复杂关键应用的大数据平台•Gartner认可的全球六大(中国唯一)Hadoop发行版厂商之一•国内落地应用案例最丰富的大数据厂商 2016年Gartner数据仓库与数据管理魔力象限报告例例全球最具有前瞻性的大数据厂商companyevenyou'veneverheardof--NickHeudecker,Gartner分析师Gartner数据仓库关键能力排名传统数据仓库排名第七位逻辑数据仓库排名第七位机器学习及数据探索类数据仓库排名并列第六位据生态及星环科技的公司定位AnalyticsasaServiceAnalyticsService&ApplicationsTransformation,Discovery&VisualizationToolsMachineLearning&StatisticsToolsHadoopDistributions&DatabasesInfrastructure•TranswarpDataHub架构图•数据挖掘与机器学习TranswarpDiscoveram•Midas-拖拽式图形化分析工具11.支持最全SQL，支持存储过程•支持SQL2003语法(99%)•支持OraclePL/SQL(98%)•支持DB2SQL/PL(90%)•业界唯一支持Teradata存储过程 •帮助用户低成本迁移传统应用2.2.性能超群TBTPCDS99个复测试。•基于内存/SSD列式存储支持对数十亿条记录的秒级交互式3.3.唯一支持分布式事务处理•保证分布式事务处理的ACID特性•支持批量增删查改的分布式事务使用MVCC(Multi-VersionConcurrencyControl)算法自动提供并发控制4.4.业界唯一支持分布式流式SQL•支持通过SQL创建并操作流，并且支持在流上做存储过程等复杂逻辑处理•降低流应用开发门槛，提高流应用开发效率•帮助用户低成本将传统业务逻辑变成流应用5.5.丰富的数据挖掘和机器学习算法RStudioSpark引擎•支持8大类70多种分布式算法，支•支持通过SQL进行图检索、图计算6.6.便捷的数据处理工具•强大的数据处理及数据实时同步工•强大的拖拽式数据挖掘及机器学习•提供便捷的SQL、PL/SQL开发调在教育大数据的发展策略•大数据助力智慧校园建设•大数据专业人才培养大数据在教育领域能干什么？大数据在教育领域能干什么？科学研究人才培养管理运营校内服务•学科优化建议•学科人才挖掘•排课推荐、选课推荐、教学计划推荐、转系教学资源测算、学情分析、课件优化•流程分析和优化•安心守护•学生成长建议•教职工发展建议•学科画像和评估•学科预测•课程标签化和画像分析•成果标签化和画像分析•科研成果评估•学校综合画像•院系(部门)画像•资源配置评估和预测•学生(群体)标签化和画像分析•教职工(群体)标签化和画像分析•成绩、就业等数据预测•学科数据统计分析•本科/研究生教学数据分析•科研数据分析•综合校情分析•高基报表上网•一卡通等深度分析•学生数据分析报告•教职工数据分析报告查询•学科数据服务中心 •院系数据服务中心(面向班主任、院系、教•院系数据服务中心 •学生数据服务中心•教职工数据服务中心•基于大数据的自动填表大数据场景应用案例数据服务中心提供各种联机综合查询：如对教师和学生的综合查询，也可以作为数据共享中心，结合主数据库面向校园的应用提供数据共享服务数据服务中心，据此进行各种画像分析，提升数据服务中心服务能力依托教育部《高等教育事业基层统计报表》围绕校情、学情、学科的综合统计分析基于热门方向的预测和本校实际情况，提供学基于对当前学科梯队的综合分析，提出对团队根据行业发展的情况，对团队人员和科研成果人才培养根据行业发展情况和本校实际情况，提出课程优化建议；进行课程和学生的大数据建模，并应用于个性化教学场景；使MOOC平台支持选课推荐、课程知识点关联分析、成绩预测。人才培养使用分类、聚类、关联规则挖掘等算法对数据进行综合分析人才培养根据个体原始数据和标签属性数据进行各类数据预测，如成绩预测，学业预测等信息化运营管理围绕信息化运营及流程效率提升的统计分析信息化运营管理从系统日志和用户行为数据中分析AP/圈存机用户热点区域及AP/圈存机终端设置优化金智、星环和高校合作开发大数据课程，基于金智、星环和高校合作开发大数据课程