大数据教学科研实验室建设方案

PAGEPAGE1大数据教学科研实验室建设方案2022年10月1-地址：北京市海淀区科学院南路新科祥园甲2号TEL务合作：market@目录1 行业背景 11.1 大数据政策背景 11.2 市场人才需求 32 高校人才培养背景 42.1 高校专业发展现状 42.2 高校专业建设需求 53 方案概述 63.1 建设目标 63.2 总体架构 64 建设内容 74.1 资源建设 74.1.1 课程体系 84.1.2 案例实战 84.1.3 算子库 94.1.4 可视化查询库 94.2 教学平台 104.2.1 教学系统 104.2.2 资源中心 114.2.3 作业系统 114.2.4 考试系统 124.3 大数据科研应用实验平台 124.3.1 在线编程 134.3.2 建模应用 134.4 可视化实验室 144.4.1 可视化图表 144.4.2 数据大屏 154.5 硬件环境 164.5.1 计算中心 174.5.2 学习中心 184.5.3 展示中心 185 增值服务 195.1 课程体系建设 195.1.1 课程体系建设咨询 195.1.2 课程资源开发 195.2 师资培养 205.2.1 师资培训营 205.2.2 在线直播 205.2.3 学术交流 205.3 学生实训 205.3.1 产业人才培养服务 205.3.2 夏令营 205.3.3 项目合作 205.4 认证服务 205.5 科研服务 215.5.1 算子及模型定制开发 215.5.2 课题服务 215.6 就业指导 216 预期效益 216.1 促进产业化人才培养 216.2 提升师资教学科研水平 22中科天玑xxxx方案 行业背景大数据政策背景随着全球数据的爆发式增长，大数据从政策层面备受关注。2014年，大数据首次写入政府工作报告，大数据逐渐成为各级政府关注的热点，政府数据开放共享、数据流通与交易、利用大数据保障和改善民生等概念深入人心。此后国家相关部门出台了一系列政策，鼓励大数据产业发展。（图片来源：中商产业研究院）2021年3月全国两会，多位全国人大代表、政协委员提交了多项涉及“大数据”相关的议案、提案，公共数据的价值释放以及数据的治理与保护等成为重点关注话题。在《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》中，“大数据”在规划的征求意见稿中出现了14次，而“数据”一词则出现了六十余次。可以看出，作为国民经济和社会发展的重要风向标，“十四五”规划对于大数据的发展仍然作出了重要部署。相对于五年前的“十三五”规划中专门用一章“实施国家大数据战略”集中描述大数据发展，“十四五”规划中对于大数据发展的着墨已经融入到了各篇章之中。这在一定程度上表明，大数据已经不再是一个新兴的技术产业，而是正在成为融入经济社会发展各领域的要素、资源、动力、观念。并且，大数据带动的新一代信息技术总体从“前沿技术”正在变为“重要应用”，发挥的价值愈益明显。市场人才需求随着国家重视大数据，政府扶持大数据，大数据在企业中生根发芽，开花结果。大数据人才需求量大、薪资水平高、需求呈上升趋势。2021年两会上，“大数据是贵州产业转型升级的战略引擎，但前提是一定要有足够的大数据人才和大数据企业来助推。”贵州省政协委员张钊说。据职业社交平台LinkedIn发布的《中国互联网最热职位人才报告》显示，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万。在BAT企业招聘的职位里，60%以上都在招大数据人才。目前大数据相关职位，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向，年平均工资16万元。目前企业大数据人才需求面临以下具体问题：（1）合格人才短缺，招聘困难。人才供给虽大幅增加，但人才质量参差不齐，符合需要的人才数量依然有限。（2）理论基础强，但缺乏应用实践能力。有些人才基础理论技术能力强，实际工作解决问题时缺乏业务与技术灵活结合能力。（3）人才培养渠道有限，培养周期长。工作5年以上的大数据及AI人才是行业主力，大量存在于学术界和巨头公司，市场上大数据人才大多来自学术界、企业界或其他技术岗转岗，新鲜血液供给严重不足。（4）市场人才争夺激烈，内部人才流失风险高。大数据人才平均工作一年年，市场工资大多翻倍，然而平均在职时间不超过2年。高校人才培养背景高校专业发展现状大数据相关产业的高速发展，带来了大数据人才的严重短缺，大数据人才培养成为急迫的任务，因此从八年前开始就有高校着手培养大数据人才。2013年，西安交大、港中文、浙大、厦大等高校设立数据科学研究中心或大数据中心，培养具有大数据思维和穿心能力的复合型人才。2014年，北大和清华开始招收第一批大数据硕士，其中清华培养的第一批大数据硕士生分为5个方向：数据科学与工程、商务分析、大数据与国家治理、社会数据和互联网金融。2015年，北大元培学院设立面向本科生的数据科学实验班；中南大学招收大数据方向第一批本科生。然而，直至2015年大数据专业建设和人才培养依然处于力量薄弱阶段。自2015年8月国发[2015]50号文《促进大数据发展行动纲要》提出“······建立健全多层次、多类型的大数据人才培养体系。鼓励高校设立数据科学和数据工程相关专业，重点培养专业化数据工程师等大数据专业人才。鼓励采取跨校联合培养等方式开展跨学科大数据综合型人才培养，大力培养具有统计分析、计算机技术、经济管理等多学科知识的跨界复合型人才”，大数据专业建设才在各高校如火如荼地开展，设立大数据专业的学校数量呈指数级增长。依据教育部印发的《普通高等学校本科专业备案和审批结果》来看，“数据科学与大数据技术”是近五年高校新增数量最多的专业。截至2020年6月30日，全国共有普通高等学校2740所，含本科院校1272所，高职（专科）院校1468所。本科院校获批“数据科学与大数据技术”专业的有624所，获批“大数据管理与应用”专业的有77所。高职院校获批“大数据技术与应用”专业的有547所。相当于中国高校总数的三分之一。我国在大数据及人工智能相关领域的高等教育呈现出大爆发态势的同时，版图已经接近确定。这也意味着，经过4年的密集审批期后，相关专业将进入建设期和考核期。高校专业建设需求由于高校在大数据教育领域的发展时间并不是很长，所以目前高校在大数据相关专业的建设过程中，主要面临以下几个方面的问题：1）缺乏系统化和规范化的标准化教材国内高校的大数据教学尚处在摸索阶段，无统一教材，有的选用教师自己的教案。高校对大数据教材的需求主要分为两类：一类是开设了大数据专业的学校需求一整套完整的大数据教育丛书；另一类是未开设大数据专业的学校单独开设一至两门大数据相关课程时，需要知识体系完整又不空泛的导论类教材及实验类教材。2）缺乏系统性的课程体系和内容大数据专业建设尚在探索发展过程中，尚未形成标准统一的系统性课程体系。大数据专业是一个多学科交叉融合的专业，需要根据不同层次的需求和不同的人才培养目标，合理设计和融合多个学科的课程内容和知识体系。3）师资力量不足大数据教学科研资源严重匮乏，缺少足够的教学师资，可配置和指导学生实验的专业师资严重不足。4）教学实验资源匮乏基础实验环境薄弱，面向大数据的分布式系统，高校无法满足学生实验环境需求，实验数据、实验教案、实验手册、项目实践经验严重不足，大数据实验开展困难。项目实训缺失，高校大数据专业目前难以培养实用性人才所需的专业能力，与实际应用脱轨，教学效果大打折扣。方案概述建设目标大数据教学科研实验平台基于大数据教学、科研、实验等典型应用场景，工业、金融、医疗、旅游、新闻等各行业真实数据，提供的机器学习、模型预测、QB分析等教学案例，围绕着案例和算子配套录制特色课程和教学课件，辅助教师进行大数据课程教学，让学生能够在实际的场景案例中检验所学知识，实现高效的师生互动教学模式。为高校提供定制化的实验、科研、场景应用综合解决方案，全方位支撑大数据教学及科研需求。总体架构实验平台集教学管理、在线学习、在线考试、资源管理、数据预处理、模型训练、预测、评估为一体。总体架构如下图所示：总体架构分为五层：数据层：平台支持多种外部数据源接入，涵盖关系型数据库与非关系型数据库，支持用户第三方业务数据接入。核心计算层：平台支持主流的CPU、GPU，支持多框架相融合的异构分布式计算环境，集合了MapReduce、Spark、TensorFlow三种流行的计算框架，用来支持大数据分析算法库和上层应用。接口层：提供统一模型调度接口，当模型任务提交之后，解析器能够自动解析执行各子任务模块的调度。应用层：提供平台的业务功能，包括学习中心、课程中心、考试中心、模型构建、模型训练、模型发布、系统管理等核心功能。用户层：平台的用户角色主要分为教师、学生、管理员，根据不同的用户角色提供不同的功能。建设内容资源建设大数据教学科研实验平台依托于中科天玑十年的资源积累，通过提炼真实的行业案例和数据，形成特色的教学资源，并于大数据专业课程体系相结合，将理论知识、实验教学和大数据项目实践融合，由浅入深，循序渐进，逐步提升学生的专业技能和项目实践能力，使得学生与企业人才需求无缝衔接，真正解决大数据人才缺口问题。课程体系平台提供多门大数据专业课程，从大数据理论、常用编程语言，逐步向大数据分析挖掘常用的环境、框架搭建、经典算法、算法应用过渡。包含理论课、算法课、实验课。由浅入深，协助院校形成大数据专业建设体系。序号课程名称序号课程名称1《Python编程》8《集群管理与云平台》2《hadoop开发技术》9《网络爬虫与数据收集》3《Linux基础》10《消息发布订阅系统(Kafka)》4《scala编程》11《分布式数据仓库（Hive）》5《java程序设计》12《大数据处理技术（spark）》6《pythonweb开发技术》13《数据存储与管理》7《Docker平台应用》14《大数据可视化技术》案例实战基于中科天玑多年大数据相关行业积淀，将移动互联网、工业、制造业、金融、医疗、网信、安全等行业真实案例脱敏，配套实验手册，为高校教学、科研提供案例支撑。同时，对应不同类别的案例，形成案例实践课程，从项目背景出发，详细讲解其中涉及到的算法理论及其应用。配套相关实验，让学生以场景化的方式进行学习，逐步重构该项目案例，并可以融会贯通，将之应用到生产实际中。序号案例名称序号案例名称1某移动运营商垃圾短信分类9泰坦尼克号灾难生还预测2微博垃圾消息分类10信用卡欺诈评估3财新网新闻推荐11心脏病预测4Twitter社交数据分析12乳腺癌恶性预测5基于金融YB数据的倾向性分析13《基于自增强泊松过程的新冠肺炎预测分析》6基于用户相似度进行影评与推荐14中文新闻分类任务7白葡萄酒质量预测15设备健康状态监控8鲍鱼年龄预测16设备故障预警算子库为了让学生更好的掌握大数据的专业知识，为学生走向大数据相关分析岗位提供工具，平台集成了中科院计算所自主研发的数百种高质量大数据分析算子库，并结合中科天玑对教学的理解，形成面向文本分析、机器学习等领域的特色算子工具箱。针对这些算子，编写了上百个实验手册和配套数据。同时提供在线编程实验室，学生可以对照实验手册，在线练习算子的编写，实时查看计算结果。涵盖数据预处理（去重操作、空值补缺等）、特征工程（特征抽取、特征离散等）、分类回归（如LR、CART、GBDT等）、推荐排序（如SVDFeature、NMF等）、结构化分析（如CRF等）、文本表达（如Word2Vec、LDA等）、图分析（如PageRank、ICModel等）、深度学习（如CNN、RNN等）等领域，同时算子库还对主流的开源机器学习算子框架如Sklearn、SparkMllib、Scipy等进行了集成与应用。为了提供不同的运行环境、兼容不同类型的计算框架等多方面因素考虑，工具集中的算子使用了Java、Python、Scala、R等多种主流的大数据分析编程语言进行开发，可以根据熟悉的开发语言、编程环境使用工具集中的算子进行快速分析。可视化查询库平台预设了常用的可视化查询语句，包括单表查询、级联查询等，学生可以根据具体的使用场景，修改系统预置的查询，或创建自己的查询。教学平台大数据教学科研实验平台基于各类教学资源，提供在线教学系统、教学资源库、作业系统以及考试系统。形成教学练测评的完整闭环，提高教学效率。教学系统大数据教学科研实验平台围绕着案例和算子，提供成体系的课程和教学资源，辅助大数据课程教学，简化大数据分析科研实验流程，实现高效的师生互动教学模式。系统自带丰富的教学及行业应用案例，方便教师进行课程教学演示。同时，教师可以通过平台进行课程管理、课件上传、实验作业的发布、审阅；学生可以通过系统加入特定课程，完成课程实验作业的提交与科研实验的搭建等。以课程为中心、以任务来驱动，提供学生无限发挥科研创造能力。学生能够基于教师设定的任务模板进行作业的编写、任务报告编写、任务提交等。资源中心平台提供资源共建共享功能，支持教师从本地上传教学素材，包括视频、课件、实验等。教师可将实验任务共享给他人，实现资源的分享。同时学生用户可以下载教学课件，实现优质教学资源的共享和教育公平。作业系统教师可对学生的选课申请进行审核，并对学生的实验任务进行审阅评分，确保教师第一时间了解到学生的学习情况；学生可在线学习及实验，并查看自己的课程学习进度、实验任务以及实验得分。考试系统智能、专业、简单的在线考试系统，适用于各种考试、和作业练习。支持教师快速组卷，发布在线考试；学生在线完成考试并提交试卷；教师阅卷后，学生可以查看考试成绩和阅卷结果；智能分析每场在线考试，方便教师全方位掌握学生的学习情况。大数据科研应用实验平台大数据教学科研实验平台提供Python、R语言的在线编程环境和建模练习环境，学生可以连接数据源并对照实验手册，进行代码编写练习，并可以实时反馈结果，省去了环境构建的时间。随着教学进度的开展，学生逐渐具备构建模型的能力，可以使用平台的算子库或使用自己的算子构建模型，分析实际的数据，进行项目实战练习。在线编程平台提供交互式在线编程环境，学生可根据教师提供的实验手册，基于特定的业务场景中的数据独立的使用交互编程组件进行脚本语言代码的调试与执行。交互式编程环境能够支持Python、R等主流脚本语言。建模应用大数据建模应用提供丰富的算子库和图形化配置和运行监控界面，集数据预处理、模型训练、预测、评估为一体，大数据科研应用实验平台提供了交互式图形化大数据分析与管理界面，教师和学生能够方便的通过鼠标点击和拖拽的方式一站式的完成大数据分析任务模型的创建、配置、复用、提交、运行、监控等。学生在学习完对应课程后，可以使用系统的数据和算子，或上传自己的算子，进行建模练习，从项目实战入手，学以致用，更贴近企业的实际人才需求。教师可以例用大数据教学科研实验平台进行一些科研课题的研究，连接需要分析的数据，利用平台提供的算子建模分析，支持课题组或教研组多人协同建模，科研成果可以对外发布服务，或导出成镜像，部署到项目环境。结合课程进度，教师可以将自己的算子或模型分享给学生，学生之间也可以分享算子和模型，增强教学互动。也可以在成立研究小组，将模型拆成不同的任务，交由不同的成员来完成。围绕着社会实际问题，开展实战型学习，共同研究算子、构建模型、解决问题。可视化实验室借助丰富的可视化组件图表为多种数据源数据提供跨源数据分析能力，为教师和学生提供高效的数据分析及可视化展示功能。教师和学生可以连接数据源，并通过编写查询的方式构建可视化图形和数据大屏。让学生能够更好的掌握如何使用BI软件，分析和展示数据的方法。可视化图表数据可视化作为大数据课程体系中的重要部分，可视化实验室给学生提供了一个练习通过查询语句，分析数据的方法，以及展示大数据实验平台中，监控模型重要节点数据变化情况和预测分析结果的工具。学生可以直接使用平台的数据用于图表的制作，也在系统上选择内置的数据源进行数据的接入可视化实验室，还可以连接新的数据进行分析。提供简单便捷的方式将数据结果通过自定义查询的方式进行可视化展示；学生可通过编写SQL查询语句，生成查询结果，进行自助式分析。提供基于已有数据集进行可视化分析的能力，可供选择柱图、折线图、散点图、饼图、词云、关系网络、地图等60多种可视化图表，通过简单的属性配置可以实现图表组件样式的配置和数据字段映射。数据大屏本模块教会学生利用可视化工具有序的组合图表，构建数据大屏的方法。系统集成了丰富的可视化组件，内置4种主题，多种主题配色方案，学生可根据业务需要自主选择创建不同风格大屏画布。系统提供拖拽式组件绘制及丰富的组件属性配置，帮助学生快速打造数据大屏。硬件环境硬件环境主要由三部分组成，分别是计算中心、学习中心、展示中心。针对校方已有的网络设备，可以进行整合，而且相关设备与模块也可根据校方专业教学和实验室建设的具体情况进行选择。计算中心计算中心是整个建设的核心硬件平台，需要以一套服务器、交换机等设备形成机房，它一方面支撑软件平台、存储内容资源，另一方面也可以实现实验成果、教学科研成果的长期保存和项目成果积累，充分为科教产成果积累提供存储空间支撑。如图所示，用户通过PC中的web端访问应用服务器，进入系统教学、实验，在教学实验过程中，系统会通过管理集群，自动对计算资源进行分发调度，以达到最好的使用效果，分析挖掘的结果和用户的行为数据，会在应用集群和管理计算集群之间进行交换，并存储在数据库服务器和计算存储集群中。同时，集群采用HA、动态资源调配等，保障系统稳定性、安全性。学习中心采用普通终端PC机，组成实验平台局域网，支撑进行大数据教学、实训、科研。展示中心随着信息技术发展的日新月异，高科技手段应用信息显示中心辅助决策系统越来越普遍。作为各种大数据项目数据以及图像可视化的集中显示终端，大屏幕显示系统一定要具备高分辨率显示、色彩均匀稳定，并且能与各种信号良好兼容的特性。增值服务针对院校需求及专业特色，企业可为学校提供大数据相关增值服务，全方位协助院校完善大数据相关专业，科研能力培训等，提高师资水平及科研能力。深化科教产融合，通过专家服务、企业双师、认证服务等提高学生就业能力，加速院校科研成果产业转化，形成科研院所、企业与院校之间的深度合作模式。课程体系建设课程体系建设咨询针对某一门课程的课程目标设立、组织结构规划、课程内容规划、教学教法指导、评价体系构建等课程体系建设提供咨询、指导服务。课程资源开发可提供教材、课件、慕课、实验、案例等课程资源的开发服务。提供精品课程共享到院校使用，部分课程可根据校方教学实际提供二次开发，使之更贴合院校人才培养方案。师资培养师资培训营在寒暑假以训练营形式，为教师提供大数据技术、教学教研相关培训指导。在线直播提供行业专家针对大数据、人工智能、云计算等新一代信息技术、行业前沿、领先技术解读，针对当下大数据、人工智能等跨专业人才培养方案进行解读。学术交流中国大数据技术大会（BDTC）作为大数据领域极具影响力的行业盛会，是国内外大数据技术精英最期待的深度分享会，是极具行业实践的专业大数据交流平台。除主论坛外，还会提供专题技术和行业论坛，并邀请业内顶尖大数据应用的创建者和领航者分享最佳案例实践。学生实训产业人才培养服务提供企业硕博级资深工程师做为“企业双师”入校，针对大数据产业应用、结合实际项目案例进行授课。夏令营根据院校需求，企业在小学期提供夏令营服务。梳理相关技术，完成相关项目，在解决实际问题的过程中，达到提升学生专业能力和职业素养的目的。项目合作为校方提供项目机会，将项目技术分包给院校，由学生完成，增加学生产业实践机会，提高