大数据平台运维实训室

大数据平台运维实训室建设方案目录TOC\o"1-3"\h\u15626大数据平台运维实训室建设方案 33666一、概况 3692二、大数据教学与实践管理系统 369951、统一管理 394282、管理员首页功能 3123213、教师首页功能要求 3289204、学生首页功能 4142515、课程管理功能 4295966、考试管理功能 4196107、教学统计功能 493128、实验预约功能 464679、资源中心功能 4631410、实验过程管理功能 51848211、实验辅助功能 5629312、教学辅助功能 5458613、系统管理功能 5412814、实验室管理功能 5661015、大数据资源包 62635216、大数据教学系统节点授权 6701817、数据集 623343三、《大数据平台安装与部署》课程资源包 612855（一）、课程资源 68263（二）、主要课程内容 66669（三）、其他资源 718570四、《大数据平台部署与管理》课程资源包 729337（一）、课程资源 730983（二）、主要课程内容 710335（三）、其他资源 78475五、《大数据平台规划与设计》课程资源包 830346（一）、课程资源 831619（二）、主要课程内容 820534（三）、其他资源要求 83318六、《航空数据分析》实训案例包 813602（一）、课程资源 813452（二）、主要课程内容 821744（三）、其他资源 817547七、《篮球投篮数据分析》实训案例包 915705（一）、课程资源 93650（二）、主要课程内容 929436（三）、其他资源 925119八、《大数据综合项目实战》实训案例包 94532（一）、课程资源 919753（二）、主要实验 914492（三）、其他项目 1026493九、大数据竞赛实训管理系统 1026404（一）、平台设计方案 1025472（二）、训练内容配置 1023528（三）、内置内容 1019432（四）、基础功能 1119243十、《应用系统负载及磁盘容量预测分析》实训案例包 113790（一）、课程资源 1112823（二）、主要课程内容 119813（三）、其他资源 1130016十一、《大数据项目》实训案例包 1129629（一）、课程资源 1111258（二）、主要课程内容 1218391（三）、实训综合案例 1218293（四）、大数据综合项目实战平台（教师版）： 1211307（五）、大数据人工智能在线学习平台技术要求 13316891.输入模块功能 13231312.输出模块功能 13169833.路由模块功能 13316154.基础运算模块功能 13184665.逻辑运算模块功能 13224216.判断模块功能 14286937.字符串工具模块功能 1474818.模拟器件模块功能 1441759.图像识别模块功能 142770610.图像处理模块功能 14278911.内容识别模块功能 152503812.人脸识别模块功能 15967213.语音识别模块功能 15702414.语言识别模块功能 152525215.语言处理模块功能 153506十二、超融合管理平台 1624312（一）、配置: 1613955（二）、管理平台软件: 1617852十三、超融合计算平台 1611958十四、机柜 1726436十五、三层交换机 1731961十六、其余硬件设施 1729003十七、大数据平台运维实训室效果图 18大数据平台运维实训室建设方案一、概况本实训室的主要目的是培养大数据平台运维项目的实践能力,以数据计算、分析、挖掘和可视化的案例训练为辅助。同时,实训室也承担相关考评员与讲师培训考试、学生认证培训考试、社会人员认证培训考试、大数据技能大赛训练、大数据专业课程改革等多项任务。实训室旨在培养德智体全面发展、遵纪守法、掌握大数据平台运维基本技能、具备大数据应用、分析和系统管理与运维能力的高素质大数据技术人才。大数据教学与实践管理系统1、统一管理1.为保证专业教学的稳定性和对实验数据安全性的要求,管理节点服务器、计算节点服务器和教学软件需统一管理。2、管理员首页功能1.提供教学资源利用统计,支持图形化展示CPU、存储、二级存储、内存等资源的使用情况;提供从上课、个人、实验室等维度查看虚拟机使用情况;提供从课时总数和虚拟机使用次数统计分析整体上课情况。2.支持一键分配教学场景和个人预约场景的资源比例;并可设置CPU、内存、存储的预警阈值。3.可记录所有模板虚拟机操作日志及时间。3、教师首页功能要求1.提供排课管理,查看课程表、发起排课,支持一键创建和释放实验资源。2.提供今日课程、课程进度、授课记录、实验批阅等教学事务入口。3.提供个人中心,包括个人信息、密码管理和远程协助信息。4、学生首页功能1.提供课表、课程内容、消息提醒、成绩和练习查询、笔记问答等功能入口。2.提供学习进度查看,支持从成绩和练习时长分析课程进度。3.提供个人中心,包括个人信息、密码管理和远程协助信息。5、课程管理功能1.提供课程分类管理,自定义课程信息、适用对象、培养目标等。2.提供专业课程实验管理,支持不同难度实验的教学内容管理。3.提供实验报告管理,支持批阅和重做等功能。4.支持自定义设计实验内容和方案。6、考试管理功能1.支持题库管理,支持导入题目、一键上传。2.提供考试功能,支持手动和自动组卷、发布考试、自动评分等。7、教学统计功能1.提供按用途分类的课时和人次统计。8、实验预约功能1.提供个人实验预约功能,支持按模板预约实验资源。2.提供预约审核功能。9、资源中心功能1.提供资源中心,支持无密登录和批量资料下发。2.支持自定义上传和管理资源中心资料。10、实验过程管理功能1.支持自定义课程实验模板。2.支持多操作系统和模式的虚拟机实验。3.支持资料上传、过程截图等功能。4.支持统计实验时长,提示异常操作。5.支持补做实验和实验报告管理。11、实验辅助功能1.支持记录实验笔记和分享功能。2.提供问答和常见问题功能,支持问题收集和发布答案。3.提供远程协助功能。12、教学辅助功能1.提供自动考勤功能。2.提供就业分析功能。3.提供知识路径管理功能。13、系统管理功能1.提供教学时间管理等基础数据功能。2.提供账号、权限等用户管理功能。3.支持课程和人员分配管理。14、实验室管理功能1.提供实验室管理和使用查询功能。2.提供实验室开放日历管理,支持直观设置开放情况。3.产品通过云计算服务能力评估认证。15、大数据资源包1.提供完整的大数据视频课程,包含MySQL、Shell、Hadoop等技术课程。16、大数据教学系统节点授权1.系统完全自主知识产权。2.采用B/S架构,支持主流浏览器。3.并发访问不少于49个。17、数据集可以实现就业分析数据(专业对口岗位的需求数量和薪资水平直接影响毕业生的就业情况和质量。提供数据展示近两年各专业对口岗位的需求、薪资和区域分布变化情况)。《大数据平台安装与部署》课程资源包（一）、课程资源1.提供18套教学PPT。2.提供1份教学大纲和教学进度表。3.课程内容64学时,满足实训教学需要。4.主要包含Linux系统、虚拟化、Hadoop安装部署、大数据平台实施监控等内容。5.满足相关认证考试需求。（二）、主要课程内容1.Linux系统安装和使用2.Hadoop平台安装3.基础环境配置4.Hadoop文件参数配置5.Hadoop集群运行6.Hbase、Hive、Zookeeper、Sqoop、Flume组件的安装配置7.平台监控命令、界面、报表、日志8.大数据平台及组件安装部署9.大数据平台运行与应用（三）、其他资源1.提供大数据云计算课程资源包,包含15课时的OpenStack云系统视频课程,2课时的部署OpenStack系统视频课程,12课时的OpenStack教程视频课程。《大数据平台部署与管理》课程资源包（一）、课程资源1.提供19套教学PPT。2.提供1份教学大纲和教学进度表。3.课程内容96学时,满足实训教学需求。4.主要包含大数据平台高可用部署、组件维护、平台优化、诊断处理等内容。（二）、主要课程内容1.基础环境配置2.HadoopHA集群配置和启动3.Hbase、Hive、Zookeeper、ETL、Spark组件维护4.平台系统优化5.HDFS、MapReduce、Spark配置优化6.集群节点和组件故障诊断与处理7.大数据平台项目综合案例实训（三）、其他资源1.提供大数据云计算课程资源包,包含OpenStack、Docker等云技术课程。2.提供Java、Linux、MySQL训练资源包。3.提供实验指导手册、镜像模板。4.提供Java、Linux、MySQL课程PPT13套。5.提供Java、Linux、MySQL课程大纲和进度表1份。6.提供Java、Linux、MySQL课程考试题库1套。7.提供Java、Linux、MySQL课程操作录屏27个。8.提供大数据Java基础教学资源包,包含大量Java课件、语法讲解视频等。五、《大数据平台规划与设计》课程资源包（一）、课程资源1.提供6套教学PPT。2.提供1份教学大纲和教学进度表。3.课程内容32学时,满足实训教学需求。4.主要包含大数据平台优化和升级内容。5.满足大数据相关认证考试需求。（二）、主要课程内容1.Hadoop应用程序优化2.Hadoop组件性能优化3.大数据平台版本和组件升级4.大数据平台项目综合案例（三）、其他资源要求提供大数据云计算课程资源包,包含Docker、虚拟化技术、云计算等视频课程,总计25课时。六、《航空数据分析》实训案例包（一）、课程资源1.提供1套案例教学课件。2.提供电子版实验指导手册,包括题目和详细操作步骤。3.提供配套实验视频和镜像模板。（二）、主要课程内容1.利用numpy、pandas、sklearn对航空公司客户数据进行分析处理。2.涵盖数据读取、处理、展示、建模等全流程。3.适合作为大数据课后综合实践训练。（三）、其他资源1.提供Hadoop大数据离线计算资源包,包含75个详细讲解视频。2.提供电信电话大数据项目资源包,包含59个实战讲解视频。七、《篮球投篮数据分析》实训案例包（一）、课程资源1.提供1套案例教学PPT讲义。2.提供电子版实验指导手册,包含题目和详细操作步骤。3.提供配套实验视频和镜像模板。（二）、主要课程内容1.在Windows环境下,利用numpy、pandas、sklearn对篮球运动员数据进行处理和分析。2.涉及数据读取、处理、异常值处理、建模、编程和结果展示等。3.可作为大数据课后综合实践,运用所学知识实现数据全流程操作。（三）、其他资源1.提供团购网站标签生成项目资源包,包含4个视频讲解。2.提供用户画像项目资源包,包含6个视频讲解。八、《大数据综合项目实战》实训案例包（一）、课程资源1.提供18个PPT。2.提供1份教学大纲和进度表。3.提供A、B卷考试题目及答案各1套,每套包含选择题20道、简答题5道、应用题3道,重复率低于20%。4.提供18个课程录屏视频。5.课程学时96学时,满足实训需求。6.将真实大数据项目改编为可实施的教学课程,流程完整。适合大数据分析专业高年级项目课。（二）、主要实验1.项目需求分析、方案制订2.环境安装和配置3.数据采集和存储4.数据清洗和转换5.数据分析建模6.数据可视化展示7.系统运维8.测试和总结（三）、其他项目1.提供友盟网大数据项目资源包含82个视频。2.提供电商大数据项目资源包含51个视频。九、大数据竞赛实训管理系统（一）、平台设计方案1.基于自研Docker容器编排管理引擎,使用云原生和容器技术构建训练环境,支持快速创建环境,实现环境隔离。方便教师组织训练,降低难度和成本。平台运行在Linux系统下,使用浏览器/服务器模式。2.支持管理员、教师、学生三种角色,分别负责系统配置、训练任务、参与训练。3.管理员可管理专业、班级、用户、镜像、环境、服务器、资源、日志、系统等。4.教师可管理训练模块、小组、训练任务,查看监控、报告,个人实验环境等。5.学生可进入环境训练,提交报告,查看自己训练记录等。6.平台技术可满足相关竞赛训练和比赛需求。（二）、训练内容配置1.平台内置两套行业真实脱敏数据,包含工业和电商场景。2.提供离线和实时数据,涵盖设备、用户、订单等信息。3.配套集群环境镜像,用于大数据项目技能训练。4.技能覆盖Docker、Linux、大数据组件等方面。（三）、内置内容1.包含安装包的镜像。2.组件预安装镜像。3.数据接口服务镜像。4.50万条以上离线样本数据。5.实时数据生成脚本。6.预置训练模块和环境。7.配套服务器,处理器、内存、硬盘符合要求。（四）、基础功能1.查看Linux版本信息。2.创建Windows和Linux云主机。3.学生环境网络结构独立隔离。4.支持在线Markdown编辑。5.支持挂起恢复任务。6.无需客户端,仅浏览器访问。十、《应用系统负载及磁盘容量预测分析》实训案例包（一）、课程资源1.提供1套案例教学PPT讲义。2.提供电子版实验指导手册,包含题目和详细操作步骤。3.提供配套实验视频和镜像模板。（二）、主要课程内容1.案例需实现数据读取、探索、处理、建模、可视化等流程。2.使用Python开源工具numpy、pandas进行数据处理,使用sklearn进行模型调用,使用matplotlib进行可视化。（三）、其他资源1.提供招聘网站数据分析项目包,包含数据爬取、清洗、可视化等内容。2.提供电影推荐系统项目包,包含9个视频。3.提供机器学习基础与算法课件,包含11个视频和3个PPT。4.提供微博大数据项目包,包含10个视频。十一、《大数据项目》实训案例包（一）、课程资源1.要求配套案例教学PPT3个。2.要求提供配套课程实验操作录屏3个。3.要求模块教学内容满足实训教学课时数量24学时。（二）、主要课程内容课程含5大综合案例，均涉及数据的预处理、数据的存储、数据查看、算法编写、算法应用和大数据结果展现等全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Spark、SparkMlib、Idea等系统和软件的安装和使用方法。每个案例可以作为大数据入门级课程结束后的“大作业”。（三）、实训综合案例案例1-1：分布式日志流处理-spark程序入门案例1-2：分布式日志流处理-redis数据库访问与数据可视化案例2-1：用户行为分析-HDFS操作&spark实现案例2-2：用户行为分析-web程序&数据可视化案例3-1：技术论坛日志分析-MapReduce程序实现案例3-2：技术论坛日志分析-HBase程序实现案例3-3：技术论坛日志分析-数据可视化案例4-1：基于SparkMLlib的电影推荐-数据预处理案例4-2：基于SparkMLlib的电影推荐-Spark程序案例4-3：基于SparkMLlib的电影推荐-协同过滤算法案例4-4：基于SparkMLlib的电影推荐-数据可视化案例5-1：互联网广告预测和分析案例-数据预处理案例5-2：互联网广告预测和分析案例-数据分析案例5-3：互联网广告预测和分析案例-数据可视化（四）、大数据综合项目实战平台（教师版）：1.平台配套绿色版客户端APP应用实训系统程序，硬盘配置500G固态硬盘，提供完整的虚拟化底层实训环境，提供课程实训入口，提供课程分类栏目，提供课程查找功能。2.实训系统内集成实验指导书和Python实验环境，可同屏显示。左边可查看实验指导书，右边编写代码。3.支持实训环境界面自适应功能，支持将实训环境的文件导出至本地，支持将本地文件导入至实训环境进行使用，支持从云端课堂导入新课程至本地实训环境。4.实训系统预装Jupyter、Pycharm、Spyder等IDE工具及MySqL数据库。要求实训系统Python的IDE环境预装常用numPy、matplotlib、pandas、scikit-learn、opencv、TensorFlow等180个库。5.提供配套教材两本。6.提供云端课堂，支持观看配套课程的教学视频，下载数据、代码等。7.提供7门基础课程：《Python编程基础》、《大数据数学基础-Python实现》、《Python数据分析与应用》、《大数据数据分析SQL基础》、《大数据软件环境Linux基础》、《大数据开发编程语言Java基础》、《Scala技术基础》。8.提供12门进阶课程：《Python网络爬虫》、《机器学习算法Python实战》、《TensorFlow实战》、《文本挖掘实战》、《Hadoop大数据技术基础》、《Spark大数据技术基础》、《大数据分布式消息Zookeeper》、《大数据数据传输Flume》、《大数据数据传输Sqoop》、《大数据数据流处理Kafka》、《大数据HBase数据库》、《大数据Hive数据仓库》。9.提供10个实战案例：《中文文本word2vec实现》、《基于水色图像的水质识别》、《基于文本内容的垃圾短信识别》、《航空公司客户价值分析》、《市财政收入分析及预测》、《电力窃漏电用户识别》、《城市公交站点设置的优化分析》、《电商产品评论数据情感分析》、《Python爬虫实践:流浪地球-豆瓣影评分析》、《广电大数据营销推荐项目实战》。（五）、大数据人工智能在线学习平台技术要求1.输入模块功能摄像头输入：从摄像头获取图像，输出一张图片麦克风输入：从麦克风获取声音，输出一段音频文本输入框：输入一段内容作为输出，可以手动点击按钮触发，也可以通过任意信号进行输入触发数字输入框：输入一个数字作为输出，可以手动点击按钮触发，也可以通过任意信号进行输入触发自定义上传：上传一个图片/文件/音频作为输入2.输出模块功能控制台输出：接收任意数据，在运行日志窗口进行输出文字输出：接收文字类数据进行输出图片输出：接收图片数据进行输出弹窗输出：接收任意数据，以弹窗方式进行输出语音播报：接收文字类数据进行人声语音播报3.路由模块功能随机路由：数据将随机由一端点进行输出一分二：数据流一转二，拷贝两份一分三：数据流一转三，拷贝三份一分四：数据流一转四，拷贝四份二合一：数据流二合一，合并路径，不合并数据三合一：数据流三合一，合并路径，不合并数据四合一：数据流四合一，合并路径，不合并数据4.基础运算模块功能加法运算：输入两个数字量，进行加法运算减法运算：输入两个数字量，进行减法运算除法运算：输入两个数字量，进行除法运算乘法运算：输入两个数字量，进行乘法运算累加运算：输入一个数字量，进行累加计算，并输出累加结果5.逻辑运算模块功能与运算：与的逻辑运算，输入两个开关量，当都为真时，输出真，否则为假或运算：或的逻辑运算，输入两个开关量，当其中存在真时，输出真，否则为假非运算：与的逻辑运算，输入一个开关量，当输入真时输出假，输入假时输出真逻辑分支判断：根据输入的开关量真假，选择不同的分支推送数据流输出真：接收任意数据，输出逻辑真信号（可用于信号转换）输出假：接收任意数据，输出逻辑假信号（可用于信号转换）6.判断模块功能识别结果判断：输入一个识别结果，根据输入识别结果是否符合进行分支选择，输出原始数据数字大小判断：输入一个数字，根据数据中数字大小与输入值进行比较后选择分支，输出原始数据文字包含判断：输入一段文字内容，根据数据中文字是否包含输入文字进行分支选择，输出原始数据文字相等判断：输入一段文字内容，根据输入文字进行比对进行分支选择，输出原始数据置信度判断：输入一个0~100范围内的数字作为阈值，根据输入识别置信度大小于进行分支选择，输出原始数据7.字符串工具模块功能结果拆分：接收一个识别结果，分别输出文字和置信率数字。开头连接文字：输入一段文字用作开头，连接其他数据合并输出新的一段文字。结尾连接文字：输入一段文字用作结尾，连接其他数据合并输出新的一段文字。首尾插入文字：在一段文字的开头及结尾进行内容插入，合并输出新的一段文字。文字连接：输入两个文字数据，将其进行连接合并后输出8.模拟器件模块功能电灯：输入一个开关量，控制模拟电灯的开关，输入真时开启，输入假关闭风扇：输入一个开关量，控制模拟风扇的开关，输入真时开启，输入假关闭道闸：输入一个开关量，控制模拟道闸的开关，输入真时开启，输入假关闭电子秤：输入一个数字量，模拟电子秤器件进行重量数字输出智能货架：模拟一个盛装指定物品的货架，仅接收完全匹配的文字数据，并进行货物计数，对外输出当前货物数量。9.图像识别模块功能图片通用识别：接收图片，输出图片的主体信息图片主体识别：接收图片，输出图片的主体位置信息商标图片识别：接收图片，输出图片的商标（LOGO）信息、图片中商标所在矩形框坐标动物图片识别：接收图片，输出图片中的动物信息植物图片识别：接收图片，输出图片中的植物信息果蔬图片识别：接收图片，输出图片中的果蔬信息菜品图片识别：接收图片，输出图片中的菜品信息单车辆检测：接收图片，输出图片的单个车辆信息、图片中车辆所在矩形框坐标多车辆检测：接收图片，输出图片的多个车辆信息、图片中车辆所在矩形框坐标10.图像处理模块功能图片裁剪：接收图片、坐标信息，对图片数据进行裁剪，并输出图片图片标注：接收图片、坐标信息，对图片数据进行画框标注，并输出图片图片去雾：对浓雾天气下拍摄，导致细节无法辨认的图像进行去雾处理，还原更清晰真实的图像。输入一张图片，输出一张图片。对比度增强：调整过暗或者过亮图像的对比度，使图像更加鲜明。输入一张图片，输出一张图片。图像无损放大：在尽量保持图像质量的条件下，将图像在长宽方向各放大两倍，输入一张图片，输出一张图片。拉伸图像恢复：自动识别过度拉伸的图像，将图像内容恢复成正常比例。输入一张图片，输出一张图片。清晰度增强：对压缩后的模糊图像实现智能快速去噪，优化图像纹理细节，使画面更加自然清晰。输入一张图片，输出一张图片。人物动漫化：结合人脸检测、头发分割、人像分割等技术，量身定制千人千面的二次元动漫形象。输入一张图片，输出一张图片。人物动漫化-口罩：结合人脸检测、头发分割、人像分割等技术，量身定制千人千面的二次元动漫形象。（人物将佩戴口罩）输入一张图片，输出一张图片。11.内容识别模块功能文字识别：接收图片，输出图片中的文字信息，以及图片中文字信息所在矩形框坐标车牌识别：接收图片，输出图片的车辆的车牌文字信息条形码识别：接收图片，输出图片中的条形码信息二维码识别：接收图片，输出图片中的二维码信息数字识别：接收图片，输出图片中的一个数字信息12.人脸识别模块功能人脸检测：接收图片，检测图片中的人脸信息，输出一个人脸ID和所在坐标。人脸比对：接收图片，输入两张人像照片，对比后根据相似程度高低输出一个0~100的数字。人脸活体检测：接收图片，检测图片中的一个人脸活体信息，输出0~100的活体分数值，数字越大越可能是活体人脸。人脸颜值检测：接收图片，检测图片中的一个人脸颜值信息，输出0~100分的颜值数值，数字越大越漂亮。人脸年龄检测：接收图片，检测图片中的一个人脸年龄信息，输出年龄数值。人脸笑容检测：接收图片，检测图片中的一个人脸笑容信息，输出笑容类型，结果分不笑、微笑、大笑。人脸性别检测：接收图片，检测图片中的一个人脸性别信息，输出男性/女性。人脸类型检测：接收图片，检测图片中的一个人脸类型信息，判断是真实人脸还是卡通人脸，输出类型。人脸合成检测：接收图片，检测图片中的一个人脸信息是否属合成图，输出0~100的分数值，数字越大越可能是合成图而非真实照片。人脸眼镜检测：接收图片，检测图片中的一个人脸眼镜信息，输