高校大数据试验室建设解决方案

1、高校大数据实验室建设方案一、 建设目标章鱼大数据实验室的建设目的是作为大数据教课实验及科研平台，包含数据发掘与大数据剖析平台。 实验室的设计全面落实 “产、学、研、用” 一体化的思想和模式，从教课、实践、科研和使用多方面着重专业人材和特点人材的培育。利用虚构化教课资源，搭建教课系统和集群平台，将理论学习、实践教课和大数据项 目实战融为一体，由难而易、顺序渐进，逐渐提高学生的学习技术和实践水平，提高“学”的质量和收效。利用大数据剖析主流软件框架，搭建与业界主要用户一致 的实验与科研环境，将理论课程中学到的数据发掘算法运用到实质的数据剖析过程中，提 高学生的着手操作和项目实践能力。使得学生所学与公

2、司项目人材需求无缝连接，与教师 的科研工作密切配合。经过专业的大数据剖析计算资源搭建的开放式大数据剖析平台，能够充足的交融教 师的科研需求，教师能够在开放的平台环境下展开大数据科研工作，提高教师的科研创新 能力，充足提高“研”的收效。二、产品优势交互式学习模式供给系统完好、简单易用的在线教课讲堂；以基础知识学习、在线视频教课、习 题、线上测试、评估等为主线的一系列方法，保证学生在短时间内掌握大数据虚构仿 真切验、剖析部署技术。真机实验训练实验训练系统设计成各模块相对独立的形式，各模块交互式的实验任务、大数据实验机、实质项目上机操作， 经过多方向的训练， 最后灵巧的、渐进式地掌握大数据生态系统。

3、大数据实战及事例剖析供给实验数据，包含网站流量数据、租房及二手房数据、电商商品交易数据、搜寻引 擎接见等多种行业数据，数据内容超出 20TB ,同时周期更新数据内容。充足支撑科研工作供给行业数据及事例解剖用于基础研究，供给数据剖析方案及流程，供给数据更新接 口，能够对行业数据进行剖析统计，按需求生成数据报表，为科研工作供给数据支撑。例如某地域经济数据剖析、股市数据剖析、全国地震数据剖析、食品价钱行业数据剖析等三、建设规模依据60台大数据实验机容量进行同时在线使用进行建设为基础，整系统统供给迅速扩容升级服务。四、硬件配置采纳十六台高性能品牌服务器作为大数据节点进行建设，采纳公司级全千兆三层互换

4、机进行网络数据互换。每台节点的配置以下：办理器每节点支持 2个英特尔？至强？办理器 E5-2650 CPU高速缓存15MBQPI总线速率内存供给12个内存插槽，林配 192G内存，支持茴级内存纠错，内存镜像，内存热备等局级功能磁盘标配4块3TB SATA硬盘标配2块120G SSD硬盘300G 10000转SAS系统盘网络控制器集成1个高性育汗兆以太网控制器（双口），支持虚构化加快，网络加速，负载平衡，冗余等高级功能电源标配大功率高效白金级电源，1+1冗余虚构化技术支持 VMware vSphere、Docker、OpenStack 等五、软件平台介绍1、大数据教课管理系统专业管理供给对专业信

5、息的增添、删除、改正、查问功能。班级管理供给对专业部下班级的增添、删除、改正、查问功能。学生管理供给对班级内学生的管理，学生内容包含姓名、学号、所属班级、所属专业、联系手机、登录次数等内容。沟通日记查阅对实验机分享沟通的内容进行查问，包含沟通IP、有关学员、有关老师、实验机编号、沟通内容等内容。成绩管理关于学习中心在线学习的学习查核成绩进行管理，包含查问及删除等功能。学习记录供给每个学生在学习中心平台内学习课程的学习记录，包含日期、计划、课程、章节、学习IP等。学习行为报表对全部学生的课程学习记录进行统计，包含个体统计、班级统计、全体统计等。课程管理对学习课程进行查问、改正、删除等操作。开通课

6、程计划关于学习开课计划的字段内容包含计划名称、讲课讲课老师、讲课时间段、开通状 态、同意申请周期，同意申请人数等，功能供给绑定课程计划有关实训平台课程、讲课助 教、云实验机绑定、实验任务绑定等功能。课程测试习题管理供给对课程有关的习题管理，题型包含单项选择、多项选择、判断题等种类，对习题进行增、 册、改、查操作。分级权限功能系统分为总管理员、助教等二级管理角色，总管理员进行管理全部的功能点，助教可以进行班级管理、学生管理、开课计划制作、实验机远程辅助等。学生实训系统供给学生依据姓名、学号、密码登录系统进行实训操作，学生只要安装阅读即可进行实验任务操作；供给实训课程在线学习功能、实验机在线操作、

7、实验报告提交、实验机界 面截图、记录课程学习时长等。实验机桌面分享供给实验机桌面分享功能，如学生在学习、操作云实验机的过程中，有问题能够向老师倡始辅助恳求，助教在收到恳求时，能够远程接见学生的实验机，并指导怎样操作。2、云实验机及实验任务云实验机供给鉴于 Web阅读器的实验机可视化操作，操作终端无需安装其余开发软件即可进行 实验操作；云实验机能够依据学生编号、实验任务和环境要求自动创立，无需管理人员参 与实验机创立操作过程。管理平台对云实验机能够进行停止、销毁操作。云实验机集群管理功能供给云实验机集群管理，对实验机所属服务器进行新增、删除等操作。云实验机种类包含Hadoop实验机、Hive实验

8、机、HBase实验机、R语言实验机、Scala实验机、Spark 实验机、Kafka实验机、Sqoop实验机、Flume实验机、数据可视化实验机等。实验机运转监控系统系统供给对实验集群运转的全部实验机进行监控，能够查问编号、所属服务器、创立 时间、运转状态、开放端口等内容。实验任务管理供给对实验任务内容的管理，包含任务课程、绑定实验机、设定任务成绩总分，排序 值等，供给多种实验任务内容，比如Hadoop实验任务、Hive实验任务、HBase实验任务、Flume与kafka实验任务等。实验报告批阅功能在实验任务过程中学生上交的任务报告进行批阅评分，供给依据学生、实验任务等字 段进行检索功能。云实

9、验机桌面分享系统供给实验机桌面鉴于阅读器的分享功能，同意学生与学生、学生与老师同步操作实验 机桌面系统，供给鉴于阅读器的沟通功能。3、大数据实战平台系统大数据集群管理系统鉴于散布式集群管理系统， 供给大数据集群管理系统， 功能包含Hadoop、Hive、HBase、 Sqoop、Flume、Spark等节点部下及管理，供给及时监控集群的CPU、内存、硬盘等使用率及有关信息，能够对管理节点、计算节点进行启动、停止等操作管理。大数据作业工作流系统供给大数据有关作业的上传、部下、流程管理等功能，鉴于Web的任务调动、兼容Hadoop、Spark主流版本、失败任务的、运转状态监控等。六、大数据课程及行

10、业事例实验平台供给100个课时的Hadoop、Spark等大数据主流课程，课程与大数据实验机完满联合，学员在教课管理系统学习课程，随时进行实训操作， 包含项目设计、数据收集冲洗、建模、技术实现等，迅速提高实操技术，最后掌握大数据开发、数据剖析与数据挖 掘等大数据能力。部分事例图片：【电商大数据剖析事例】【电商大数据剖析架构】【房产大数据剖析架构】【房产大数据剖析可视化】【搜寻大数据剖析架构】【网站日记大数据剖析架构】课程实验内容包含：课程名称课时课程内容介绍Hadoop基础10解说Hadoop生态系统，包含操作与开发；详尽 解说HDFS和Map-Reduce的功能及作用；认识 MapReduc

11、e原理、运转流程、压缩数据办理、作 业调动、计算器等环节。HDFS程序开发6解说Hadoop文件系统HDFS JAVA API的使用。掌握怎样使用 HDFSJava API ,读写文件、读写 目录、以及对文件进行压缩办理等。MapReduce 开发6构造本课程针对 Hadoop MapReduce开发进行解说。课程以事例为基础，要点介绍MapReduce程序,以及怎样使用MapReduce进行数据统计，去重，排序， Map端Join , Reduce端Join等关Hive数据库房散布式数据库HBase数据迁徙工具Hive数据库房散布式数据库HBase数据迁徙工具Sqoop散布式日记框架Flum

12、eKafka流式数据采集联操作）掌握 MapReduce办理过程。24 Hive是鉴于Hadoop建立的数据库房剖析系统，经过学习掌握Hive的函数、Hive数据的加载、Hive的DDL操作、自定义函数（UDF）等内容, 达到使用Hive进行查问、汇总、剖析数据的能 力。6 HBase是Hadoop生态系统中的重要一员，主要 用于海量构造化数据储存；经过学习对HBase表设计、表操作、数据操作、Java API等内容，掌握对HBase系统的开发及使用。4 Sqoop是关系型数据库和 Hadoop生态系统之间 进行数据变换的主要工具；经过学习将mysql中的数据导入到 hdfs中、将数据导入到

13、HBase中、定义导入导出任务等，掌握对数据迁徙的能力。4 Flume对海量日记进行收集、聚合和传输的主流大数据工具；课程内容包含Flume应用处景、FlumeNG、FlumeOG、Flume 的中心组件、Flume的架构、Flume的source、sink配置说明等。Kafka是散布式的信息行列，宽泛应用于及时数据办理。学习内容包含Kafka的系统构造、安装模式及安装部署、Topic、Producer、Consumer 公布定阅信息以及 Kafka JAVA开发等。Spark6Spark是一款高性能的散布式计算框架，比MapReduce计算快百倍；本课程内容全面涵盖了Spark生态系统、Sp

14、ark与Hadoop对照、开发环境搭建、RDD、编程模型、Web监控等内容。Spark Streaming4Spark Streaming是用户联合流式、批办理和交互式查问应用的及时计算框架；本课程内容详细解说原理与特点、合用处景、Dstream操作、容错、性能优化和内存优化等。Spark SQL4Spark SQL的出现，使得SQL-on-Hadoop的性能有关于Hive有了明显的提高。达到 Spark兼容Hive的功能。本课程详尽解说特点、运转架构、数据源、数据缓存、DataFrame等。实战事例搜寻引擎日记数据统计剖析6解说Hadoop系统架构设计以及项目剖析流程； 经过对用户搜寻记录数

15、据的冲洗，剖析指标内 容，得出要点词排行榜、用户逗留时间最高页 面等。实战事例电子商务平台大数据剖析6解说Spark系统架构设计以及项目剖析流程； 本课程主要解说搭建电商的数据办理平台、数 据统计、剖析及可视化技术的应用开发流程。七、行业数据及事例供给大数据实战事例以及行业数据，供给包含海量网站日记剖析事例、租房及二手房大数据剖析事例、电商商品交易大数据发掘、搜寻引擎要点词剖析算法事例、汽车销售数 据剖析事例等事例解说及实战作业工作流内容。数据名称数据描绘更新地域房产数据包含一手房在售数据、出租房子数据、经纪人议论数据等。每周全国汽车数据包含国内不样种类汽车详尽配置仿息、汽车使用评 论数据、汽

16、车销售数据以及二手车数据等。可用于 汽车行业市场行情剖析。每月法律咨询数据包含国内全部法律咨询服务机构数据、机构议论数 据、有关法律咨询话题的数据。可用于法律咨询行 业市场行情剖析，社会治安状况剖析。每周疾病问答数据包含国内不一样种类疾病问题数据、医生答复数据、有关疾病知识等话题的数据。每月股票基金交易数据包含国内、港股、美股等国内外股票行情及交易数 据、依据时间段供给详尽数据；也包含证券投资基 金、保险基金、信托投资基金等行情数据。每日天气、气象数据包含全国各个地域气象数据（气温、降水量、风、 气压等）、气象观察产品数据。可用于气象业务、 天气预告、天气展望以及气象服务。每日人脸图像数据包含国内多种年纪段的人脸图像数据。用于脸部特征剖析、人脸辨别、人脸检测等，每一个人供给多个角度的图片。每月电商议论数据包含上百万条国内著名电商平台产点议论数据。可 用于用户购置产品意向剖析、个性化介绍和精确营 销，进行商业舆情