《大数据导论》-实训课程-教学大纲

《大数据导论》教学大纲课程名称：大数据导论课程类别：必修适用专业：大数据技术类相关专业总学时：16学时（其中实验16学时）总学分：1.0学分课程的性质发展数字经济已经在全球形成广泛共识，因为当前社会经济生活的生产要素发生了巨大改变，数据已经成为一种新的且十分重要的生产要素。建立在数据基础上的数字经济则成为一种新的经济社会发展形态，并形成新动能，重塑经济发展结构和深刻改变生产生活方式。在数字时代，数据量呈现爆炸式增长，数据的采集和处理方式也发生了巨大改变，如何保证数据的安全性、如何合理地展示数据内容、如何管理和存储数据等成了亟待解决的问题。随着数据量的增长，在数据中发现隐藏的价值信息成为可能，大数据技术成为研究的热点。大数据算法可以对数据进行处理和分析，给出智能决策，帮助行业人员解决传统方法无法解决的问题。本课程系统介绍了大数据技术的发展历史，大数据技术的主要算法及相关技术。课程的任务通过本课程的学习，使学生能够搭建和配置常见的大数据平台，包括数据采集、存储、处理和分析的相关组件，培养动手实践能力和解决问题的能力，为将来从事大数据分析研究、开发和应用工作奠定坚实的基础。课程学时分配序号教学内容实验学时其它1Hadoop伪分布式环境搭建22Flume的安装和配置13MySQL的安装配置1.54Hive的安装配置25Sqoop的安装和配置1.56HBase的安装配置27Spark伪分布式安装和配置28Flink的安装配置1.59ECharts的安装配置1.510FineBI的安装配置1总计16教学内容及学时安排实验教学序号实验项目名称实验要求学时1Hadoop伪分布式环境搭建在清华大学开源软件镜像站下载CentOS7.8镜像文件。下载、安装15.0版本的VMwareWorkstationPro。在VMware创建虚拟机，并添加镜像文件。安装JDK，并配置环境变量。配置SSH密钥。从官网下载Hadoop安装包并上传至Linux系统的/usr/local目录。解压该安装包，进入/usr/local/hadoop-3.1.4目录。配置Hadoop伪分布式环境，修改4个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。配置Hadoop环境变量，修改hadoop-env.sh文件。格式化并启动Hadoop。测试是否安装成功，可使用浏览器进入HDFS的Web监控端口（主机ip:9870）。22Flume的安装和配置从NetSarangComputer公司官网免费下载Xftp工具，并进行安装。从Flume官网下载1.9.0版本的Flume的压缩包，下载完成后使用Xftp工具将其上传至Linux系统。将压缩包上传到目录/usr/local，解压到目录/opt/ronnie，使用mv命令重命名文件为“flume”。进入Flume配置文件目录，复制并修改环境配置文件。配置环境变量。通过“flume-ngversion”命令查看Flume版本。配置Flume运行文件perties。通过flume-ngagent运行Flume。13MySQL的安装配置切换到目录/usr/local/。创建mysql文件夹。切换到mysql文件夹下。下载MySQL8.0安装包。解压MySQL8.0安装包。重命名解压出来的文件夹为mysql-8.0。在/usr/local/mysql/mysql-8.0文件夹下创建data文件夹以存储文件。分别创建用户组以及用户和密码。授权刚刚新建的用户。配置环境，编辑/etc/profile文件，执行“source/etc/profile”命令，使配置文件生效。编辑f文件。切换到/usr/local/mysql/mysql-8.0/bin目录下。初始化基础信息，得到数据库的初始密码。复制mysql.server文件。赋予权限。检查一下/var/lib/mysql是否存在，若不存在则进行创建。启动数据库，出现SUCCESS说明MySQL安装完成。修改密码，并设置远程连接。1.54Hive的安装配置解压安装包到/usr/local/目录下，进入/usr/local/hive/conf目录。复制hive-env.sh.template为hive-env.sh文件，配置hive-env.sh文件。解压mysql-connector-java-8.0.30.tar.gz，将MySQL驱动mysql-connector-java-8.0.30.jar上传到/usr/local/apache-hive-3.1.2-bin/lib目录，并同步jar包。配置环境变量，并使其生效。在MySQL中创建Hive数据库，并修改Hive数据库编码为latin1。确保Hadoop已启动服务，在Linux命令行初始化元数据库。启动Hive服务，开启Hive。在Hive界面输入“showdatabases;”，验证Hive安装成功与否。25Sqoop的安装和配置从NetSarangComputer公司官网免费下载Xftp工具，并进行安装。从Sqoop官网下载1.4.7版本的Sqoop，下载完成后使用Xftp工具将其上传至Linux系统。解压Sqoop到目录/usr/local，并修改文件名。配置环境变量并使环境变量生效。复制sqoop-env.sh文件并修改内部配置。创建Hive配置文件的软连接，并复制MySQL驱动包到Sqoop的lib文件夹下。测试Sqoop是否安装成功。执行MySQL到Hive的数据同步测试。1.56HBase的安装配置提前安装ZooKeeper、Hadoop，并确保都已启动。通过Xftp将HBase文件上传到Linux系统中。解压HBase到目录/usr/local，并重命名。配置环境变量并使之生效。修改配置文件hbase-env.sh。修改配置文件hbase_site.xml。修改配置文件regionservers。启动HBase。查看进程。27Spark伪分布式安装和配置下载解压Spark安装包到/usr/local目录。配置Spark环境变量，修改profile文件，并使其生效。进入Spark配置目录$SPARK_HOME/conf/，配置Spark参数，修改spark-env.sh、slaves文件。启动Hadoop进程。启动Spark进程。测试是否安装成功，可使用浏览器进入Spark的任务提交端口（主机ip:7077）。28Flink的安装配置下载Flink安装包，上传至Linux系统，解压到/usr/local目录。配置Flink环境变量，修改profile文件。修改配置文件$FLINK_HOME/conf/flink-conf.yaml。进入Flink安装目录下的bin目录，执行命令“start-cluster.sh”启动Flink。测试是否安装成功，可使用浏览器进入Flink的Web可视化端口（主机ip:8081）。1.59ECharts的安装配置从代码托管平台官网的Apache社区进入ECharts项目中的release页面。找到ApacheECharts4.7.0，单击下载页面下方Assets中的Sourcecode。解压后，dist目录下的echarts.js即为包含完整ECharts功能的文件。在echarts.js的同级目录下新建一个demo.txt文件。将ECharts官网提供的示例代码复制到demo.txt中。将demo.txt文件后缀名修改为.html。使用默认浏览器打开示例代码，验证结果。1.510FineBI的安装配置打开FineBI官网，在页面上方选择“产品”→“产品下载”，进入FineBI安装包下载页。安装包下载页面提供了3种版本的安装包，选择下载Windows64位系统对应版本的安装包到本地。文件下载好后，双击FineBI安装文件，加载安装向导。单击“下一步”，弹出许可协议对话框，选择“我接受协议”。单击“下一步”，弹出选择安装目录对话框，单击“浏览”，选择FineBI安装目录。单击“下一步”，弹出设置最大内存对话框，设置JVM内存为2048MB。需要注意的是，最大JVM内存不能超过本机最大内存。单击“下一步”，弹出选择开始菜单文件夹对话框，根据需求勾选。单击“下一步”，弹出选择附加工作对话框，根据需求勾选。单击“下一步”，弹出完成FineBI安装程序对话框。单击%FineBI%/bin/finebi.exe文件，验证FineBI是否安装成功。1学时合计16考核方式突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成=课堂参与（30%）+实训指导书（70%）。教