大数据综合实训实验手册-项目实施

高职大数据综合实训实验手册–项目实施高职大数据综合实训实验手册项目实施

目录TOC\o"1-5"\u1 设定项目经理及项目组成员角色 132 实验一：运行环境安装与配置 132.1 实验目的 132.2 实验要求 132.3 实验环境 132.4 试验过程 142.4.1 实验任务一：安装和配置CentOS操作系统 步骤一：安装CentOS操作系统 步骤二：配置主机名 步骤三：配置系统IP及网关 步骤四：配置存储空间 步骤五：配置防火墙 步骤六：创建账号及密码，修改账号权限 192.4.2 实验任务二：安装和配置JDK 步骤一：上传JDK安装包 步骤二：解压安装JDK 步骤三：配置环境变量 步骤四：激活环境变量 步骤五：验证安装结果 203 实验二：基础中间件的安装和配置 203.1 实验目的 203.2 实验要求 213.3 实验环境 213.4 试验过程 213.4.1 实验任务一：安装和配置MySQL 步骤一：删除系统自带的MariaDB： 步骤二：安装依赖的组件 步骤三：上传MySQL安装包 步骤四：解压MySQL安装包 步骤五：安装MySQL组件 步骤六：起停数据库 步骤七：初始化root帐号密码 步骤八：设置允许远程连接 233.4.2 实验任务二：简单操作MySQL 步骤一：连接数据库 步骤二：查看当前登录用户 步骤三：查看数据库清单 步骤四：创建数据库 步骤五：使用数据库、查看当前数据库 步骤六：创建一张表 2 步骤七：查看数据库的表清单 2 步骤八：查看表结构 2 步骤九：插入一条数据 20 步骤十：查询表数据 273.4.3 实验任务二：使用MySQL常用工具集 273.4.4 实验任务四：备份与恢复MySQL数据库 2 步骤一：备份数据库 2 步骤二：重建数据库 2 步骤三：从备份文件恢复数据库 303.4.5 实验任务五：安装和配置Redis 3 步骤一：安装gcc 3 步骤二：上传redis安装包 3 步骤三：解压安装包并移动到redis目录 3 步骤四：编译安装redis 3 步骤五：修改redis配置 3 步骤六：启动redis 333.4.6 实验任务六：使用Redis 3 步骤一：使用redis-cli连接redis 3 步骤二：简单使用redis数据结构 343.4.7 实验任务七：维护Redis 3 步骤一：简单配置Redis 3 步骤二：使用命令维护redis 353.4.8 实验任务八：安装和配置zookeeper(伪集群模式) 40 步骤一：上传zookeeper安装包 40 步骤二：解压安装三个节点 40 步骤三：修改zookeeper1节点的配置文件 40 步骤四：配置zookeeper1节点的serverid 4 步骤三：修改zookeeper2节点的配置文件 4 步骤四：配置zookeeper2节点的serverid 4 步骤三：修改zookeeper3节点的配置文件 4 步骤四：配置zookeeper3节点的serverid 4 步骤五：启动zookeeper 40 步骤五：验证安装结果 433.4.9 实验任务九：安装和配置kafka 4 步骤一：上传kafka安装包 4 步骤二：解压安装kafka 4 步骤三：修改节点1的配置 4 步骤四：新增并修改节点2的配置 4 步骤五：新增并修改节点3的配置 4 步骤六：启动kafka 4 步骤七：验证安装结果 4 步骤八：验证发送消息 4 步骤八：验证接收消息 464 实验三：大数据集群环境安装、配置与基本管理 474.1 实验目的 474.2 实验要求 474.3 实验环境 474.4 试验过程 474.4.1 实验任务一：部署前准备 4 步骤一：禁用防火墙 4 步骤二：禁用SELinux 4 步骤三：安装辅助工具 4 步骤四：安装节点及目录规划 4 步骤五：安装包及同步环境准备 504.4.2 实验任务二：安装和配置Hadoop 5 步骤一：解压安装Hadoop 5 步骤二：配置环境变量 5 步骤三：激活环境变量 5 步骤四：准备数据目录 5 步骤五：修改master1的配置文件 5 步骤六：将配置同步到其他节点 5 步骤七：格式化NameNode 5 步骤八：起停Hadoop 5 步骤九：验证安装结果 554.4.3 实验任务三：安装和配置Hive 5 步骤一：解压安装Hive 5 步骤二：配置环境变量 5 步骤三：激活环境变量 5 步骤四：修改master1的配置文件 5 步骤五：将配置同步到其他节点 5 步骤六：初始化Hive仓库 5 步骤七：启动并连接Hive 594.4.4 实验任务四：安装和配置Scala 60 步骤一：上传Scala安装包 60 步骤二：解压安装Scala 60 步骤三：配置环境变量 6 步骤四：激活环境变量 6 步骤五：验证安装结果 6 步骤六：在其他节点上安装Scala 614.4.5 实验任务五：安装和配置Spark 6 步骤一：上传Spark安装包 6 步骤二：解压安装Spark 6 步骤三：配置环境变量 6 步骤四：激活环境变量 6 步骤四：复制spark-env.sh.template模板文件 6 步骤五：编辑spark-env.sh文件 6 步骤六：复制spark-defaults.conf.template模板文件 6 步骤七：编辑spark-defaults.conf文件 6 步骤八：复制slaves.template文件 60 步骤九：编辑slaves文件 61 步骤十：配置slave1节点 62 步骤十一：配置slave2节点 63 步骤十二：启动Spark 64 步骤十三：验证安装结果 655 实验四：基于网页爬虫的数据采集、处理和数据存储 665.1 实验目的 665.2 实验要求 665.3 实验环境 665.4 试验过程 675.4.1 实验任务一：安装Scrapy运行环境 6 步骤一：安装EPEL源 6 步骤二：安装pip包管理工具 6 步骤三：安装Scrapy爬虫框架 6 步骤四：安装辅助工具 675.4.2 实验任务二：网站结构分析及爬虫算法设计 6 步骤一：选取目标网站 6 步骤二：分析网站结构 6 步骤三：设计资源抓取算法 705.4.3 实验任务三：搭建爬虫项目 7 步骤一：创建项目 7 步骤二：新建爬虫程序 7 步骤二：定义结构化数据 7 步骤三：修改spiders/books.py 7 步骤四：配置爬虫 7 步骤五：运行爬虫 755.4.4 实验任务四：将爬取的数据存储到MySQL 7 步骤一：编写Pipeline处理类 7 步骤二：修改爬虫配置 7 步骤三：重新运行爬虫 765.4.5 实验任务五：将爬取的数据存储到文件 7 步骤一：修改爬虫配置 7 步骤二：重新运行爬虫 775.4.6 实验任务六：安装flume-ng 7 步骤一：上传flume安装包 7 步骤二：解压安装flume 7 步骤三：配置环境变量 7 步骤四：激活环境变量 7 步骤五：验证安装结果 795.4.7 实验任务六：通过flume-ng将文件数据导入到kafka 7 步骤一：创建数据源目录 7 步骤二：准备数据文件 7 步骤三：配置从文件到kafka的任务 7 步骤四：执行任务 80 步骤五：验证执行结果 805.4.8 实验任务七：通过flume-ng将kafka数据导出到文件 80 步骤一：创建接收文件目录 80 步骤二：配置从kafka到文件的任务 80 步骤四：执行任务 8 步骤五：验证执行结果 816 实验五：ETL工具的使用 816.1 实验目的 816.2 实验要求 826.3 实验环境 826.4 实验过程 826.4.1 试验任务一：安装Kettle 8 步骤一：下载Kettle 8 步骤二：解压安装Kettle 836.4.2 实验任务二：新建从MySQL到文件的转换 8 步骤一：启动KettleSpoon 8 步骤二：新建转换 8 步骤三：新建输入步骤 8 步骤四：新建输出步骤 8 步骤五：测试转换 906.4.3 实验任务三：新建和配置作业 9 步骤一：新建作业 9 步骤二：测试作业 9 步骤三：通过Kitchen命令后台运行作业 946.4.4 实验任务四：安装和配置Sqoop 9 步骤一：检查Hadoop2.X是否已经安装 9 步骤二：上传Sqoop安装包 9 步骤三：解压安装Sqoop 9 步骤四：验证安装结果 9 步骤五：修改Sqoop配置 9 步骤六：验证修改配置的结果 9 步骤七：上传MySQL数据库驱动包 9 步骤八：将MySQL驱动包添加到Sqoop的lib目录 976.4.5 实验任务五：将MySQL数据导入到HDFS 9 步骤一：检查HDFS中目录是否存在 9 步骤二：将MySQL数据导入到HDFS 9 步骤三：查看导入结果 986.4.6 实验任务六：将HDFS数据导出到MySQL 9 步骤一：检查数据库中表中是否存在数据 9 步骤二：将HDFS数据导出到MySQL 9 步骤三：查看导出结果 1007 实验六：数据清洗 1007.1 实验目的 1007.2 实验要求 1007.3 实验环境 1007.4 实验过程 1017.4.1 实验任务一：Spark实现数据清洗 10 步骤一：搭建项目框架 10 步骤二：添加Maven依赖 10 步骤三：Spark读取kafka数据 10 步骤四：Spark处理字段非法值 10 步骤五：Spark移除重复数据 10 步骤六：Spark将数据写入HDFS 10 步骤七：完整代码实现 1037.4.2 实验任务三：发布Spark数据清洗服务 10 步骤一：本地打包 10 步骤二：上传至服务器 10 步骤三：运行服务 1067.4.3 实验任务二：MapReduce实现离线分析 10 步骤一：配置本地环境 10 步骤二：搭建项目框架 10 步骤三：添加Maven依赖 10 步骤四：实现mapreduce分组储存 10 步骤五：实现mapreduce统计 10 步骤六：分组完整代码实现 10 步骤六：统计完整代码实现 1137.4.4 实验任务四：发布MapReduce离线分析服务 1 步骤一：本地打包 1 步骤二：上传至服务器 1 步骤三：运行服务 1168 实验七：数据仓库的建立 1168.1 实验目的 1168.2 实验要求 1178.3 实验环境 1178.4 实验过程 1178.4.1 实验任务一：检查Hive运行环境 1 步骤一：检查Hadoop环境 1 步骤二：检查Hive环境 1 步骤三：检查数据是否准备好 1188.4.2 试验任务二：设计数据结构 1 步骤一：查看HDFS源数据结构 1 步骤二：根据返回结果确定数据结构 1188.4.3 实验任务三：创建库和表 1 步骤一：进入Hive环境 1 步骤二：创建数据库 1 步骤三：创建表 1198.4.4 实验任务二：数据入库 1 步骤一：登录数据库 1 步骤二：装载数据入库 1 步骤三：验证数据入库结果 1209 实验八：数据挖掘 1209.1 实验目的 1219.2 实验要求 1219.3 实验环境 1219.4 实验过程 1219.4.1 实验任务一：检查Hive及表数据 1 步骤一：登录数据库 1 步骤二：检查表数据 1 步骤三：退出Hive运行环境 1229.4.2 实验任务二：建立汇聚视图 1 步骤一：按月统计教材发布数量 1 步骤二：验证统计结果 1229.4.3 实验任务三：建立分析视图 1 步骤一：分析最受欢迎的10本教材 1 步骤二：验证分析结果 1229.4.4 实验任务四：将分析结果导出到MySQL 1 步骤一：在MySQL中创建表 1 步骤二：导出数据到MySQL 1 步骤三：验证导出结果 12410 实验九：数据可视化 12410.1 实验目的 12410.2 实验要求 12410.3 实验环境 12410.4 实验过程 12510.4.1 实验任务一：准备基础开发环境、组件和数据 125 步骤一：下载Echarts 125 步骤二：下载jQuery 125 步骤三：下载Tomcat 126 步骤四：检查可视化数据源的数据情况 12710.4.2 实验任务二：开发WEB可视化项目 127 步骤一：创建WEB项目 127 步骤二：修改Maven配置，添加项目依赖 128 步骤三：调整项目目录结构 129 步骤四：新建项目启动类 130 步骤五：新建JavaBean类 13 步骤六：新建数据库访问类 13 步骤七：新建控制器类 13 步骤八：新建资源文件 133 步骤九：实现WEB界面 1340 附件：完整的项目代码 13510.4.3 实验任务三：本地运行项目 135 步骤一：安装Tomcat 135 步骤二：添加Tomcat运行配置 136 步骤三：启动Tomcat项目并发布应用 13811 实验十：大数据运维 13911.1.1 实验任务一：备份NameNode的元数据 140 步骤一：设置冗余地址 14011.1.2 实验任务二：DataNode块扫描器 140 步骤一：查看完整性 14011.1.3 实验任务三：负载器均衡调整 140 步骤一：调整-threshold 140 步骤二：调整dfs.balance.bandwidthPerSec 14111.1.4 实验任务四：例行停止机器 14 步骤一：停止命令 14111.1.5 实验任务五：集群添加服务器及服务节点 14 步骤一：新服务器启动DataNode 14 步骤二：新服务器启动jobtracker 14311.1.6 实验任务六：集群节点性能测试 143 步骤一：磁盘IO 14311.1.7 实验任务七：平台日志查看及审计 14411.1.8 实验任务八：设置日志级别 14411.1.9 实验任务九：清理临时日志 14411.1.10 实验任务十：定期执行数据均衡脚本 14411.1.11 实验任务十一：Namenode的高可靠性 14411.1.12 实验任务十二：HDFSHA 14411.1.13 实验任务十三：大数据管理平台HA 14411.1.14 实验任务十五：Ganglia监控软件 144 步骤一：中心节点的安装 144 步骤二：被监测节点的安装 144 步骤三：Ganglia配置 144 步骤四：Ganglia启动 146 步骤五：界面访问 14611.1.15 实验任务十六：操作系统调优 146 步骤一：避免使用swap分区 146 步骤二：调整内存分配策略 146 步骤三：修改net.core.somaxconn参数 147 步骤四：增大同时打开文件描述符的上限 147 步骤五：关闭THP 14711.1.16 实验任务十七：JVM调优 147 步骤一：mapred-site.xml调优 147 步骤二：Hive调优 14711.1.17 实验任务十八：HDFS调优 148 步骤一：设置dfs.replication 148 步骤二：设置dfs.block.size 148 步骤三：设置mapred.local.dir和dfs.data.dir 14811.1.18 实验任务十九：MapReduce调优 148 步骤一：修改Reduce个数 148 步骤二：I/O相关 148 步骤三：reuduceshuffle阶段并行传输数据的数量 149 步骤四：一个tasktracker并发执行的reduce数 149 步骤五：可并发处理来自tasktracker的RPC请求数 14911.1.19 实验任务二十：Yarn调优 149 步骤一：内存调优 14911.1.20 实验任务二十一：Hive性能调优 149 步骤一：并行执行 149 步骤二：设置执行引擎 150 步骤三：设置mapreduce个数 15011.1.21 实验任务二十二：HBASE调优 150 步骤一：垃圾回收器调优 150 步骤二：MemStore-LocalAllocationBuffer 150

设定项目经理及项目组成员角色项目经理系统架构师大数据工程师可视化工程师测试工程师运维工程师实验一：运行环境安装与配置实验目的完成本实验，您应该能够：掌握CentOS系统的安装和配置掌握JDK的安装和配置实验要求熟悉CentOS系统的安装和基本配置熟悉常用Linux操作系统命令熟悉JDK的安装和环境变量配置实验环境本实验所需资源环境如表1-1所示。表1-1资源环境服务器最低配置：双核CPU、8GB内存、100G硬盘操作系统CentOS-7-x86_64-Everything-1810服务和组件JDK试验过程实验任务一：安装和配置CentOS操作系统步骤一：安装CentOS操作系统本实验采用CentOS7部署各服务器环境。选择“InstallCentOS7”：选择语言：设置时间：设置root帐号密码、用户帐号密码及权限：等待安装完成：完成后重启，输入帐号密码进入系统：步骤二：配置主机名步骤三：配置系统IP及网关步骤四：配置存储空间步骤五：配置防火墙停止防火墙：[root@localhost~]#systemctlstopfirewalld[root@localhost~]#禁用防火墙：[root@localhost~]#systemctldisablefirewalldRemovedsymlink/etc/systemd/system/multi-user.target.wants/firewalld.service.Removedsymlink/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.[root@localhost~]#步骤六：创建账号及密码，修改账号权限实验任务二：安装和配置JDK步骤一：上传JDK安装包通过文件上传工具将安装文件jdk-8u201-linux-x64.tar.gz上传到/opt/hadoop目录步骤二：解压安装JDK执行以下命令创建安装目录：mkdir/usr/java执行以下命令解压JDK安装包tar-zxf/opt/hadoop/jdk-8u201-linux-x64.tar.gz-C/usr/java执行以下命令创建链接cd/usr/java&&ln-s/usr/java/jdk1.8.0_201/usr/java/latest步骤三：配置环境变量新增或编辑/etc/profile.d/java.sh文件，添加以下内容：exportJAVA_HOME=/usr/java/latestexportPATH=$JAVA_HOME/bin:$PATH步骤四：激活环境变量执行以下命令激活环境变量：source/etc/profile.d/java.sh步骤五：验证安装结果执行以下命令检查java版本信息，验证是否安装成功：java-version实验二：基础中间件的安装和配置实验目的完成本实验，您应该能够：掌握MySQL的安装和基本配置掌握Redis的安装和基本配置掌握kafka的安装和基本配置实验要求熟悉常用Linux操作系统命令熟悉MySQL的安装和基本操作熟悉Redis的安装和基本操作熟悉kafka的安装和基本操作实验环境本实验所需资源环境如下表所示：服务器最低配置：双核CPU、8GB内存、100G硬盘操作系统CentOS-7-x86_64-Everything-1810组件MySQL、redis、jdk、zookeeper、kafka、gcc及其依赖包试验过程实验任务一：安装和配置MySQL步骤一：删除系统自带的MariaDB：执行以下命令删除系统自带MariaDB：yumremovemariadb查询已安装的MariaDB组件：rpm-qa|grepmariadb根据查询结果依次执行以下命令删除查询到的组件：rpm-e--nodeps（查询到的组件名）步骤二：安装依赖的组件在线安装net-tools：yuminstall-ynet-tools或者离线安装net-tools，将net-tools-2.0-0.24.20131004git.el7.x86_64.rpm上传到/opt目录，然后执行以下命令：rpm-Uvhnet-tools-2.0-0.24.20131004git.el7.x86_64.rpm--nodeps--force步骤三：上传MySQL安装包通过文件上传工具将安装文件mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar上传到/opt目录步骤四：解压MySQL安装包执行以下命令解压MySQL安装包cd/opttar-xvfmysql-5.7.26-1.el7.x86_64.rpm-bundle.tar步骤五：安装MySQL组件执行以下命令安装MySQL相关组件：rpm-ivhmysql-community-common-5.7.26-1.el7.x86_64.rpmrpm-ivhmysql-community-libs-5.7.26-1.el7.x86_64.rpmrpm-ivhmysql-community-client-5.7.26-1.el7.x86_64.rpmrpm-ivhmysql-community-server-5.7.26-1.el7.x86_64.rpm步骤六：起停数据库查看MySQL是否启动：servicemysqldstatus启动MySQL：servicemysqldstart停止MySQL：servicemysqldstop重启MySQL：servicemysqldrestart步骤七：初始化root帐号密码查看临时密码：greppassword/var/log/mysqld.log登录数据库：mysql-p，然后根据提示符输入临时密码执行命令修改密码：mysql>setpassword=password("Gzdsj_1234");mysql_upgrade-uroot-pgzdsj1234步骤八：设置允许远程连接登录MySQL，执行以下命令：mysql>GRANTALLPRIVILEGESON*.*TO'root'@'%'IDENTIFIEDBY'Gzdsj_1234'WITHGRANTOPTION;mysql>flushprivileges;实验任务二：简单操作MySQL步骤一：连接数据库[root@master2usr]#mysql-hlocalhost-P3306-uroot-pGzdsj_1234mysql:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.WelcometotheMySQLmonitor.Commandsendwith;or\g.YourMySQLconnectionidis964Serverversion:5.7.25MySQLCommunityServer(GPL)Copyright(c)2000,2019,Oracleand/oritsaffiliates.Allrightsreserved.OracleisaregisteredtrademarkofOracleCorporationand/oritsaffiliates.Othernamesmaybetrademarksoftheirrespectiveowners.Type'help;'or'\h'forhelp.Type'\c'toclearthecurrentinputstatement.mysql>步骤二：查看当前登录用户mysql>selectcurrent_user();++|current_user()|++|root@localhost|++1rowinset(0.00sec)步骤三：查看数据库清单mysql>showdatabases;++|Database|++|information_schema||hive||mysql||performance_schema||scrapy||sys|++6rowsinset(0.00sec)mysql>步骤四：创建数据库创建数据库：mysql>createdatabasegzdsj;QueryOK,1rowaffected(0.00sec)mysql>查看创建结果：mysql>showdatabases;++|Database|++|information_schema||gzdsj||hive||mysql||performance_schema||scrapy||sys|++7rowsinset(0.00sec)mysql>步骤五：使用数据库、查看当前数据库使用数据库：mysql>usegzdsjDatabasechangedmysql>查看当前数据库：mysql>selectdatabase();++|database()|++|gzdsj|++1rowinset(0.00sec)mysql>步骤六：创建一张表mysql>createtablet_file_info(->idvarchar(128),->namevarchar(256)->);QueryOK,0rowsaffected(0.04sec)mysql>步骤七：查看数据库的表清单mysql>showtables;++|Tables_in_gzdsj|++|t_file_info|++1rowinset(0.00sec)mysql>步骤八：查看表结构mysql>desct_file_info;+++++++|Field|Type|Null|Key|Default|Extra|+++++++|id|varchar(128)|YES||NULL|||name|varchar(256)|YES||NULL||+++++++2rowsinset(0.01sec)mysql>步骤九：插入一条数据mysql>insertintot_file_info(id,name)values('abc','test_file');QueryOK,1rowaffected(0.00sec)mysql>步骤十：查询表数据mysql>select*fromt_file_info;+++|id|name|+++|abc|test_file|+++1rowinset(0.00sec)mysql>实验任务二：使用MySQL常用工具集步骤一：修改帐号密码[root@localhostopt]#mysqladmin-uroot-poldpasswordpassword'newpassword'步骤二：检查MySQLServer是否可用[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234pingmysqladmin:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.mysqldisalive[root@localhostopt]#步骤三：查询服务器版本[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234versionmysqladmin:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.mysqladminVer8.42Distrib5.7.26,forLinuxonx86_64Copyright(c)2000,2019,Oracleand/oritsaffiliates.Allrightsreserved.OracleisaregisteredtrademarkofOracleCorporationand/oritsaffiliates.Othernamesmaybetrademarksoftheirrespectiveowners.Serverversion 5.7.26Protocolversion 10Connection LocalhostviaUNIXsocketUNIXsocket /var/lib/mysql/mysql.sockUptime: 3hours18min10secThreads:2Questions:2848Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.239[root@localhostopt]#步骤四：检查服务器的当前状态每个两秒查看一次服务器的状态，总共重复5次：[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234-i2-c5statusEnterpassword:Uptime:10913Threads:2Questions:2826Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.258Uptime:10915Threads:2Questions:2827Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.259Uptime:10917Threads:2Questions:2828Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.259Uptime:10919Threads:2Questions:2829Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.259Uptime:10921Threads:2Questions:2830Slowqueries:0Opens:277Flushtables:1Opentables:42Queriespersecondavg:0.259[root@localhostopt]#步骤五：查看执行的SQL语句信息[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234processlistmysqladmin:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.+++++++++|Id|User|Host|db|Command|Time|State|Info|+++++++++|5|root|localhost||Sleep|11810||||18|root|localhost||Query|0|starting|showprocesslist|+++++++++[root@localhostopt]#步骤六：管理数据库创建数据库：[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234createdbname显示服务器上所有数据库：[root@localhostopt]#mysqlshow-uroot-pGzdsj_1234mysqlshow:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.++|Databases|++|information_schema||gzdsj||mysql||performance_schema||sys|++[root@localhostopt]#显示数据库的表清单：[root@localhostopt]#mysqlshow-uroot-pGzdsj_1234mysqlmysqlshow:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.Database:mysql++|Tables|++|columns_priv||db||engine_cost||event||func||general_log||gtid_executed||help_category||help_keyword||help_relation||help_topic||innodb_index_stats||innodb_table_stats||ndb_binlog_index||plugin||proc||procs_priv||proxies_priv||server_cost||servers||slave_master_info||slave_relay_log_info||slave_worker_info||slow_log||tables_priv||time_zone||time_zone_leap_second||time_zone_name||time_zone_transition||time_zone_transition_type||user|++[root@localhostopt]#统计数据库中各表的列数和行数：[root@localhostopt]#mysqlshow-uroot-pGzdsj_1234mysql-v-vmysqlshow:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.Database:mysql++++|Tables|Columns|TotalRows|++++|columns_priv|7|0||db|22|2||engine_cost|6|2||event|22|0||func|4|0||general_log|6|0||gtid_executed|3|0||help_category|4|41||help_keyword|2|699||help_relation|2|1413||help_topic|6|643||innodb_index_stats|8|7||innodb_table_stats|6|2||ndb_binlog_index|12|0||plugin|2|1||proc|20|48||procs_priv|8|0||proxies_priv|7|1||server_cost|4|6||servers|9|0||slave_master_info|25|0||slave_relay_log_info|9|0||slave_worker_info|13|0||slow_log|12|0||tables_priv|8|2||time_zone|2|0||time_zone_leap_second|2|0||time_zone_name|2|0||time_zone_transition|3|0||time_zone_transition_type|5|0||user|45|4|++++31rowsinset.[root@localhostopt]#步骤七：关闭MySQL服务[root@localhostopt]#mysqladmin-uroot-pGzdsj_1234shutdown实验任务四：备份与恢复MySQL数据库步骤一：备份数据库备份数据库：[root@master2usr]#mysqldump-uroot-pGzdsj_1234gzdsj>/usr/gzdsj.sqlmysqldump:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.[root@master2usr]#查看备份文件：[root@master2usr]#moregzdsj.sql--MySQLdump10.13Distrib5.7.25,forLinux(x86_64)Host:localhostDatabase:gzdsj--Serverversion 5.7.25/*!40101SET@OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT*/;/*!40101SET@OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS*/;/*!40101SET@OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION*/;/*!40101SETNAMESutf8*/;/*!40103SET@OLD_TIME_ZONE=@@TIME_ZONE*/;/*!40103SETTIME_ZONE='+00:00'*/;/*!40014SET@OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS,UNIQUE_CHECKS=0*/;/*!40014SET@OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS,FOREIGN_KEY_CHECKS=0*/;/*!40101SET@OLD_SQL_MODE=@@SQL_MODE,SQL_MODE='NO_AUTO_VALUE_ON_ZERO'*/;/*!40111SET@OLD_SQL_NOTES=@@SQL_NOTES,SQL_NOTES=0*/;Tablestructurefortable`t_file_info`--DROPTABLEIFEXISTS`t_file_info`;/*!40101SET@saved_cs_client=@@character_set_client*/;/*!40101SETcharacter_set_client=utf8*/;CREATETABLE`t_file_info`(`id`varchar(128)DEFAULTNULL,`name`varchar(256)DEFAULTNULL)ENGINE=InnoDBDEFAULTCHARSET=latin1;/*!40101SETcharacter_set_client=@saved_cs_client*/;Dumpingdatafortable`t_file_info`--LOCKTABLES`t_file_info`WRITE;/*!40000ALTERTABLE`t_file_info`DISABLEKEYS*/;INSERTINTO`t_file_info`VALUES('abc','test_file');/*!40000ALTERTABLE`t_file_info`ENABLEKEYS*/;UNLOCKTABLES;/*!40103SETTIME_ZONE=@OLD_TIME_ZONE*/;/*!40101SETSQL_MODE=@OLD_SQL_MODE*/;/*!40014SETFOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS*/;/*!40014SETUNIQUE_CHECKS=@OLD_UNIQUE_CHECKS*/;/*!40101SETCHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT*/;/*!40101SETCHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS*/;/*!40101SETCOLLATION_CONNECTION=@OLD_COLLATION_CONNECTION*/;/*!40111SETSQL_NOTES=@OLD_SQL_NOTES*/;--Dumpcompletedon2019-03-0311:49:12[root@master2usr]#步骤二：重建数据库登录数据库：[root@master2usr]#mysql-uroot-pGzdsj_1234mysql:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.WelcometotheMySQLmonitor.Commandsendwith;or\g.YourMySQLconnectionidis969Serverversion:5.7.25MySQLCommunityServer(GPL)Copyright(c)2000,2019,Oracleand/oritsaffiliates.Allrightsreserved.OracleisaregisteredtrademarkofOracleCorporationand/oritsaffiliates.Othernamesmaybetrademarksoftheirrespectiveowners.Type'help;'or'\h'forhelp.Type'\c'toclearthecurrentinputstatement.mysql>删除并重建数据库：mysql>dropdatabasegzdsj;QueryOK,1rowaffected(0.01sec)mysql>showdatabases;++|Database|++|information_schema||hive||mysql||performance_schema||scrapy||sys|++6rowsinset(0.00sec)mysql>createdatabasegzdsj;QueryOK,1rowaffected(0.00sec)mysql>检查数据库为空并退出：mysql>usegzdsj;Databasechangedmysql>showtables;Emptyset(0.00sec)mysql>quitBye[root@master2usr]#步骤三：从备份文件恢复数据库恢复数据库：[root@master2usr]#mysql-uroot-pGzdsj_1234gzdsj<gzdsj.sqlmysql:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.[root@master2usr]#检查恢复结果：[root@master2usr]#mysql-uroot-pGzdsj_1234mysql:[Warning]Usingapasswordonthecommandlineinterfacecanbeinsecure.WelcometotheMySQLmonitor.Commandsendwith;or\g.YourMySQLconnectionidis971Serverversion:5.7.25MySQLCommunityServer(GPL)Copyright(c)2000,2019,Oracleand/oritsaffiliates.Allrightsreserved.OracleisaregisteredtrademarkofOracleCorporationand/oritsaffiliates.Othernamesmaybetrademarksoftheirrespectiveowners.Type'help;'or'\h'forhelp.Type'\c'toclearthecurrentinputstatement.mysql>usegzdsj;ReadingtableinformationforcompletionoftableandcolumnnamesYoucanturnoffthisfeaturetogetaquickerstartupwith-ADatabasechangedmysql>showtables;++|Tables_in_gzdsj|++|t_file_info|++1rowinset(0.00sec)mysql>select*fromt_file_info;+++|id|name|+++|abc|test_file|+++1rowinset(0.01sec)mysql>实验任务五：安装和配置Redis步骤一：上传gcc安装包通过文件上传工具将gcc离线安装文件gcc.tar.gz上传到/opt目录步骤二：解压gcc安装包[root@localhostmysql]#cd/opt[root@localhostopt]#tar-zxvfgcc.tar.gz-C./gcc/gcc/cpp-4.8.5-36.el7.x86_64.rpmgcc/gcc-4.8.5-36.el7.x86_64.rpmgcc/gcc-c++-4.8.5-36.el7.x86_64.rpmgcc/glibc-2.17-222.el7.x86_64.rpmgcc/glibc-common-2.17-222.el7.x86_64.rpmgcc/glibc-devel-2.17-222.el7.x86_64.rpmgcc/glibc-headers-2.17-222.el7.x86_64.rpmgcc/kernel-3.10.0-862.11.6.el7.x86_64.rpmgcc/kernel-devel-3.10.0-862.11.6.el7.x86_64.rpmgcc/kernel-headers-3.10.0-862.11.6.el7.x86_64.rpmgcc/kernel-tools-3.10.0-862.11.6.el7.x86_64.rpmgcc/kernel-tools-libs-3.10.0-862.11.6.el7.x86_64.rpmgcc/kexec-tools-2.0.15-13.el7.x86_64.rpmgcc/libgcc-4.8.5-36.el7.x86_64.rpmgcc/libgomp-4.8.5-36.el7.x86_64.rpmgcc/libmpc-1.0.1-3.el7.x86_64.rpmgcc/libstdc++-4.8.5-36.el7.x86_64.rpmgcc/libstdc++-devel-4.8.5-36.el7.x86_64.rpmgcc/mpfr-3.1.1-4.el7.x86_64.rpm[root@localhostopt]#步骤三：RPM离线安装gcc以及依赖的包：[root@localhostopt]#cdgcc[root@localhostgcc]#rpm-Uvh*.rpm--nodeps--forcePreparing...#################################[100%]Updating/installing...1:libgcc-4.8.5-36.el7#################################[3%]2:glibc-common-2.17-222.el7#################################[7%]3:glibc-2.17-222.el7#################################[10%]4:mpfr-3.1.1-4.el7#################################[14%]5:libmpc-1.0.1-3.el7#################################[17%]6:libstdc++-4.8.5-36.el7#################################[21%]7:libstdc++-devel-4.8.5-36.el7#################################[24%]8:cpp-4.8.5-36.el7#################################[28%]9:kernel-tools-libs-3.10.0-862.11.6#################################[31%]10:libgomp-4.8.5-36.el7#################################[34%]11:kernel-headers-3.10.0-862.11.6.el#################################[38%]12:glibc-headers-2.17-222.el7#################################[41%]13:glibc-devel-2.17-222.el7#################################[45%]14:gcc-4.8.5-36.el7#################################[48%]15:gcc-c++-4.8.5-36.el7#################################[52%]16:kernel-tools-3.10.0-862.11.6.el7#################################[55%]17:kexec-tools-2.0.15-13.el7#################################[59%]18:kernel-devel-3.10.0-862.11.6.el7#################################[62%]19:kernel-3.10.0-862.11.6.el7#################################[66%]Cleaningup/removing...20:kernel-3.10.0-957.12.2.el7#################################[69%]21:kernel-3.10.0-957.el7#################################[72%]22:kernel-tools-3.10.0-957.12.2.el7#################################[76%]23:libstdc++-4.8.5-36.el7_6.2#################################[79%]24:kernel-tools-libs-3.10.0-957.12.2#################################[83%]25:libgomp-4.8.5-36.el7_6.2#################################[86%]26:kexec-tools-2.0.15-21.el7_6.3#################################[90%]27:glibc-common-2.17-260.el7_6.5#################################[93%]28:glibc-2.17-260.el7_6.5#################################[97%]29:libgcc-4.8.5-36.el7_6.2#################################[100%][root@localhostgcc]#步骤四：上传redis安装包通过文件上传工具将安装文件redis-5.0.3.tar.gz上传到/opt目录步骤五：解压安装包并移动到redis目录执行以下命令解压JDK安装包：tar-zxvf/opt/redis-5.0.3.tar.gz-C/usr/local执行以下命令移动到redis目录：cd/usr/local/mvredis-5.0.3redis步骤四：编译安装redis进入redis解压目录：cd/usr/local/redis执行以下命令编译redis：makeMALLOC=libc执行以下命令安装redis：cdsrcmakeinstallPREFIX=/usr/local/redis步骤五：修改redis配置将配置文件移动到etc目录mkdir/usr/local/redis/etcmv/usr/local/redis/redis.conf/usr/local/redis/etc/redis.conf修改配置文件，以守护县城的形式运行：vi/usr/local/redis/etc/redis.conf将bind注释掉，表示允许通过所有接口地址访问将文件中的daemonize改为yes，表示允许在后台运行将文件中requirepass配置开始，并将后面的字符串设置为需要设置的密码，这里我们设置卫gzdsj1234步骤六：启动redis执行以下命令启动redis：/usr/local/redis/bin/redis-server/usr/local/redis/etc/redis.conf实验任务六：使用Redis步骤一：使用redis-cli连接redis执行以下命令连接redis：/usr/local/redis/bin/redis-cli连接之后出现以下提示符，输入认证信息登录redis：:6379>authgzdsj1234OK步骤二：简单使用redis数据结构设置key的value：:6379>setkey1value1OK获取key的value：:6379>getkey1"value1"删除key：:6379>delkey1(integer)1从List左边添加一个或多个元素：:6379>lpushlistkey1value1value2(integer)2从List左边出队一个元素：:6379>lpoplistkey1"value2"设置hash里面的一个字段值：:6379>hsethashkey1subkey1value1(integer)1获取hash里面字段值：:6379>hgethashkey1subkey1"value1"添加一个或多个元素到集合：:6379>saddsetkey1value1value2(integer)2获取集合的所有元素：:6379>smemberssetkey11)"value1"2)"value2"从集合删除一个或多个元素：:6379>sremsetkey1value1(integer)1实验任务七：维护Redis步骤一：简单配置Redis配置文件路径为：/usr/local/redis/etc/redis.conf基本配置说明：bind#绑定一个外部访问的地址，如果注释掉则绑定所有地址protected-modeyes#是否开启保护模式port6379#端口号daemonizeyes#是否以daemon的方式运行requirepassgzdsj1234#需要密码访问appendonlyno#是否开启AOF持久化模式appendfilename"appendonly.aof"#AOF存储文件名步骤二：使用命令维护redis查看服务器信息：:6379>info#Serverredis_version:5.0.3redis_git_sha1:00000000redis_git_dirty:0redis_bui