毕业设计-IaaS与大数据平台方案设计与实施

毕业设计设计题IaaS与大数据平台方案设计与实施专业班级：学生姓名：指导教师：设计时间：2019513日-201967日XXXXXXXXXXX学院XXXXXXXXXXXXXXXX学院毕业设计任务书任务下达日期：2019513-201967设计题目：IaaS设计主要内容和要求：以及配置资料。该平2台效劳器组成，1台掌握节点〔r，1台计算节点〔e〕依据先电IaaSIaaS平台上创立两个云主机用来部署slaver1Ambari进展二先电大数据平台支持作业与任务执行的可视化与分析，能够更好地查看依靠和性能。它的用户界面格外直观，用户可以轻松有效地查看信息并掌握集群。教学团队负责人签字： 指导教师签字：年 月 日 年 月 日XXXXXXXXXXXXXX毕业设计指导教师评语评语：资料收集、加工和处理。本文是通过先电供给的软件包，基于IaaS平台的大数据平台方案设计，该平台由21台掌握节点〔，1台计算节点〔e〕IaaSAmbariHadoop分布式集群配置治理工具，该平台通过安装向导来进展集群的搭建，简化了集群部署和治理，然后再简洁介绍了大数据的应用等。关系清楚，格式符合标准要求。成绩：指导教师签名：年 月 日XXXXXXX名

XXX

系别 信息工程 专业班级 XXXX设计题目 IaaS平台与大数据平台方案设计与实施答 辩 情 况提 出 问 1234567

有一 有原根本 答复正确 般性 则性正确 不清错误 错误8辩论委员会评语及建议成绩：辩论委员会主任：年 月 日IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计摘要随着云时代的降临，大数据也吸引越来越多的关注，企业在日常运营中生成、积存pb、ebzb。hadoop用。大数据〔bigdata〕，指无法在肯定时间范围内用常规软件工具进展捕获、治理OpenStackhive设计与实现。美国国家航空航天局〕Rackspace合作研发并发起许可证授权的自由软件和开放源代码工程。OpenStack是一个开源的云计算治理平台工程，由几个主要的组件组合起来完成具体工作。OpenStack支持几乎全部类型的云环境，工程目标是供给实施简洁、可大规模扩展、丰富、标准统一的云计算治理平台。OpenStack通过各种互补的效劳供给了根底API以进展集成。OpenStack是一个旨在为公共及私有云的建设与治理供给软件的开源工程。它的社1350OpenStack作为根底设施即效劳〔IaaS〕资源的通用前端。OpenStack工程的首要任务是简化云的部署过程并为其带来良好的可扩展性。8Swift、Nova3个工程。Swift供给对象存储效劳，Nova是供给虚拟换计算效劳Keystone身份认证效劳、Neutron网络效劳等工程作为关心模块。上述三大主要工程既可以单独使用，也可以组合起来IaaS云平台。关键字：OpenStack,云计算,Hadoop，MapReduce，Hive。目 录TOC\o“1-3“\h\z\u\l“_TOC_250020“毕业设计单位概况 1\l“_TOC_250019“毕业设计时间 1\l“_TOC_250018“毕业设计地点 1\l“_TOC_250017“毕业设计单位简介 1\l“_TOC_250016“毕业设计岗位简介 1\l“_TOC_250015“绪论 2\l“_TOC_250014“争论背景 2\l“_TOC_250013“争论意义 2\l“_TOC_250012“相关技术分析 3\l“_TOC_250011“IaaS体系构造 3\l“_TOC_250010“大数据技术简介 3\l“_TOC_250009“平台实现 5\l“_TOC_250008“IaaS平台方案设计 5\l“_TOC_250007“IaaS平台部署 5\l“_TOC_250006“大数据平台方案设计 9\l“_TOC_250005“大数据平台部署 9\l“_TOC_250004“治理Hadoop集群 14\l“_TOC_250003“5总结 19\l“_TOC_250002“致 谢 20\l“_TOC_250001“参考文献 21\l“_TOC_250000“附录 22IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计11毕业设计单位概况毕业设计时间2019513201967日。毕业设计地点XXXXXXXXXXXXXX毕业设计单位简介本人毕业设计期间的实习单位是：XX科技息学院与中兴学院，具有强大的后备研发力气支撑。经营范围：作、代理、公布广告、网络维护程，效劳等。毕业设计岗位简介方向，主持制定公司产品进展战略规划，组织制定和实施重大产品决策，准时了解和监视产品进展战略规划的执行状况；领导分管部门制度建设并组织实施年度工作计划，完成年度任务目标；审批立项申请报告，主持研发工程立项工作，组织配置各种资源投入工程开发工作，掌握开发本钱，并监视实施；主持开发产品工程所需的设备选型、试制、改进以及工艺设计等工作，指导、审核工程总体方案，对各工程进展质量掌握；与用户进展技术沟通，了解用户在技术与业务上的进展要求，并解答用户提出的与产品技术相关问题；制定开发人员的培训打算，并组织安排公司其他相关人员的技术培训。协调研发中心与公司各部门的工作关系，对各部门供给产品技术支持；完成上级领导布置的其他任务。2绪论争论背景普及将有越来越多的设备连入互联网，IT系统将要处理更多的业务量。hadoopapache软件基金会旗下的一个开源分布式计算平台。以hadoop分布式文hadoop为用户供给了系统底层细节透亮的分布式根底架hadoop部署在低廉的硬件上，形成分布式系统，mapreduce分布式编程模型允许用户在不了解分布式系统底层细节的状况下开发并行应用程序。mapreducehadoop分布式文件系统dhfspithivhbase等子工程，他们在hadoop的应用推广起到了重要作用。ambari为平台供给作业与任务执行的可视化与分析，能够更好地API把监控信息暴露出来，集成了现有的运Nagios支持系统报警。争论意义通过云计算，可以把分散的、低效的、低水平的数据中心逐步淘汰替换，让子公都是封闭的。通过云计算，可以让大家协同在一个社会化的云平台，从而让由客户驱动的企业创成为可能。市场有什么动态，企业可以马上做出反响，并快速进入市场。和可扩展的存储系统。3相关技术分析IaaS体系构造计算〔e：。用于治理虚拟机实例，依据用户需求来供给虚拟效劳。负责虚拟机创立、开机、关机、挂起、暂停、调整、迁移、重启、销毁等操作，配置CPU、内存等信息规格。对象存储〔t：t。一套用于在大规模可扩展系统中通过内置冗余Glance供给镜Cinder供给卷备份效劳。镜像效劳〔Image：。一套虚拟机镜像查找及检索系统，支持多种虚拟机镜像格式I、、、IS、2、、、D、，有创立上传镜像、删除镜像、编辑镜像根本信息的功能。身份效劳〔Identity：k其他效劳供给身份验证、效劳、Users、Groups、Roles。网络地址治理〔k：。供给云计算的网络虚拟化技术，为Network、、DNS、负载均衡、L3GRE、VLAN。OpenvSwitch。(BlockStorage)：Cinder。为运行实例供给稳定的数据块存储效劳，它的插件驱动架构有利于块设备的创立和治理，如创立卷、删除卷，在实例上挂载和卸载卷。界面。OpenStackWeb治理门户，用于简IP地址、配置访问掌握等。测量OpenStack内部发生的几乎全部的大事都收集起来，然后为计费和监控以及其它效劳供给数据支撑。(Orchestration)：Heat。供给了一种通过模板定义的协同部署方式，实现云根底设施软件运行环境〔计算、存储和网络资源〕的自动化部署。数据库效劳〔ee：k的环境供给可扩展和牢靠的关系和非关系数据库引擎效劳。大数据技术简介Apache的Hadoop软件库是允许通过相对简洁的程序模型构建计算集群为浩大的数据集进展分布式计算的框架。Hadoop的设计思想可以将计算模式从单节点效劳器扩展为数以千计的计算集群，每一个单独的效劳器都供给自主的本地计算及存储力量。Hadoop各子工程供给各种工具。HDFS：是Hadoop应用程序中主要的分布式储存系统，HDFS集群包含了一个NameNode〔主节点统在大批量小文件上的优化，HDFS优化的则是对小批量大型文件的访问和存储。〔TB级数据的并行应用程序，以牢靠和容错的方式连接大型集群中上万个节点。Hadoop兼容系统中的大型数据集分析。用的高级语言以及评估这些应用的根底设施。数据库，一个分布式、可扩展的大数据存储。它供给了大数据集上随机和实时的读/写访问，并针对了商用效劳器集群上的大型表格做出优化——上百亿行，上千万列。ZooKeeper：Zookeeper它是一个针对大型分布式系统的牢靠协调系统，供给的功能包括：配置维护、名字效劳、分布式同步、组效劳等。HadoopHDFSHDFS中数据导入关系型数据库中。Mahout支持4个用例：聚拢：收集文件并进展相关文件分组。正确的归类。频繁项集挖掘：将一组项分组，并识别哪些个别项会常常一起消灭。Ambari：ApacheAmbariweb的工具，用于配置、治理和监视ApacheHiveHCatalog,HBaseZooKeeper、。Ambari同样还供给了集群状况仪表盘。Spark：SparkScalaScala用作其应用程序框架。4平台实现IaaS平台方案设计IaaS平台部署以及配置资料。该平2台效劳器组成，1台掌握节点〔r，1台计算节点〔e〕依据先电供给的脚本文件，可以快速的部署IaaS平台。效劳器系统安装时，两个节点都要使用最小桌面安装。IaaS的镜像，并配置好两个节点的yum源。掌握节点：[root@controller~]#cat/etc/yum.repos.d/local.repo[centos]name=centosbaseurl=file:///opt/centosgpgcheck=0enabled=1[iaas]name=iaasbaseurl=file:///opt/iaas-repogpgcheck=0enabled=1计算节点：[root@compute~]#cat/etc/yum.repos.d/ftp.repo[centos]name=centosbaseurl=ftp://controller/centosgpgcheck=0enabled=1[iaas]name=iaasbaseurl=ftp://controller/iaas-repogpgcheck=0enabled=1ftpcompute节点的磁盘分区，两个节点分别安装computeopenrc.sh配置。HOST_IP=0HOST_NAME=controllerRABBIT_USER=openstackRABBIT_PASS=000000DB_PASS=000000DOMAIN_NAME=demoADMIN_PASS=000000DEMO_PASS=000000KEYSTONE_DBPASS=000000GLANCE_DBPASS=000000GLANCE_PASS=000000NOVA_DBPASS=000000NOVA_PASS=000000NEUTRON_DBPASS=000000NEUTRON_PASS=000000METADATA_SECRET=000000INTERFACE_NAME=enp9s0CINDER_DBPASS=000000CINDER_PASS=000000TROVE_DBPASS=000000TROVE_PASS=000000BLOCK_DISK=md126p4SWIFT_PASS=000000OBJECT_DISK=md126p5HEAT_DBPASS=000000HEAT_PASS=000000CEILOMETER_DBPASS=000000CEILOMETER_PASS=000000AODH_PASS=000000ntp，防火墙等，安装成功后要求重启效劳器或者重连终端。MySQLOpenStack的效劳都需要一个数据库来进展存储信息。#controller[root@controller~]#iaas-install-mysql.shkeystone是云计算安全框架重要的组件，负责身份验证、效劳规章和效劳令牌功能，它实现了云安全框架的IdentityAPI。#controller[root@controller~]#iaas-install-keystone.sh通过供给标准的接口，承受对不同后端存储的镜像的查询恳求和返回镜像的相关信息。#controller[root@controller~]#iaas-install-glance.sh上传镜像[root@controller~]#source/etc/keystone/admin-openrc.sh[root@controller~]# glanceimage-create--name“CentOS7.2“--disk-formatqcow2--container-formatbare--progress</opt/images/CentOS_7.2_x86_64_XD.qcow2计算效劳：nova组件的主要功能是供给按需安排的虚拟机。#controller[root@controller~]#iaas-install-nova-controller.sh#compute[root@compute~]#iaas-install-nova-compute.sh#controller[root@controller~]#iaas-install-neutron-controller.sh#compute[root@compute~]#iaas-install-neutron-compute.shneutron网络本次使用的是gre网络flat网络IaaS 平台与大数据平台方案设计与实施IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计10#controller[root@controller~]#iaas-install-neutron-controller-flat.sh#compute[root@compute~]#iaas-install-neutron-compute-flat.shgre网络#controller[root@controller~]#iaas-install-neutron-controller-gre.sh#compute[root@compute~]#iaas-install-neutron-compute-gre.shvlan网络#controller[root@controller~]#iaas-install-neutron-controller-vlan.sh#compute[root@compute~]#iaas-install-neutron-compute-vlan.sh效劳：dashboardwebOpenStack的功能。#controller[root@controller~]#iaas-install-dashboard.sh创立云主机〔1〕治理员→网络→创立网络〔内外网〕→创立子网〔2〕工程→网络→〔3〕工程→计算→访问安全→治理规章→添加规章〔4〕工程→计算→云主机→创立云主机→绑定浮动IP创立好后如图4.1IaaS网络拓扑图图4.1IaaS网络拓扑图#controller[root@controller~]#iaas-install-cinder-controller.sh#compute[root@compute~]#iaas-install-cinder-compute.sh对象存储效劳#controller[root@controller~]#source/etc/keystone/admin-openrc.sh[root@controller~]#iaas-install-swift-controller.sh#compute[root@compute~]#iaas-install-swift-compute.sh效劳(flatgre网络)，创立好子网，并确认cinder两个效劳，否则安装会失败。#controller[root@controller~]#iaas-install-trove.sh#controller[root@controller~]#iaas-install-heat.sh监控效劳#controller[root@controller~]#iaas-install-ceilometer-controller.sh#compute[root@compute~]#iaas-install-ceilometer-compute.sh#controller[root@controller~]#iaas-install-alarm.shiaas-uninstall-all.sh，它会把之前所安装的全部组件全部卸载。大数据平台方案设计大数据平台部署AmbariHadoop分布式集群配置治理工Ambari是一个分和Agent4.2图Ambari-Metrics，可以提前配置好关键的运维指标〔sMapReduce〕及相是否安康。它的用户界面格外直观，用户可以轻松有效地查看信息并掌握集群。图4.2Ambari架构图masterslaver1进展大数据平台部署，使用的是先电大数据平台软件〔o，SyumIaaS平台controller的源。两个节点部署大数据平台。配置好两个节点的主机名和yumyum源配置。[root@master~]#cat/etc/yum.repos.d/yum.repo[centos]name=centosbaseurl=0/centosgpgcheck=0enabled=1[ambari]name=ambariIaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计13baseurl=file:///opt/ambarigpgcheck=0enabled=1[root@slaver1~]#cat/etc/yum.repos.d/yum.repo[centos]name=centosbaseurl=0/centosgpgcheck=0enabled=1[ambari]name=ambaribaseurl=01/ambarigpgcheck=0enabled=1ntp时钟同步效劳[root@master~]#yum-yinstallntp[root@slaver1~]yum-yinstallntpdate[root@master~]vi/etc/ntp.conf注释或者删除以下四行iburst添加以下两行serverfudgestratum10[root@slaver1~]ntpdatemaster.hadoop29Apr20:08:31ntpdate[1034]:adjusttimeserver01offset0.066568sec#master&slave1SSH无密码公钥认证配置。如下：#yuminstallopenssh-clients#ssh-keygen#ssh-copy-idmaster.hadoop#ssh-copy-idslave1.hadoopssh登录远程主机查看是否成功。jdk环境，修改/etc/profile文件，在文件末尾添加以下内容。jdk环境配置好了。#java-versionjavaversion“1.8.0_77“Java(TM)SERuntimeEnvironment(build1.8.0_77-b03)JavaHotSpot(TM)64-BitServerVM(build25.77-b03,mixedmode)、mysql-connector-java、d效劳MySQL数据库。#mysql_secure_installationbigdata”Removeanonymoususers?[Y/n]yDisallowrootloginremotely?[Y/n]nRemovetestdatabaseandaccesstoit?[Y/n]yReloadprivilegetablesnow?[Y/n]yambari数据库。#mysql-uroot-pbigdataMariaDB[(none)]>createdatabaseambari;MariaDB[(none)]>grantallprivilegesonambari.*to”ambari”@”localhost”identifiedby”bigdata”;MariaDB[(none)]>grantallprivilegesonambari.*to”ambari”@”%”identifiedby”bigdata”;MariaDB[(none)]>useambari;MariaDB[ambari]>source/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sqlMariaDB[ambari]>quit效劳，具体操作步骤如下。ambari-serversetupWARNING:SELinuxissetto”permissive”modeandtemporarilydisabled.OKtocontinue[y/n](y)?Customizeuseraccountforambari-serverdaemon[y/n](n)?nCheckingJDK...OracleJDK1.8+JavaCryptographyExtension(JCE)PolicyFiles8OracleJDK1.7+JavaCryptographyExtension(JCE)PolicyFiles7CustomJDK===============================================================Enterchoice(1):3ValidatingJDKonAmbariServer...done.Completingsetup...database...Enteradvanceddatabaseconfiguration[y/n](n)?yConfiguringdatabase...===============================================================Chooseoneofthefollowingoptions:-PostgreSQL(Embedded)-Oracle-MySQL-PostgreSQL-MicrosoftSQLServer(TechPreview)-SQLAnywhere===============================================================Enterchoice(1):3Hostname(localhost):Port(3306):Databasename(ambari):Username(ambari):EnterDatabasePassword(bigdata):Proceedwithconfiguringremotedatabaseconnectionproperties[y/n](y)?AmbariServer”setup”completedsuccessfully.#ambari-serversetup--jdbc-db=mysql--jdbc-driver=/usr/share/java/mysql-connector-java.jarIaaS 平台与大数据平台方案设计与实施IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计14ambari-agent配置文件，将配置文件中效劳。Hadoop集群://01:8080用户名密码为。接下来就可以启动安装向导，创立集群，安装效劳以及自定义效劳，4.3Hadoop集群。图4.3Hadoop集群集群的效劳进程信息。[root@master~]jps15874QuorumPeerMain19171HMaster19267ApplicationHistoryServer18213RunJar17639Jps17448RunJar18704HistoryServer17649HMaster13587AmbariServer18900HRegionServer16022DataNode20663NodeManager16478NameNode[root@slaver1~]#jps19104RunJar15345ApplicationHistoryServer16418SecondaryNameNode14419DataNode17123NodeManager9524Jps16025JobHistoryServer16905HRegionServer14267QuorumPeerMain19484RunJar16238ResourceManager安装完成后，在LinuxShellHadoop集群的根本统计信息。[hdfs@master~]$hdfsfsck/Connectingtonamenodevia://master.hadoop:50070/fsck?ugi=hdfs&path=%2FFSCKstartedbyhdfs(auth:SIMPLE)from/03forpath/atFriMay0310:24:35UTC2019Status:HEALTHYTotalsize: 768102881B(Totalopenfilessize:249B)Totaldirs: 85Totalfiles: 26Totalsymlinks: 0(Filescurrentlybeingwritten:4)Totalblocks(validated): 27(avg.blocksize28448254B)(Totalopenfileblocks(notvalidated):3)Minimallyreplicatedblocks:27(100.0%)Over-replicatedblocks:0(0.0%)Under-replicatedblocks:27(100.0%)Mis-replicatedblocks:0(0.0%)Defaultreplicationfactor:3Averageblockreplication:2.0Corruptblocks:0Missingreplicas:27(33.333332%)Numberofdata-nodes:2Numberofracks:1FSCKendedatFriMay0310:24:35UTC2019in6millisecondsThefilesystemunderpath”/”isHEALTHY名目下，存在一个案例JAR包。运行JAR包中的sudoku4.4中数独运算题的结果。图4.4数独[root@master~]#cd/usr/hdp/-129/hadoop-mapreduce/[root@masterhadoop-mapreduce]#hadoopjarhadoop-mapreduce-examples.jarsudoku/opt/puzzle1.dtaSolving/opt/puzzle1.dta812753649943682175675491283154237896369845721287169534521974368438526917796318452Found1solutionsSqoopmasterMySQL中全部数据库。IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计19[root@master~]#sqooplist-databases--connectjdbc:mysql://localhost--usernameroot--passwordbigdataWarning:/usr/hdp/-129/accumulodoesnotexist!Accumuloimportswillfail.Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.19/05/0912:13:51INFOsqoop.Sqoop:RunningSqoopversion:.6.1.0-12919/05/0912:13:51WARNtool.BaseSqoopTool:Settingyourpasswordonthecommand-lineisinsecure.Considerusing-Pinstead.19/05/0912:13:51INFOmanager.MySQLManager:PreparingtouseaMySQLstreamingresultset.ambarihiveperformance_schematestPig工具在Localaccess-log.txt中的IP的点击数,要求GROUPBY语句依据IP进展分组,通过FOREACH运算符,对关系的列进展迭代,统计每个分组的总行数,DUMP语句查询统计结果。grunt>copyFromLocal/opt/access.log/user/root/input/grunt>A=load”/user/root/log1.txt”using PigStorage(”\t”)AS(ip,others);grunt>group_ip=groupAbyip;grunt>result=foreachgroup_ipgenerategroup,COUNT(A);grunt>dumpresult;(8--[12/Jan/2019:23:30:31+0800]““4000“-““-“,1)(8--[13/Feb/2019:13:03:14+0800]““4000“-““-“,1)(8--[23/Jan/2019:17:22:36+0800]““4000“-““-“,1)(8--[29/Jan/2019:18:30:56+0800]““4000“-““-“,1)(36--[14/Feb/2019:08:59:02+0800]“\x05\x01\x00“400166“-““-“,1)(3--[19/Jan/2019:14:04:06+0800]“GET//1.0“403162“-““-“,1)(3--[21/Feb/2019:13:54:37+0800]“GET//1.0“403162“-““-“,1)(3--[24/Dec/2018:06:49:19+0800]“GET//1.0“403162“-““-“,1)登录“spark-shell”交互界面。给定数据,spark工具,统计每个日期增加的用户数,最终显示统计结果。scala>valdata= 01“,“f“),(“2017-01-01“,“g“),(“2017-01-02“,“h“),(“2017-01-02“,“j“),(“2017-01-02“,“k“),(“2017-01-02“,“l“),(“2017-01-03“,“x“),(“2017-01-03“,“y“),(“2017-01-03“,“z“)))data:org.apache.spark.rdd.RDD[(String,String)]=ParallelCollectionRDD[15]atparallelizeat<console>:23scala>valdate=data.map(kv=>(kv._2,kv._1))date:org.apache.spark.rdd.RDD[(String,String)]=MapPartitionsRDD[16]atmapat<console>:25scala>valdate1=date.groupByKeydate1:org.apache.spark.rdd.RDD[(String,Iterable[String])]=ShuffledRDD[18]atgroupByKeyat<console>:27scala>valdate2=date1.map(kv=>(kv._2.min,1))date2:org.apache.spark.rdd.RDD[(String,Int)]=MapPartitionsRDD[20]atmapat<console>:29scala>date2.countByKey.foreach(println)(2017-01-01,3)(2017-01-02,4)+(2017-01-03,3)登录“spark-shell”交互界面。定义一个函数,函数的作用是比较传入的两个变量,返回大的那个。scala>defmax(a:Int,b:Int)=if(a>b)aelsebmax:(a:Int,b:Int)Intscala>varx=66x:Int=66scala>vary=88y:Int=88scala>max(x,y)res1:Int=885总结controllercompute的computexiandianopenrc.sh这个文件，里面是后面跑脚本所需要的变量，密码已及其它重要配置。假设openrc.sh这个文件配IaaS平台搭建起来也很轻松。遇到过很多问题题，但最终在教师或网上查资料的状况下，都被一一解决。在搭建大ambari的数据库，以及权限是否配ambari数据库配置错误。之前一段时间大数据平台始终无法部署那些组件，经过很屡次的试验，最终我自己写了一个搭建大数据平台的脚本，通过编写脚本逐步排查，又经过了屡次试验，最终最终找到问题所在。解决组件无法启动问题，以及组件无法部署问题。在自己电脑上部署两个版本的平台成功，在两台效劳器上也解决了相关问题。搭建大数据平台脚本见附录。Mahout组件，它供给了数据挖掘库、人工智能，以及语音识别，人脸识别等，都能通过大数据供给效劳。致 谢表示感谢，祝你们身体安康，工作顺当！并祝福母校蒸蒸日上。和报答他们。教师表示感谢。诚意地感谢在百忙之中评阅论文和参与辩论的各位专家、教授！XXX二〇一九年六月于重庆IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计参考文献s:///wrnxrbb/article/details/80563430openstack平台搭建〔先电版〕“:///content/qita/710164“s:///content/qita/710164openstack平台搭建〔先电版〕“://taodocs/p-164383513.html“s://taodocs/p-164383513.html先电大数据平台操作手册s:///qq_28513801/article/details/83512194先电大数据安装手册s:///mn525520大数据运维IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计附录以下脚本是自动化部署大数据平台#############master节点执行。##################################执行脚本前，两个节点必需是纯洁的系统。先将大数据镜像放到master节点/opt名目下，然后配置好两台主机的hosts文件和hostname以及免密登陆。################master=2slave=3controller=00cat>>/etc/profile<<EOFexportJAVA_HOME=/usr/jdk1.8.0_77exportbuildNumber=EOFrm-rf/etc/yum.repos.d/*touch/etc/yum.repos.d/ambari.repocat>/etc/yum.repos.d/ambari.repo<<EOF[centos]name=centosbaseurl=ftp://$controller/centosgpgcheck=0enable=1[ambari]name=ambaribaseurl=file:///opt/ambarigpgcheck=0enabled=1EOFmount/opt/XianDian-BigData-v2.2.iso/mntecho-e“################\e[1;32mcopyBigDatato/opt\e[0m####################“cp-rf/mnt/*/optmv/opt/ambari*/opt/ambariIaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计umount/mnttar-zxf/opt/jdk*-C/usr/source/etc/profilejava-versionyumcleanallyum-yinstallntpdvsftpdambari-servermariadbmariadb-servermysql-connector-javaambari-agentexpectsystemctlenabledvsftpdmariadbntpdecho-e“############\e[1;32mcopyHDP-*to/var/www/html/\e[0m###################“cp-rf/opt/HDP-*/var/www/html/cat>>/etc/vsftpd/vsftpd.conf<<EOFanon_root=/optEOFsed-i”21,24d”/etc/ntp.confcat>>/etc/ntp.conf<<EOFserverfudgestratum10EOFiptables-Fiptables-Xiptables-X/usr/sbin/iptables-save#echonever>/sys/kernel/mm/transparent_huge/enabled#echonever>/sys/kernel/mm/transparent_huge/defragsystemctlstartdvsftpdntpdmariadbecho-e“################\e[1;32mstartdvsftpdntpdmariadbsucceed!!!\e[0m###################“expect-c“spawn/usr/bin/mysql_secure_installationexpect\“Entercurrentpasswordforroot(enterfornone):\“send\“\r\“expect\“Setrootpassword?\“send\“y\r\“expect\“Newpassword:\“send\“bigdata\r\“IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计IaaS 平台与大数据平台方案设计与实施信息工程学院毕业设计expect\“Re-enternewpassword:\“send\“bigdata\r\“expect\“Removeanonymoususers?\“send\“y\r\“expect\“Disallowrootloginremotely?\“send\“n\r\“expect\“Removetestdatabaseandaccesstoit?\“send\“y\r\“expect\“Reloadprivilegetablesnow?\“send\“y\r\“expecteof“echo-e“############\e[1;32msetupambari-server\e[0m##############“mysql-uroot-pbigdata-e“createdatabaseambari;“mysql-uroot-pbigdata-e“grantallprivilegesonambari.*to”ambari”@”localhost”identifiedby”bigdata”;“mysql-uroot-pbigdata-e“grantallprivilegesonambari.*to”ambari”@”%”identifiedby”bigdata”;“mysql-uroot-pbigdataambari</var/lib/a