Spark大数据分析 课件 2.1 集群环境准备

集群环境准备目录/Contents01系统环境配置02JDK安装03Hadoop集群部署04ZooKeeper集群部署05Scala安装系统环境配置01系统环境配置1.安装linux系统：Centos关于系统的安装这里不做详细的介绍，本次安装的系统为centos7，可以在阿里镜像镜像网站（/centos/7/isos/x86_64/）或者官网（/download/）下载镜像。使用的软件：VMwareWorkstation系统安装要求：无桌面版最小化安装网络连接方式：NAT内存2G及以上磁盘大小30G及以上CPU1核以上2.网络环境配置在系统安装完成后需要配置虚拟机的网卡信息。(1)NAT信息查看①打开VMware②找到菜单栏中的“编辑”，选择“虚拟网络编辑器”③选择VMnet8，NAT设置(2)打开虚拟机命令行界面，修改网卡信息系统环境配置3.配置防火墙CentOS7默认使用的是firewall作为防火墙。firewall操作：#servicefirewalldstatus;#查看防火墙状态（disabled表明已经禁止开启启动enable表示开机自启，inactive表示防火墙关闭状态activated（running）表示为开启状态）4.主机名修改vi与vimvi编辑器是所有Unix及Linux系统下标准的编辑器，他就相当于windows系统中的记事本一样，它的强大不逊色于任何最新的文本编辑器。他是我们使用Linux系统不能缺少的工具。由于对Unix及Linux系统的任何版本，vi编辑器是完全相同的，学会它后，你将在Linux的世界里畅行无阻。vim具有程序编辑的能力，可以以字体颜色辨别语法的正确性，方便程序设计，因为程序简单，编辑速度相当快速。JDK安装02JDK安装1.面向对象编程语言——JavaJava是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，方便程序员以面向对象的思维方式进行复杂的编程。Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。Java可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等。Storm2.JDKJDK(JavaDevelopmentKit)是Java语言的软件开发工具包，主要用于移动设备、嵌入式设备上的Java应用程序。JDK是整个Java开发的核心，它包含了Java的运行环境（JVM+Java系统类库）和Java工具。JDK包含的基本组件包括：javac：编译器，将源程序转成字节码。jar：打包工具，将相关的类文件打包成一个文件。javadoc：文档生成器，从源码注释中提取文档。jdb：debugger，查错工具。java：运行编译后的Java程序（.class后缀的）。appletviewer：小程序浏览器，一种执行HTML文件上的Java小程序的Java浏览器。Javah：产生可以调用Java过程的C过程，或建立能被Java程序调用的C过程的头文件。Javap：Java反汇编器，显示编译类文件中的可访问功能和数据，同时显示字节代码含义。Jconsole:Java进行系统调试和监控的工具。JDK安装3.JREJRE（JavaRuntimeEnvironment）Java运行环境，包括两部分：JavaRuntimeEnvironment和JavaPlug-in。JRE是可以在其上运行、测试和传输应用程序的Java平台。它包括JVM（Java虚拟机）、Java核心类库和支持文件。它不包含开发工具（JDK）——编译器、调试器和其它工具。JRE需要辅助软件（JavaPlug-in）以便在浏览器中运行applet。JRE可以支撑Java程序的运行，包括JVM虚拟机（java.exe等）和基本的类库（rt.jar等），JDK可以支持Java程序的开发，包括编译器（javac.exe）、开发工具（javadoc.exe、jar.exe、keytool.exe、jconsole.exe）和更多的类库（如tools.jar）等。Storm4.JDK安装Hadoop采用的开发语言是Java，所以搭建Hadoop集群的前提是先安装JDK。本书选择的JDK版本是Oracle官方的JDK8，这里使用的是tar.gz安装包（/technetwork/java/javase/downloads/java-archive-javase8-2177648.html）Hadoop集群部署03Hadoop集群部署Hadoop集群部署1．基础环境配置搭建Hadoop集群需要配置以下信息：①配置虚拟机网络（NAT联网方式）②网卡信息修改③主机名修改④主机名与IP映射⑤关闭防火墙⑥ssh免密登录⑦JDK安装⑧同步集群时间根据1.1.1与1.1.2节中的内容完成①②③⑤⑦这五个操作，在配置完成后开始主机名与IP映射、ssh免密登录、同步集群时间的操作。ZooKeeper集群部署04ZooKeeper集群部署ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Flink(1)安装包下载(2)配置zoo.cfg文件(3)myid文件(4)环境变量配置(5)安装包分发(6)启动集群(7)验证Scala安装05Scala安装spark是处理大数据的开源框架，底层是使用scala脚本语言开发，对scala支持最好，同时支持java、python、r语言等。scala是一种综合了面