云计算开发平台安装配置手册(Linux单机伪集群分册)

1、 产品ID 密级FocusHadoop 中产品版本页数1.0.015云计算开发平台安装配置手册Linux单机伪集群分册二零一一年 九月云计算开发平台安装配置手册Linux单机伪集群分册目 录1.综述41.1.依据41.2.目的41.3.范围41.4.术语42.安装环境53.安装准备64.安装JDK75.安装hadoop76.安装hbase服务137.安装xdat服务187.1.修改xdata的配置文件188.安装solr服务279.安装LZO压缩模块289.1.标准安装289.2.测试LZO压缩解压319.3.如果安装后的lib包有问题不能用执行以下步骤补救32 修订记录日期修订版本描述编撰人

2、2011-09-200.0.1Linux单机伪集群分册刘学2011-10-130.0.2增加安装hbase内容邹跃2011-10-180.0.3调整文档部分结构。xdata-xdata概念转变刘学2011-10-190.0.4增加LZO压缩模块安装刘学2011-10-200.0.5修改xdata安装文档目录结构刘学2011-12-090.0.6修改其中错误的地方罗亮2011-12-090.0.7增加solr单机模式安装邹跃2011-12-290.1.0重构文档罗亮2012-1-40.1.1增加第24步创建符号链接康华星1. 综述 1.1. 依据本文档依赖于Apache组织hadoop开源项目的

3、相关资料与文档以及各种网络收集的经过整理的资料。1.2. 目的本文档将指导IT工程人员在单台Linux服务器上安装配置单节点的伪集群服务。1.3. 范围本文档将指导如何获取安装文件构建安装目录、安装JDK、安装hadoop服务、配置云计算实验平台服务平台、HDFS测试、MapReduce测试等。1.4. 术语HadoopCygwinEclipesXdata定义在云计算技术基础上的数据应用解决方案产品，适应各种未知数据模型，具备很好的数据应用模式的延展性。LZOLZO是一个美妙与Hadoop的使用的压缩方案，因为它的速度非常快，支持splittable(可分块)。 Gzip很快，但不能利用Had

4、oop的自然地图的优势分裂，因为这是不可能的，开始一个随机文件中的偏移量开始解压缩GZIP流的。LZO的块格式能够在解压缩文件的某些特定的偏移执行解压在新的LZO块边界开始。LZO除了支持解压，这个类（pression.lzo.LzoIndexer）提供了一个进程中的索引器以及Map-Reduce风格索引器，它将读取一组LZO文件，将输出的LZO块边界偏移量与Hadoop文件块边界自然融合。这使得大量的LZO文件分割成多个映射器和并行处理。压缩，因为它是从磁盘读取的数据较少，最大限度地减少所需的IOPS数。和lzo减压是如此之快，CPU保持领先磁盘中读取的，所以不必解压缩，因为它的读取磁盘数据

5、，也没有性能的影响。Gzip某种压缩格式，速度快，但是不支持压缩分块。2. 安装环境硬件环境CPU：无特殊要求内存：无特殊要求硬盘：无特殊要求软件环境操作系统：Linux浏览器：目前只支持IE6.0和IE7.03. 安装准备思路：1.准备-2.权限-3.基本包-4.软件包-5.网络登录-6.配置环境步骤1 获取安装包安装文件安装包目录如下，如果缺省的安装包下面缺少对应的内容需要通过他人沟通获取：上级目录是/xdata/目录结构说明././bin ./ hadoop/config/lib/log/setup./hadoop-rc1.tarema_mysql.sqljdk-6u

6、10-linux-i586.binjdk-6u10-linux-x64.binmysql-5.0.67-linux-i686.tar.gz/mysql./bin./ mysqlaccessmysqld_safemy.conf/hadoop ./ conf/tomcat ./ /conf /webapps ./ ema hadoop可执行文件执行目录启动脚本（里面RUN_USER配置hadoop）配置目录（缺省配置在里面）软件包目录日志目录安装用临时文件夹，包括安装需要的软件包最新的hadoop平台安装包mysql数据库脚本Jdk1.6 x32位版本Jdk1.6 x64位版本Mysql数据库软件

7、包mysql数据库替换文件hadoop缺省配置目录setup中解压的tar.gz 文件要放在这里放了hadoop服务缺省的4个配置文件WEB服务器软件目录mk/conf配置目录只需要修改server.xml界面应用程序发布在这里基础界面框架实验平台代码mkbin检查安装包目录是否完整。步骤2 拷贝安装包安装文件到安装目录将上述目录中所有内容文件拷贝到机器的/xdata目录注：如未说使用何种用户进行的操作默认为root用户步骤3 创建安装所需要的用户与用户组目的：以后xdata操作用专用的组权限和用户权限。以root用户登录服务器，在命令行下输入：#groupadd xdata#useradd

8、-g xdata xdata /-g表示group#passwd xdata/输入新的用户名密码Changing password for user xdata.New UNIX password: BAD PASSWORD: it is based on a dictionary wordRetype new UNIX password: passwd: all authentication tokens updated successfully.4. 安装JDK步骤4 解压jdk软件包(如果没有则先mkdir命令建立xdata目录)#chmod 755 /xdata/setup/*.*/习

9、惯：先修改setup目录里文件的所有权限,7表示user读写执行，group读执行，other执行#cd /xdata/setup#. /jdk-6u10-linux-i586.bin bin文件是二进制文件，也可以使用脚本的方式进行执行，不同的是bin是个压缩包，所以执行实际是解压操作；但是.tar.gz需要使用tar命令解压了步骤5 建立jdk的符号链接#ln -s /xdata/setup/jdk1.6.0_10 /xdata/jdk如果服务器上已经安装有JDK直接做符号链接#ln -s /*/jdk* /xdata/jdk5. 安装hadoop步骤6 解压hadoop安装包#cd /x

10、data/setup#gunzip authorized_keys /这里只不过是复制了个公钥文件而已，为的是既保留原有公钥做备份，又能对要使用的公钥改权限/使用cat命令在新建authorized_keys文件的同时写入内容配置authorized_keys文件权限$chmod 600 authorized_keys（只有所有者有读和写的权限，因为前面切换了用户为xdata，所以所有者用ll可以看到是xdata）验证$ ssh localhost 使用xdata用户执行/测试是否配置完成/在第一次连接中,服务器hosts中没有加入RSA，所以无法连接。接着验证RSA,成功后加入hosts就可

11、以连接了。（相当于你以前没来过，没签到第一次进入被拒绝了，然后看到你的通行证，把通行证ID加入签到表（hosts）中，然后放行步骤10 改变系统工作目录权限给xdata#su -root /先改回当前的所属用户或组才能进行操作（或者su也可，不过redhat中地址 后会过出个当前目录倒是挺有用的）#chgrp -R xdata /xdata /-R或-recursive 递归处理，将指定目录下的所有文件及子目录一并处理。/只有改变所属组或用户才能操作，现在ll看到前面是root创建的，因此属于root#chown -R xdata /xdata步骤11 配置$HADOOP_HOME/conf/

12、hadoop-env.sh切换到Hadoop的安装路径找到hadoop/conf/hadoop-env.sh文件，使用vi或vi离线方法打开将#vi /xdata/hadoop/conf/hadoop-env.sh# export JAVA_HOME=/usr/lib/j2sdk1.5-sun改为export JAVA_HOME=/usr/java/jdk1.6.0_16 / /usr/java/jdk1.6.0_16表示jdk存放的路径，若是其他路径，要做相应修改步骤12 配置$ HADOOP_HOME/conf/core-site.xml目的：配置后用于查看core的情况切换到Hadoop

13、的安装路径找到conf/core-site.xml文件，使用vi或离线方法打开将#vi /xdata/hadoop/conf/core-site.xml /粗体部分根据自身情况修改 hdfs:/master:51600 hadoop.tmp.dir/xdata/hadoop/tmp hdfs:/master:51600 ：表示hdfs连接的路径,用于网页访问/xdata/hadoop/tmp ：表示存放的位置, 用于设定系统临时目录注：如果没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoop-hadoop.而这个目录在每次重

14、启后都会被干掉，必须重新执行format才行，否则会出错。/操作系统默认tmp目录中内容每次重启后干掉步骤13 配置$HADOOP_HOME/conf/ hdfs-site.xml目的 配置后用于查看hdfs的情况切换到Hadoop的安装路径找到conf/hdfs-site.xml文件，使用vi或离线方法打开将#vi /xdata/hadoop/conf/hdfs-site.xml dfs.replication 1 .dir/xdata/hadoop/name dfs.data.dir /xdata/hadoop/data dfs.http.address 219.153.7

15、.131:50070l dfs.replication是配置复制副本数目，不同的文件副本的分区会放在不同的datanode机器上,表示配置1份副本l .dir是namenode机器上name数据数据的位置，没有则放到core-site.xml的tmp目录中l dfs.data.dir是datanode机器上data数据存放的位置，没有找到name则放到core-site.xml的tmp目录中 l dfs.http.address提供web页面显示的地址和端口默认是50070，ip是namenode的ip 步骤14 配置$HADOOP_HOME/conf/mapred-site.

16、xml找到$HADOOP_HOME/conf/mapred-site.xml文件，使用离线方法打开将 mapred.job.tracker localhost:51601 注1：我们的产品用51601来监听作业。步骤15 格式化HFDS文件系统#/xdata/hadoop/bin/hadoop namenode format /使用xdata用户l 建立新的dfs name dir，但是会删除所有这个目录下的文件建立新的image文件以及editlog文件，这些文件建立的时候会写入一些初始值l 用RandomAccessFile 建立了一个rw文件用于记录editlog步骤16 启动Hadoo

17、p服务使用root用户，赋权#chgrp R xdata /xdata#chown R xdata /xdata#chmod R 755 /xdata使用xdata用户启动了一个名称节点，一个数据节点。#/xdata/hadoop/bin/start-all.sh 用jps命令查看进程，显示进程PID以及类名以及程序参数：#/xdata/jdk/bin/jps ml /使用xdata用户执行10176 org.apache.hadoop.mapred.TaskTracker25710 sun.tools.jps.Jps -ml8607 org.apache.hadoop.hdfs.server

18、.namenode.SecondaryNameNode9157 org.apache.hadoop.hdfs.server.datanode.DataNode7783 node.NameNode9612 org.apache.hadoop.mapred.JobTracker既是正常的步骤17 创建目录$/xdata/hadoop/bin/hadoop fs -mkdir /liuxue/focus /xdata用户步骤18 上传文件到文件系统验证工$/xdata/hadoop/bin/hadoop fs -copyFromLo

19、cal /xdata/lib/wrapper.jar /liuxue/wrapper.jar /使用xdata用户执行$/xdata/hadoop/bin/hadoop fs -ls /liuxue /使用xdata用户执行Found 3 items-rw-r-r- 1 hadoop supergroup 1108763 2011-09-02 18:35 /liuxue/emasys.jardrwxr-xr-x - hadoop supergroup 0 2011-09-03 02:12 /liuxue/focus-rw-r-r- 1 hadoop supergroup 125354 2011

20、-09-03 02:21 /liuxue/wrapper.jar步骤19 复制文件步骤20 读取文件步骤21 删除文件步骤22 超过64M（块分区）的大文件上传$/xdata/hadoop/bin/hadoop fs -copyFromLocal /xdata/setup/hadoop-rc1.tar.gz /liuxue/focus/hadoop-rc1.tar.gz /使用xdata用户执行$/xdata/hadoop/bin/hadoop fs -copyFromLocal /emasys/setup/mysql-5.0.67-linux-i686

21、.tar.gz /liuxue/focus/mysql-5.0.67-linux-i686.tar.gz/使用xdata用户执行第36页，共33页6. 安装hbase服务步骤23 解压hbase安装包这里只在master机器上进行设置，使用xdata用户#cd /xdata/setup# tar -zxvf hbase-0.90.4.tar.gz 步骤24 建立符号链接#ln s /xdata/setup/ hbase-0.90.4 /xdata/hbase /也可以直接将解压后剪切到/xdata目录并重命名为hbase步骤25 配置xdata/hbase/conf/ hbase-env.sh

22、在xdata/hbase/conf路径找到conf/hbase-env.sh文件，使用Editplus打开：# export JAVA_HOME=/usr/java/jdk1.6.0/ 改为export JAVA_HOME=/xdata/jdk/ /实际的jdk路径#export HBASE_CLASSPATH= /由于版本问题注意这里需要适当设置 可以查看FAQ#export HBASE_SSH_OPTS=-o ConnectTimeout=1 -o SendEnv=HBASE_CONF_DIR 这行直接去掉#export HBASE_MANAGES_ZK=true 这行直接去掉占位符#，t

23、rue #export HBASE_LOG_DIR=$HBASE_HOME/logs 修改为输出到/xdata/logexport HBASE_LOG_DIR=/xdata/log # export HBASE_PID_DIR=/var/hadoop/pids 修改为输出到/xdata/pidexport HBASE_PID_DIR=/xdata/pid#号表示命令行的占位符，拷贝指令的时候必须要删掉 sdk/jdk为/xdata/jdk/所在的目录。HBASE_MANAGES_ZK=true 表示使用hbase自带的zookeeper来管理服务 false 采用自带安装的zookeeper步

24、骤26 配置xdata/hbase/conf/ hbase-site.xml在$HBASE_HOME路径找到conf/hbase-site.xml文件，使用Editplus打开：hbase.rootdirhdfs:/ireadtest:51600/hbase / ireadtest:51600 表示主机名和端口The directory shared by region servers.hbase.cluster.distributedtrueThe mode the cluster will be in. Possible values arefalse: standalone and ps

25、eudo-distributed setups with managed Zookeepertrue: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)hbase.zookeeper.quorumlocalhost /添加节点，如果是多个结点用逗号隔开Comma separated list of servers in the ZooKeeper Quorum.For example, ,.By default this is set to localhost for local and pseudo-di

26、stributed modesof operation. For a fully-distributed setup, this should be set to a fulllist of ZooKeeper quorum servers. If HBASE_MANAGES_ZK is set in hbase-env.shthis is the list of servers which we will start/stop ZooKeeper on.hbase.rootdir 表示连入的文件系统地址，注意主机名和端口号要与hadoop的dfs name的对应，另外注意最好hdfs里面配置

27、为主机名，使用IP可能有bug，另外跟上/habase目录，表示hbase相关数据放到hdfs根目录的/hbase目录下面hbase.cluster.distributed hbase.zookeeper.quorum步骤27 启动hbase守护进程使用root用户，赋权#chgrp R xdata /xdata#chown R xdata /xdata#chmod R 755 /xdata启动服务：$/xdata/hbase/bin/start-hbase.sh /使用xdata用户这个命令将依次启动三个守护进程zookeeper、master、regionserver$ /xdata/jd

28、k/bin/jps /使用xdata用户执行 6951 Shell7010 Bootstrap12796 JobTracker12430 DataNode22764 HRegionServer # regionserver守护进程22887 Jps12429 SecondaryNameNode12891 TaskTracker22649 HMaster # master守护进程22604 HQuorumPeer # zookeeper守护进程12349 NameNode也可以这个命令依次启动$HBASE_HOME/bin/hbase-daemon.sh start zookeeper /使用x

29、data用户$ HBASE _HOME/bin/hbase-daemon.sh start master /使用xdata用户$ HBASE _HOME/bin/hbase-daemon.sh start regionserver /使用xdata用户这样子可以通过对应日志来查看哪一个守护进程出问题了步骤28 HBase Shell基本命令测试l 进入hbase shell命令环境，使用xdata用户执行xdataireadtest $ /xdata/hbase/bin/hbase shell /使用xdata用户执行 /xdata/log/shell-ea -XX:+UseConcMarkS

30、weepGC -XX:+CMSIncrementalMode -Dhbase.log.dir=/xdata/log/shell -Dhbase.log.file=hbase.log -Dhbase.home.dir=/xdata/hbase/bin/. -Dhbase.id.str= -Dhbase.root.logger=INFO,consoleHBase Shell; enter help for list of supported commands.Type exit to leave the HBase ShellVersion 0.90.4, r1150278, Sun Jul 24

31、 15:53:29 PDT 2011hbase(main):001:0l 建表，create命令，表示创建了一个表，表名为mysqllog，列族为loghbase(main):001:0 create mysqllog,log0 row(s) in 1.8950 secondshbase(main):001:0 create test,test10 row(s) in 1.8950 secondsl 查看所有的表，可以看到列出了两个表hbase(main):002:0 listTABLE mysqllog test 2 row(s) in 0.0250 secondsl 往mysqllog表插

32、入几条数据hbase(main):003:0 put mysqllog,row1,log:log_date,2011-10-110 row(s) in 0.1860 secondshbase(main):002:0 put mysqllog,row2,log:user,xdata 0 row(s) in 0.0830 secondshbase(main):003:0 put mysqllog,row3,log:action,insert0 row(s) in 0.0250 secondsl 查看mysqllog的表内容hbase(main):005:0 scan mysqllogROW COL

33、UMN+CELL row1 column=log:log_date, timestamp=1318485143266, value=2011-10-11 row2 column=log:user, timestamp=1318485183090, value=xdata row3 column=log:action, timestamp=1318485210234, value=insert 3 row(s) in 0.1160 seconds这里可以看出，在不改变架构的情况下，动态的增加了log_date,user,action三列，这三列都是log这个列族的成员l 删除表，删除表之前必须d

34、isable表hbase(main):006:0 disable test0 row(s) in 2.2240 secondshbase(main):007:0 drop test0 row(s) in 1.1770 secondshbase(main):008:0 listTABLE mysqllog 1 row(s) in 0.0160 secondsl 退出hbase shell环境hbase(main):009:0 exit步骤29 关闭hbase守护进程$xdata/hbase/bin/stop-hbase.sh /使用xdata用户此命令只会停止master守护进程，其他进程想停止

35、的话请使用$HBASE_HOME/bin/hbase-daemon.sh stop XXX /XXX表示进程名7. 安装xdat服务7.1. 修改xdata的配置文件步骤30 修改wrapper.conf文件wrapper.conf属于xdata服务的基础配置。打开：/xdata/config/wrapper.conf文件。以下是配置文件的缺省配置项，粗体字部分可根据用户的要求更换配置。# Additional Parameterswrapper.java.additional.1=-Djava.home=./jdkwrapper.java.additional.2=-Dcatalina.ho

36、me=./tomcatwrapper.java.additional.3=-Dhadoop.home=./hadoopwrapper.java.additional.4=-Dfocus.lib=./lib/focus.jar:./lib/mysql.jar:./lib/ema-api-1.0.0RC1.jarwrapper.java.additional.5=-Dxdata.lib=./hadoop/conf:./jdk/lib/tools.jar:./hadoop:./hadoop/hadoop-core-.jar:./hadoop/lib/aspectjrt-1.6.5

37、.jar:./hadoop/lib/aspectjtools-1.6.5.jar:./hadoop/lib/commons-beanutils-1.7.0.jar:./hadoop/lib/commons-beanutils-core-1.8.0.jar:./hadoop/lib/commons-cli-1.2.jar:./hadoop/lib/commons-codec-1.4.jar:./hadoop/lib/commons-collections-3.2.1.jar:./hadoop/lib/commons-configuration-1.6.jar:./hadoop/lib/commo

38、ns-daemon-1.0.1.jar:./hadoop/lib/commons-digester-1.8.jar:./hadoop/lib/commons-el-1.0.jar:./hadoop/lib/commons-httpclient-3.0.1.jar:./hadoop/lib/commons-lang-2.4.jar:./hadoop/lib/commons-logging-1.1.1.jar:./hadoop/lib/commons-logging-api-1.0.4.jar:./hadoop/lib/commons-math-2.1.jar:./hadoop/lib/commo

39、ns-net-1.4.1.jar:./hadoop/lib/core-3.1.1.jar:./hadoop/lib/hsqldb-0.jar:./hadoop/lib/jackson-core-asl-1.0.1.jar:./hadoop/lib/jackson-mapper-asl-1.0.1.jar:./hadoop/lib/jasper-compiler-5.5.12.jar:./hadoop/lib/jasper-runtime-5.5.12.jar:./hadoop/lib/jets3t-0.6.1.jar:./hadoop/lib/jetty-6.1.26.jar:.

40、/hadoop/lib/jetty-util-6.1.26.jar:./hadoop/lib/jsch-0.1.42.jar:./hadoop/lib/junit-4.5.jar:./hadoop/lib/kfs-0.2.2.jar:./hadoop/lib/log4j-1.2.15.jar:./hadoop/lib/mockito-all-1.8.5.jar:./hadoop/lib/oro-2.0.8.jar:./tomcat/lib/servlet-api.jar:./hadoop/lib/slf4j-api-1.4.3.jar:./hadoop/lib/slf4j-log4j12-1.4.3.jar:./hadoop/lib/xmlenc-0.52.jar:./hadoop/lib/jsp-2.1/jsp-2.1.jar:./hadoop/