HADOOP二次开发代码说明

1、HADOOP 二次开发代码说明Eclipse 建立maven工程：MaoReduce读写HDFS的Demo数据准备：准备两个测试文件 1.txt 2.txt 内容格式：按照空格分割 放入hdfs 的/data/input 目录命令： hadoop dfs -put 本地目录 hdfs目录程序编写：运行命令 ：Hadoop jar *.jar /输入路径 /输出路径输出结果 ：查看命令 hadoop dfs -text /output/*MaoReduce读写HBase的Demo数据准备：准备测试文件 内容格式：rowkey:列族:列名:值 例如：r1:cf:c1:value1 放入hdfs 的

2、/data/inputhbase 目录命令： hadoop dfs -put 本地目录 hdfs目录程序编写：运行命令：Hadoop jar *.jar /输入路径 表名输出结果 ：Hbase shell 连接hbase Scan mytable 查询表名HIVE 的使用连接hive 切换用户su - hdfs 连接 ： hive Hive  命令行常用命令 加载数据到普通表load data local inpath '/home/IVR_CSR_MENU_MAP.txt' into table ivr_csr_menu_map;加载数据带分区的表load

3、 data local inpath '/home/lftest/lf1.txt' overwrite into table lf_test partition(dt=20150927);加overwrite会覆盖原数据（已有的话）若不加，又有原数据，则会生成一个copy文件load data local inpath  '/home/lftest/lf1.txt' overwrite into table lf_test partition(dt=20150927); Hive 命令行里面可以使用dfs来执行一些hadoop命令查看目录df

4、s -ls /apps/hive/warehouse/lf_test;查看文件内容hive> dfs -text /apps/hive/warehouse/lf_test/dt=20150928/lf.txt;  删除文件dfs -rm /apps/hive/warehouse/lf_test/dt=20150927/lf1_copy_2.txt;删除目录dfs -rm -r  /apps/hive/warehouse/lf_test; 显示表分区show partitions lf_test;添加分区alter table lf_test add part

5、ition(dt=20150928);删除分区alter table lf_test drop partition(dt=20150928);显示详细的表结构：（包括字段、分区等信息）desc  formatted  ivr_calldata;显示建表语句show create table sas_ambs;删除表drop table lf_test;重命名表ALTER TABLE employee RENAME TO emp;创建表（内部表）：hive> create table lf_test(id int,name string,age int,tel stri

6、ng)      > partitioned by (dt string)      > ROW FORMAT DELIMITED      > FIELDS TERMINATED BY '|'      > STORED AS TEXTFILE;外部表create EXTERNAL table IVR_CSR_MENU_MAP(CSR_REASON_ID string,CSR_REASON_NAME string,IVR_NODE_ID string,IVR_NODE_NAME string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '|'STORED AS TEXTFILEloc