Hive开发规范及要点.docx

Hive开发规范及编写要点HQL语言操作规范1.hive模糊搜索表show tables like *name*;show table table_name;2.查看表结构信息desc table_name;3.查看分区信息show partitions table_name;4.根据分区查询数据select table_coulmn from table_name where partition_name = 2014-02-25;5.查看hdfs文件信息hadoop fs -ls /user/hive/warehouse/table_name;6.从文件加载数据进表(overwrite表示覆盖加载)7.加载本地文件load data local inpath /xxx/xxx/dim_cube.txt overwrite into table dim.dim_cube_config;8.从查询语句给table插入数据insert overwrite table table_name partition(dt) select * from table_name where dt=2014-01-22 limit 100;9.导出数据到本地系统insert overwrite local directory /tmp/text select a.* from table_name a order by 1;hive -e select day_id,user,count from user_table where day_id in (2014-03-06,2014-03-07,2014-03-08,2014-03-09,2014-03-10); /home/test/test.dat;10.自定义udf函数hive中执行命令add jar /home/hive/jar/my_udf.jar;create temporary function sys_date as com.taobao.hive.udf.UDFDateSysdate;11.设置Hive执行参数；如：set hive.cli.print.header=true; / 打印列名set hive.cli.print.row.to.vertical=true; / 开启行转列功能, 前提必须开启打印列名功能set hive.cli.print.row.to.vertical.num=1; / 设置每行显示的列数12.查看表文件大小,下载文件到某个目录,显示多少行到某个文件hadoop fs -du hdfs:/hadoop:54310/user/warehouse/user_log;13.杀死某个任务 在hive shell中执行hadoop job -kill job_201403041453_58315(作业ID)12.删除分区alter table table_name drop partition(dt=2014-03-01);13.添加分区alter table table_name add partition (dt=2008-08-08, country=us) location /path/to/us/part080808 partition (dt=2008-08-09, country=us);14.hive命令行操作hive -e select table_cloum from table执行一个查询,在终端上显示mapreduce的进度，执行完毕后，最后把查询结果输出到终端上，接着hive进程退出，不会进入交互模式。hive -S -e select table_cloum from table-S，终端上的输出不会有mapreduce的进度，执行完毕，只会把查询结果输出到终端上。执行sql文件hive -f hive_sql.sql15.插入数据sqlinsert overwrite table table_name select_user_name from from_user_table;对多个表进行插入操作：from fromstatteinsert overwrite table table_name1 partiton(partcol1=val1,partclo2=val2) select statement1insert overwrite table tablename2 partiton(partcol1=val1,partclo2=val2) select statement2insert的时候，from子句即可以放在select 子句后面，也可以放在 insert子句前面。hive不支持用insert语句一条一条的进行插入操作,也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改。导出数据到HDFS中：insert overwrite directory /xxx/xxx/export_test select value_name from test_table;16.mapjoin的使用应用场景：1.关联操作中有一张表非常小 2.不等值的链接操作select /*+ mapjoin(a)*/ a.*,b.* from tab_name a left outer join tab_name b on ( a.a=b.a and a.ftime= 20110802)17.hive修改表名alter table old_table_name rename to new_table_name;18.hive复制表结构create table new_table_name like table_name;19.hive添加字段alter table table_name add columns(columns_values bigint comment comm_text);操作要点说明由于HDFS数据类型与关系型数据类型不同，所以，在创建表和确定数据类型时，一定要选取类型最匹配的HIVE数据类型。tinyint , smallint, int, bigint, float, double, Boolean, true/false, string注意事项：1、 在创建表时，先分析字段的内容，对应关系型数据库的类型选择与之相匹配的类型。2、 Hive 分为内部表和外部表，对于不做经常变更的表数据，可以参考外部表创建模式。创建内部表create table if not exists table_name(字段名 字段类型)partitioned by (pt string)row format delimitedfields terminated by t 字段分隔符stored as textfile; 文件格式为文本型存储创建外部表create external ta