自定义聚合函数

自定义聚合函数自定义函数概述0102自定义聚合函数UDAF求最大值Content目录01

自定义函数概述自定义函数概述Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构，元数据即表的模式，都存储在名为metastore的数据库中。

可以在hive的外壳环境中直接使用dfs访问hadoop的文件系统命令。

Hive可以允许用户编写自己定义的函数UDF，来在查询中使用。

操作单个数据行，产生单个数据行；

操作多个数据行，产生一个数据行。

操作一个数据行，产生多个数据行一个表作为输出。自定义函数概述Hive中有3种UDF：

UDAF：UDF：UDTF：自定义函数概述hive的udaf是自定义聚合函数配合groupby使用,接受0行到多行数据返回一个计算结果值,定义静态内部类，实现UDAFEvaluator的方法。方法如下：init()初始化一般负责初始化内部字段,通常初始化用来存放最终结果的变量iterate()每次都会对一个新的值进行聚合计算时都调用该方法,一般会根据计算结果更新用来存放最终结果的变量,如果计算正确或者输入值合法就返回true自定义函数概述方法如下：terminatePartial()这个方法直译过来是"终止部分",部分聚合结果的时候调用该方法必须返回一个封装了聚合计算当前状态的对象,类似于MapReduce的combinermerge()接受来自terminatePartial的返回结果,进行合并,hive合并两部分聚合的时候回调用这个方法terminate()终止方法返回最终聚合函数结果。02

自定义聚合函数UDAF自定义聚合函数UDAF案例：求最大值UDAF是输入多个数据行，产生一个数据行，用户自定义UDAF必须继承UDAF，必须提供一个实现了UDAFEvaluator接口的内部类

publicclassMaxiNumberextendsUDAF{publicstaticclassMaxiNumberIntUDAFEvaluatorimplementsUDAFEvaluator{

//代码｝｝自定义聚合函数UDAF//最终结果

privateFloatWritableresult;//负责初始化计算函数并设置它的内部状态，result是存放最终结果的

publicvoidinit(){result=null;}自定义聚合函数UDAF

//每次对一个新值进行聚集计算都会调用iterate方法

publicbooleaniterate(FloatWritablevalue){if(value==null)returnfalse;if(result==null)result=newFloatWritable(value.get());elseresult.set(Math.max(result.get(),value.get()));returntrue;}自定义聚合函数UDAF//Hive需要部分聚集结果的时候会调用该方法

//会返回一个封装了聚集计算当前状态的对象

publicFloatWritableterminatePartial(){returnresult;}//合并两个部分聚集值会调用这个方法

publicbooleanmerge(FloatWritableother){returniterate(other);}自定义聚合函数UDAF//Hive需要最终聚集结果时候会调用该方法

public