Oracle分析函数原理及应用.doc

分析函数(OVER)1分析函数2(Rank, Dense_rank, row_number)6分析函数3(Top/Bottom N、First/Last、NTile)10窗口函数14报表函数20分析函数总结2226个分析函数24PLSQL开发笔记和小结28分析函数简述60分析函数(OVER) 目录：=1.Oracle分析函数简介2. Oracle分析函数简单实例3.分析函数OVER解析一、Oracle分析函数简介：在日常的生产环境中，我们接触得比较多的是OLTP系统(即Online Transaction Process)，这些系统的特点是具备实时要求，或者至少说对响应的时间多长有一定的要求；其次这些系统的业务逻辑一般比较复杂，可能需要经过多次的运算。比如我们经常接触到的电子商城。在这些系统之外，还有一种称之为OLAP的系统(即Online Aanalyse Process)，这些系统一般用于系统决策使用。通常和数据仓库、数据分析、数据挖掘等概念联系在一起。这些系统的特点是数据量大，对实时响应的要求不高或者根本不关注这方面的要求，以查询、统计操作为主。我们来看看下面的几个典型例子：查找上一年度各个销售区域排名前10的员工按区域查找上一年度订单总额占区域订单总额20%以上的客户查找上一年度销售最差的部门所在的区域查找上一年度销售最好和最差的产品我们看看上面的几个例子就可以感觉到这几个查询和我们日常遇到的查询有些不同，具体有：需要对同样的数据进行不同级别的聚合操作需要在表内将多条数据和同一条数据进行多次的比较需要在排序完的结果集上进行额外的过滤操作分析函数语法:FUNCTION_NAME(,.)OVER()例:sum(sal) over (partition by deptno order by ename) new_aliassum就是函数名(sal)是分析函数的参数,每个函数有03个参数,参数可以是表达式,例如:sum(sal+comm)over 是一个关键字,用于标识分析函数,否则查询分析器不能区别sum()聚集函数和sum()分析函数partition by deptno 是可选的分区子句,如果不存在任何分区子句,则全部的结果集可看作一个单一的大区order by ename 是可选的order by 子句,有些函数需要它,有些则不需要.依靠已排序数据的那些函数,如:用于访问结果集中前一行和后一行的LAG和LEAD,必须使用,其它函数,如AVG,则不需要.在使用了任何排序的开窗函数时,该子句是强制性的,它指定了在计算分析函数时一组内的数据是如何排序的.1)FUNCTION子句ORACLE提供了26个分析函数,按功能分5类分析函数分类等级(ranking)函数:用于寻找前N种查询开窗(windowing)函数:用于计算不同的累计,如SUM,COUNT,AVG,MIN,MAX等,作用于数据的一个窗口上例:sum(t.sal) over (order by t.deptno,t.ename) running_total,sum(t.sal) over (partition by t.deptno order by t.ename) department_total制表(reporting)函数:与开窗函数同名,作用于一个分区或一组上的所有列例:sum(t.sal) over () running_total2,sum(t.sal) over (partition by t.deptno ) department_total2制表函数与开窗函数的关键不同之处在于OVER语句上缺少一个ORDER BY子句!LAG,LEAD函数:这类函数允许在结果集中向前或向后检索值,为了避免数据的自连接,它们是非常用用的.VAR_POP,VAR_SAMP,STDEV_POPE及线性的衰减函数:计算任何未排序分区的统计值2)PARTITION子句按照表达式分区(就是分组),如果省略了分区子句,则全部的结果集被看作是一个单一的组3)ORDER BY子句分析函数中ORDERBY的存在将添加一个默认的开窗子句,这意味着计算中所使用的行的集合是当前分区中当前行和前面所有行,没有ORDER BY时,默认的窗口是全部的分区在Order by 子句后可以添加nulls last,如:order by comm desc nulls last表示排序时忽略comm列为空的行. 4)WINDOWING子句用于定义分析函数将在其上操作的行的集合Windowing子句给出了一个定义变化或固定的数据窗口的方法,分析函数将对这些数据进行操作默认的窗口是一个固定的窗口,仅仅在一组的第一行开始,一直继续到当前行,要使用窗口,必须使用ORDER BY子句根据2个标准可以建立窗口:数据值的范围(RANGES)或与当前行的行偏移量.5)Rang窗口Range 5 preceding:将产生一个滑动窗口,他在组中拥有当前行以前5行的集合ANGE窗口仅对NUMBERS和DATES起作用,因为不可能从VARCHAR2中增加或减去N个单元另外的限制是ORDER BY中只能有一列,因而范围实际上是一维的,不能在N维空间中例:avg(t.sal) over(order by t.hiredate asc range 100 preceding) 统计前100天平均工资6)Row窗口利用ROW分区,就没有RANGE分区那样的限制了,数据可以是任何类型,且ORDER BY 可以包括很多列7)Specifying窗口UNBOUNDED PRECEDING:这个窗口从当前分区的每一行开始,并结束于正在处理的当前行CURRENT ROW:该窗口从当前行开始(并结束)Numeric Expression PRECEDING:对该窗口从当前行之前的数字表达式(Numeric Expression)的行开始,对RANGE来说,从从行序值小于数字表达式的当前行的值开始.Numeric Expression FOLLOWING:该窗口在当前行Numeric Expression行之后的行终止(或开始),且从行序值大于当前行Numeric Expression行的范围开始(或终止)range between 100 preceding and 100 following:当前行100前,当前后100后注意:分析函数允许你对一个数据集进排序和筛选,这是SQL从来不能实现的.除了最后的Order by子句之外,分析函数是在查询中执行的最后的操作集,这样的话,就不能直接在谓词中使用分析函数,即不能在上面使用where或having子句!二、Oracle分析函数简单实例：下面我们通过一个实际的例子：按区域查找上一年度订单总额占区域订单总额20%以上的客户，来看看分析函数的应用。【1】测试环境：SQLdescorders_tmp;Name Null?Type-CUST_NBR NOTNULLNUMBER(5)REGION_ID NOTNULLNUMBER(5)SALESPERSON_IDNOTNULLNUMBER(5)YEAR NOTNULLNUMBER(4)MONTH NOTNULLNUMBER(2)TOT_ORDERSNOTNULLNUMBER(7)TOT_SALES NOTNULLNUMBER(11,2)【2】测试数据：SQLselect*fromorders_tmp;CUST_NBRREGION_IDSALESPERSON_IDYEARMONTHTOT_ORDERSTOT_SALES-11711 20017212204454 200110237802767 200123375010682001122169110672001234262415712200056241279 20006250658152 20003244494151 2000927486425420003235060254 2000446454251 200010435580454 20001223919013rowsselected.【3】测试语句： SQLselecto.cust_nbrcustomer,2o.region_idregion,3sum(o.tot_sales)cust_sales,4sum(sum(o.tot_sales)over(partitionbyo.region_id)region_sales5fromorders_tmpo6whereo.year=20017groupbyo.region_id,o.cust_nbr;CUSTOMERREGIONCUST_SALESREGION_SALES-4 537802378027 63750 6806510 6643156806511 71220412204三、分析函数OVER解析：请注意上面的绿色高亮部分，group by的意图很明显：将数据按区域ID，客户进行分组，那么Over这一部分有什么用呢？假如我们只需要统计每个区域每个客户的订单总额，那么我们只需要group by o.region_id,o.cust_nbr就够了。但我们还想在每一行显示该客户所在区域的订单总额，这一点和前面的不同：需要在前面分组的基础上按区域累加。很显然group by和sum是无法做到这一点的(因为聚集操作的级别不一样，前者是对一个客户，后者是对一批客户)。这就是over函数的作用了！它的作用是告诉SQL引擎：按区域对数据进行分区，然后累积每个区域每个客户的订单总额(sum(sum(o.tot_sales)。现在我们已经知道2001年度每个客户及其对应区域的订单总额，那么下面就是筛选那些个人订单总额占到区域订单总额20%以上的大客户了SQLselect*2from(selecto.cust_nbrcustomer,3o.region_idregion,4sum(o.tot_sales)cust_sales,5sum(sum(o.tot_sales)over(partitionbyo.region_id)region_sales6fromorders_tmpo7whereo.year=20018groupbyo.region_id,o.cust_nbr)all_sales9whereall_sales.cust_salesall_sales.region_sales*0.2;CUSTOMERREGIONCUST_SALESREGION_SALES-45378023780210664315680651171220412204SQL现在我们已经知道这些大客户是谁了！哦，不过这还不够，如果我们想要知道每个大客户所占的订单比例呢？看看下面的SQL语句，只需要一个简单的Round函数就搞定了。 SQLselectall_sales.*,2100*round(cust_sales/region_sales,2)|%Percent3from(selecto.cust_nbrcustomer,4o.region_idregion,5sum(o.tot_sales)cust_sales,6sum(sum(o.tot_sales)over(partitionbyo.region_id)region_sales7fromorders_tmpo8whereo.year=20019groupbyo.region_id,o.cust_nbr)all_sales10whereall_sales.cust_salesall_sales.region_sales*0.2;CUSTOMERREGIONCUST_SALESREGION_SALESPERCENT-45 3780237802 100%10 6 6431568065 94%11 7 1220412204 100%SQL总结：Over函数指明在那些字段上做分析，其内跟Partition by表示对数据进行分组。注意Partition by可以有多个字段。Over函数可以和其它聚集函数、分析函数搭配，起到不同的作用。例如这里的SUM，还有诸如Rank，Dense_rank等。分析函数2(Rank, Dense_rank, row_number) 目录=1.使用rownum为记录排名2.使用分析函数来为记录排名3.使用分析函数为记录进行分组排名一、使用rownum为记录排名：在前面一篇Oracle开发专题之：分析函数，我们认识了分析函数的基本应用，现在我们再来考虑下面几个问题：对所有客户按订单总额进行排名按区域和客户订单总额进行排名找出订单总额排名前13位的客户找出订单总额最高、最低的客户找出订单总额排名前25%的客户按照前面第一篇文章的思路，我们只能做到对各个分组的数据进行统计，如果需要排名的话那么只需要简单地加上rownum不就行了吗？事实情况是否如此想象般简单，我们来实践一下。【1】测试环境：SQLdescuser_order;NameNull?Type-REGION_IDNUMBER(2)CUSTOMER_IDNUMBER(2)CUSTOMER_SALESNUMBER【2】测试数据：SQLselect*fromuser_orderorderbycustomer_sales;REGION_IDCUSTOMER_IDCUSTOMER_SALES-51 1511621029 90338367 9715851028 9869649211020541922 1036146816 106846768 114163853 116128655 1169926819 1174421712 1182275711 1190421610 119674869 1208959103012168585 2 12249929 24 12249929 23 1224992 818 1253840715 12555917131322747820 141372266180894954 1878275714 1929774817 1944281925 223270330rowsselected.注意这里有3条记录的订单总额是一样的。假如我们现在需要筛选排名前12位的客户，如果使用rownum会有什么样的后果呢？ SQLselectrownum,t.*2from(select*3fromuser_order4orderbycustomer_salesdesc)t5whererownumselectregion_id,customer_id,sum(customer_sales)total,2rank()over(orderbysum(customer_sales)desc)rank,3dense_rank()over(orderbysum(customer_sales)desc)dense_rank,4row_number()over(orderbysum(customer_sales)desc)row_number5fromuser_order6groupbyregion_id,customer_id;REGION_IDCUSTOMER_IDTOTALRANKDENSE_RANKROW_NUMBER-8181253840111111521224992121212923122499212121392412249921212141030121685815 13 1530rowsselected.请注意上面的绿色高亮部分，这里生动的演示了3种不同的排名策略：对于第一条相同的记录，3种函数的排名都是一样的：12当出现第二条相同的记录时，Rank和Dense_rank依然给出同样的排名12；而row_number则顺延递增为13，依次类推至第三条相同的记录当排名进行到下一条不同的记录时，可以看到Rank函数在12和15之间空出了13,14的排名，因为这2个排名实际上已经被第二、三条相同的记录占了。而Dense_rank则顺序递增。row_number函数也是顺序递增比较上面3种不同的策略，我们在选择的时候就要根据客户的需求来定夺了：假如客户就只需要指定数目的记录，那么采用row_number是最简单的，但有漏掉的记录的危险假如客户需要所有达到排名水平的记录，那么采用rank或dense_rank是不错的选择。至于选择哪一种则看客户的需要，选择dense_rank或得到最大的记录三、使用分析函数为记录进行分组排名：上面的排名是按订单总额来进行排列的，现在跟进一步：假如是为各个地区的订单总额进行排名呢？这意味着又多了一次分组操作：对记录按地区分组然后进行排名。幸亏Oracle也提供了这样的支持，我们所要做的仅仅是在over函数中order by的前面增加一个分组子句：partition by region_id。SQLselectregion_id,customer_id,sum(customer_sales)total,2rank()over(partitionbyregion_idorderbysum(customer_sales)desc)rank,3dense_rank()over(partitionbyregion_idorderbysum(customer_sales)desc)dense_rank,4row_number()over(partitionbyregion_idorderbysum(customer_sales)desc)row_number5fromuser_order6groupbyregion_id,customer_id;REGION_IDCUSTOMER_IDTOTALRANKDENSE_RANKROW_NUMBER-54187827511152 122499222255 116992633366 178883611169 1208959222610 119674833330rowsselected.现在我们看到的排名将是基于各个地区的，而非所有区域的了！Partition by 子句在排列函数中的作用是将一个结果集划分成几个部分，这样排列函数就能够应用于这各个子集。前面我们提到的5个问题已经解决了2个了(第1,2)，剩下的3个问题(Top/Bottom N，First/Last, NTile)会在下一篇讲解。分析函数3(Top/Bottom N、First/Last、NTile) 目录=1.带空值的排列2.Top/Bottom N查询3.First/Last排名查询4.按层次查询一、带空值的排列：在前面Oracle开发专题之：分析函数2(Rank、Dense_rank、row_number)一文中，我们已经知道了如何为一批记录进行全排列、分组排列。假如被排列的数据中含有空值呢？SQLselectregion_id,customer_id,2sum(customer_sales)cust_sales,3sum(sum(customer_sales)over(partitionbyregion_id)ran_total,4rank()over(partitionbyregion_id5orderbysum(customer_sales)desc)rank6fromuser_order7groupbyregion_id,customer_id;REGION_IDCUSTOMER_IDCUST_SALESRAN_TOTALRANK-1031 62389011102618089496238901210271322747623890131030121685862389014102898696462389015102990338362389016我们看到这里有一条记录的CUST_TOTAL字段值为NULL，但居然排在第一名了！显然这不符合情理。所以我们重新调整完善一下我们的排名策略，看看下面的语句：SQLselectregion_id,customer_id,2sum(customer_sales)cust_total,3sum(sum(customer_sales)over(partitionbyregion_id)reg_total,4rank()over(partitionbyregion_idorderbysum(customer_sales)descNULLSLAST)rank5fromuser_order6groupbyregion_id,customer_id;REGION_IDCUSTOMER_IDCUST_TOTALREG_TOTALRANK-10261808949 6238901 1102713227476238901 2103012168586238901 31028986964 6238901 41029903383 6238901 510316238901 6绿色高亮处，NULLS LAST/FIRST告诉Oracle让空值排名最后后第一。注意是NULLS，不是NULL。二、Top/Bottom N查询：在日常的工作生产中，我们经常碰到这样的查询：找出排名前5位的订单客户、找出排名前10位的销售人员等等。现在这个对我们来说已经是很简单的问题了。下面我们用一个实际的例子来演示：【1】找出所有订单总额排名前3的大客户：SQLselect*SQLfrom(selectregion_id,SQLcustomer_id,SQLsum(customer_sal