SQL_SERVER__分区函数.doc

SQL SERVER 分区表 大凡在应用系统和数据库系统中行走江湖多年的朋友，都会面临数据统计、分析以及归档的问题，企业信息化进程加速了各种数据的极具增长，商务智能(BI)的出现和实施着实给信息工作者和决策者带来了绝妙的体验，但从 OLTP向 OLAP系统加载数据是很头疼的事，常常需要数分钟或数小时,解决这一问题的技术之一便是分区表，一旦实施了分区表，这样的操作往往只需几秒钟，太让人兴奋了。而大型表或索引经过分区后更容易进行管理，因为这样可以快速高效地管理和访问数据子集，同时维护数据集合的完整性。分区表的数据分布于一个数据库中的多个文件组单元中，数据是按水平方式分区的（数据分区的多种方式会在分区表前传中阐述），因此一个表的某些行映射到某个分区，而另外一些行映射到另外某个分区，以此类推。当对数据进行查询或更新时，表将被视为单个逻辑实体，所以在数据访问层你会感觉和访问普通表一样，而好处就在于可以查询想要的某个分区，而不必扫描整个表。有一点必须明白，单个表的所有分区都必须位于同一个数据库中。分区表支持和标准表相关的所有属性和功能，包括约束、默认值、标识和时间戳值以及触发器等。决定是否实现分区主要取决于表当前的大小或将来的大小以及对表执行查询和维护操作的完善程度。通常，如果某个大型表同时满足下列两个条件，则可能适于进行分区： 1，该表包含或将包含以多种不同方式使用的大量数据2，维护开销超过了预定义的维护期例如，如果对当前年份或当前月份的数据主要执行 SELECT、INSERT、UPDATE和 DELETE操作，而对以前年份或以前月份的数据主要执行 SELECT查询，则如果按年份或月份对表进行分区，表的管理要容易些，因为此时对表的维护操作只针对一个数据子集。如果该表没有分区，那么就需要对整个数据集执行这些操作，这样就会消耗大量资源。所以常常根据日期和分类对表进行分区，当然利用某个标识列ID也是很好的选择。例如，电子商务数据库的某张表可能包含了近6年的数据，但是只定期访问本年度或某个月的数据，那么就可以按年份或月份分区，而另外一张表包含了近几十种类型商品的订单，那么此时可以为每种类型商品分一个区。一般而言，衡量大型表是以数据为标准的，但对于适合分区的大型表，衡量大型表更重要的是对数据访问的性能，如果对于某些表的访问和维护有较严重的性能问题，就可以视为大型表，就应该考虑通过更好的设计和分区来解决性能问题。创建分区表必须经过如下三个步骤：1， 创建分区函数2， 创建映射到分区函数的分区方案3， 创建使用该分区方案的分区表 分区函数 分区函数是数据库中的一个独立对象，它将表的行映射到一组分区，所以分区函数解决的是HOW的问题，即表如何分区的问题。创建分区函数时，必须指明数据分区的边界点以及分区依据列，这样便知道如何对表或索引进行分区。分区函数的创建语法如下：CREATE PARTITION FUNCTION partition_function_name ( input_parameter_type )AS RANGE LEFT | RIGHT FOR VALUES ( boundary_value ,.n ) ; 分区函数语法的相关解释：1， 创建一个分区函数和创建一个普通的数据库对象（例如表）没什么区别。所以根据标准语法走就OK了。2， partition_function_name是分区函数的名称。分区函数名称在数据库内必须唯一，并且符合标识符的规则。3， input_parameter_type是用于分区的列的数据类型，习惯把它称为分区依据列。当用作分区列时，除 text、ntext、image、xml、timestamp、varchar(max)、nvarchar(max)、varbinary(max)、别名数据类型或 CLR用户定义数据类型外，其他所有数据类型均有效。分区依据列是在 CREATE TABLE或 CREATE INDEX语句中指定的。4， boundary_value ,.n 中的boundary_value是边界值（或边界点的值），n代表可以最多有n个边界值，即n指定 boundary_value提供的值的数目，但n不能超过 999。所创建的分区数等于 n + 1。不必按顺序列出各值。如果值未按顺序列出，则 Database Engine将对这些边界值进行排序，创建分区函数并返回一个警告，说明未按顺序提供值。如果 n包括任何重复的值，则数据库引擎将返回错误。边界值的取值一定是和分区依据列相关的，所以只能使用 CREATE TABLE或 CREATE INDEX语句中指定的一个分区列。5， LEFT | RIGHT 指定boundary_value ,.n 的每个boundary_value属于每个边界值间隔的哪一侧（左侧还是右侧）。如果未指定，则默认值为 LEFT。例如我们可以依据某个表的int列来创建分区函数:create partition function MyPF1(int)range left -默认是left，所以可以省略leftfor values(500000,1000000,1500000)很明显，这个分区函数创建了4个分区，因为此时n=3,所以分区总数是n+1=4。而那个int分区依据列表明将要分区的那个表里面一定有一列是int类型，是分区依据列。这个分区函数我们用的是range left，各个分区的取值范围如下表：分区取值范围1(负无穷,5000002500001,100000031000001,150000041500001,正无穷) 如果换成range right，即创建分区函数时代码如下：create partition function MyPF1(int)range rightfor values(500000,1000000,1500000)那么各个分区的取值范围如下表：分区取值范围1(负无穷,4999992500000,99999931000000,149999941500000,正无穷) 我们还可以根据日期列创建分区函数，例如：create partition function MyPF2(datetime)range rightfor values(2008/01/01, 2009/01/01)这个分区函数非常适合查询和归档某一年的数据。各个分区的取值范围如下表：分区取值范围1=2009/01/01当然我们也可以根据月份分区，而分区依据列支持的数据类型非常多，参照项目的实际情况选择最能表示分区的列类型。分区方案对表和索引进行分区的第二步是创建分区方案。分区方案定义了一个特定的分区函数将使用的物理存储结构（其实就是文件组），或者说是分区方案将分区函数生成的分区映射到我们定义的一组文件组。所以分区方案解决的是Where的问题，即表的各个分区在哪里存储的问题。分区方案的创建语法如下：CREATE PARTITION SCHEME partition_scheme_nameAS PARTITION partition_function_name ALL TO ( file_group_name | PRIMARY ,.n ) ; 分区方案语法的相关解释：1， 创建分区方案时，根据分区函数的参数，定义映射表分区的文件组。必须指定足够的文件组来容纳分区数。可以指定所有分区映射到不同文件组、某些分区映射到单个文件组或所有分区映射到单个文件组。如果您希望在以后添加更多分区，还可以指定其他“未分配的”文件组。在这种情况下，SQL Server用 NEXT USED属性标记其中一个文件组。这意味着该文件组将包含下一个添加的分区。一个分区方案仅可以使用一个分区函数。但是，一个分区函数可以参与多个分区方案。2， partition_scheme_name是分区方案的名称。分区方案名称在数据库中必须是唯一的，并且符合标识符规则。3， partition_function_name是使用当前分区方案的分区函数的名称。分区函数所创建的分区将映射到在分区方案中指定的文件组。partition_function_name必须已经存在于数据库中。4， ALL指定所有分区都映射到在 file_group_name中提供的同一个文件组，或映射到主文件组（如果指定了 PRIMARY）。如果指定了 ALL，则只能指定一个 file_group_name。5， file_group_name | PRIMARY ,.n代表n个文件组。和分区函数中的各个分区对应。文件组必须已经存在于数据库中。 如果指定了 PRIMARY，则分区将存储于主文件组中。如果指定了 ALL，则只能指定一个 file_group_name。分区分配到文件组的顺序是从分区 1开始，按文件组在 ,.n中列出的顺序进行分配。在 ,.n中，可以多次指定同一个文件组。如果 n不足以拥有在分区函数中指定的分区数，则 CREATE PARTITION SCHEME将失败，并返回错误。 6， 如果分区函数生成的分区数少于创建分区方案时提供的文件组数，则分区方案中第一个未分配的文件组将被标记为 NEXT USED，并且出现显示命名 NEXT USED文件组的信息。如果指定了 ALL，则单独的文件组将为该分区函数保持它的NEXT USED属性。如果在 ALTER PARTITION FUNCTION语句中创建了一个分区，则 NEXT USED文件组将再接收一个分区。若要再创建一个未分配的文件组来拥有新的分区，请使用 ALTER PARTITION SCHEME。分区方案例子1：下面的代码先创建一个分区函数，然后再创建这个分区函数使用的分区方案，这个分区方案将每个分区映射到不同文件组。代码如下：create partition function MyPF1(int)as range leftfor values(500000,1000000,1500000)gocreate partition scheme MyPS1as partition MyPF1to (fg1, fg2, fg3, fg4)文件组、分区和分区边界值范围之间的关系如下表：文件组分区取值范围fg11(负无穷,500000fg22500001,1000000fg331000001,1500000fg441500001,正无穷) 分区方案例子2：下面的代码先创建一个分区函数，然后再创建这个分区函数使用的分区方案，这个分区方案将多个分区映射到同一个文件组。代码如下：create partition function MyPF2(int)as range leftfor values(500000,1000000,1500000)gocreate partition scheme MyPS2as partition MyPF2to (fg1, fg1, fg1, fg2)文件组、分区和分区边界值范围之间的关系如下表：文件组分区取值范围fg11(负无穷,500000Fg12500001,1000000Fg131000001,1500000Fg241500001,正无穷) 分区方案例子3：下面的代码先创建一个分区函数，然后再创建这个分区函数使用的分区方案，这个分区方案将所有分区映射到同一个文件组。代码如下：create partition function MyPF3 (int)as range leftfor values(500000,1000000,1500000)gocreate partition scheme MyPS3as partition MyPF3all to (fg1)文件组、分区和分区边界值范围之间的关系如下表：文件组分区取值范围fg11(负无穷,500000Fg12500001,1000000Fg131000001,1500000Fg141500001,正无穷) 分区方案例子4：下面的代码先创建一个分区函数，然后再创建这个分区函数使用的分区方案，这个分区方案指定了“NEXT USED”文件组。代码如下：create partition function MyPF4(int)as range leftfor values(500000,1000000,1500000) -4个分区gocreate partition scheme MyPS4as partition MyPF4to (fg1, fg2, fg3, fg4, fg5) -5个文件组那么文件组fg5将自动被标记为“NEXT USED”文件组。分区方案例子5：下面的代码先创建一个分区函数，然后再创建这个分区函数使用的分区方案，这个分区方案指定了“primary”文件组。代码如下：create partition function MyPF5(datetime)range rightfor values(2008/01/01, 2009/01/01)gocreate partition scheme MyPS5as partition MyPF5to(primary, fg1, fg2) 最后必须明白一点，一张表最多只能有1000个分区。 分区表 在分区函数和分区方案创建完成后，创建分区表的准备工作已经完成。我们看一个完整的例子，代码如下：-创建分区函数create partition function MyPF(datetime)range rightfor values(2007-1-1, 2008-1-1)go-创建分区方案create partition scheme MyPSas partition MyPFto(fg1, fg2, fg3)go-创建分区表create table orders( OrderID int identity(1,1) primary key, OrderDate datetime, CustID varchar(10)on MyPS(OrderDate) 我们了解了分区表的理论，这一节就开始实战。本篇博文的内容如下：1，建立分区表2，查询分区3，归档数据4，添加分区5，删除分区6，查看元数据 PS下：最近收到很多朋友的消息和邮件，大多是关于数据库的问题，没有一一答复，由于平时工作比较忙，博客更新的比较慢，在这里说声抱歉。 OK，我们以一个销售数据库场景开始分区表实战。 第一步：建立我们要使用的数据库，最重要的是建立多个文件组。CREATE DATABASESales ON PRIMARY( NAME = NSales, FILENAME = NC:Sales.mdf, SIZE = 3MB, MAXSIZE = 100MB, FILEGROWTH = 10% ), FILEGROUP FG1 ( NAME = NFile1, FILENAME = NC:File1.ndf, SIZE = 1MB, MAXSIZE = 100MB, FILEGROWTH = 10% ), FILEGROUP FG2 ( NAME = NFile2, FILENAME = NC:File2.ndf, SIZE = 1MB, MAXSIZE = 100MB, FILEGROWTH = 10% ),FILEGROUP FG3 ( NAME = NFile3, FILENAME = NC:File3.ndf, SIZE = 1MB, MAXSIZE = 100MB, FILEGROWTH = 10% ) LOGON ( NAME = NSales_Log, FILENAME = NC:Sales_Log.ldf, SIZE = 1MB, MAXSIZE = 100MB, FILEGROWTH = 10%)GO 第二步：建立分区函数，这里我们建立三个分区。 how（如何对数据进行分区）USE Sales GOCREATE PARTITION FUNCTION pf_OrderDate (datetime) AS RANGE RIGHT FOR VALUES(2003/01/01, 2004/01/01) -n不能超过 999，创建的分区数等于 n + 1GO 第三步：创建分区方案，关联到分区函数 。 where（在哪里对数据进行分区）USE Sales GO CREATE PARTITION SCHEME ps_OrderDate ASP ARTITION pf_OrderDate TO(FG1, FG2, FG3) GO 第四步：创建分区表。创建表并将其绑定到分区方案。这里我们建立2个表，表的结构一样。其中OrdersHistory表用于保存归档数据。USE Sales GO CREATE TABLE dbo.Orders ( OrderID int identity(10000,1), OrderDate datetime NOT NULL, CustomerID int NOT NULL, CONSTRAINT PK_Orders PRIMARY KEY (OrderID, OrderDate) ) ON ps_OrderDate (OrderDate) GO CREATE TABLE dbo.OrdersHistory ( OrderID int identity(10000,1), OrderDate datetime NOT NULL, CustomerID int NOT NULL, CONSTRAINT PK_OrdersHistory PRIMARY KEY (OrderID, OrderDate) ) ON ps_OrderDate (OrderDate) GO 通过以上四步，我们建立了分区表。接着我们要插入一些数据，来进行数据归档，分区查询等。 向数据表中写入2002年的范例数据USE Sales GO INSERT INTO dbo.Orders(OrderDate, CustomerID) VALUES (2002/6/25, 1000) INSERT INTO dbo.Orders(OrderDate, CustomerID) VALUES (2002/8/13, 1000) INSERT INTO dbo.Orders(OrderDate, CustomerID) VALUES (2002/8/25, 1000) INSERT INTO dbo.Orders(OrderDate, CustomerID) VALUES (2002/9/23, 1000)GO 向数据表中写入2003年的范例数据USESales GOINSERTINTOdbo.Orders (OrderDate, CustomerID) VALUES (2003/6/25, 1000)INSERTINTOdbo.Orders (OrderDate, CustomerID) VALUES (2003/8/13, 1000)INSERTINTOdbo.Orders (OrderDate, CustomerID) VALUES (2003/8/25, 1000)INSERTINTOdbo.Orders (OrderDate, CustomerID) VALUES (2003/9/23, 1000) GO 我们可以用下面的代码查询这2表：SELECT* FROM dbo.Orders SELECT* FROM dbo.OrdersHistory查询的结果是Orders里面有8行数据，而OrdersHistory还没有数据。因为我们还没归档数据，所以OrdersHistory表还没有数据。 插入完数据后，我们来做如下实验： 1，查询某个分区这里我们要用到$PARTITION 函数，这个函数可以帮助我们查询某个分区的数据，还可以检索某个值所隶属的分区号。$PARTITION 函数的进一步细节可以查看MSDN 查询已分区表Order的第一个分区，代码如下：SELECT*FROMdbo.OrdersWHERE$PARTITION.pf_OrderDate(OrderDate) = 1查询结果只包含2002年的数据，如下图： 如果想获得2003年的数据，需要如下的代码：SELECT*FROMdbo.OrdersWHERE$PARTITION.pf_OrderDate(OrderDate) = 2 我们还可以查询某个分区有多少行数据，代码如下：SELECT$PARTITION.pf_OrderDate(OrderDate) AS Partition,COUNT(*) AS COUNT FROMdbo.Orders GROUPBY$PARTITION.pf_OrderDate(OrderDate) ORDERBYPartition ; 我们还可以通过$PARTITION 函数获得一组分区标示列值的分区号，例如获得2002属于哪个分区，代码如下：SELECTSales.$PARTITION.pf_OrderDate(2002)很明显，2002年隶属于第1个分区，因为我们建立分区函数时用了RANGERIGHT，所以返回1。你也可以把2002年换成2003，2004，2005，2009等等测试。你会发现，2003年属于第2个分区，2004年以后的都属于第3个分区。 2，归档数据假如现在是2003年年初，那么我们就可以把2002年所有的交易记录归档到历史订单表HistoryOrder中。代码如下：USESales GO ALTERTABLEdbo.Orders SWITCH PARTITION 1 TO dbo.OrdersHistory PARTITION 1GO 此时如果我们再执行如下代码：SELECT* FROM dbo.Orders SELECT* FROM dbo.OrdersHistory便会发现，Orders 表只剩2003年的数据，而OrdersHistory表中包含了2002年的数据。 当然如果到了2004年年初，我们也可以归档2003年的所有交易数据。代码如下：USESales GO ALTERTABLEdbo.Orders SWITCH PARTITION 2 TO dbo.OrdersHistory PARTITION 2GO 3，添加分区由于目前我们只有三分分区，而这三个分区的区间如下：文件组分区取值范围FG11(过去某年, 2003/01/01)Fg222003/01/01, 2004/01/01)Fg332004/01/01,未来某年) 所以假如到了2005年年初，我们需要为2005年的交易记录准备分区，代码如下：USESales GO ALTERPARTITION SCHEME ps_OrderDate NEXT USED FG2 ALTERPARTITION FUNCTION pf_OrderDate() SPLIT RANGE (2005/01/01)GO ALTERPARTITION SCHEME ps_OrderDate NEXT USED FG2 用来指定新分区的数据存储在那个文件。这里NEXT USED FG2 代表我们将新分区的数据保存在FG2文件组中，当然我们也可以在原有数据库上新建一个文件组，把新分区的数据保存在新文件组当中，这里我们直接用FG2文件组。ALTERPARTITION FUNCTION pf_OrderDate() SPLIT RANGE (2005/01/01) 代表我们创建一个新分区，而这里SPLIT RANGE (2005/01/01)正是创建新分区的关键语法。执行完上面的代码之后，我们就有了4个分区，此时的区间如下：文件组分区取值范围FG11(过去某年, 2003/01/01)Fg222