SQLSERVER并行数据库集群实现

1、Moebius 集群的架构Moebius 集群采用无共享磁盘架构Moebius 集群由一组数据库服务器组成， 每个服务器上安装相同的数据库,集群支持无共享磁盘架构，各机器可以不连接一个共享设备，数据可以存储在每个机器自己的存储介质中。无共享磁盘架构，使得存储不再是单点，系统可用性提高，同时还可以充分利用集群中每个机器的 CPUI/O 等硬件来实现集群的高性能。无需价格高昂的共享磁盘柜，只要使用 2 台服务器即可轻松构筑低成本的集群。Moebius 集群架构的分类依据数据是否分区，Moebius 集群架构分为标准架构和高级架构：标准架构：每个节点中具有完全相同的数据，每个节点都拥有数据全集。高级

2、架构：每个节点中数据是不同的，每个节点只拥有数据全集的一部分MoebiusForSQLServer 标准架构Moebius 集群是一组相互独立的服务器，通过相互协作形成一个统一的整体。集群中多个节点相互连接，这样冗余的硬件架构不但可以避免单点故障而且提供了杰出的故障恢复能力。一旦发生系统失败，Moebius 集群对用户保证最高的可用性，保障关键是业务数据不丢失。管停工舄耳鳄常学接内五”第匕亳JT主量过壶按】P击定矍薛某/白，中间件现片布主在故据卑工面.分析SU遹句.同步数指要群中的善集群标准架构一个集群数据库可以看作是一个被多个应用实例访问的单一数据库。在 Moebius集群中，每个 SQLS

3、erver 实例在各自的服务器上运行。随着应用的增加，当需要添加额外的资源时，可以在不停机的情况下很容易地增加节点。标准架构中间件工作原理中间件驻留在每个机器的数据库中，监测数据库内数据的变化，并将变化的数据同步到其它数据库中。数据同步完成后客户端才会得到响应，同步过程是并发完成的，因此同步到多个数据库和同步到一个数据库的时间基本相等；另外同步过程是在事务环境下完成的，保证了多份数据的数据一致性。正因为中间件宿主在数据库中，所以中间件不但能知道数据的变化，而且知道引起数据变化的 SQL 语句，根据 SQL 语句的类型智能地采取不同的数据同步策略以保证数据同步成本的最小化：1,数据条数很少，数据

4、内容也不大，则直接同步数据。2, 数据条数很少，但是里面包含大数据类型，比如文本，二进制数据等，则先对数据进行压缩然后再同步，从而减少网络带宽的占用和传输所用的时间。3, 数据条数很多，此时中间件会获取造成数据变化的 SQL 语句，然后对 SQL旬进行解析，分析其执行计划和执行成本，并选择是同步数据还是同步 SQL 语句到其他的数据库中。在对表结构进行调整或者批量更改数据的时候，这种同步策略非常有用。MoebiusForSQLServer 高级架构Moebius在高级架构中，采用数据分区技术，依据某种规则把数据分散到多个数据库中。数据为什么分区？1.当数据量很大的时候，即使服务器在没有任何压力

5、的情况下，某些复杂的查询操作都会非常缓慢，影响最终用户的体验。2 .在大数据量下对数据库的装载与导出，备份与恢复，结构的调整，索引的调整等都会让数据库停止服务或者高负荷运转很长时间，影响数据库的可用性和易管理性。3 .面对这样的应用环境，仅仅依靠提升服务器的硬件配置是起不到作用的，比较好的办法是通过数据分区，把数据分成更小的部分来提高数据库的可用性和易管理性。4.分区把各部分数据放到不同的机器中，每次查询可以由多个机器上的CPUI/O 来共同负载，通过各节点并行处理数据来提高性能。系统结构MoebiusForSQLServer 高级架构在结构上分访问层数据库和数据层数据库两部分。访问层：访问层

6、数据库只有原来数据库的结构没有数据，处理提交上来的SQL句并调度执行。访问层数据库可以由多个机器来负载均衡。数据层： 数据层数据库就是原来的数据库， 但是可以有多个冗余对查询进行负载均衡，以提高整个系统的性能，MoebiusForSQLServer 保证多个数据库的一致性；数据层数据库不暴露给用户和业务程序，用户和业务程序面对的是访问层数据库。1/51/51/51/51/5通过访问层和数据层构建出一个网格集群来实现集群的高可用性和负载均衡，访问层和数据层的数据库是可以扩展的。（每列中各节点的数据是相同的，每行构成数据的全集； 图中数据数据层设计为5X2矩阵， 在实际应用中要依据业务的特点来划分

7、） 。如何分区？MoebiusForSQLServer 支持两种分区方式：Hash 分区和线性分区。Hash 分区：是将表按某一字段的值均匀地分布到若干个指定分区中的一种分区方法。优点：每个分区内分配的数据比较平均，承载的压力也就比较平均，机器能够得到充分的利用。缺点：不易扩展，如果扩展新的分区会涉及到数据的重新分配，因此在设计的时候要提前规划好。MoebiusForSQLServer 支持把多个分区数据放在一个机器上然后再根据压力逐个的拆到新机器中去，这样既可以保证了分区的规划又不浪费机器，实现了线性扩展。线性分区：即范围分区，将表按某一字段的取值范围进行分区，如按时间，每个月的数据在一个分

8、区中。优点：扩展性能比较好，因为数据的增长是有一定规律的。缺点：每个分区内数据的压力不是很平均，大部分业务都存在这种现象，越老的数据被访问的频率越低，从而导致各机器面临的压力也不同，因此使机器的利用率不高。MoebiusForSQLServer 支持把多个分区数据放在一个机器上，所以可以通过新老分区的交替使用来提高机器的利用率。分区操作在管理工具中很容易配置，首先设置分区，接下来给每个表选择分区并设置分区字段。（如下图）这样中间件在解析、处理 SQL句的时候就会根据配置把数据分配到相应分区所 在 的 机 器 中 去 或 者 从 相 应 分 区 中 读 取 数 据。 和 其他 一些 集 群不 同

9、的 是MoebiusForSQLServer 的分区是经过抽象的，是完全透明的。高级架构中间件工作原理r rTJTJrt-表甚n1.中间件解析到查询的 SQL 语句后，首先分析该语句要查找的表，根据所要查找表的分区配置和 SQL 语句的 WHERE 件计算出要从一个分区中还是多个分区中去取数据，取完数据后在访问层合并后再返回给应用程序。这里要重点说明的是中间件通过 分 析 SQL 语 句 ， 能 够 对 分 区 范 围 进 行 动 态 缩 小 或 者 放 大 。SELECT*FROMdbo.UserInfoWHEREUserID=1,因为 UserID 是分区字段，所以中间件只会从一个分区中查

10、找；SELECTFROMbo.UserInfoWHERBserIDIN(3,4)则会从两个分区中查找；SELECTFROMdbo.UserInfoWHEREsername=wangzhongtao,没有使用分区字段作为查询的条件，中间件就会从每个分区列数据库进行查找。对于多个分区列数据进行查询的操作是并行的从而保证总体响应时间的最小化。可扩展1/51/5V51/51/52 .中间件解析到更新的 SQL 语句后，首先分析要更新的表，根据要更新表的分区配置和更新语句的 SQL法来计算出要更新一个或者多个分区中的数据。例如INSERTdbo.UserInfo(UserID,Username)VALUES(1,wangzhongtao),中问件会解析到 UserID=1，然后根据表的分区配置把数据插入到第一个分区中去。中间件解析到一个更新的 SQL 语句后，会同时更新同一列中的数据库。第一：更新操作是并行的，整个操作的响应时间和更新一个数据库的响应时间基本相同；第二：整个操作是在事务的环