数据库选型技术评估概述.doc

数据库选型技术评估概述1 产品选型考虑数据库系统管理着绝大部分业务数据，同时也是被访问操作最频繁的系统。数据库产品应该满足以下需求：1、必须具备稳定、可靠和良好的可伸缩性必须具有很好的稳定性和可靠性，保证系统的正常实施。同时，为满足中心数据库数据容量的快速增长需要，数据库必须具有很好的可伸缩性，不仅适用于各种硬件平台，而且保证在大数据量下，数据库处理的高效性和数据的可靠性、一致性。2、具有可靠的数据库安全性控制机制必须具备很好的用户安全控制手段，防止非法用户侵入和数据泄密。3、简单、统一的数据库管理平台具有一个很好的、基于图形界面的管理平台，尽可能方便人员的使用和系统的管理维护，并能够将大部分的数据库日常维护工作，如数据备份、恢复、故障检测等工作，交由系统自动完成，减少人为操作成本和不安全性，系统易于管理、维护，方便系统的安装、升级和版本控制。4、选择一种基于XML的数据库系统作为数据中心建设的基础数据库服务器，由这种基础服务器存储和管理基于XML的面向主题的动态交换信息、非结构化信息和元数据，同时，将实时性要求不高的静态结构化数据和数据仓库存储在关系型数据库内，如ORACLE、DB2等。基于XML的数据库系统相对关系型数据库而言具有明显的技术优势，包括：（1）基于XML的应用程序开发更为快速，尤其是基于XML标准的应用，Web service等。（2）易于学习。这是由于采用了XML规范和众所周知的XML标准（XPath， XML Schema，DTD）。（3）应用程序之间交换的XML数据和消息可以立即存储在XML数据库中并进行检索，不必进行复杂的数据库结构设计。（4）高度复杂的数据结构可以使用户以更快、更方便的方式进行存储和获取，如同在SQL数据库中一样。 （5）可以同时进行结构化（XPath）和非结构化查询（全文）。（6）具有很好的跨平台能力，可运行于所有重要的平台上。同时，XML数据库同所有主要关系型数据库通过标准XML接口可以互相访问和进行数据存取。（7）可与XML签名技术进行集成，提高数据安全性。（8）可直接连接到Internet，提供与URL相同的XML和非XML数据访问方式。2 微软SQL数据库2.1 选型依据微软SQL数据库是一个具有高可靠性，高效和高可用的平台。而越来越多的用户发现在微软平台上面建造应用，丝毫不比其他平台差，而价格却大大低于小型机系统。于是许多精明的经营者都开始在微软平台上面建造自己的核心应用。下面具体的案例更能说明问题。l AT&T为了给市场人员足够的客户信息，他们建造了一个名为Attack Database的系统，里面有AT&T所有的客户信息以及经营情况，以帮助市场人员及时掌握市场数据。在这个系统里面，每个月必须重建一个500G的数据库，而且必须同时维护一个超过1T的数据仓库。微软的数据库系统为建造Attack Database提供了一个稳定高效的平台。l NASDAQ股票交易所：交易系统是一个基于微软平台和服务器的系统，每天需要通过这个系统进行200多万笔交易，而可用性达到99.97%。l Freemarket：是一家B2B的公司，每天需要处理数亿美元的交易，其交易系统的可用性达到99.999%。而交易系统的平台则是微软的Windows DataCenter Server。l DELL计算机公司，直销的模式使得这家公司能够打败许多大型竞争对手，而其关键在于后台一套完整高效的计算机系统，而DELL公司从网站到后台生产线的控制，都运行在微软的平台上面。还有世界银行、大陆航空、西南航空等等许多大型的，核心的业务系统都建造在微软的平台上面。市场上的成功最主要的是依靠产品本身的实力，根据业界性能测试的标准指标TPC值测试的数据表明，微软的数据库应用平台的性能在近几年一直保持第一位，并且在前十名里面包揽了大多数的排行（请参阅）。下面是其中一个指标的数据和配置。从微软公司在1988发布SQL Server第一个版本开始，到目前这个产品已经经历了将近20年的发展。随着时间的推移，微软公司的这个数据库产品已经逐渐发展为企业级数据库领域最重要的数据库之一。SQL Server 2005 是一个具备完全 Web 支持的数据库产品，提供了对可扩展标记语言 (XML) 的核心支持以及在 Internet 上和防火墙外进行查询的能力。目前SQL Server，已经非常的成熟和稳定，完全能够满足平台对数据库管理系统的要求。2.2 版本配置Microsoft SQL Server 2005包括两个主要版本（标准版和企业版），按照处理能力、集群支持能力递增。在数据库系统的版本选用上，主要分析的是数据库的功能和对可用性的要求，可以把数据库分为核心和一般数据库两类。核心数据库：包括城管核心数据的数据库库服务器，需要配置SQL Server企业版。SQL Server企业版的许可证计算是根据服务器的CPU数量计算的，并不计算连接数。对于SQL集群，若是激活/激活（Active/Active）配置，应当按照所有服务器CPU总数计算；若是激活/备用（Active/Passive）配置，则按所有激活（Active）服务器的CPU总数计算。一般数据库：管理服务器数据库存放的主要是一般数据，可以配置SQL Server 2005标准版。2.3 功能特点描述作为微软下一代的数据管理与商业智能平台，SQL Server 2005 将是微软5年来具有里程碑性质的企业级数据库产品。和以往的数据解决方案相比，SQL Server 2005将给您带来空前的价值、超强的功能和激动人心的全新体验。SQL Server 2005 中包含了非常丰富的新特性：通过提供一个更安全、可靠和高效的数据管理平台，增强企业组织中用户的管理能力，大幅提升IT管理效率并降低运维风险和成本；通过提供先进的商业智能平台满足众多客户对业务的实时统计分析、监控预测等多种复杂管理需求，推动企业管理信息化建设和业务发展；同时，SQL Server 2005将提供一个极具扩展性和灵活性的开发平台，不断拓展您的应用空间，实现Internet数据业务互联，为您带来新的商业应用机遇。由于大大减少了应用程序宕机时间，提高了系统的可伸缩性和性能，并加以更严格的安全控制，SQL Server 2005在支持现实中最苛刻的企业级系统要求的道路上，迈出了极大的一步。SQL Server是微软服务器家族中重要的一部分，通过微软服务器系列产品共有的Engineering strategy所实现的增强的管理性和集成性，客户可以有效降低总体拥有成本并从更快的开发部署时间中受益。l 安全、可靠、高效的企业级数据管理平台SQL Server 2005 将在安全性、高可靠性、性能、扩展性、可管理性方面有极大的提高，不仅能够确保企业级数据业务的实时稳定运行、还能够大大提高管理效率、降低操作复杂度和运维成本。例如，SQL Server 2005将提供全新的安全认证、数据加密技术来加强您数据系统的安全性；数据库镜像、快照、时点恢复、实时在线管理等诸多功能大大提高了企业级系统的可靠性、扩展性；而数据集成，各种自动化管理、调试和优化工具则为您的IT管理工作带来全新的体验。在硬件方面，SQL Server 2005支持64位运算和海量数据存储。 特性描述数据库镜像利用新增数据库镜像解决方案扩展日志传送功能。您可以使用数据库镜像特性通过设置自动故障转移至备用服务器的方式来增强SQL Server系统的功能。在线恢复利用SQL Server 2005，数据库管理员可以在SQL Server实例运行状态下执行恢复操作。由于只有那些被恢复的数据无法使用，数据库的其余部分仍旧处于在线状态且保持可用，因此，在线恢复特性能够有效提高SQL Server的可用性。在线索引操作在线索引选项允许对底层表格、群集索引数据以及索引数据定义语言（DDL）执行过程中的所有相关索引执行并行修改（更新、删除和插入操作）。举例来说，当群集索引被重建时，您可以继续对底层数据进行更新并针对其执行查询操作。快速恢复新增的快速恢复选项将提高SQL Server数据库的可用性。当事务日志被前滚后，管理员可以重新连接正在恢复的数据库。安全增强特性SQL Server 2005包含诸如数据库加密、安全缺省设置、口令策略强制、较细粒度权限控制以及增强安全模型之类的安全增强特性。新增的SQL Server Management StudioSQL Server 2005将引入一种新型集成化管理工具套件，SQL Server Management Studio。这种工具集包含用以对SQL Server数据库进行开发、部署和故障诊断的新增功能以及针对原有功能的进一步增强。专用管理员连接SQL Server 2005将引入专用的管理员连接，管理员可以使用这种连接来访问运行中的服务器甚至被锁定或因为某种原因而无法使用的服务器。这项功能使管理员得以通过执行诊断功能或Transact-SQL语句的方式在服务器上诊断问题。快照隔离SQL Server 2005将在数据库级别上提供新的快照隔离（SI）级别。借助SI特性，用户可以利用数据库的事务一致性视图来访问最新提交的数据行。这项功能将提供更高的可伸缩性。数据分区数据分区凭借能够针对大型表格与索引进行高效管理的内建表格与索引分区特性得到了增强。复制增强特性对于分布式移动数据库而言，SQL Server 2005提供了新的端到端复制功能，其中包括发布Oracle数据库的能力。此外，SQL Server 2005还针对复制工具及其伸缩能力提供了新的增强特性。l 先进、一体化的商业智能平台SQL Server 2005使您可以快速构建部署各类商业智能解决方案，为你提供深入的业务分析统计、和监控预测平台，进一步推动企业的信息化管理和业务发展。SQL Server 2005将提供非常完整的商业智能套件，包括相关的数据仓库、数据分析、ETL、报表、数据挖掘的一系列设计、开发、管理工具。为了满足客户日渐增强的实时BI和企业级应用规模的需求，SQL Server 2005 在构建商业智能平台的实时性、扩展性方面也有了质的飞跃。全新的数据分析工具和丰富的数据挖掘算法将帮助客户有效进行深入的业务监控分析、决策支持；企业级的ETL工具将支持各种异类数据和复杂数据业务的整合；面向终端用户的报表设计及管理工具与Office的前端集成能够提供非常灵活的数据展示和自由定制功能。 特性描述分析服务在SQL Server 2005中，分析服务真正具备了实时分析能力。从得以增强的伸缩特性到与Microsoft Office的深度集成，SQL Server 2005将帮助企业在各个级别上对商务智能化能力加以扩展。数据转换服务（DTS）DTS是一套图形化工具与可编程对象的集合，它允许您从不同数据源中提取、转换并装载（ETL）数据，并将其移植到一个或多个目标当中。SQL Server 2005将引入一种能够提供完整ETL平台的全新设计DTS。数据挖掘SQL Server 2005引入了四种新型数据挖掘算法，以及能够帮助各种规模企业简化数据挖掘方式的改进工具与向导。报表服务在SQL Server 2005中，报表服务将提供自助式服务、最终用户特殊报表创建机制、面向联机分析处理（OLAP）环境的增强查询开发方式以及面向功能丰富且易于维护的企业报表环境的增强伸缩能力。群集支持能力凭借针对故障转移群集机制的支持能力，得以增强的多实例支持能力以及分析服务对象与数据的备份及恢复能力，分析服务的可用性得到了提高。关键性能指示器关键性能指示器（KPI）为企业提供了定义自定义图形化业务衡量标准的功能，这项特性有助于生成并跟踪关键性企业级基准测试指标。伸缩性与性能诸如并行分区处理、远程关系型联机分析处理（ROLAP）或混合型联机分析处理（HOLAP）分区创建、分布式分区数据集、持久性计算以及前摄式缓存机制这样的特性将显著提高SQL Server 2005中分析服务的伸缩性与性能。One-Click多维数据集当您在数据仓库项目中创建多维数据集时，多维数据集向导将提供一个启用One-Click多维数据集监测与建议功能的选项。这种选项将检查数据源视图中的关系并针对事实数据表、维度数据表和相关测量方式提出建议。前摄性缓存前摄性缓存将MOLAP级查询性能与实时数据分析相结合，并且消除了维护OLAP存储机制的需求。前摄性缓存以透明方式同步并维护专为执行高速查询并将最终用户从过载下的关系型数据库中隔离出来的更新数据拷贝。这种缓存结构自动从统一数据模型（UDM）结构中得到，并且可以通过合理调优平衡潜在数据的性能。与Microsoft Office系统相集成由报表服务中的报表服务器提供的报表可以在Microsoft SharePoint Portal Server以及诸如Microsoft Word与Microsoft Excel这样的Microsoft Office系统应用程序环境下运行。您可以使用SharePoint特性来订阅报表、创建新版报表和发布报表。同时，您还可以在Word或Excel中打开报表，以查看其HTML版本。l 极具扩展性和灵活性的开发平台SQL Server 2005将提供更加强大的开发工具和各类新的开发特性，在大大提高开发效率的同时，将进一步拓展您的应用空间，带来新的商业应用机遇。例如，XML数据库与Web Service的支持将使您的应用实现Internet数据互联，.Net集成极大的扩展了开发空间，异构数据集成、Service Broker使您的数据和其它应用无缝集成，各种新数据类型和T-SQL扩展带来了诸多灵活性。C#、VB.Net、XQuery、XMLA、ADO.Net 2.0、SMO、AMO等都将成为SQL Server数据平台上开发数据相关应用的有力工具特性描述.NET Framework托管凭借SQL Server 2005，开发人员可以使用熟悉的编程语言（如Microsoft Visual C# .NET和Microsoft Visual Basic .NET）来创建数据库对象。同时，开发人员还可以创建两种新型对象用户定义类型及聚合。XML技术扩展标记语言（XML）是一项通过本地网络和Internet在不同应用间散布数据的重要标准。SQL Server 2005具备针对XML文档存储与查询的内建支持能力。ADO.NET 2.0版从针对SQL Types的新增支持能力到多维活动结果集（MARS），SQL Server 2005中的ADO.NET将完善数据集的访问与操作方式，从而实现更高的伸缩性与灵活性。安全增强特性SQL Server 2005中的新型安全模型将把用户从对象中独立出来，提供较细粒度的访问方式，并支持针对数据访问的更强控制能力。此外，所有系统表格都将以视图的形式实现，从而提供针对数据库系统对象的更多控制能力。Transact-SQL增强特性SQL Server 2005提供了用以开发可伸缩性数据库应用的新型语言功能。这些增强特性包括错误处理，递归查询功能，关系型操作符PIVOT、APPLY、ROW_NUMBER，以及其它行级功能。SQL Service BrokerSQL Service Broker将面向大规模在线商务应用提供分布式异步应用程序框架。通知服务通知服务允许企业创建能够向各种设备提供及时个性化信息（如证券市场提示、新闻订阅、装运报警、和航班机票价格查询）的丰富通知应用程序。借助SQL Server 2005，通知服务将与诸如分析服务和SQL Server Management Studio之类的技术实现更为紧密的集成。Web服务借助SQL Server 2005，开发人员可以在数据库层次上开发Web服务，从而使SQL Server成为一个超文本传输协议（HTTP）监听器并面向以Web服务为中心的应用提供新型数据访问功能。报表服务在SQL Server 2005中，报表服务将提供与Visual Studio 2005一同发售的报表控件。这种集成化报表控件能够面向企业级应用提供改进报表功能。全文搜索增强特性SQL Server 2005支持丰富的全文搜索应用程序。分类功能得到了进一步增强，能够在分类基础上提供更强的灵活性。查询性能与伸缩性得到了显著提高，同时，新型管理工具将能够更加细致的洞察全文实现方式的整个过程。2.4 非功能性特点一、稳定性和可靠性数据库系统必须具有很好的稳定性和可靠性，保证系统的正常实施，不仅要适用于各种硬件平台，而且要保证在大数据量下，数据库处理的高效性和数据的可靠性、一致性。l 故障切换集群在 SQL Server企业版中，支持故障切换群集。现在，从安装程序和 SQL Server 企业管理器，可以方便地完成安装、创建、配置和维护故障切换群集。SQL Server安装程序会自动检测微软群集服务是否存在，因此无需使用单独的群集向导。安装期间，甚至可以添加或删除节点。从企业管理器，可以对任何节点进行重新安装和重建，而不影响群集中的其它节点。此外，故障切换群集可处理复制、分布式分区视图及其它取决于服务器名称的应用程序。SQL Server集群允许故障切换和故障恢复到（或从）群集中的另一个节点。使用“活动 - 被动”配置中的 Windows 2003 Server，SQL Server的一个实例运行在主机上，同时，第二台计算机上的辅助实例在故障切换之前一直处于空闲状态。在“活动 活动”配置中，SQL Server使用不同的数据库同时运行多个服务器，允许客户系统（即没有指定的辅助系统）实现到（或从）任何节点的故障切换，无需空闲出硬件服务器。另外，通过 Windows 2003 DataCenter Server，SQL Server企业版支持八节点故障切换群集。当某个节点出现故障时，SQL Server 及 OS 资源可转移到任何其它正常的节点上。通过SQL Server群集提供的高度可用性和自动管理机制、内建的故障转移与复制技术来支持高可用性。微软的SQL Server利用Microsoft群集服务来支持对称式虚拟服务器：每个SQL Server群集节点在处理正常工作负载的同时，针对其它（最多三个）节点充当热备份。针对灾难恢复，SQL Server支持从一台服务器上向某台远程服务器进行日志传送，当主服务器出现灾难性故障时，辅助服务器可在几分钟内进行恢复并继续面向客户提供服务。l 日志传送在 SQL Server 中，通过连续自动地将事务日志从一个数据库馈送到另一个数据库，日志传送功能可用于对多个备份服务器提供备用信息。通过从源数据库持续备份事务日志并随后将日志复制和恢复到目标数据库，使得目标数据库与源数据库保持同步。这样，通过将查询处理从主机（源服务器）负载转移到只读目标服务器，可提高系统的可伸缩性。另外，通过提供备用服务器，可增强可靠性。 还可以借助SQL Server 的两种备份功能保障数据库系统数据的安全性：l 差异数据备份SQL Server 包括执行差异备份的功能。差异备份对数据库中自上次数据库备份以来所有修改过的页面进行副本。使用这个方法，备份的运行速度相对更快，大小比其它类型的备份更小。此外，差异备份可在用户访问数据库时执行。由于其速度快并对服务器影响小，差异备份比其它类型的数据库备份更频繁地进行，从而降低数据损失的风险。 l 无服务器快照备份无服务器快照备份，可以减少对资源的影响同时有更高的正常运行时间百分比。无服务器快照备份在功能上等价于完整的数据库或文件/文件组备份，但可以在不影响服务器性能的情况下执行（因此使用术语“无服务器”）。 无服务器快照备份要求使用第三方虚拟设备接口 (VDI) 应用程序，可直接与支持拆分镜像或写入时复制操作的高级企业存储系统通讯。使用无服务器快照备份的常见方案是在包括三路镜像的情况下。VDI 备份应用程序可“中断”某个镜像（另两个镜像继续支持用户），将该镜像备份到磁带，或从其它系统访问。在后一种情况下，该备份有效地成为立即可用的备用数据库。从（基于磁盘的）镜像联机调用时，无服务器快照备份可快速恢复。当然，从磁带恢复将用更长的时间。无服务器快照备份提供了更大的灵活性。除作为初始化备用数据库的技术以外，也可用于方便地创建报表或测试数据库，同时不影响生产服务器。SQL Server 在 MSDB 中保留无服务器快照备份的历史记录，通过使用传统的差异和日志备份可向前滚动。二、可伸缩性为满足平台数据库数据容量的快速增长需要和系统分步实施的需要，数据库必须具有很好的可伸缩性。从形式上分析，系统可以通过以下方式进行扩充：l 向单一节点添加硬件设备或将其升级为一个大型节点。这种方式称为向上扩展。l 添加更多节点并将数据及工作负载分布于这些节点当中。这种方式称为向外扩展。 图 21 向上扩展和向外扩展可伸缩式系统允许设计人员从小规模开始并根据需要不断对系统进行扩充。某些应用例如客户关系管理需要采用小型节点，甚至是仅能存储部分数据库并执行部分应用的便携式计算机。理想情况下，这种分布式系统的所有节点都将提供相同的操作并呈现相同的编程接口。迄今为止，绝大多数伸缩能力都是通过对称多处理器（SMP）式向上扩展来实现的，即向单台服务器上添加更多的处理器、内存、磁盘和网卡。多家厂商的产品已经证明，在常规商务负载环境下，SMP服务器能够提供10倍于单处理器系统的向上扩展能力。然而，单节点体系结构最终会达到一个瓶颈并无法实现进一步的有效扩展。这种瓶颈表现为逐渐缩小的回报率或者价格惊人的昂贵硬件设备。为实现超过10倍的扩展，应用设计人员倾向于采用群集式向外扩展体系结构，此种情况下，工作负载和数据库将被划分在SMP节点阵列当中。向外扩展式系统通过向群集中添加更多节点的方式实现扩展。尽管群集实际上是一个节点阵列，但其却可以向单套系统那样进行编程和管理。理想情况下，这种划分对于客户端和应用程序来说是完全透明的。所有真正的大型系统都是通过向外扩展式群集来创建的。与不断增长的大型SMP系统不同，群集可以通过便捷的组件方式进行小规模扩充，同时，群集节点的相对独立性也形成了天然的故障转移和高可用性设计方案。在数据库管理系统设计中，SQL Server集群设计不但保障了系统的可用性和可靠性，也提供了向上扩展和向外扩展的能力。l 通过SMP硬件系统CPU和内存容量的升级，提供向上扩展的能力；l 通过增加集群系统中服务器数量，提供向外扩展的能力；l 通过引入SAN支持，提供存储扩展的能力。Microsoft Windows Server 2003和SQL Server均支持SMP式向上扩展体系结构和群集式向外扩展体系结构。SQL Server既可向下收缩至在便携式计算机或WindowsCE上运行，也可向上扩展为在巨型服务器上运行。SQL Server能支持多层架构站点的发展需求，也支持大型企业级系统。它包括分布式分区视图和日志传送来分发工作负荷，可通过新的并行操作充分利用 SMP 硬件。为了加速在服务器之间传递数据，SQL Server引入对 SAN（系统局域网）的内置支持，以便获得高速群集互连。三、安全性考虑到暴露在Internet上的应用程序的敏感性和易受攻击性，SQL Server 引入了安全增强功能，提供业界最高等级的安全性。SQL Server 安装级别很高的默认安全性，同时利用了 Windows 2003 集成安全性。SQL Server 还引入一系列复杂的新安全特性：基于角色的服务器安全性；数据库和应用程序配置文件；用于安全审核的集成工具（跟踪 18 个不同的安全事件及其它子事件）；支持复杂文件和网络加密（包括 SSL）；Ke