基于PaaS的数据库云服务实现方法研究.doc

成果上报申请书成果名称基于PaaS的数据库云服务实现方法研究对企业现有标准规范的符合度：（按填写说明5）符合中国移动私有云总体技术要求 规范编号 QC-Y-001-2013如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型包括：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个：2013年省公司研发项目 “基于云服务的数据库资源池建设方法研究”专利情况：如果该成果产出相关专利，且专利处于国知局专利申请审查阶段或已授权，请说明专利名称、类型、申请号、状态、是否海外申请等情况。（按填写说明7）无成果简介：简要描述成果目的和意义，解决的问题，取得的社会和经济效益。云计算是一种能够方便地、按需从网络访问共享的可配置计算资源或服务（例如，网络、服务器、存储、应用和 IT 服务）池的模型。云计算的主要优势包括降低成本和复杂性、提高服务质量以及提高响应负载变化时的弹性。在传统模型中，业务应用与特定的基础架构绑定在一起，导致效率低下、利用率不高、灵活性很差。云计算技术支持在运行时将应用动态部署到最合适的基础架构上。云计算与生俱来的弹性使得应用可以更低的成本实现伸缩，而无需“叉车 ” 式升级。根据美国国家标准与技术研究所的定义，云计算包括三种不同的服务模型。即SaaS、PaaS和IaaS。对于数据库云计算来说，PaaS 云模式可提供比IaaS 模式更好的 IT 服务。PaaS 模式在云中不仅提供了足够的资源以确保数据库能够快速启动运行，而且还留有足够的自由度，让用户能够创建所需应用。此外，通过一致性和规模效益，极大地增强了集中式 IT 管理、安全性和效率。相反，在 IaaS 模式中，每个租户都必须自己构建大部分体系，从而导致部署时间延长、体系不一致且较难以管理。 通过实现数据库云服务，能够实现以下四点目的：一、降低成本 IT 预算总是处于不断监督之下，因此 IT 部门需要借助合适的解决方案来降低资本支出和运营支出，同时满足关键业务需求。整合共享资源可有效地将孤立、未充分利用的基础架构更换为一个共享资源池，从而降低总体成本并提高资源利用率。多租户配置可以提高每台服务器上的数据库密集度，这不仅可以减少服务器占用的空间，还可以降低资本支出。自动化和更高的管理效率有助于提高整体效率，从而降低运营支出。 二、降低复杂性 IT 部门通过合理化、标准化和整合，可以减少需支持的配置和服务的数量，进而可以简化其环境。通过基于公共构建模块的标准化，IT 部门可以使用模块化组件轻松部署预定义配置并实现扩展。集中管理是降低复杂性的关键因素之一：随着环境变得更为同构，其管理也会变得更加轻松。并且，拥有一个集中的管理中心可以将运营成本保持在较低水平并进一步推进日常任务的自动化。 三、提高服务质量 IT 部门不仅要尝试降低成本，而且还要通过一些解决方案来提高性能、可用性和安全性。在数据库云中，可以通过共享的监控中心来监视和管理数据库性能。数据库云服务还可提供内置的高可用性。此外，作为标准化供应流程的一部分，整合帮助加强统一身份标识和安全基础架构。 四、增强敏捷性 IT 部门日益寻求开发更加敏捷和灵活的环境，以便加快上线速度和快速响应不断变化的业务需求。这有助于高效推行新的业务战略并且支持快速部署应用，而不需要在基础架构设置上花费大量时间。敏捷性的三个主要方面包括： (一) 快速部署。使用标准化硬件组件、软件配置和工具构建私有云基础架构，从而实现自动化和简化的部署流程。 (二) 快速供应。可以快速供应云中的资源（通常通过自助服务），从而更快地完成应用部署。这将缩短部署生产应用和开发平台以及建立测试环境配置所需的总时间。 (三) 资源弹性。是扩展和收缩任何数据库容量的能力，包括大小和计算能力，使应用能够灵活适应不断变化的业务负载。 本项目研究通过服务的方式提供数据库能力方法。建立基于PaaS的数据库云服务平台，将数据库能力封装成不同的服务，对应不同的应用与业务，应用基于服务进行部署，并实现高可用性的连接.作为数据库资源池平台应具备几个特征：以服务为提供方式，高扩展、高可靠性，多业务共享。前两个特征通过虚拟化计划和集群技术，各数据库厂商都提供了成熟的产品和技术。对多业务共享，由于各种业务特性不同，需求不同，每类业务的需要分配多少资源，如何避免业务与业务之间的互相影响。安徽移动以数据库资源池平台为基础正在进行相关探索与尝试。其中提出了基于服务的数据库资源池的架构。服务是应用系统的逻辑映射，这使得安徽移动可以基于业务要求（如服务水平和优先级）将应用程序的负载分解为可管理的部分。应用服务可以自动分配到一个资源组中并指定资源使用计划与隔离策略。应用用户通过服务连接到数据库，并通过服务提供业务连续性保障。每类业务创建一个独立的服务。在资源池数据库中，为避免节点之间过多的数据交互，同一类业务尽量连接到同一数据库节点，因此服务通常采取主、备用方式。未来的资源池的资源管理与性能分析均可以基于业务服务维度进行，同时可以快速供应云中的资源（通常通过自助服务），从而加快应用程序上线速度。这将缩短部署生产应用程序和开发平台以及创建测试环境配置所需的总时间。省内试运行效果：描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。安徽移动自2012年12月完成平台搭建后，已完成12套数据库服务的部署，应用效果良好。(一) 降低硬件维护成本，提高资源利用率通过整合,将12台数据库服务器整合到4个数据服务器，平均每台数据库服务器利用率从15%增加到40。从12台服务器192 CPU整合到4台112CPU ,降低软件维保成本。将原有12台主机的耗电空调降温成本，降低为对4台主机的耗电空调降温成本。将原有12台主机整合到1-2个机柜，减少了数据中心空间占用。减少硬件以及软件维保120万元。(二) 减少应用部署时间预先设置，开箱即用，部署时间可以从5天减少到30分钟。(三) 提高系统高可用性使用数据库集群业务可靠性增强，为计划停机和意外停机提供保护。减少业务停机时间。使用数据库集群可根据系统压力，灵活的提供处理能力。(四) 降低运维管理成本通过整合:将原有12台主机的日常维护，健康检查，补丁升级工作，降低为对4台主机的日常维护。运维管理效率提高3倍。通过统一监控进行诊断和调优，实现自动诊断和调优操作，提高使运维人员工作效率提高 。(五) 缩短系统切换时间通过使用服务器端TAF技术，将部分分钟级的应用切换场景缩小到秒级，大大缩短了应用切换时间。建议全集团推广。文章主体（3000字以上，可附在表格后）：根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明6”。基于PaaS的数据库云服务实现方法研究一、项目背景与意义随着云计算技术的不断成熟，如何在IT系统中提供数据库云服务成为热点研究的内容。电信运营商的数据库具有计算密度高、IO压力大、事物数据量小的特点，如何在电信运营商的IT系统中实现数据库云服务，至今仍没有较为成熟的体系与方法论。云计算是一种能够方便地、按需从网络访问共享的可配置计算资源或服务（例如，网络、服务器、存储、应用和 IT 服务）池的模型。云计算的主要优势包括降低成本和复杂性、提高服务质量以及提高响应负载变化时的弹性。在传统模型中，业务应用与特定的基础架构绑定在一起，导致效率低下、利用率不高、灵活性很差。云计算技术支持在运行时将应用动态部署到最合适的基础架构上。云计算与生俱来的弹性使得应用可以更低的成本实现伸缩，而无需“叉车 ” 式升级。根据美国国家标准与技术研究所的定义，云计算包括三种不同的服务模型。即SaaS、PaaS和IaaS。对于数据库云计算来说，PaaS 云模式可提供比IaaS 模式更好的 IT 服务。PaaS 模式在云中不仅提供了足够的资源以确保数据库能够快速启动运行，而且还留有足够的自由度，让用户能够创建所需应用。此外，通过一致性和规模效益，极大地增强了集中式 IT 管理、安全性和效率。相反，在 IaaS 模式中，每个租户都必须自己构建大部分体系，从而导致部署时间延长、体系不一致且较难以管理。 通过实现数据库云服务，能够达到以下四点目的：一、降低成本 IT 预算总是处于不断监督之下，因此 IT 部门需要借助合适的解决方案来降低资本支出和运营支出，同时满足关键业务需求。整合共享资源可有效地将孤立、未充分利用的基础架构更换为一个共享资源池，从而降低总体成本并提高资源利用率。多租户配置可以提高每台服务器上的数据库密集度，这不仅可以减少服务器占用的空间，还可以降低资本支出。自动化和更高的管理效率有助于提高整体效率，从而降低运营支出。 二、降低复杂性 IT 部门通过合理化、标准化和整合，可以减少需支持的配置和服务的数量，进而可以简化其环境。通过基于公共构建模块的标准化，IT 部门可以使用模块化组件轻松部署预定义配置并实现扩展。集中管理是降低复杂性的关键因素之一：随着环境变得更为同构，其管理也会变得更加轻松。并且，拥有一个集中的管理中心可以将运营成本保持在较低水平并进一步推进日常任务的自动化。 三、提高服务质量 IT 部门不仅要尝试降低成本，而且还要通过一些解决方案来提高性能、可用性和安全性。在数据库云中，可以通过共享的监控中心来监视和管理数据库性能。数据库云服务还可提供内置的高可用性。此外，作为标准化供应流程的一部分，整合帮助加强统一身份标识和安全基础架构。 四、增强敏捷性 IT 部门日益寻求开发更加敏捷和灵活的环境，以便加快上线速度和快速响应不断变化的业务需求。这有助于高效推行新的业务战略并且支持快速部署应用，而不需要在基础架构设置上花费大量时间。敏捷性的三个主要方面包括： (一) 快速部署。使用标准化硬件组件、软件配置和工具构建私有云基础架构，从而实现自动化和简化的部署流程。 (二) 快速供应。可以快速供应云中的资源（通常通过自助服务），从而更快地完成应用部署。这将缩短部署生产应用和开发平台以及建立测试环境配置所需的总时间。 (三) 资源弹性。是扩展和收缩任何数据库容量的能力，包括大小和计算能力，使应用能够灵活适应不断变化的业务负载。 二、项目研究内容本项目研究通过服务的方式提供数据库能力方法，研究不同的PaaS数据库云服务实现方法以及优缺点，实现安徽移动IT系统数据库云服务。本研究将数据库能力封装成不同的服务，对应不同的应用与业务，应用基于服务进行部署，并实现高可用性的连接。作为数据库资源池平台应具备几个特征：以服务为提供方式，高扩展、高可靠性，多业务共享。前两个特征通过虚拟化计划和集群技术，各数据库厂商都提供了成熟的产品和技术。对多业务共享，由于各种业务特性不同，需求不同，每类业务的需要分配多少资源，如何避免业务与业务之间的互相影响。安徽移动以数据库资源池平台为基础正在进行相关探索与尝试。其中提出了基于服务的数据库资源池的架构。服务是应用系统的逻辑映射，这使得安徽移动可以基于业务要求（如服务水平和优先级）将应用程序的负载分解为可管理的部分。应用服务可以自动分配到一个资源组中并指定资源使用计划与隔离策略。应用用户通过服务连接到数据库，并通过服务提供业务连续性保障。每类业务创建一个独立的服务。在资源池数据库中，为避免节点之间过多的数据交互，同一类业务尽量连接到同一数据库节点，因此服务通常采取主、备用方式。未来的资源池的资源管理与性能分析均可以基于业务服务维度进行，同时可以快速供应云中的资源（通常通过自助服务），从而加快应用程序上线速度。这将缩短部署生产应用程序和开发平台以及创建测试环境配置所需的总时间。二、实现方案(一) 实现方案比较通常有三种PaaS数据库云的架构实现方式。1. 基于服务器整合的数据库云此部署模型通过虚拟化实现：将服务器添加至一个服务器池中，并通过池中服务器创建用户虚拟机 (VM)。服务器与用户VM 之间通常是一对多的关系，并通过物理服务器资源（CPU和内存）提高密度。在需要数据库服务时，将构建和供应整个操作系统体系（作为创建用户VM 过程的一部分）。图 1.服务器整合模型在此模型中（如图 2 所示），租户隔离在用户 VM 层面实现。所部署的数据库一般都是在用户 VM 中实例化的单实例数据库。该模型具有垂直可伸缩性，具体方式是添加更多虚拟资源（CPU 或内存）。但是，用户 VM 不能跨服务器池中的不同服务器，这意味着，对于一项负载来说，数据库云无法举其全部资源之力来满足该项负载需求。它们可以利用虚拟化技术提供的一些高可用性功能，例如实时迁移和高可用性重启。 此模型的优点：(1) 通过 VM 模板或配置文件进行“按钮式”数据库部署十分简便。 (2) 支持供应多个数据库版本和配置。(3) 在用户 VM 层面实现出色的故障隔离和资源隔离。(4) 大多数应用都可以基于部署于用户 VM 中的数据库无缝运行。 此模型的缺点：(1) 虚拟化不会减少操作系统或数据库的数量，因此实际整合水平和投资回报都较低。(2) 此模型助长操作系统和数据库的泛滥，这会导致所管理的环境随着部署数量的增加而变得更加复杂。(3) 此模型的性能不如其他部署模型，并且 I/O 密集型数据库在虚拟化环境中可能性能不高。(4) 可伸缩性受限于池中最大服务器的大小，并且无法在池中水平扩展数据库负载。(5) 用户 VM 层的资源管理可在单一计算机上提供粗粒度的资源和负载管理，这会对满足不断变化的负载需求的能力造成限制。 2. 基于数据库整合的数据库云在一个公共操作系统上实现标准化之后，集群中的任何一台服务器都可以托管一个或多个可通过命名数据库服务访问的数据库实例。在该部署模型中，一个数据库将部署到聚集在一个私有云中的物理服务器上。通过利用服务器双机技术，数据库会继承了服务器器冗余带来的高可用性。通过在服务器池中添加更多节点（横向扩展）或者在现有节点中添加更多 CPU、内存或 I/O 卡等物理资源（纵向扩展），可以实现灵活性和可伸缩性。 图 2.数据库整合模型在该模型中（如图 2 所示），租户故障隔离在节点或服务层面实现。实例囚笼、数据库资源管理器、自动负载管理和服务质量等提供租户性能隔离。这能高效地使用共享应用资源来满足服务级别需求。 此模型的优点：(1) 数据库向服务器整合的高密度，不会引发操作系统泛滥。(2) 通过提高存储和服务器利用率来减少服务器空间占用，从而实现更高的投资回报。(3) 数据库不会受限于虚拟化层，因此可以提供更高的性能。(4) 支持所有应用，并且可以执行细粒度的负载管理。此模型的缺点：需要在一个公共操作系统上实现标准化 3. 基于Schema整合的数据库云 图 3. Schema整合模型在此部署模型中（如图 3 所示），整合后的数据库主要包括在私有云的一台或多台服务器上运行的一个或多个应用模式。 当租户请求供应数据库时，系统会创建一个具有自己的表空间集和相应服务名称的新 Schema。数据库集群技术将在整个私有云中提供高可用性和可伸缩性。在本例中，DW、ERP 和 CRM 是整合数据库中的不同 Schema，它们都有各自的命名数据库服务，这些服务可跨用私有云中的所有服务器资源。该模型在服务层面提供资源隔离，并且自动负载管理和服务质量特性可确保提供充 足的云资源来满足应用性能和高可用性需求， 甚至在负载发生变化时也是如此。 此模型的优点：(1) 通过模式供应数据库服务的速度极快。(2) 整合到更大的数据库中可以减少操作系统和内存开销。(3) 通过减少服务器、操作系统和数据库部署的数量，此模型可实现高密度整合，带来最高的投资回报。此模型的缺点：(1) 一些应用有严格的 Schema 命名标准，并且 Schema 整合易于出现命名空间冲突，因此可能需要应用认证。(2) 提供有限的资源、故障和安全隔离，应用程序之间会相互影响。在数据库云中，数据库以数据库服务的形式存在，用户可以轻松访问数据库服务以读取或写入数据以及运行其业务应用。用户不需要参与对整合的私有云基础架构的管理，但是他们需要严格的性能、可用性和数据安全服务级别。IT 部门必须选择最佳的部署模型来满足预算限制和业务应用服务级别的要求。下表汇总了各模型的能力和优势。 服务器整合 数据库整合 Schema整合 实施 简单 简单 困难 应用适用性 部分 所有 部分 隔离 最高 高 有限 可用性 高 最高 最高 可伸缩性 有限 出色 出色 整合密度 低 高 最高 投资回报 低 高 最高 虽然服务器整合模型提供了简便的迁移和高水平的隔离，但是它性能有限，可用性较低，投资回报最低。数据库云模型可提供比基础架构云更高层级的整合。更加重要的是，基础架构云仅整合服务器和和存储，而数据库云则整合服务器、存储、操作系统、数据库版本和负载，可提供更高的投资回报。安徽公司在本项目中采用的是基于Schema整合的数据库云模式。(二) 实现技术方案1. 通过service方式实现多租户管理多租户是指一个单独的软件实例可以为多个组织服务。多租户技术可以让多个租户共用一个应用程序或运算环境，且租户大多不会使用太多运算资源，多租户技术可以有效的降低环境建置的成本。包含硬件本身的成本，操作系统与相关软件的授权成本都可以因为多租户技术，而由多个租户一起分担。安徽移动数据库云采用ORACLE 11G的service技术对外提供多租户功能。每个使用数据库的组织能使用到一个独立的数据库service，可以对这个service进行定制化要求，比如CPU、内存、存储大小、数据库连接数等。service是数据库内相关任务的组合，这些任务有共同的功能、质量预期值以及相对于其它服务的优先级。服务可提供单一系统映像，用于管理在单个实例内运行的竞争应用程序，以及跨多个实例和数据库运行的竞争应用程序。 使用ORACLE 11G的标准接口（例如 DBCA、Oracle Enterprise Manager 和 SRVCTL），可将服务作为单个实体进行配置、管理、启用、禁用和度量。(1) 注册servicesrvctl add service -d dbname -s servicename -r prefer_node -a avail_node -P basic -e select -m basic -z 10 -w 2其中各参数含义如下：-d -s -r -a -p 服务端设置为basic-e 配置为session 或者select 建议默认配置为select-m 配置为basic-z failover 重试次数-w failover 延迟(2) 启动servicesrvctl start service -d dbname -s servicename(3) 停止servicesrvctl start service -d dbname -s servicename2. 通过客户端TNS配置，关联数据库连接与serviceService是oracle数据库中相关任务的组合。客户端通过用户名、密码和TNS中的配置连接数据库服务器。因此必须指定每个数据库用户使用的service_name,并在申请TNS连接串时予以更新。在数据库云服务中，每个应用必须使用独享的SERVICE_NAME连接数据库服务器。每个数据库用户必须对应一个SERVICE_NAME。客户端tns配置如下：ngdus = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = scan-ip)(PORT = 1521) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = dbservice) )3. 使用服务器端TAF技术，实现数据库服务的高冗余与高灵活(1) 高冗余数据库云服务必须是高可用的，本项目中使用ORACLE TAF（Transparent Application FailOver，透明应用故障切换）技术实现高可用。该特性的启用可以从两个层面开始，客户端或服务器端。基于客户端的TAF配置可以满足对实例级宕机时业务自动切换的要求，相关业务不会发生实际的连接断掉的情况。但在某些情况下会话仍然会先再次尝试当前实例是否可用，在操作系统层面返回失败后，然后再确认其它实例，切换时间增加，影响业务感知。与基于客户端TAF配置不同，服务器端TAF配置不需要客户端连接服务器时提供很长的连接字符设置，而是根据客户端使用的服务器名（Service Name）定位到一个数据库的Service，而Service又在预先设置了不同的TAF策略，这也就使得所有连接到这个Service的会话都会按照预先的策略实现TAF切换。同时，TAF判断是在服务器端进行，而不是在客户端进行，缩短了客户端判断当前实例是否可用的时间。实现服务器端的TAF，需要在创建service的时候指定TAF切换方式。如下面红色标注部分。客户端通过技术方案2中提供的TNS连接数据库。srvctl add service -d dbname -s servicename -r prefer_node -a avail_node -P basic -e select -m basic -z 10 -w 2(2) 高灵活PaaS层的数据库服务必须是高度灵活的，数据库连接的平台、地址对租户来说是完全透明的。本项目通过服务器端的TAF技术可以很方便的控制各租户的数据库请求。可以使用Service来控制会话连接运行于哪一个实例上，而无需通知租户重启应用。比如目前数据库在某些业务情况下触发某些Bug，并需要紧急对RAC应用补丁，而业务上只有极少的关闭窗口。假设此：A. 两节点RAC（数据库名为boss）；B. 整个RAC中运行3个业务模块A,B,C，其中节点1运行了业务A，B，节点2运行了业务C；C. 同时A，B,C3个业务分别使用启用了3个Service来实现高可用策略，比如SA，SB，SC；方案1，基于客户端的TAF配置，通过关闭实例触发应用程序向其它实例的切换，所带来的问题：单独控制发生TAF的会话十分困难；如果实例较多，比如3个或多个则没有办法选择Failover实例；方案2，使用基于服务器端的TAF配置，通过srvctl控制Service的切换,首先将业务C迁移至节点1srvctl relocate service -d boss -s sc -i boss2 -t boss1 -f此时与业务sc对应的会话均会切换至实例1,关闭实例2应用补丁srvctl stop instance -d boss -i boss2opatch apply 启动实例2,并将应用SA,SB,SC切换到实例2srvctl start instance -d boss -i boss2srvctl relocate service -d boss -s sa -i boss1 -t boss2 -fsrvctl relocate service -d boss -s sb -i boss1 -t boss2 -fsrvctl relocate service -d boss -s sc -i boss1 -t boss2 -f关闭实例1应用补丁srvctl stop instance -d boss -i boss1opatch apply 启动实例1并将应用SA,SB切回srvctl start instance -d boss -i boss1srvctl relocate service -d boss -s sa -i boss2 -t boss1 -fsrvctl relocate service -d boss -s sb -i boss2 -t boss1 -f通过基于服务器端的TAF切换方案可以最大程度的减少补丁应用对前台业务的影响，同时不需要重启应用，在任何的时间内，SA,SB,SC均有可用的实例。4. 使用资源管理技术，实现数据库服务的资源隔离采用基于Schema整合的数据库云模式，最大的风险在于各数据库之间的资源争用。本项目采用ORACLE数据库的资源管理技术，实现了数据库服务之间的资源隔离。Oracle 资源管理技术（简称DBRM）把硬件等资源的分配交给数据库服务器本身来管理。Oracle RMDB可根据每个service进行分组，然后为每组分配不同的数据库资源，进行应用隔离。RMDB的具体功能：(1) RMDB可以在系统启动时，限制某些会话请求只分配到最少的进程资源和用户使用上限。(2) 为不同的service分配不同的CPU时间。在一个数据仓库应用中，应用分配到的比例就应该比批处理任务高。(3) 限制每个service对数据库操作的并行度。(4) 对每个service建立一个活动的会话池。对某service来说，同一时间活动的会话数有特别的数量上限。如果会话池满了，新的会话请求会被放入等待队列，同时还可以设置一个时间上限，超过这个上限，等待队列会被停止。会话池限制了同一时间活动的会话请求数量，保证了活动的会话请求更快的完成任务。(5) 管理长时间未响应的会话或请求，这些会话或请求往往占用了很多的CPU或I/O资源。这些会话能被自动的结束掉，或者将它们换到其他低级的组去。(6) 优化器会估算每个service请求的运行时间，如果超出了某个阀值，RMDB会阻止它的请求。(7) 限制一个会话的空闲