从数据库应用系统设计看网格技术

-,1,从数据库应用系统设计看网格技术,报告人：刘全明二四年十月,-,2,主要内容,数据库应用系统的结构设计网格数据库介绍,-,3,数据库设计包括三个领域数据库对象：数据表、视图、索引、存储过程，簇集等等数据库程序：主要是一些SQL语句 (同一任务-多种sql实现语句-性能不同-需要优化)数据库应用系统结构：拓朴结构数据库设计的目的：使系统获得良好的性能：处理速度、可靠性、一致性等等,-,4,从应用系统的拓朴结构说起,看看如何设计数据库应用系统的拓朴结构，使统获得良好的性能：处理速度、可靠性、一致性等等,-,5,单节点数据库和应用服务器。,数据库节点,应用服务器节点,用户,高质量的系统由高质量、高成本的组件构建 大型机模型,问题：可靠性解决：备份(将损失较少到最小) 磁盘为多磁盘 备份技术：a.脱机备份 b.联机备份 恢复,-,6,双节点数据库和应用服务器。,数据库节点采用故障转移策略故障转移节点通常为闲置状态,应用服务器节点,用户,高质量的系统由高质量、高成本的组件构建 大型机模型,两个服务器：一主一从共享磁盘阵列可以提供7*24小时服务可靠性有极大的提高缺点:机器冗余,-,7,示例,App 1,ERP,Intel,HR,App 2,Intel,App 3,CRM,Intel,App 4,市场,Intel,App 5,采购,Intel,DATABASE,Inst-1,Solaris,Inst-1,DATABASE,Inst-1,HP,Inst-3,Inst-1,冷备用,DATABASE,Inst-1,Solaris,DATABASE,Inst-1,Solaris,Inst-2,冷备用,DATABASE,Inst-1,Solaris,冷备用,DATABASE,Inst-1,Solaris,DATABASE,Inst-1,Solaris,Inst-4,冷备用,DATABASE,Inst-1,Solaris,DATABASE,Inst-1,Solaris,Inst-5,冷备用,DATABASE,Inst-1,Solaris,-,8,双节点数据库和应用服务器.,数据库节点使用集群，负载在两个节点之间进行均衡。,应用服务器节点,用户,高质量的系统由高质量、高成本的组件构建 大型机模型,-,9,问题是什么？,每个数据库服务器都没有被充分利用每个数据库服务器都有一个专门用于 DR 的备份服务器每个应用程序都有自己的专用磁盘系统当任何一个服务器达到 100% 容量时，客户必须升级服务器非常昂贵的结构,-,10,当前的 IT 基础架构,为高峰负载而配置有限的可伸缩性控制分散解决办法,-,11,App 1,Intel,App 2,Intel,App 3,Intel,App 4,Intel,App 5,Intel,App 6,电子邮件、传真、文件系统,Intel,DATABASE,Inst-1,Inst-1,Inst-1,Inst-2,Inst-3,Inst-4,备用,DATABASE,Inst-1,原始设备制造商,几台大型计算机,Inst-5,几台大型计算机,单点管理所有应用程序 所有应用程序使用相同的 DBMS 版本 减少主服务器的数量 减少 DR 服务器的数量 设置路径转发,ERP,HR,CRM,市场,采购,解决方案,-,12,进一步,App 1,Intel,App 2,Intel,App 3,Intel,App 4,Intel,App 5,AIX,App 6,Intel,节点 (2 N),SAN,文件存储,降低对大型机的依赖 可伸缩的中心数据库管理 根据需要添加硬件 无需提前计算空间 使用更便宜的机器 无需要冷备用即可提供高可用性 没有用于备用的多余硬件和软件成本,DATABASE,Inst-1,Inst-1,Inst-1,Inst-2,Inst-3,Inst-4,Inst-5,管理软件,电子邮件、传真、文件系统,ERP,HR,CRM,市场,采购,-,13,在网格中集成数据,集群数据库实例,SAN 1,SAN 2,SAN 3,SAN 4,刀片服务器组,-,14,网格的理念,像公共设施一样进行计算与地理位置无关与具体的计算设施无关客户端：简单请求计算或请求信息并接收服务器端：复杂可用性、负载平衡、实用性信息共享、数据管理虚拟化虚拟组织:具有分布性、动态性、异构性强调资源的互连互通，强调资源的互操作能力，以支持虚拟组织基础上的协同工作虚拟资源,-,15,虚拟资源,网格可以将服务器、数据中心和企业间的资源虚拟化虚拟资源的类型网络存储器CPU数据在网格上实现虚拟数据资源的关键是信息集成,-,16,信息集成,提供所有信息的统一视图，而不考虑其数据类型数据存储物理位置随时随地提供对数据的访问优化对信息的访问，而不考虑数据的物理位置数据的虚拟化在网格中得以实现,-,17,网格数据库,数据库技术和网格技术相结合主要研究包括三个方面：网格数据库管理系统网格数据库集成支持新的网格应用,-,18,网格数据库管理系统,最终将成为网格上的一种重要资源，提供数据管理服务构建网格数据库管理系统提供一个中间件，将数据库管理系统包装成为网格服务，以便网格应用存取网格数据库扩展已有的数据库管理系统，让它直接利用网格提供的功能来实现分布式的数据库和相关的网格服务,-,19,扩展已有数据库管理系统，即可符合网格要求,用户只需要登陆一次，就可以使用网格上所有他可用的资源很多网格应用程序在提交任务给数据库管理系统后需要收到一个任务完成的通知查询结果可以被缓存以便传送给第三方，这意味着网格数据库管理系统必须保留结果集一个不确定的时间，然后利用网格数据传输机制传送查询结果到第三方在网格中，分布式查询处理可以利用网格的资源发现机制了解网络的状态、获得合适的资源来运行分布式查询或存储中间结果网格数据库管理系统应提供资源预留功能，以便参与网格中的进程调度网格数据库管理系统应该能为网格记账和支付标准提供必要的信息，以便用户为资源的使用付费。,-,20,有些不能通过简单地扩展已有的数据库管理系统就能够解决,网格当中计算和数据资源之间耦合得很紧密，这对于数据库的查询优化而言是一个挑战当前的数据库管理系统并未准备好成为这种大型计算的宿主，也不支持所需要的监控接口传统的数据库管理系统是一个复杂的系统，运行时作为一个整体消耗大量的资源在网格中使用注册的方法来发布和查找资源数据库里面存储有大量的元数据，手工注册这么多元数据是不可行的，但是又如何来完成自动注册呢？,-,21,网格数据库集成,网格数据库集成就是使用两个或多个网格数据库中的信息，并使用这些信息构建一个大的数据库面临的主要问题,-,22,面临的主要问题包括,网格建立在服务的基础上，在网格中存取数据库必须符合网格的标准数据库有不同的种类（如面向对象的数据库、关系数据库），而且属于同一种类的数据库产品在功能和接口上也有很大的不同（如ORACLE、DB2），在集成各种数据库到网格中时必须减少重复劳动，同时又要尽可能保留被集成的数据库的全部功能网格鼓励数据共享，而数据来自于不同的研究者和组织机构，有着各自的数据库模式和数据库设计，需要提供一个中间件来完成异构数据的集成网格中不仅包含结构化的数据，也包含半结构化的数据和无结构的数据,-,23,网格数据库集成,目前有三种网格数据库集成策略：虚拟数据库虚拟数据库是一个联邦数据库，它只有一个联邦模式，所有的用户都无法觉察到多个独立的数据库存在的事实 联合定制集成由应用程序自己完成数据库集成:查询、中间数据源的构建、显式的数据传输和数据变换、存储结果 整合增量集成在增量集成中，开发人员无须完成集成的每一个细节，高级的数据存取和集成组件可以自动完成一些后期的集成步骤,-,24,信息集成的方法,整合信息联合信息共享信息,-,25,整合信息,将异种数据整合到中央数据库中任何数据（音频、视频、XML、电子邮件、消息等）,-,26,整合的好处,形式最简单的信息集成降低管理成本只需管理较少的服务器和数据库更快地部署应用程序在中央服务器上一次性部署应用程序更快地访问全局数据利用集中的数据，查询及 DML 的运行速度更快,-,27,特性,支持大型数据库XML 数据库虚拟专用数据库分区LOB 和 BFILE,-,28,联合信息,将多个数据存储中的数据联合到单个虚拟数据库中可访问异种数据(oracle，db2，sql server) 既可访问结构化数据又可访问非结构化数据对应用程序隐藏数据的物理位置,-,29,联合的益处,快速集成简单的更改产生即时的结果可对不能整合的数据的进行集成原有应用程序数据需要本地拥有权对不经常访问的数据进行即席集成,-,30,特性,多种访问方法分布式 SQL任何数据源外部文件Web 服务高级索引技术,Oracle,DB2,XML,Excel,平面文件,文本,Web服务,-,31,利用分布式 SQL 访问远程数据库,透明地访问远程数据存储器数据库链接隐藏了远程数据存储器的位置将多个数据存储器作为单个数据库进行访问多个远程数据库中的表就象在本地一样执行分布式事务处理分布式 SQL 优化,-,32,访问外部文件,访问原生 XML 文件通过过滤器访问专有文件类型变换为 XML 文件所供应的过滤器支持 100 多种文件类型访问外部表将外部文件中的数据映射到表中,-,33,数据库 Web 服务,Web 服务用户Java 类、PL/SQL、触发器调用外部服务将 Web 服务视作 SQL 数据源Web 服务供应商通过 web 服务查询数据库执行消息处理操作DML Web 服务调用 Java在数据库中完全支持 XML,-,34,共享信息,在用户、应用程序和数据库之间共享信息 根据需要移动或复制信息通常以复制或消息队列的形式实施主要通过数据流来处理网格使用数据流在这种应用中，部分或者全部的数据并非事先已经存储在磁盘或者内存中，而是以一个或者多个连续数据流的形式不断到达,-,35,数据流处理,数据流模型和传统的基于存储的关系模型的区别在于：1）数据流中的数据元素联机到达；2）系统不能控制数据元素达到的次序；3）数据流中可能有无限多个数据元素；4）数据元素在处理后不是被丢弃就是被归档。,-,36,数据流处理,基于关系数据库来管理数据流查询分布在网格中，数据流对于用户而言是位置透明的，用户在查询时认为所有的数据流存储在一起。因为数据流实际上是分布式的，所以提供某种形式的查询分布是必需的。数据分布不同的数据流可能具有相同的数据元素格式，例如同一种类的多个传感器输出多个数据元素格式相同的数据流。数据分布会加大查询处理的复杂性管理长时间运行的查询长时间运行的查询的查询结果需要使用网格中的数据传输机制异步传输。查询实例化,-,37,Streams 的基本要素,每个数据流的三个基本要素捕获准备使用（应用）,使用,准备,捕获,-,38,对文件或数据库进行流处理,将所有企业信息统一到单个流中统一数据库、消息处理、复制、发行/预订 API 和功能Streams 可以移动任何文件操作系统文件、BFILE、数据库文件（表空间）利用单个命令创建副本选择数据库链接和要复制的表空间自动创建同步的副本在数据源跟踪变化移动表空间将更改应用到目标可选的双向支持易于扩展/修改配置添加数据变换卸载处理或移植到网格,-,39,Streams 特性,下行捕获性能提高易管理性提高行移植功能增强扩展的数据类型支持在网格中热挖掘和故障切换简化的消息处理 API,-,40,共享的优点,具有更大的灵活性随意放置数据控制访问与业务合作伙伴共享信息更快速地访问本地数据利用更小的本地数据存储器，可以更快地执行查询和 DML 具有更高的可用性应用程序不依赖于远程数据存储器的可用性,-,41,信息共享的统一基础架构,智能的、统一的、按时间排序的信息流,-,42,总结,对所有资源的有效利用：整合信息 对大量信息的可伸缩访问联合信息 可以随意放置数据，并将其作为单个数据库进行访问共享信息 多个用户和应用程序能够共享数据/信息，以便更加有效地进行操作信息集成对网格计算至关重要,-,43,元数据管理,元数据管理在网格数据库集成时扮演着关键的角色与集成有关的元数据包括技术元数据：定义数据源所在的位置、物理数据的结构和组织形式、数据的存取方法和传输方式、以及数据的历史和属主等等；上下文元数据：定义命名方式、术语和本体，它遵循约定的语法和语义，可以提高数据的质量和可靠性；派生元数据：定义由其它数据派生的数据的含义和上下文；映射元数据：定义上下文元数据定义间以及上下文元数据和技术元数据间的等价性,-,44,不同的数据库系统具有不同的元数据模型，标准的元数据定义方法肯定有利于网格数据库集成。全球网格论坛数据领域的DFDL（Data Format Description Language）工作组在做的一件事就是定义一种基于XML的语言来给出数据库中元数据的标准表示研究中的语义网格也将能有助于解决涉及元数据语义方面的问题。,元数据管理,-,45,支持新的网格应用,应用能有力地推动技术的发展网格数据挖掘网格计算机集成制造系统网格数字图书馆等等目前国内外开展的大部分的网格项目都是网格应用项目，而且多数是服务于科学研究的需要,-,46,网格上的科学研究e-Science,有两个重要的方面：数据是数据挖掘和假设检验的信息源共享数据是科学家们协作的基础网格环境下的数据库管理系统归档注解新的存储结构和索引,-,47,归档,科学研究中的研究结论是在特定时间特定状态的科学数据库的基础上的得到的如果要验证一个科学结论，就需要将科学数据库的状态恢复到得出结论时的特定状态。因此，需要研究支持快速恢复所有先前状态的归档方法,-,48,注解,注解关联新的数据和已有的数据，它可以自动产生，例如自动记录数据的派生关系，也可以由科研人员手工添加以记载他们对数据的理解。无论以那种方式生成注解，带来的问题都是注解需要以合适的方式进行管理以便共享,-,49,新的存储结构和索引,科学研究中要处理海量的科学数据，而且在检索数据时多使用近似匹配，需要研究能够充分利用网格优点的新的科学数据存储和索引方法一个简单的例子可以是在计算能力大的网格结点上构造索引，然后将这些索引分发到计算能力较小的网格结点上以便能够做并行分布式数据查询,-,