空间数据库查询处理与优化 PPT课件

1 5 3分布式空间数据库系统 分布式数据库管理系统 distributeddatabasemanagementsystems DDMS DDMS是一组物理上分布的数据库集合 这组数据库集合由数据库管理软件进行管理 DDMS体系结构非常适用于SDB 空间数据是由不同组织采集的 将数据库集中复制到一个站点也是非常困难的 2 5 3 1分布式DBMS体系结构 根据如何在不同的DBMS相关进程之间划分功能 可以采用两种体系结构 客户 服务器系统 有一个或多个客户进程和一个或多个服务器进程 客户进程可以发送查询至任意服务器进程 客户端负责用户界面 服务器管理数据并执行事务 客户进程可以运行在PC上并将查询发送至在主机上运行着的服务器上 协同服务器系统 包括一组数据库服务器 每个服务器都能运行针对本地数据的事务 通过合作执行跨多个服务器的事务 3 客户 服务器系统的优缺点 优点 客户 服务器系统比协同服务器系统更常用 原因是系统容易实现 能充分利用昂贵的服务器 提供了优化每个模块并减少数据传输量的可能性 缺点 客户 服务器系统当简单查询必须跨越多个服务器时 就要求客户端的复杂度和功能达到一定标准 这将导致其功能与服务器有所重复 消除客户端与服务器的差别就变成了协同服务器系统 4 DDMS的例子 例如 假定一个地区的所有农田都遭受到各种各样的作物疾病 保险公司要评估该地区农民的受灾情况 进一步假定赔付数额和作物疾病类型有关 保险公司可以访问国土资源部维护的农田数据库以及由农业部建立和维护的作物疾病传播数字地图 如何处理这个查询 可以将这两个部门的数据库作为分布式数据库的一部分 不必从两个不同的政府机构获得数据拷贝 然后用以下方式进行查询 SELECTF id D NameFROMFarmsF Disease MapDWHEREIntersects F Boundary D Boundary 5 5 3 2半连接操作 在半连接操作中 利用如下手段减少数据传输代价 1 只将连接属性和主码从站点1发送到站点2 2 只将有关元组从站点2发送到站点1 如 FARM有1000个元组 DISEASE MAP有100个元组 6 1 投影关系FARM的PID和FARM MBR并传送到DISEASE MAP所在的站点 传输的字节数 10 16 1000 26000 2 将收到的关系与关系DISEASE MAP基于属性FARM MBR和D MBR进行连接 假定空间连接操作选择DISEASE MAP的10个元组 将这10个元组的所有属性传送到关系FARM所在的站点 传输的字节数 10 20 2000 16 10 20460 3 在关系FARM所在的站点 将关系FARM和DISEASE MAP的元组连接 假定所有农田都遭受某一种作物疾病的侵害 现在将FID OWNER NAME和DISEASE NAME传送到保险公司的站点 在这种情况下总共传输 10 10 20 1000 40000字节 7 5 3 3基于Web的空间数据库系统 不断增长的需求和Internet的易用性推动了基于Web的地理信息系统 Web basedGeographicInformationSystem WGIS 的发展 在Internet网上共享空间数据产品就变得容易了 第一层 客户端第二层 应用服务器第一级 CGI模块第二级 地理空间分析系统第三级 通信系统第三层 地理空间数据库访问系统 9 可以使用一个简单的配置文件开发Web应用 配置文件定义了CGI变量和空间数据层之间的关系 用于明确地控制应用的各个方面 Web地图服务器 Webmapserver WMS 规范对客户端请求地图的方式以及服务器描述其特有数据的方式进行了标准化 任何标准浏览器都可以发出请求 以URL的形式提文给服务器 WMS产生适当的数据集并将该数据集返回给客户端用于可视化处理 数据集可以转换成标准图像格式 例如GIF TIFF和JPEG 这种静态的表示方式给客户端的处理和查询带来了诸多限制 10 地理标记语言 geographicmarkuplanguage GML 采用可扩展标记语言 eXtensibleMarkupLanguage XML 进行编码 用于传输和存储地理信息 这些地理信息包括地理要素的几何信息和属性信息 GML支持对应于点 线串 线 多边形 多点 多线串 多多边形和几何体集合的几何元素 GML提供用于编码坐标的坐标元素以及定义空间范围的框元素 GML优点 可以构建真正的可互操作的分布式GIS 目录 11 5 4并行空间数据库系统 评估并行系统有两个重要的度量标准 线性加速 如果硬件数量加倍 处理器 磁盘等从x到2x 则完成任务的时间减半 线性扩展 如果硬件大小加倍 完成大小为2x的任务所需的时间与原系统完成大小为x的任务所需的时间一样 线性加速和线性扩展很容易从串行系统推广到并行系统 仍存在着一些降低性能的因素 启动 如果一个并行操作被划分为数千个小任务 启动每个处理器的时间占总处理时间的绝大部分 干扰 不同的处理器都试图访问共享资源时就会导致速度下降 扭斜 如果处理器间的负载分布不平衡 那么并行系统的效率就会大大降低 处理时间与最慢的工作所需的时间相关 12 5 4 1硬件体系结构 并行数据库系统中有三类主要的资源 处理器主存模块二级存储 通常是磁盘 并行DBMS不同的体系结构就是按这些资源互相作用的方式来分类的 三种主要的体系结构为 共享内存 shared memory SM 共享磁盘 shared disk SD 无共享 shared nothing SN 13 三种主要的体系结构 a 无共享b 共享内存c 共享磁盘并行体系结构选项 14 1 SN体系结构 每个处理器只与供其访问的主存和磁盘单元相关 将资源共享最小化 这种体系结构倾向于将处理器之间的冲突最小化 优点 SN体系结构的扩展性比其他两种体系结构要好得多 其线性加速和线性扩展的能力已经经过实践的检验 缺点 如何在不同结点之间平衡负载很困难 特别是在数据高度扭斜的情况下 为了在运行时获得动态负载平衡 必须在处理器之间复制数据 而复制就会减少用于存储空间数据的主存总量 数据可用性也会成为一个严重的问题 当一个处理器失效时 对应磁盘上的数据也就不可用 这种体系结构也要求更频繁地重组DBMS的代码 15 2 SM体系结构 SM体系结构中 多个CPU通过一个交互网络相连 并能够访问一个公共的 系统范围的主存 系统中的所有磁盘也是如此 使运行时的工作迁移更加容易 所有处理器可以平等地访问所有数据 优点 采用SM体系结构可以减少通信的开销 并很容易实现处理器同步 每个处理器都能平等地访问任意一部分数据 很适合于使负载保持平衡 缺点 随着处理器数目的增加 不同处理器对SM和磁盘的频繁访问会导致网络出现瓶颈 加上数据库应用通常都是数据密集型的 该体系结构的扩展性很差 16 3 SD体系结构 SD体系结构中 每个处理器都有一个只能被该处理器直接访问的专用主存 但所有处理器都能直接访问系统中所有的磁盘 减少资源共享就会减少SM体系结构中争用网络带宽这个主要问题 该体系结构也更具扩展性 但它也丧失了SM体系结构在主存方面的优点 与SM体系结构中的原因一样 这时保持数据负载平衡就相对简单了 17 5 4 2并行查询计算 对数据库应用的并行查询计算可以在不同的级别处理 查询间并行 在系统级 并发查询可以由不同的处理器并行处理以增加系统的吞吐量 操作间并行 在下一级 同一查询中的不同操作可以由不同的处理器并行处理过程 操作内并行 在更低一级 同一操作可以由不同的处理器来并行处理 操作内并行可以通过函数分块或数据分块来达到 18 1 空间分簇 给定一组原子数据项 N个磁盘和一组查询 在考虑磁盘容量限制的前提下 将数据项分割到这N个磁盘 使给定查询集的响应时间最小化 理想情况下 响应时间应该为串行响应时间除以处理器数目 对于空间数据来说 被访问的数据类型 点 线或多边形 也会影响分簇方法的选择 一般用MBR可以作为空间扩展对象的近似 根据要求在什么时候分割并分配数据 分簇方法可以分为两类 静态负载平衡动态负载平衡 19 2 采用空间分块的静态分簇 静态负载平衡一般通过空间分块函数来实现 空间分块函数能够在不同磁盘间系统地分布数据 空间分块函数为每个单元分配一个磁盘ID 由N个磁盘组成的磁盘组 其磁盘ID从0到N 1 在二维空间中 函数f的定义如下 其中Z 为正整数空间 有N个磁盘 从0开始 20 不同数据分配方法示例 21 5 4 3应用 实时地形可视化 实时地形可视化系统是一个虚拟的环境 可以使用户浏览该系统并与计算机生成的三维地理环境实时交互 系统有三个主要的组件 交互单元3D图形单元SDBMS单元 22 23 利用基于分簇的数据分块和负载平衡 将解