基于ArcSDE的空间数据访问和优化技术

第二节基于ArcSDE的空间数据访问和优化技术由于ArcSDE本身所具有的海量数据存储、多用户并发访问、版本管理、长事务处理等强大优势，在GIS应用系统中引入ArcSDE作为空间数据存储和管理引擎，变得越来越普遍。随着ArcSDE的应用日益广泛，ArcSDE的性能越来越受到关注。本文以Oracle数据库为例，从影响ArcSDE性能的关键环节出发，主要介绍数据库和ArcSDE两个方面的一些基本配置和调整手段。3.2.1主要内容影响ArcSDE性能的因素很多，但是归根到底包括两个方面，后台的Oracle和ArcSDE的配置。Oracle方面，不仅包含数据库组件大小定义、存储参数等内容，还包括Oracle实例的初始化参数、Oracle统计信息分析等内容。ArcSDE方面包括DBTUNE存储参数、空间索引、以及统计信息更新等方面。作为建立在后台数据库系统之上的空间数据库引擎，ArcSDE的性能很大程度上取决于Oracle的性能状况。换句话说，如果没有良好性能的Oracle系统的支持，就无法建立高效的ArcSDE数据访问引擎。3.2.2降低Oracle磁盘I/O典型的Oracle安装方便了数据库安装的过程，但一定不会达到预期的良好性能。没有经过认真配置和调整的Oracle系统不会获得满意的效率。在Oracle系统中，磁盘I/O冲突导致了大多数明显的性能上的瓶颈。除了购买更快的磁盘驱动器和附加的网卡外，问题的解决方法在于平衡文件系统中的磁盘I/O，尽可能将其降至最低，减少进程间I/O等待发生的可能性。合理放置数据库组件的参考原则如果估算好了数据文件的大小，就可以确定在文件系统中如何放置它们。本段中列举了一些相关的指导，不必完全照搬，因为需要考虑自己磁盘驱动器的数目和大小。这些指导原则上按照其重要程度从大到小进行排序。数据库使用一段时间之后，一种正常的使用模式也就建立了，访问非常频繁的数据文件需要隔离在单独的磁盘上。分离表和索引每次Oracle访问索引来定位到某个记录行时，它必须同时访问表来取出所指向的行。此时如果表和索引存放在同一个磁盘上时，磁头就需要在索引和表之间进行移动。尽可能不要把索引和表存储在同一个表空间中。始终将表的数据文件和索引的数据文件分开存放。当表及其索引的数据块位于同一磁盘驱动器时，这样做可以减少磁头移动的发生。按照活动性放置文件将联机重做日志文件存储在它们自己的磁盘驱动器上。经常进行编辑操作(inserts，updates，ordeletes)的Oracle数据库具有非常活跃的联机重做日志文件。将联机重做日志文件和其他也需要频繁进行I/O操作的数据文件从物理上分离是很重要的。只要有可能，将日志文件创建在自己单独的磁盘驱动器上，或者和其他一些相对静态的文件一起存放。在一个经常进行编辑操作的数据库中，就I/O而言，联机重做日志文件是最活跃部分。如果无法将它们安排在自己单独的磁盘驱动器上，就将它们和那些相对I/O操作较少的文件放置在一起。一定将回滚段数据文件与重做日志文件分离。当数据库被编辑时，回滚段会被经常性地访问。要尽量将这些数据文件和其他活动性强的文件分开存放。这样做能够提高Oracle处理事务的效率。在索引建立之后，如果SORT_AREA_SIZE参数已经设置为推荐的512KB，ArcSDE就不再使用临时表空间。因此，如果其他的应用程序也同样不使用临时表空间的话，临时表空间可以和其他活动性高的文件放置在一起。将系统表空间数据文件和其他活动性强的数据文件放置在一起。对系统表空间数据字典表的访问率相对较低，因为它们的数据缓存在共享池（sharedpool）和高速缓冲区(buffercache)中。根据预期的I/O访问情况放置表格和索引数据文件。如果预期某个特定的数据文件会具有很高的I/O访问，尽量把它单独放置在自己的磁盘驱动器上或者和其他活动性较低或中等的数据文件放置在一起。3.2.4ArcSDE空间索引基本概念为了提高空间查询的性能，ArcSDE采用空间索引的机制。是一个覆盖整个要素类的两维索引，类似于一般的道路图上的索引网格。ArcSDE可以赋予三层空间索引网格，每个网格层都具有自己的格网大小。第一层网格为必需，它的格网尺寸最小；而第二和第三层可选，它们的网格可以通过设置为0使之无效。如果有效，第二层网格大小必须至少比第一层网格大三倍，而第三层网格大小也必须至少比第二层网格大三倍。建立空间索引每次向普通表格添加空间要素类时，会为它自动创建一个的空间索引。ArcSDE服务器在整个要素类的生命周期内都管理它的空间索引。当插入、更新或者删除要素时，空间索引会被自动更新。load-only模式会禁止空间索引的管理，直到载入数据结束。这种做法充分地提高了载入的性能，并且在大批量载入数据时必不可少。Load-only模式不允许SQL之外的查询操作。数据载入结束后，返回normal模式，空间索引就可用了。从normalI/O模式到load-onlyI/O模式的转换会重建空间索引。在normalI/O模式下，插入、更新或者删除要素会更新空间索引。ArcSDE首先将每个要素的范围覆盖到最低层的网格，获得网格数量。如果要素超过四个格网，ArcSDE将该要素提升到更高层次的网格（如果定义了更高层次的网格）。ArcSDE会一直提升要素到更高层次网格，直到该要素位于四个格网之内或者已到达最高层次的网格水平。在最高一层网格，图形可以被超过四个的格网索引。ArcSDE将要素的格网和相应的shapeID、和要素范围一起添加到空间索引表中。网格层次和每个格网都进行编码，如下例：该要素类有两个网格层次。面状图形101位于第1层的第4号格网，那么空间索引表中就添加了一条记录，因为该要素在四个格网之内（事实上是一个格网）。面状要素102的范围位于第一层网格的格网1到8中。因为该要素的范围超出了四个格网，所以该要素被提升到第二层，在第二层中它位于两个格网之内。因此，要素102被第二层网格索引，并在空间索引表中添加了2条记录。图3.4空间索引格网空间查询和空间索引空间查询，比如查找某个州边界内的所有湖泊，就会使用空间索引。空间索引会被使用，除非SE_stream_set_spatial_constraints函数中的查找顺序设置为SE_ATTRIBUTE_FIRST。当查找顺序设为SE_ATTRIBUTE_FIRST时，ArcSDE忽略空间索引，而采用属性条件作为where子句查找满足条件的要素类中的记录。当使用空间索引时，ArcSDE通常按照下面的过程执行查询：定义范围。范围可以直接由应用程序定义，比如ArcMap的zoomin工具定义的范围。此外，范围也可以由其他的要素范围来确定。连接（Join）空间索引表和要素表，返回与该范围相交的格网。连接（Join）要素表和普通表，应用属性条件中的where子句进行更进一步的查询。调整空间索引格网的大小影响空间索引表的大小。设置空间索引在于寻找格网大小的平衡点—较小的格网会使每个要素对应较多的格网，也就需要空间索引表中的更多记录。由于客户端应用程序和空间数据的特征在各个系统之间差异很大，所以没有单一的适合所有情形的空间索引，有时需要尝试不同的格网大小和网格层次的配置。sdelayer命令有几个操作选项可以通过改变格网大小和添加新的网格层次优化空间索引（’alter’操作选项）。‘stats’和‘si_stats’操作显示当前空间数据特征和空间索引信息。如下为一些提高空间查询性能的方法：考虑需要多少个网格层次，而且记住ArcSDE服务器为每个网格层次扫描一次空间索引表。经常一个网格层次对一个要素类而言就是最好的解决方法，即使认为将几何图形分布在多个不同的网格层次可以减少空间索引表的入口。对于纯点状类型的要素类，使用一个网格层次，而且考虑增大格网大小。空间查询一般处理点状图形要比其他类型快。监视空间索引。如果数据经常发生变化，调整空间索引会很困难。调整措施取决于空间数据的结构。当空间数据变化时，定期访问空间索引。根据具体应用建立空间索引。将应用程序窗口大小和空间索引网格大小相匹配。对于未知的或者变化的应用程序窗口，开始定义一个网格层次，格网大小为要素平均范围大小的3倍。可以利用如下的查询获得要素的平均大小：select(avg(emaxx-eminx)+avg(emaxy-eminy))/2fromf<N>(where<N>isthelayernumberofthefeatureclass)根据数据种类设计要素类，比如类型、几何大小、和分布情况。有时精心设计的要素类会更加充分地提高空间查询的性能。查看空间索引统计值sdelayer命令的空间索引统计操作‘si_stats’，能够有助于确定优化的空间索引网格大小。优化网格大小取决于所有要素几何图形的空间范围、要素几何空间范围的差异、和要对该要素类进行的查询类型。以下是一个si_stats输出的例子：$sd