海量空间数据存储技术研究

1、 海量空间数据存储技术研究 作者： 作者单位： 唐立文， 宇文静波 唐立文(装备指挥技术学院试验指挥系 北京 101416， 宇文静波(装备指挥技术学院装备指 挥系 北京 101416 相似文献(10条 1.期刊论文 戴海滨.秦勇.于剑.刘峰.周慧娟 铁路地理信息系统中海量空间数据组织及分布式解决方案 -中国铁道 科学2004,25(5 铁路地理信息系统采用分布式空间数据库系统和技术实现海量空间数据的组织、管理和共享.提出中心、分中心、子中心三层空间数据库分布存储模 式,实现空间数据的全局一致和本地存放.铁路基础图库主要包括不同比例尺下的矢量和栅格数据.空间数据库的访问和同步采用复制和持久缓存

2、.复制形 成主从数据库结构,从数据库逻辑上是主数据库全部或部分的镜象.持久缓存是在本地形成对远程空间数据的部分缓存,本地所有的请求都通过持久缓存来 访问. 2.学位论文 骆炎民 基于XML的WebGIS及其数据共享的研究 2003 随着计算机技术、网络通信技术、地球空间技术的发展，传统的GIS向着信息共享的WebGIS发展，WebGIS正成为大众化的信息工具，越来越多的 Web站点提供空间数据服务。但我们不得不面对这样的一个现实：数以万计的Web站点之间无法很好地沟通和协作，很难通过浏览器访问、处理这些分布 于Web的海量空间数据；而且由于行业政策和数据安全的原因，这些空间资源大多是存于特定的

3、GIS系统和桌面应用中，各自独立、相对封闭，从而形成 空间信息孤岛，难以满足Internet上空间信息决策所需的共享的需要。此外，从地理空间信息处理系统到地理空间信息基础设施和数字地球，地理空间 信息共享是它们必须解决的核心问题之一。因此，对地理空间信息共享理论基础及其解决方案的研究迫在眉睫；表达、传输和显示不同格式空间数据 ，实现空间信息共享是数字地球建设的关键技术之一，GIS技术正在向更适合于Web的方向发展。本文着重于探索新的网络技术及其在地理信息领域中的 应用。 3.学位论文 马维峰 面向Virtual Globe的异构多源空间信息系统体系结构与关键技术 2008 GIS软件技术经过3

4、0多年的发展，取得了巨大发展，但是随着GIS应用和集成程度的深入、Internet和高性能个人计算设备的普及，GIS软件技术也面 临着诸多新的问题和挑战，主要表现为：GIS封闭式的体系结构与IT主流信息系统体系结构脱节，GIS与其他IT应用功能集成、数据集成困难；基于地图 (二维数据的数据组织和表现方式不适应空间信息应用发展的需求；表现方式单一，三维表现能力不足。现有GIS基础平台软件的设计思想、体系结构和 数据组织已经不适应GIS应用发展的要求，尤其不能适应“数字地球”、“数字城市”、“数字区域”建设中对海量多源异构数据组织和管理、数据集成 、互操作、应用集成、可视化和三维可视化的需求。 V

5、irtual Globe是目前“数字地球”最主要的软件实现技术，Vtrtual Globe通过三维可视化 引擎，在用户桌面显示一个数字地球的可视化平台，用户可以通过鼠标、键盘操作在三维空间尺度对整个地球进行漫游、缩放等操作。随着Google Earth的普及，Virtual Globe已成为空间数据发布、可视化、表达、集成的一个重要途径和手段。 Virtual Globe技术在空间数据表达、海量空间 数据组织、应用集成等方面对GIS软件技术具有重要的参考价值：从空间数据表达和可视化角度，基于Virtual Globe的空间信息可视化方式是GIS软件二 维电子地图表达方式的最好替代者，其空间表达

6、方式可以作为基于地图表达方式的数字化天然替代，对于GIS基础平台研究具有重要借鉴意义；从空间数 据组织角度，Virtual Globe技术打破了以图层为基础的空间数据组织方式，为解决全球尺度海量数据的分布式存取提供了新的思路；从应用集成和空间 数据互操作角度，基于VirtualGlobe的组件化GIS平台可以提供更好的与其他IT系统与应用的集成方式。 论文在现有理论和技术基础上，借鉴和引 入Virtual Globe相关技术，针对全球尺度的异构、多源海量空间信息，对网络三维GIS软件技术的理论框架、体系结构、关键算法、实现技术等问题进 行了深入研究。论文主要研究工作如下： (1系统总结了空间信

7、息的特点，提出了“空间信息应用相关性”的问题，在GIS中表现为，GIS应用系统 中的空间信息往往是来自多个数据源的不同数据集，这些数据集之间具有很强的相关性,这种相关性与应用的目的、内容和性质有关。“空间信息应用相 关性”的本质是由空间自相关所造成的，是空间信息的本质特征。在此基础上分析了空间信息对GIS软件技术的制约，指出了空间信息特殊性造成的空间 信息系统的2个紧耦合性：即GIS应用与空间数据的紧耦合性与GIS软件技术在纵向上的紧耦合性。根据GIS软件技术的应用领域和应用模式，提出了新的 面向应用的GIS软件技术分类方案，将GIS软件技术划分为5类：传统GIS软件技术，传统WebGIS技术

8、，基于Aiax和切片技术的WebGIS软件技术，面向 Virtual Globe的网络三维GIS软件技术，真三维GIS软件技术。在此基础上，提出了面向Virtual Globe的网络三维GIS软件技术的定义，讨论了其应用领 域与应用模式。面向Virtual Globe的网络三维GIS软件技术是传统GIS软件技术的重要补充和扩展，是GIS软件技术的重要组成部分，具有广泛的应用领 域和市场前景。通过将Virtual Globe技术引入GIS软件技术研究，对解决GIS软件技术的空间数据表达、海量空间数据组织、应用集成等问题具有重要的 参考价值。 (2基于计算机软件体系结构和GIS现有理论和技术，研究

9、了面向Virtual Globe的网络三维GIS平台理论框架、体系结构、系统组成、 关键技术。从总体上将面向Virtual Globe的网络三维GIS划分为服务器、客户端和互操作适配器(Adapter3个组成部分，共同组成一个多层次的分布式 体系结构。面向Virtual Globe的网络三维GIS的关键实现技术包括海量空间数据的高效空间索引技术和面向地球椭球体的网络海量三维空间数据可视化 技术。基于现有Virtual Globe技术和网络地图的数据组织思想和方法，提出了数据服务的概念；以数据服务为单位的空间数据组织方式，对解决多源、 多尺度空间数据集成，GIS应用与空间数据解耦具有重要价值。与

10、传统GIS相比，面向Virtual Globe的网络三维GIS技术通过数据服务、基于Virtual Globe技术的空间可视化方法以及组件技术，解决了传统GIS中GIS应用系统与空间数据的紧耦合性、GIS软件技术纵向上的紧耦合性、空间数据的三维表 达等问题。 (3在椭球四叉树基础上，基于哈希格网提出了基于哈希格网的改进椭球四又树空间索引(Hash Table based Ellipsoidal Quadtrees，HEQT。基于哈希格网的改进椭球四叉树(HEQT空间索引修订了椭球四叉树索引方法中切片的剖分方法，采用了等边长(度为单位的切片剖 分方式，使切片的索引可以通过简单的hash函数计算得

11、到，改善了椭球四叉树的建立、索引效率，极大提高了空间数据的访问速度和可视化效率。与传 统类似索引技术相比，HEQT具有以下特点和优势：首先，HEQT由根切片的边长(S0惟一确定，对于确定的根切片边长(S0的HEQT，其索引是惟一确定的 ，与要建立HEQT的空间数据的范围、位置无关；其次，索引计算基于hash函数，复杂度为常数时间，与数据量无关；第三，通过HEQT，由四叉树节点切 片和数据网格索引的关系，可以迅速从HEQT索引建立需要的四叉树，并快速遍历和返回数据；第四，对于具有不同S0的HEQT，其索引关系也可以通过函 数运算迅速确定，这一性质极大方便了不同来源、不同尺度的空间数据的索引和处理

12、。 (4系统研究了面向Virtual Globe的网络三维GIS可视化算 法。设计了基于异步多线程的网络海量空间数据调度与可视化算法，通过场景绘制线程、I/O线程、后台的多线程优先下载队列以及数据预读策略、缓存 技术，实现了网络海量空间数据的三维可视化框架。在异步多线程的海量空间数据调度和可视化算法基础上，设计了面向Virtual Globe的三维椭球体和 三维地形的建模方法、细节层次模型(LOD与数据调度算法、场景绘制流程、纹理映射算法；设计了三维地形的多层矢量数据叠加与影像纹理映射算法 ；设计了三维城市模型实时渲染与数据调度算法。基于论文三维椭球体和三维地形的建模方法，设计了面向三维椭球体

13、的空间对象拾取中的高效可行的 地形校正算法，为空间查询和分析奠定了基础。 (5基于面向Virtual Globe的三维GIS软件技术理论框架和关键技术研究，设计开发了面向网络的 组件式三维地理信息平台软件的原型系统TelluroMap。TelluroMap包括服务器端(Server、离线数据处理模块(Fusion和组件式三维客户端 (GlobeEngine。TelluroMap通过Server提供自己的空间数据、空间分析、空间应用服务，同时通过适配器(Adapter与其他WebGIS服务、WMS、WFS服务 进行无缝聚合和衔接；应用Fusion对DEM、影像、三维模型等空间数据进行预处理和入库

14、；基于组件技术的GlobeEngine可以嵌入其他任意应用，并与 TelluroMap Server提供的服务或其他WebGIS系统提供的服务进行集成、整合。在TelluroMap支持下，实现了三峡地质灾害防治决策支持系统三维视景漫 游子系统，基于该子系统，对三峡地质灾害防治决策支持系统各个应用系统和GIS子系统进行了整合，为最终用户提供了统一的用户界面，实现了三峡库 区异构多源海量空间数据的三维可视化与实时漫游、矢量数据叠加、空间查询和属性查询、空间量算和空间分析等功能。应用表明，TelluroMap在体系 结构，海量空间数据组织、空间索引算法、三维可视化等关键问题上都取得了重大突破，可以满

15、足基于网络的三维GIS系统应用需求。 论文借鉴和 引入了Virtual Globe相关技术，针对网络异构多源海量空间信息，对面向Virtual Globe的网络三维GIS软件平台体系结构与关键技术相关的理论框架、 算法、软件技术进行了深入研究，对网络三维GIS软件技术和下一代GIS软件平台研究具有重要理论意义和实用价值；通过开展面向Virtual Globe的基础 (GIS平台软件研究，实现我国自主GIS基础平台软件的跨越式发展，进一步提高我国GIS基础平台的市场占有率，对我国社会经济、(GIS产业发展和数字 地球、数字国土战略也具有紧迫的现实意义和重大的战略意义。 4.期刊论文 唐立文.廖学

16、军.汪荣峰.TANG Liwen.LIAO Xuejun.WANG Rongfeng 基于四叉树的海量空间数据模型研 究 -装备指挥技术学院学报2007,18(2 地理信息系统的发展与应用,导致空间数据不断增长.数据量大、信息量多,内容丰富是空间数据的特点.针对全球海量空间数据的特点,提出了一种基 于四叉树的空间数据模型,合理地对空间数据存储空间进行分配,很好地解决了海量空间数据的高效存取问题. 5.学位论文 吴亮 基于PostgreSQL的海量数据存储管理 2005 本文在对与海量数据存储相关的诸多重要方面(如底层数据库、空间索引、空间查询语言及空间数据模型等做详细阐述的基础之上，结合空间数

17、据 库管理系统的框架，提出利用PostgreSQL数据库管理系统进行海量空间数据存储管理。主要内容包括： 1深入地分析了空间数据库的构建方法 ，探讨了底层数据库管理系统、空间索引及空间查询语言在空间数据库中的地位与作用。指出空间数据库不仅需要一个对空间数据支持良好的底层数据 库管理系统，而且需要建立高效的空间索引和便捷的空间查询语言。 2在详细阐述数据库管理系统的发展历程基础上，深入地分析了采用 PostgreSQL数据库管理系统进行海量空间数据管理的优势。提出基于PostgreSQL的海量空间数据存储管理。 3实现了扩展PostgreSQL的统一数 据库访问接口，使得空间数据库实现底层数据库

18、管理系统访问无关性。 4讨论了图库管理的概念体系，并设计定义了在PostgreSQL数据库中实 现海量空间数据存储管理所需的系统表。 6.学位论文 张立强 构建三维数字地球的关键技术研究 2004 三维数字地球是一项跨越多学科的理论和系统工程.虽然有关的理论技术研究已经取得了一些进展,但在网络或普通计算机上难以达到实时显示和交 互的要求.这主要是在海量多分辨率数据的组织与管理,空间索引的效率,数据压缩技术,网络技术,复杂数字城市模型的建立与可视化,多源数据的无缝集 成,超大规模场景的实时漫游与交互,空间分析和查询等方面存在着亟待改进的地方.针对开发数字地球系统存在的挑战,该文从"3S

19、"技术的角度出发,讨论 了海量DEM数据、矢量数据、影像数据以及三维建筑模型数据的组织、检索、传输以及在三维数字地球系统中实时可视化的一些关键技术;着重研究了三 维数字地球的网络模型,压缩技术,大规模地理数据的动态显示,空间分析和查询等问题.作者所在的课题组研究并独立的从底层开发了一个三维数字地球 平台GeoBeans3D,它最终要在Internet环境下实现海量多源数据的无缝集成和实时可视化,三维城市的重建,气象检测,战场仿真和模拟,导航和空间分析等 功能,支持普通计算机浏览.该系统2003年被科技部评为国产优秀三维影像信息平台,并在多个部门中得到了应用.该篇论文阐述的理论和算法大

20、部分集成 到GeoBeans3D中并取得了良好的效果. 7.会议论文 张冠军.韩刚.蒋捷 MapXtreme环境中海量空间数据的动态搜索与调用方法 2005 随着地理信息系统(GIS技术和网络技术的发展,网络地理信息系统(Web GIS得到越来越多的重视和应用.人们对地理信息需求量的加大,使得在Web GIS系统中,涉及到的空间数据也就越来越多.如何提高服务器搜索并调用空间数据的效率,是开发Web GIS时特别需要注意的一个方面.在本文中提出了以 MapXtreme为开发环境,动态搜索和调用空间数据的方法. 8.会议论文 申排伟.陆锋 基于视图的分布式空间数据更新技术研究 2004 在分布式空

21、间数据库系统中，空间数据共享一般采用基于数据快照的共享机制来实现。该技术方法的基础是在本地数据库中保存远程空间数据的副 本，因而造成大量的数据存储冗余。针对该方法的不足，本文提出一种基于视图的分布式数据共享方法。该方法通过建立远程空间数据表的本地视图 ，再为该视图建立由更新操作触发的行级替代触发器，并在该触发器内编码，以解决远程空间表的本地视图不可更新问题；基于扩展而来的视图更新功 能和视图查询功能，实现了分布式环境下远程空间数据的本地共享。这种共享方式在减少存储冗余方面的效果时显而易见的，关键问题是如何有效的实 现。为验证本文所提出的共享机制的可行性和有效性，给出了一种基于Oracle 9i

22、的应用实例。在该实例中，为远程空间数据的本地视图设计并实现了基 于回调技术的替代触发器。当用户更新该视图时,与更新相关的数据被存储在本地的临时表中。该视图的替代触发器调用远程的PL/SOL存储过程，由该存 储过程回调本地临时表中的数据，并完成对远程空间数据的实际的更新操作，进而实现分布式空间数据的远程更新。该实例验证了本文所提出的共享机 制，取得了预期的效果。 9.期刊论文 贾利民.秦勇.刘峰 全国铁路地理信息系统应用服务共享平台的研究 -中国铁道科学2003,24(2 应用服务共享平台为一个三层服务体系结构，主要提供五种服务：数据提供、数据分析、数据表现、元数据以及应用集成服务。平台功能的设计主 要依据表示逻辑与处理逻辑相分离、通用功能与专用功能相分离两个基本原则。平台的核心是一个包括基础服务层和应用构件层的二层体系结构。平台 的关键技术是多层服务体系结构、分布式海量空间数据存取、智能空间分析与数据挖掘技术以及基于XML的元数据技术。 10.学位论文 刘金平 基于Web-GIS平台的防汛水情信息系统关键技术研究及应用 2008 地理信息系统(Geographical Information System，简称GIS是处理地理空间数据的信息系统，它集现实世界中对象的空间位置和人文经济信息的 管理与一体。随着分布式计算技术、面向对象的构件技术、网络技术的迅速发展，以及In