（地图学与地理信息系统专业论文）网络环境下的海量地学遥感数据高效存储与发布.pdf

浙江大学硕士学位论文同络环境下的海量地学遥! 嚣数据高效存储与发布 中文摘要 随着遥感技术的不断发展，遥感数据获取的数量与日俱增。如何有效地管理和利用 海量地学遥感数据，使之更好地为社会服务是目前比较关注的问题。本文在研究当前主 流空间数据库引擎基础上，针对地学遥感数据的海量性、复杂性、动态性等特点，探讨 了海量地学遥感数据高效存储和管理的可行性，实现了面向网络的海量地学遥感数据的 实时发布。 论文首先设计了海量地学遥感图像数据库，包括逻辑结构模型设计和物理存储模型 设计。其次从引擎体系结构、数据存储模型等方面入手，结合浙江大学g i s 重点实验室 在空间数据库引擎研究与开发方面的技术积累，完善了海量地学遥感图像空间数据库引 擎g r s i s d e 。最后针对目前国内对海量地学遥感数据有效管理和利用的需求，设计并 实现了基于g r s l s d e 的海量地学遥感数据实时发布系统。 该系统实际运行以海洋遥感数据为例。其运行情况袭明，该系统能实现海量地学遥 感数据的实时发布，达到了海量地学遥感数据的有效管理和利用，对今后海量地学遥感 数据的存储、管理和发布有一定的参考价值。 关键词：海量地学遥感数据，数据存储，数据发布，空间数据库，空间数据库引擎 a b s t 阳c t w i t ht h ed e v e l o p m e n to f r e m o t es e n s i n gt e c h n o l o g yl e v e l ，t h eq u a n f i wo f r e m o t es e n s i n g d a t aa c q u i r e di sd a i l yi n c r e a s i n g t h e r e f o r e ，h o wt om m 擅g ea n du s em a s s i v eg e o g r a p h y r e m o t es e n s i n gd a t ae f f i c i e n t l yw h i c hw o u l d $ e r v es o c i e t yb e t t e ri sa t t r a c t i n gi n o r ea n dm o r e a t t e n t i o np r e s e n t l y i nt h i sp a p e r , o nt h eb a s i so fs t u d y i n go ns p a t i a ld a t a b a s ee n g i n eu s e d p r e s e n t l y , a n dt h ed i s c u s s i o no l at h ef e a s i b i l i t yo fm a n a g i n ga n ds t o r i n gm a s s i v eg e o g r a p h y r e m o t es e n s i n gd a t ae f f i c i e n t l yb a s e do hi t sm a s s i v e ，c o m p l e xa n dd y n a m i cc h a r a c t e r i s t i c s ，a w e bo r i e n t e dr e a l - t i m em a s s i v eg e o g r a p h yr e m o t es e n s i n gd a t ap u b l i c a t i o ns y s t e mi sr e a l i z e d a tf a 苫t , am a s s i v eg e o g r a p h yr e m o t es e n s i n gi m a g ed a t a b a s ei sd e s i g n e d , i n c l u d i n gt h e m o d e l so fb o t hl o g i c a ls t r u c t u r ea n dp h y s i c a ls t o r a g e s e c o n d l y , i nt h ea s p e c to fe n g i n e a r c h i t e c t u r ea n ds t o r a g em o d e l ，a n 矗n g m ec a l l e dm a s s i v eg e o g r a p h yr 锄o t es e n s i n gi m a g e s p a t i a ld a t ae n g i n e ( g r s i s d e ) i si m p r o v e da c c o r d i n gt ot h ee x p e r i 即c ea n dt e c h n o l o g yo f g i sl a bo fz h e j i a n gu n i v e r s i t y f i n a l l y , ar e a l - t i m em a s s i v eg e o g r a p h yr e m o t es e n s i n gd a t a p u b l i c a t i o ns y s t e mb a s e d0 1 1g r s i s d ei sd e s i g n e da n dr e a l i z e dw h i c hc o u l dm e e tt h e d e m a n do f m a n a g i n ga n du s i n gm a s s i v eg e o g r a p h yr e m o t es e n s i n gd a t ae f f i c i e n t l y t h es y s t e mi sn m n i n gb a s e do no c e a nr e m o t es e n s i n gd a t a , w l f i c hs h o w st h es y s t e m c o u l dr e l e a s em a s s i v eg e o g r a p h yr e m o t es e n s i n gd a t ar e a l - t i m e , c o u l dm a n a g ea n du s e m a s s i v eg e o g r a p h yr e m o t es e n s i n gd a t ae f f i c i e n t l y , a n dw i l li d a k es e n s et o t h es t o r a g e ， m a n a g e m e n t ，p u b l i c a t i o no f m a s s i v eg e o g r a p h yr e m o t es o u s i n g d a t ai nt h ef u t u r e k e yw o r d s ：m a s s i v eg e o g r a p h yr e m o t es e n s i n gd a t a , d a t as t o r a g e ，d a t ap u b l i c a t i o n , s p a t i a l d a t a b a s e ，s p a t i a ld a t a b a s ee n g i n e i l 浙江大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得浙江大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名： 浙江大学学位论文使用授权声明 浙江大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权浙江大学研 究生部办理。 研究生签名：导师签名：4 巨 浙江大学硕士学位论文 同络环境下的海量地学遥感数据高效存储与发布 第1 章绪论 地学遥感信息在社会、经济、国防等诸多领域发挥着重要作用。有效地管理和利用 海量地学遥感信息并使之更好的为社会服务具有重要的意义。随着航天技术及传感器技 术的迅速发展，地学遥感数据的空间分辨率、光谱分辨率和时间分辨率都有了很大提高， 所获得的遥感数据量正以前所未有的速度增加。面对日益增长的海量地学遥感数据，其 存储、管理、应用己成为国内地学工作者为之努力的重要方向。 作者在参与实验室项目的基础上，深入剖析和比较了国内外主流空间数据库引擎 ( s d e ) 平台，结合浙江大学g i s 重点实验室在空间数据库引擎研究方面的技术积累， 完善了海量地学遥感图像空间数据库引擎g r s i s d e ，以实现海量地学遥感数据在关系 数据库中的高效存储，并运用该引擎研究和开发了一套适合于海量地学遥感数据管理与 实时发布的系统，既达到了海量地学遥感数据的高效存储和管理，也达到了遥感信息资 源更好地为社会服务的目的。 1 1海量地学遥感数据管理及发布的现状及趋势 1 1 t 海量地学遥感数据管理及发布的现状 随着地学遥感技术的飞速发展，地学遥感数据获取的数量正以几何级数递增。目前， 大部分组织和机构停留在采用文件系统的方式存储和管理数据，也有采用文件系统和数 据库系统的混合方式进行管理，即遥感数据作为外部文件存储，而遥感数据的元数掘用 关系数据库存储，此种存储方式无论效率和存储都得到了一定程度的折中，但实质上其 图像数据仍然以文件方式存储。以上这两种方式管理海量地学遥感数据其缺点主要表现 在以下几个方面：( 1 ) 数据的独立性差，文件与应用程序关系非常密切；( 2 ) 共享能力 差，不适应急剧增长的海量数据共享需求：( 3 ) 数据的安全性比较差，难于维护；( 4 ) 数据不能实时更薪。 部分组织已经采用了基于数据库的方式来管理海量地学遥感数据，但大都局限于基 于局域网内的c s ( c l i e n t s e r v e r ) 方式，其数据分散存储在本单位或本系统内部的g i s ( g e o g r a p h yi n f o r m a t i o ns y s t e m ) 数据服务器上，使得这些海量地学遥感数据不能为整 个社会提供更有效的数据服务。 针对上述问题，提供海量遥感信息网上服务的站点随之产生。这些站点大部分提供 的是简单的数据浏览、数据检索和空问分析等功能，部分站点提供了数据下载功能，但 用户直接在网络上获得的只是数据量很小的数据快照。一旦用户真正需要数据，必须通 过数据供应商采取网上订购的方式，并借助一定的媒介如光盘等来获得一份数据的拷 贝，这无疑延长了用户获取数据的时间。因此目前互联网上存在的数据服务站点还不能 浙江大学硕士学位论文 网络环境下的海量地学遥感数据高效存储与发布 称之为真正意义上的网络发布系统。 对于网络发布系统，目前还没有一致的定义，作者认为：真正意义上的网络发布系 统不仅要提供地图交互式浏览、查询、可视化显示以及空间分析等功能，还要提供数据 的实时发布和实时更新功能，方便用户获得最新的数据信息，同时提供数据实时下载功 能，以此来改变以往的地图快照获取、网上订购、数据拷贝等数据获取方式。 1 1 2海量地学遥感数据管理及发布的趋势 在万维网( w w w ) 上准确实时地提供海量地学遥感信息的i n t e m e t 服务，已成为 地学工作者为之努力的方向。网络技术和数据库技术的迅猛发展，为海量地学遥感数据 的存储、管理、分发和利用带来了新的思路和新的技术手段。 遥感数据具有时间特征明显，更新速度极快的特点，当前海量遥感信息网上服务的 站点往往不能随数据快速更新而实时更新。用户希望在互联网上能准确实时地获取所需 要的最新数据信息。并将数据随时下载到本地计算机上。未来的网络发布系统不同于现 存的普通数据服务站点，用户可以通过网络连接到远程目标主机上，远程目标主机为用 户提供实时的海量地学遥感数据服务。 另外，海量地学遥感数据不同于普通数据，最大的特点就是海量甚至是超海量，至 少是g b 级的数据量，甚至可以达到t b 级。因此，要在互联网上为用户提供高效和快 捷的数据服务方式，必须采用数据库来建立高效的数据存储机制。采用数据库的方式来 管理空间数据，不但可以有效地利用数据库系统本身的高效存储性能，而且依据数据库 强大的网络功能，网上的数据发布、大量用户的在线查询、信息的快速反馈等都可以通 过定的程序接口调用数据库的数据来实现。 空间数据库引擎( s d e ) 技术是近年来发展起来的采用通用关系数据库管理系统 d b m s ( d a t a b a s e m a n a g e m e n t s y s t e m ) 管理海量空间数据的新技术。当前国内外各种主 流的s d e 产品在体系结构以及对于矢量存储模型、空间查询和索引等方面有其特点和 创新之处，而对予海量地学遥感数据的存储管理方面却相对薄弱，仍有许多需要完善之 处。 由此可见，从目前的现状及发展趋势来看，一方面要实现对海量地学遥感数据的有 效存储和管理，另一方面要真芷达到海量地学遥感数据在网上的实时动态发布和用户的 实时下载。本研究结合海量地学遥感数据自身特点设计并开发了基于g r s i s d e 的海量 地学遥感数据实时发布系统，达到了海量地学遥感数据的有效管理和利用。 1 2 海量地学遥感数据高效存储与发布相关技术分析 1 2 1j 2 e e 技术 j 2 e e ( j a v a2p l a t f o r m ，e n t e r p r i s ee d i t i o n ) 是s u n 公司刚刚推出的一种全新的程序 2 鱼堑坚盔堂塑主堂堡笙皇 竖塑堑丝王塑查重丝堂垄壁壅堡塑塾查堕兰垄查 模型，与传统的互联网应用程序模型相比有着不可比拟的优势，它提供了一种利用组件 来设计、开发、装配及部署企业级应用的方法。其不仅延续了j a v a 跨平台特性，还提供 了对e j b 、j s p 、j d b c 等技术的全面支持，在很大程度上提升了j a v a 布置网络应用程 序的优势。j 2 e e 体系中的e j b 技术保证了系统重要模块组件的重用性；j s p 技术很好的 解决了客户端浏览器的动态网页问题，使得客户端在不使用任何插件的情况下实现与服 务器端的交互；j a v a 语言本身的跨平台特性为系统提供了高度的可移植性，而且j a v a 语言在开发之初就是为网络应用提供解决方案。因此本系统采用j 2 e e 平台体系进行架 构。 j 2 e e 是一种利用j a v a 2 平台来简化诸多与企业解决方案的开发、部署和管理相关的 复杂问题的体系结构。j 2 e e 技术的基础是核心j a v a 平台或j a v a2 平台的标准版，j 2 e e 继续沿用了标准版中的许多特点，如方便存取数据库的j d b c 、a p i 、c o r b a 技术以及 能够在i n t e m e t 应用中保护数据的安全模式等。 j 2 e e 使用e j bs e r v e r 作为商业组件的部署环境，在e j bs e r v e r 中提供了分布式计 算环境中组件需要的所有服务，如组件生命周期的管理、数据库连接的管理、分形式事 务的支持、组件的命名服务等。有些企业级的e j bs e r v e r 还提供了支持高可用性和高性 能的群集技术、应用负载的自动均衡能力等。e j b 组件用于实现商业逻辑，可以更加高 效地运行在应用服务器中，支持多种客户端的访问。在j 2 e e 模式中，h r r p 的客户端 可以先向运行在w e bs e r v e r 上的j a v as e r v l e t 或者j s p 发出请求，在j s p 中嵌入j a v a 的 代码调用运行在e j bs e r v e r 中的e j b ，以实现商业逻辑，而其他的客户端，可以通过i i o p 直接访问运行在e j bs e r v e r 中的组件。 1 2 2数据库技术 数据库是计算机科学技术中发展最快、应用最广泛的重要分支之一，它已成为计算 机信息系统和计算机应用系统的重要技术基础和支柱( 罗晓沛，2 0 0 3 ) 。由于计算机网 络技术的发展以及地理上分散的部门、公司、厂商对于数据库应用的需求，数据库技术 从单机扩展至网络，对数据的收集、存储、处理和传播出集中式走向分布式、从封闭走 向开放已经成为一个发展趋势。 分布式数据库技术是分布式技术与数据库技术结合的产物。所谓分布式数据库系统 是在逻辑上属于同一系统，但在物理上分散在计算机网络连接的多个场地( 节点) 的一 组数据集。每个场地上的数据一般用来描述本场地的现实世界，场地局部数据库的数据 源和大多数用户( 应用) 一般均驻留在本场地，即每个场地具有独立处理的能力( 场地 自治) ，可执行局部应用；另外，场地间通过网络通讯也能执行全局应用。对用户来说， 一个分布式数据库从逻辑上看，如同集中式数据库一样，用户可在任何一个场地执行全 局应用。分布式数据库系统通过复制增加了系统的可靠性和可用性；提供局部自治的数 据共享和场地之间的协调，从而使系统具有快速的数据处理能力t 另外，通过数据库技 术与并行处理技术的结合，利用多处理机并行处理产生的规模效益，可提高系统的快速 3 浙江大学硕士学位论文网络环境下的晦盈地学遥感数据高效存储与发布 反应能力。 数据库系统随着计算机网络技术和软件技术的不断成熟，将多媒体数据类型和面向 对象的概念融入自己的系统中。各大数据库厂商纷纷扩展自己的关系数据库，引入了抽 象数据类型的概念，支持图形、图像、声频、音频等异构数据的存储和管理。数据库空 间扩展的发展态势大有成为数据库管理系统标准配置的趋势，其中最为著名的有o r a c l e 公司的o r a c l es p a t i a l 、i b m 公司的d b 2s p a t i a le x t e n d e r 、i n f o r m i xs p a t i a ld a t a b l a d e 以 及以开放源码而引起广泛关注的m y s q l 公司的s p a t i a le x t e n s i o n s 。面向对象数据库中 的面向对象数据模型嵌套了更多的语义，允许定义复杂的空间数据：它把真实世界几乎 所有的实体都表示为对象，根据对象的逻辑关系将它们的物理存储聚集在一起，减少了 数据i o 访问，提高程序的运行速度；它通过创建子类实现复杂的完整性约束，其继承 性方便数据库的扩充与维护。 1 2 3空间数据库引擎技术 1 、空间数据库引擎的概念 空间数据库引擎是由美国e s r i ( e n v i r o n m e n t a ls y s t e m sr e s e a r c hi n s t i t u t e ，美国环 境系统研究所) 公司提出，并于1 9 9 6 年首次在o r a c l e 数据库系统上实现的。e s r i 对于 空问数据库引擎的定义是：s d e 是一种c 焰软件，它使得空间数据能够在主流的商业数 据库管理系统( 如o r a c l e 、m i c r o s o f ts q ls e r v e r 、s y b a s e 、i b md b 2 和i n f o r m i x ) 中进 行存储、管理和快速获取，它还是一种可伸缩的解决方案，能在大到企业级、小到工作 组的环境下，很容易地将空间数据与非空间数据进行集成( e s 砌，2 0 0 3 ) 。 空间数据库引擎并不是空间数据库，它是应用程序与关系数据库之间的一座桥梁， 它把空间数据的使用和存贮联系在一起，其数据依赖于关系数据库进行存储和管理，一 方面应用程序可以通过空间数据库引擎把空间数据提交给数据库管理系统进行存储，另 一方面客户端应用软件对空间数据的获取也是通过空间数据库引擎来实现的。s d e 通过 对空间数据的深层次分析，采用高效的存储和检索方法来处理数据，因而使海量的空间 数据存储问题得到了有效的解决。总之，空间数据库引擎是一个使空间数据可在工业标 准的数据库管理系统中存储、管理和快速查询检索的c s 软件。由于借助于商用数据库 来存储空间数据，因此这种类型的数据库处理方式相对于纯空间数据库要灵活一些，就 e s r i 公司的a r c s d e 来说，e s r i 公司不但提供了其自身的多种访问、操作a r c s d e 的 客户端软件( e s l u 系列应用软件几乎都可以作为a r c s d e 的客户端) ，而且提供了完整 的c a p i 和j a v a - a p i 函数对a r c s d e 进行操作，可以灵活的开发基于空间数据库的g i s 应用系统。 2 、空间数据库引擎的两种类型 目前，空问数据库引擎主要有两种类型( 刘南等，2 0 0 2 ) ： ( 1 ) 中间件方式的空间数据库引擎 这种方式将空间图形数据和属性数据都存储于关系型数据库中，通过在关系型数据 4 浙江大学硕士学位论文网络环境下的海量地学遥感数据高效存储与发布 库之上开发一种“中问件”性质的软件，来实现对空间数据的组织管理。目前主流的 g i s 软件都采用这种方式同时管理图形和属性数据。如国外的a r c ，i n f o 、g e o m e d l a ， 国内的m a p g i s 、g e o s t a r 、s u p e r m a p 等。这种方法可以利用成熟的关系型数据库 技术来方便地实现g i s 数据的一致性维护、并发控制、属性数据的索引等。当然，数据 库本身并不直接支持对空间对象的操作和管理，而是通过空间数据库引擎来实现。 ( 2 ) 基于商用数据库扩展的空间数据库引擎 主流关系数据库厂商凭借自己数据库核心技术的优势，在关系数据库管理系统底层 进行某些改进和扩展，开发形成空间数据管理的专用模块。这些模块能直接存储和管理 非结构化或非范式的空间数据，用户可以不通过中间件软件而直接实现空间数据在关系 数据库中的存储和管理。如o r a c l es p a t i a l 就是在o r a c l e 数据库的基础上，采用面向对 象关系技术，实现空间数据存储和管理的典型扩展模块( m u r r a y ，2 0 0 3 ) 。除此之外该 类型的产品还有i b m 公司的d b 2s p a t i a le x t e n d e r 和i n f o r m i xs p a t i a ld a t a b l a d e 等。 通过以上分析可知，中间件方式的空间数据库引擎，具有良好的空间存储和访问效 率，移植性好，灵活性高，对于应用模型的设计也更为有利。基于商用数据库扩展的空 间数据库引擎最大的优点在于对象级的数据存储机制和支持扩展s q l ( s t r u c t u r eq u e r y l a n g u a g e ) 的查询。此外，由于采用数据库厂商提供的抽象数据类型存储空间数据，使 得数据共享和互操作更有潜力。 1 2 4 分布式g i s 技术 1 、分布式系统概述 分布式系统技术源于微处理机的发展和网络技术的迅速发展。分布式系统将多台计 算机构成一个完整的系统，用户不必了解系统有多少台机器，位于哪里，功能是什么， 在哪台机器上运行等有关硬件物理分布细节，这些细节均由分布式操作系统软件处理。 分布式系统具有以下特征( g o s c i n s k i ，1 9 9 1 ) ：( 1 ) 资源分散；( 2 ) 工作并行；( 3 ) 系 统透明；( 4 ) 高度可靠和自治。 2 、分布式g i s 体系结构 随着网络技术的发展和广泛应用，计算机应用模式经历了主机模式、单机桌面应用 模式和多层企业应用模式三个阶段。相应地，应用系统的开发也经历了从主机体系结构、 两层c s 体系结构到三层( 多层) c s 体系结构的演变。传统的g i s 应用一般都采用两 层c l i e n t s e r v e r 体系结构，这种体系结构中，用户界面层和业务逻辑层都集中于客户端， 数据服务层位于后台数据服务器端。由于应用主要都集中在客户端，每个客户端都要进 行安装配置，当用户数量多、分布广时，就会给系统的安装和维护带来相当大的困难， 系统扩展性差。此外，每个客户端与中央数据库服务器相连时都要保留一个对话，当很 多客户同时向服务器发出数据请求时，容易产生网络堵塞。为了解决c s 两层结构与应 用需求日益突出的矛盾。一种简便易行分布式三层或多层应用体系结构应允而生。多层 结构是建立在分布式技术的基础上，将业务逻辑从客户端分离出来移到一个或多个中间 s 浙江大学硕士学位论文网络环境下的海量地学遥感数据高效存储与发布 层，中间层由称为中问件的软件构成。通过对中间件层的有效组织和管理，采用负载平 衡和动态伸缩等技术，可以将客户机与服务器高效地组合在一起。与两层c s 结构相比， 三层c s 结构有很多优越性，如减轻了客户机的负担：当要增加服务时，只需在中间层 添加逻辑代码这使得系统的维护升级变得更加方便。系统扩展性也更好；同时，也使 g i s 功能和数据的互操作成为可能。 3 、分布式对象技术 随着网络技术的发展，作为一个分布的、异构的、开放的计算机环境，不断有新的 数据和资源加入。如何综合管理这些资源，单纯的c s 结构显得无能为力，而需要新的 结构体系和技术支持。分布式对象技术就是在这种背景下产生的。分布式对象技术是在 分布式环境下跨平台、跨语言的基于对象的分布式计算技术，它使得对象用户在使用对 象时可以访问网络上任意有用的对象，且不必知道该对象所处的位置( r o b e r tc ta l ， 2 0 0 4 ) 。其主要思想是在分布式系统中引入一种分布的、可扩展的对象机制，并且把分 布于网络上可用的所有资源看作是公共可存取的对象集合，使用不同的对象可以集合在 一起。此外，一个对象客户能够通过定义在分布式对象模型上的接口来访问分布式系统 的其他可用对象。分布式对象技术的特点是：( 1 ) 主要针对异构环境下的互操作问题( 包 括数据和功能两个方面) ：( 2 ) 将客户服务器模型与面向对象技术结合在一起；( 3 ) 提 供面向对象的a p i , ( 4 ) 已经成为建立集成框架和软件构件标准的核心技术。 综上所述，从目前j 2 e e 技术、数据库技术、空间数据库引擎技术和分布式g i s 技 术的发展来看，已经具备了建立高效的存储、管理和实时发布海量地学遥感数据的条件。 1 3 国内外研究现状及本文研究内容 1 3 1 国内外研究现状 作者主要从以下两个方面进行国内外的现状分析： 1 、海量地学遥感数据存储及发布的理论研究 作者以“海量数据、“遥感数据”、“海量数据发稚”、“遥感数据发布”、“海量遥感 数据发布”为检索内容，在清华学术期刊网、万方数字化期刊子系统、万方学位论文子 系统、万方科技学术会议论文予系统和维普全文期刊数据库中进行检索，搜索时采用了 关键词和文献名相结合韵方法，将两类搜索结果综合。根据最新检索结果和作者对本领 域学者研究动态的了解，国内外有若干学者进行了与本研究类似或相近的工作。主要概 括如下： 温秀萍利用a r c l m s 实现对遥感影像数据的发布，但该系统是利用a r c i m s 来实现 ( 温秀萍，2 0 0 5 ) 。陈华斌等在遥感影像数据仓库及网络服务探讨一文中通过较为 先进的数据库技术进行影像数据的存储和管理，便于数据的查询、浏览、分析等功能的 实现，也实现了数据的网上发布，但从某种意义上说只是一个简单的元数据查询系统。 浙江大学硕士学位论文网络环境下的海量地学遥感数据岛效存储与发布 钟志农等在基于w e b 的影像数据发布一文中介绍了影像数据的特点和在w e b 上发 布影像的关键技术，重点介绍了至种典型的应用即单个遥感影像文件、同带内区域相邻 的多个遥感影像文件和跨带的区域相邻的多个遥感影像文件的w e b 发布，分别论述了 它们的数据组织和存储( 钟志农等，2 0 0 4 ) 。陈静等在海量影像数据的w e b 发布与实 现一文中探讨了一些关键技术，但最后只实现了海量影像数据的实时交互浏览。何正 国等在栅格地图网上发布系统文中介绍了一个栅格数据发布系统，但文中只给出 了数据库连接池以及并发访问等关键技术研究，并没有给出整个系统的实现框架( 何正 国等，2 0 0 3 ) 。 2 、海量地学遥感数据发布系统的建立 近年来，国际上涌现出了一批用于地学领域的图像数据管理系统和网络分发的商业 系统。国际上，特别是北美、西欧等许多技术比较发达的国家及众多的国际组织十分重 视空间信息发布的技术体系闯题，希望国家乃至全球空间信息实现共享。 1 9 9 6 年美国微软和康柏等公司建立了基于网络的遥感图像站点t e r r a s e r v e r ( h t t p ：w w w t e r r a s e r v e r e o m ) ，它提供了包括1 9 8 0 年以来的覆盖地球2 0 0 万平方千米以 上地区的图像数据( 卫星像片、航空像片) ，目标是提供l 米分辨率的图像。微软建立 t e r r a s e r v e r 的主要目的是展示其数据库管理软件s q l s e r v e r 的海量数据管理能力。由于 影像组织是单波段有损压缩图像，t e r r a s e r v e r 仅能用作浏览显示的目的或一些对图像保 真度要求不高的应用中。 加拿大遥感图像中心( c c r s ) 也建立了一个基于i n t e m e t 的遥感影像数据库 ( h t t p ：c e o c a t e c r s n r c a n g c c a ) ，这个w e b 数据库主要存放卫星图像的相关元数据信息以 及图像的缩略图，用户可以输入各种关键词进行查询特定的区域。为了减少传输数据量， 它传输到客户端的图像数据都是以j p e o 文件格式进行显示，因此其下载的图像只能用 于那些对分辨率要求不高的领域，比如植被覆盖研究、森林火灾监测等。 目前，国内也有一些提供此类服务的站点。适普公司是国内专门研究遥感影像机器 应用的公司之一，它开发了一套遥感影像数据库系统，是目前国内真j 下意义上的影像数 据库系统。它提出了基于网络的遥感影像数据库数据的浏览、查询、检索及头享等功能。 该系统没有将影像数据进行分割存储于关系型数据库中，而是将影像用文件的方式进行 存储与管理。虽然该影像数据库也提供了影像数据的元数据管理，但其元数据同影像数 据分开管理，且没有按照影像元数据标准进行设计，难以同其它系统共享。 中科院卫星地面站( h t t p ：w w w r s g s a e o n ) ，它提供卫星图像的检索，在数据库中只 是存储了影像的相关数据及快照图像，真正的影像数据在磁带库中存放。通过该系统， 用户可以通过网上订购的方式获取真正的影像数据。 通过以上分析可知，海量地学遥感数据发布的理论研究相对充足，在真正的系统构 建方面，国内外也进行了一些较为广泛深入的研究，也建立起了一些实用系统，但这些 系统还没有达到远程数据的实时发布和用户的实时下载功能。同时，国内一些部门虽然 也开始使用空自j 数据库技术来实现空间图形数据与属性数据的一体化存储。但是，数据 亟坚盔竺堡主堂丝焦塞 塑垒墅堡工盟塑墼丝兰望壁墼塑壹墼壹笪量垄塑 存储的效率不高，没有形成一个系统的技术解决方案。 1 3 2本文研究内容 本文在研究当前主流空间数据库引擎基础上，针对地学遥感数据的海量性、复杂性、 动态性等特点，探讨了海量地学遥感数据高效存储和管理的可行性。实现了面向网络的 海量地学遥感数据实时发布和用户的实时下载，改变了以往的地图快照获取、网上订购、 数据拷贝等数据获取方式。其研究内容主要包括以下几个方面： l 、海量地学遥感数据的管理问题，即海量地学遥感图像数据库的设计，包括逻辑 结构设计和物理存储模型设计。 2 、在分析比较当前主流空间数据库引擎( 主要是e s i u 公司的a r e s d e 和o r a c l e 公司的g c 0 胁t e r ) 技术的基础上，从数据库引擎的体系结构、数据存储模型等方面入 手，提出了一个适合海量遥感数据管理的引擎模型分块金字塔和分块索引。 3 、对分布式环境下多源异构空间数据互操作的实现策略进行研究，重点分析和讨 论了对开放多数据源的数据访问组件的实现方法，设计出实用化的海量遥感图像数据库 引擎g r s i s d e 。 4 、针对目前国内对海量地学遥感数据有效利用的需求，设计并实现了一套基于 g r s i s d e 的海量地学遥感数据的快速实时发布系统，并对发布系统的数据安全问题给 出了解决方案，最后对其服务器端进行了性能优化。 该系统实际运行以海洋遥感数据为例。其运行情况表明，此种体系下高效存储、管 理、发稚海量遥感数据的解决方案是可行的。 t 3 3论文章节安排 根据本文的研究内容，将本文具体安排为六章，分别为： 第1 章介绍研究背景和研究需求以及本研究所涉及的基础相关技术，简述了研究内 容，提出了研究目标。 第2 章在分析当前主流的空间数据库引擎产品关键技术的基础上，对海量地学遥感 图像的存储机理作分析，设计海量地学遥感图像数据库。 第3 章设计并初步实现了海量地学遥感图像空间数据库引擎g r s i s d e ，并基于对 多源异构空间数据互操作策略的讨论和分析，给出了面向分布式的开放多源空间数据访 问组件和数据通信组件的设计。 第4 章阐述了海量地学遥感数据发布系统的设计，包括系统总体设计和详细设计， 并对网络环境下发布海量地学遥感数据的安全策略进行了研究，包括合理的网络结构和 数据安全手段，最后给出了服务器端的优化方案。 第5 章简要介绍了系统运行环境后给出了系统运行实例，对g r s i s d e 的相关技术 指标进行了测试和验证。 8 浙江大学硕士学位论文网络环境下的海量地学遥感数据高教存储与发布 第6 章是结论与展望。总结了本文的研究成果、创新点及主要结论，同时对下一步 需要深入开展的工作进行展望。 浙江大学硕士学位论文同络环境下的海盘地学遥感数据高效存储与发布 第2 章海量地学遥感图像空间数据库设计 2 1对象一关系型数据库管理系统( o r a c l e ) 数据库管理系统飞速发展，经历了第一代的网状、层次数据库。第二代的关系型数 据库，目前，发展到第三代数据库管理系统。第三代数据库管理系统是支持面向对象数 据模型的数据库管理系统。用面向对象的方法研究数据模型与数据库，构成的数据库管 理系统，称为对象数据库管理系统。对象数据库管理系统目前还只是一种新兴的技术， 它的发展远不如关系数据库成熟。 o r a c l e 数据库一直是数据库领域的领先产品。其在面向对象及数据管理方面是大型 数据库中最成熟和完善的。o r a c l e 最初为关系型数据库，但为了满足现代数据管理的需 求，加入了面向对象技术，将面向对象数据库强大的功能融入关系型数据库管理系统中， 同时，为了减少这两种数据库概念上的差距，o r a c l e 简化了由关系型数据库演进到面向 对象数据库的过程。本文所作的研究也是基于o r a c l e 9 i 数据库管理系统来设计海量地学 遥感数据的存储结构，如文中没有特别指出，o r a c l e 皆指o r a c l e 9 i 。 2 1 1o r a c l e 数据库系统特点 o r a c l e 公司于1 9 7 9 年，首先推出基于s q l 标准的关系数据库产品，可在l o o 多种 硬件平台上运行( 包括微机、工作站、小型机、中型机和大型机) ，支持很多种操作系 统。1 9 9 2 年6 月o r a c l e 公司推出的o r a c l e 7 协同服务器数据库，使关系数据库技术迈上 了新台阶。根据国际数据集团1 9 9 2 年全球u n i x 数据库市场报告，o r a c l e 占市场销售 量一半。它之所以倍受用户青睐是因为它有以下突出的特点： 1 、支持大数据库、多用户的高性能的事务处理。o r a c l e 支持大量用户同时在同一 数据上执行各种数据应用，并使数据争用最小，保证数据一致性。o r a c l e 每天可连续2 4 小时工作，非正常的系统操作如后备或个别计算机系统故障等不会中断数据库的使用。 2 、支持分布式处理。o r a c l e 为了充分利用计算机系统和网络，允许将处理分为数 据库服务器和客户应用程序，所有共享的数据管理由数据库管理系统的计算机处理，而 运行数据库应用的工作站集中于解释和显示数据。通过网络连接的计算机环境，o r a c l e 将存放在多台计算机上的数据组合成一个逻辑数据库，可被全部网络用户存取。分布式 系统像集中式数据库一样具有透明性和数据一致性。 3 、实施安全性控制和完整性控制。o r a c l e 为限制各监控数据存取提供系统可靠的 安全性。o r a c l e 实施数据完整性，为可接受的数据指定标准。 4 、具有可移植性、可兼容性和可连接性。由于o r a c l e 软件可在许多不同的操作系 统上运行，以致在o r a c l e 上所开发的应用可移植到任何操作系统，只需很少修改或不需 1 0 浙江大学硕士学位论文网络环境下的海量地学遥感数捌高效存储与发布 修改。o r a c l e 软件同工业标准相兼容，包括许多工业标准的操作系统，所开发的应用系 统可在任何操作系统上运行。可连接性是指o r a c l e 允许不同类型的计算机和操作系统通 过网络来共享信息。 2 1 2 o r a c l e 体系结构 o r a c l e 数据库是一个完整的系统，包括管理系统和后台数据库两大部分，也可以把 这两部分统称为数据库服务器。管理系统由各种功能的数据库后台管理程序和用户程序 组成，程序在内存中运行，就形成了一个一个的进程，它是进程结构和内存结构的统一 ( a l l e n ，2 0 0 1 ) 。数据库在逻辑上以表空间、表、段等对象形式存在，物理上表现为各 种文件。海量地学遥感数据存储在o r a c l e 数据库系统中，因此充分了解o r a c l e 数据库 的逻辑组织结构和物理存储结构及其两者之间的关系，对空间数据库数据结构的合理化 设计至关重要。 数掘库的逻辑结构是面向用户的。逻辑结构包括表空问、段、区、数据块和模式对 象。数据库的逻辑结构将支配一个数据库如何使用系统的物理空间，模式对象及其之间 的联系则描述了关系数据库之间的设计。物理结构是逻辑结构在物理上的体现，划分为 三个层次：数据库、物理文件和物理块。图2 1 表示了o r a c l e 数据库逻辑结构和物理 结构间的关系。 屠擗屠f鼍：=：=习 i 豸 熊库l 然j 教艚 l 蹴j n i 一衷空闸|j 袭空婀i l 控制嗣面睡袭空目y 5 孓广 囟由删聋中审亩龠 链据段豳厂i 击司网1 回镶段l f 二) _ t t i t l 存艘所奇数撂l 一筒辛孤尊 物理文件 觥块由面 。面由 物块一一 图2 10 m c l e 体系结构与逻辑管理方式 一个数据库从逻辑上说是由一个或多个表空间所组成，表空间是数据库中物理存储 的数据仓库。每一个表空间是由段( s e g m e n t ) 组成，一个段是由一组区( e x t e n t ) 组成， 一个区是由一组连续的数据库块( d a t a b a s eb l o c k ) 组成，而一个数据库块对应硬盘上的 一个或多个物理块。一个表空间存放一个或多个数据库的物理文件( 即数据文件) 。一 个数据库中的数据被逻辑地存储在表空间上。由于逻辑表空间的大小等于此表空间中所 有物理文件大小的总和，所以数据库管理员可根据物理文件实际硬盘的存储确定物理文 1 1 堕堑坚盔堂堡主兰丝丝塞 壁垒堑笙! 塑童壁丝堂垄堕墼堡鱼夔壹焦量堡查 件的大小，进而确定表空间的大小，以便为数据划分不同的表空间，并预留物理空间。 o r a c l e 中数据库的管理是通过对数据库中用户的管理和方案的管理来实现的。方案 可理解为逻辑对象的集合，用户将自己的所有数据库逻辑对象如表、视图、索引等都集 中在用户的方案下，当一个用户创建了它的逻辑对象后就相应地产生了它的方案，通过 用户指定给不同的表空间，就建立了逻辑管理和逻辑结构间的联系。 2 1 3o r a c l e 数据库系统中的面向对象技术 o r a c l e 是一种对象关系型数据库，和其他的关系型数据库一样，在数据库中不仅可 以存放关系表，而且可以存放对象。o r a c l e 中面向对象技术可以定义对象类型，然后基 于该对象类型生成对象。o r a c l e 为用户提供了强大的面向对象功能，除了面向空间对象 的o r a c l es p a t i a l 外，o r a c l e 还提供了自定义对象及对对象的操纵功能( 萨师煊等，2 0 0 0 ； 宋晓军等，2 0 0 2 ) ，其面向对象的具体技术特点如下t l 、建立完整的对象技术 由于一个完整的对象既有数据结构部分，又有程序部分。程序部分实际上是对象中 的方法，即一个函数或过程。在o r a c l e 系统中，从建立对象开始到实例化对象，再到调 用对象方法解决实际问题，需经过许多环节，包括创建对象、创建对象主体、实例声明 和调用方法。创建对象阶段的主要任务是要定义对象中的数据结构和方法：创建对象主 体阶段的任务是确定方法中的程序代码段；实例声明阶段的任务是声明具体的对象实 例；调用方法阶段的任务是通过调用对象中的方法以实现设计功能。 2 、特殊对象以及对象操纵技术 在o r a c l e 系统中，对象是建立在数据字典中的，这就使得对象可以被具有访问权限 的用户访问。o r a c l e 系统除了提供一般对象以外，还提供了两个特殊对象，即行对象和 列对象，这是o r a c l e