（信息与通信工程专业论文）海量遥感影像数据存储技术研究.pdf

囿防科学技术大学研究生院工学硕士学位论文 摘要 随藿计算规技寒、传感器援术的不断发展，遥感影像数据的残豫分辨率不断 提高，数据类型墨益丰富，遥感影像数据量正在呈凡侮级数增长，绘遥感影像数 据资源的共享与数据产品的分发带来了巨大的困难，也使影像数据的快速传输、 存储、管理面晒新薛挑战。本课题就是在这种背景下提出的，目的在于解决海餐 遥感影像数据存储、管理和发毒中所需翁美键技术。 本文着重予对海量遥感髟豫数据的存储技术进行研究期探讨。在对现有的海 量遥感影像数据存储解决方案进行了研究和分析的基础上，设计并构建了 d - m a r i s s ( d i s t r i b u t e d - m a s sr e m o t e s e n s i n gi m a g es t o r a g es y s t e m ) 存储系统。论 文首先对d - m a r i s s 的设计露标、体系结构进行了论述，着重介绍了d - m a r i s s 系 统的数据组织、数据处理流程、副本策略、故障检测与恢复、集群管理系统、遥 感影像数据在d - m a r i s s 系统中的组织等关键技术。 其次，论文萋煮研究了务毒式并行诗葬在d - m a r i s s 系统中的应蔫，分析了 m a p r e d u c e 并行计算擢架的原理、编程模型、执行流程、容错处理，荠针对d - m a p j s s 系统中影像数据文件的预处理和建立影像金字塔这两个具体的应髑给出了其 m a p r e d u c e 的具体实现。 最后，论文邋过搭建实验系统，对d - m a r i s s 系统的聚合读写性髓和影像数据 块的读取性能进褥了测试。实验结果袭踺，d - m a r i s s 系统的读笃性熊完全满足课 越的要求，对并发读取能够提供高效的支持，具有良好的实际应用价值，可广泛 适蔫于海量遥感影像数据管理与发布的场合。 关键谶；海量遥感影像数据，分布式文件系绕，分布式并纾计算 第l 页 国防科学技术大学研究生院工学硕士学位论文 a b s t r a c t a st h ec o m p u t e rt e c h n o l o g ya n ds e n s o rt e c h n o l o g yd e v e l o p ，t h ei m a g i n gr e s o l u t i o n o fr e m o t es e n s i n gi m a g ed a t ah a sb e e ni m p r o v e dc o n t i n u o u s l y , w i 吐li n c r e a s i n g l y e n r i c h e dd a t at y p e s ，a n dg e o m e t r i c a l l yg r o w i n ga m o u n t ，w h i c hb r i n g se n o r m o u s d i f f i c u l t i e st os h a r i n gd a t ar e s o u r c e sa n dd i s t r i b u t i n gd a t ap r o d u c t sa n dn e w c h a l l e n g e s t od a t at r a n s f e r , s t o r a g ea n d m a n a g e m e n t b a s e do na b o v ec a m et h i sp a p e r , a i m i n gt o r e s o l v et h ek e yt e c h n o l o g i e si nt h es t o r a g e ，m a n a g e m e n ta n dd i s t r i b u t i o no fm a s s r e m o t es e n s i n gi m a g ed a t a f o c u s e do nt h er e s e a r c ha n dd i s c u s so fm a s sr e m o t es e n s i n gi m a g ed a t a ，t h i sp a p e r p r o p o s e das t o r a g es y s t e mn a m e dd m a r i s s ( d i s t r i b u t e d - m a s sr e m o t e - s e n s i n gi m a g e s t o r a g es y s t e m ) o nt h eb a s eo fs t u d y i n ga n da n a l y z i n ge x i s t i n gs t o r a g es c h e m e s i n d e t a i l ，t h i sp a p e re x p o u n d e dt h ed e s i g no b j e c t i v ea n da r c h i t e c t u r eo fd - m a r i s s ， e l u c i d a t e dt h ed a t ao r g a n i z a t i o n ，d a t ap r o c e s s i n g ，r e p l i c as t r a t e g ya n df a u l td e t e c t i o n & r e c o v e r yo fi t ，a n da n a l y z e ds e v e r a lk e yt e c h n o l o g i e ss u c ha sc l u s t e rm a n a g e m e n t s y s t e ma n ds e n s i n gi m a g ed a t ao r g a n i z a t i o na p p l i e di nd - m a r i s s t h e n , t h i sp a p e rs t u d i e dt h ea p p l i c a t i o no fd i s t r i b u t e dp a r a l l e lc o m p u t i n gi n d - m a r i s s ，e x p o u n d e dt h et h e o r y , p r o g r a m m i n gm o d e l ，p r o c e s sf l o wa n d - f a u l t t o l e r a n c eo f m a p r e d u c ef r a m e w o r ko fp a r a l l e lc o m p u t i n g ”，a n di m p l e m e n t e dt h e p r e t r e a t m e n to fi m a g ed a t af i l e sa n dt h ef o u n d a t i o no fi m a g ep y r a m i di nd - m a r i s s u s i n gm a p r e d u c e a tl a s t , b yb u i l d i n ge x p e r i m e n t a ls y s t e m ，t h i sp a p e rt e s t e dt h ea g g r e g a t er e a d w r i t e r a t eo fd - m a r i s sa n dt h er e a dp e r f o r m a n c eo fi m a g ed a t ab l o c k t h er e s u l t ss h o w e d t h a td - m a r i s sc o u l dc o m p l e t e l ys a t i s f yt h ed e m a n do ft h i sp a p e ra n de f f i c i e n t l y s u s t a i np a r a l l e lr e a d ，w h i c he n s u r e si t sp r a c t i c a lv a l u ea n de x t e n s i v ea p p l i c a b i l i t yi n m a n a g i n ga n dd i s t r i b u t i n gm a s sr e m o t es e n s i n gi m a g ed a t a k e y w o r d s ：m a s sr e m o t e - s e n s i n gi m a g ed a t a ，d i s t r i b u t e df i l es y s t e m ，d i s t r i b u t e d p a r a l l e lc o m p u t i n g 第1 i 页 辫醣科学技拳大学醛究垒院王学硬士学袋论文 表爱录 表美薹璎静挂术路线瓣魄。董 表5 1 备节点配掇鹾 蓁澈舞 国防科学技术大学研究生院工学硕士学位论文 图目录 圈2 1 遥感数据获取流程7 图2 2 集中式文件系统存储管理。l l 图2 3 分布式数据库存储管理：1 2 图2 。4 分布式文件系统存储管理1 3 图3 。1d - m a r i s s 体系结构19 图3 2 写数据操作流程2 3 图3 3 副本流水操作2 4 圈3 4 流程示意图2 7 图3 5 影像元数据文件2 8 图3 6 影像数据集的分块存储。2 9 圈4 1m a p r e d u c e 执行流程。3 6 图4 。2 影像金字塔建立i 。毒2 图5 1 块方式写实验结果分析。4 5 图5 2 块方式读实验结果分析4 6 图5 3 字符方式写实验结果分析：4 7 圈5 4 字符方式读实验结果分析4 8 图5 。5 聚合数据读取速率5 0 图5 6 聚合数据写入速率51 图5 7 影像数据块读取程序界面5 2 图5 。8 原型实验系统5 2 第i v 页 独创性声明 本人声明浙呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题日：洼量逛盛鬟盘熬塑壶熊撞苤殛壅 学位论文作者签名： 童! lj 堑日期：唧年f 1 月i 歹日 l 7 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：连量遂盛受篮夔鲞盔缝撞盔盈盔 一 一 学位论文作者签名： 作者指导教癖签名： 羁期：扣7 年1 1 月，岁罄 日期：0 哆年胃笤日 灏防科学技术大学磷究生院工学硕士学位论文 第一章绪论 重。1 课题背景与来源 孰为 登纪9 0 年代开始，黼着航空航天技术韵不断发展，各种遥感测量平台 屡爨不穷，备静舞熬测量手段不断得到疲耀，餐褥人类获取遥感影像数据的手段 霹盏多样貔。弱蹲，伴随饕计算槐技术和传感器技术麴不断发震，使褥大粪获墩 的遥感影像数据的类粼得到极大事富，并且影像数据的分辨率【l 】( 空间分辨窭、时 闽分辨率、光谱分辨率) 不瑟提蒿，捷褥遥感影像数据量璧死博级数增长，达到 了t b 甚至p b 带来了葳熬飞跃。 秘前，各种基于海量遥感影像数据的地理信息系统( 础s ) 应用越来越多的深 入到入稍豹生活娄辛，翔天气预报、环境菇瓣、城市规划、防灾减灾等等，无苓 是鞋遥感影像数据舞基础黧。耀意分辨率豹遥感影像豫为资耩霹戮进行耱确溅霉， 并且熬新构建真实的兰维地理环境，这种遥真的视觉效果不是利用普通的地图数 据所麓达到的。遥感影像数据韵优势在于信息量太，符合人们静视觉感受，最重 要翡是现势链帮时态憋强。运：遭实践可以发现，遥感影像地图对一些发展燮纯较 抉地区熬展现，缝往魄黄统意义上熬建瑟更蛊毳、更准确戮。 从军事领域当前的发展情况来看，军事对抗的重心和焦点正在向信息领域转 移，遥感影像数据在打击效果评髅、战场情报收集等领域发挥蓑越来越重要的体 用。随着我军靛空、栽天篌察体系嚣逐渐完善，我军具备察战能力的梳载式鍪载谈 察平台数量不断增加，精度不凝掇离，璧访餍期不断缠短，导致了航空枣院天懊察 数据囊大幅度地增长，时闻、空间、波段等各个维度的分辨率迅速地提高。不但 如此，在今后若干年内，还将陆续出现一大批性能更为卓越的侦察、预警塑星， 窀誊j 与备莉无夫瓤、宥大驾驶簌察撬、预警祝戬及高空飞艇、气球等获取躺数据 将实现离度的信息融合，形成强大的一钵他战场态势感知每信息传输能力。 面对不断增长的海量遥感影像数攥，尽管其瘦耀越来越广泛，但我销攀难发 现在实际的应用过程中却存在着种种矛盾。地理信息系统在提供服务时，常常光 法离藤户提供傈涯地躅数援酶封效毪，并基因为缺少动态数据黧支持| | 嚣使系统掰 提供的服务丈打拼招，丽直观、持续动态的海量遥感影像数据源却又缀舞没有有 第1 茭 国防科学技术大学研究生院王学硕士学位论文 效的存储管理而长期阑置，无法提供给用户使用；另一方面，随藩遥感数据的不 断增长，及其长期存储酶需要使褥数据生产者强临巨大的存储压力，但同羹尊影像 数据在传播和交流的过程孛又造成新麴大量的存储资源的浪费。 为了解决这些问题，就需要对海量遥感影像数据的存储管理、目标查询检索、 共享发布等一整套的技术进彳亍深入的研究。其中，尤其以影像数据的存储管理为 重点，因为离效的海量遥感影像数据的存储管理是实现上层各种应用的基石，也 是本文的研究的主要内容。 董。2 国内外研究现状一t - 国际上近年来对海量遥感数据的存储管理研究越来越多，主要采取基予分布 式文件系统或采用网络存储技术的路线。但是诸如美国匿家航空航天局( n a s a ， n a t i o n a la e r o n a u t i c sa n ds p a c ea d m i n i s t r a t i o n ) 的m s s 海量存储系统，m i c r o s o f t 蔫于支持v i s u a le a r t h 的海量遥感图像存储系统等都没有相关的技术文档发布。因 此本部分介缓可以查到技术资料的g o o g l e 集群、i b m 和美国能源部开发的h p s s 戳及n a s a 用于o n e a r t h 熬r a s c 凇l 系统。 g o o g l e 推出的g o o g l em a p s e a r t h ，“让每个人都能找到自己家的屋顶”是其最 终羼标，现在它基经能够高效的提供覆盏全球1 3a 霾她区的高分辨率卫星影像， 部扮地区的影像分辨率甚至达到了o 。5 翔这种几年前还是军雳侦察手段难以达 到的水平。经过在网页搜索领域凡年的积累，g o o g l e 已经开发出了一整套娃g o o g l e c l u s t e r 、g f s 、b i g t a b l e 、m a p r e d u e e 、c h u b b y 和s a w z a l l 等技术为支撑的p b 级数 据存储解决方案。特别是在菲结构化数据管理方面更是做了大量煮针对性的工作， 取得了卓越豹成果。 h p s s 3 i 作为美国加速计算战略创新( a s c d 计划中的一个协作开发项匿，参 与此项研究工作的组织甚超过2 0 个，包括瑁m 、荚国能源部( d e p a r t m e n to f e n e r g y ， 简称d o e ) 实验室及其它大学、联邦实验室等研究机构。1 9 9 5 年发布了h p s s 的 第1 个产晶，以后每每发布1 个主要舨本，凳前是发毒到舨本5 。董。在全球范围内， 已有2 5 个研究机构安装并使用h p s s 系统，提供横跨美国和欧洲的存储服务。在 a s c i 计划孛，h p s s 所提供的数据归楼能力已超道p b ，支持每次运行产生1 5 t b 数据鲶a s c i 程序【4 l 。目前，h p s s 不仅被a s c i 计划研究组织所使用，还被全球 多个研究机构应用在数字图像库、超级计算中心、科学数据档案和大学的大型存 储系统中，它融成为存储、归档、检索大规模科学数据的解决方案之一。虽然 第2 页 毽防鞑学搜零大学磺究堡黧王学硬士譬谴谂文 h p s s 惩户不是很多，只露4 0 多个安装系统，键它甓3 撕镰存的数据醛超过全世界 数据荐德惑量瓣涮。 n a s a 静赘气蓑遴实骚室( j p l ，j e tp r o p u l s i o nl a b o r a t o r y ) 于2 0 0 3 举霹露窦 觐戆i l s c h a l ( r a i da g a i n s t o r a g eu s i n gc o m m o d i t yh a r d w a r ea n d 赫m u x ) 系统 矮畜4 0 t b 的存储憝力，该系统存储了o n e a r t hw m sm o s a i c 墩剐辫产生憋超过 1 5 t b 靛垒蠓l a u d s a t - 7 影像拼接灏。该系统麓接耥建予文件系统乏上，中间没有采 鞴赛焉d b m s 囊空瓣黻摇零 擎率闻嚣，襞阐了蠡圭谖诗嚣影豫文律耩式、索弓 缩 辍秘影像数懿谤瓣协浚，并运过热攘影像黢务器( v i r t u a li m a g es e r v e r ) 蒋努毒褒 1 0 个眷储带点上的影像数撼组织成一个逻辑整体。 嚣悫获释丸蒸帮瓣蓠镬开始藿手进行糖关研究工律，墩得了丰磺的成泶，冀 窜最著名静瀵是靛蔑漠毒囊褥羲辩g e o l m a g e d b ，溪毫程霉塞遥感孛卷帮率鬻遥瓣 翌星遗露站投入链惩。除此之磐述毒裳麴等基予a r e s d e 爨o r a c l e $ i 辩袭翁g i s 潍量影像警耀系缎( 2 0 0 3 ) 、中醚她蕨大学的吴催才等人开发的挞于s q l s e r v e r 憋 海量逡懑影镰警壤系统( 2 0 0 3 ) 、黼互夫学海杭建等入辩发静基于o r a c l es p a t i a l 的 分毒式海量空蠢魅理平台( 2 0 0 4 ) 。邃髓系统舞果箨羲攘謇懿线愚薄美幕薹数据霹 避符扩展或浆用燮闯数挺中间徉，露戆主要蹩必了支持g i s 夔瘦惩，舞没鸯捷挺 零上嬲浃海攘数攒的群储与管理湖题，其存储的数据燮和数据健输速燧与热今海 羹遥感数据存菇与警理靛蓄辩宠遂承平还京不蠢、瓣差躐。镳年来谥高糯了黼于分 磷式文转系缆夔辩量数攥赛镶系绫b w l k 瓣蓝鲸1 0 0 0 海量簿篱蒸统簿，菱煞系统 趱蠹中科院计算所在摊十五舯裳越研制戏功龅海爨毒然系缝，现基嚣燕类遴墨璧 群罐艺隶罨辨鳃遥感影像数粼存秣系统避行。 嚣辩，翻予避巷影像数瓣嚣数据薰蹭长遽度黎常橇，戮就赞澍该领域瀚研究 量凝以下两个特点；一是数撼存髓缝嚣鬟黎耩簌巢睾或遽瀑舞势撵式转变，麸枣 甄挺集群逐潮向犬规摸篡群转变；二是数摄蛰理搜寒默禳援挺缝的关系燮d b m s 逐渐巍瓣黠遥感影像韵特点嶷现耧譬的专用粼遥感数据管理搽统转变。 差。3 主翼爨巍妻骞 本文所趱行韵研究工作黻我们醒前承担的“海爨遥感影像数搬管理技术蚺课题 舞蒸穗。该漂撩熬辩麴穗子籀建叫个西藏p b 缀海鬣遥感影像撤据存储匈管理的大 巍模集群系统激及凝痤瓣差戳赣捧蒺藐，实嚣瓣海量遥感影豫蓑瓣嚣蒿羧簿褥缀 与篱理，大横提高冀数撼器政攀墩歉抉遴、糙确懿避标粪谗检索嚣奉交圭要撼耋 蒸3 要 国防科学技术大学研究生院工学硕士学位论文 于其中两个关键技术的研究：分布式的存储体系结构d m a r i s s 、分布式并行计算 在d m a r i s s 中的应用。 l 、d _ m 攫i s s 存储体系结构 d m a r i s s 是基于大规模通用桌砸计算设备构建的分布式集群系统，由一个中 心节点和若干数据节点构成，通过其上部署的分布式文件系统对海量遥感影像数 据进行管理，以支持上层应用的数据读写操作。本文针对现有海量遥感影像数据 存储管理方案的不足提出d - m a r i s s 存储体系结构，绘出其体系结构，并对该系 统的著干关键技术进行了深入的分析。 海量遥感影像数据的访问效率与其物理结构，( 或称为存储结构) 密切相关。 针对d - m a r i s s 的特点，本文研究和设计了一种新的影像数据存储方式以满足海 量影像数据的存储管理需求。 2 、d - m a r i s s 中的分布式并行计算 对于存储在分布式文件系统中的海量遥感影像数据，需要对其进行一系列的 预处理帮建立影像金字塔等操作，通过分布式并行计算熊够高效进行处理。在 d ，m a r i s s 系统中我们采用m a p r e d u c e 来实现并行计算，论文重点对m a p r e d u c e 并行计算框架的编程模型、执行流程进行了研究，并针对实际应用给出了具体实 现。 重。4 论文组织结构 本文共分五章，备章的内容和组织如下： 第一章绪论。主要介绍论文的研究背景、研究现状、论文的组织结构与主要 研究成果。 第二章海量遥感影像数据管理与存储技术综述。首先介绍了遥感影像数据的 获取技术，接着对遥感影像数据的处理与应用进行了说明，最后归纳了现有的海 量遥感影像数据存储解决方案，并通过分析其不足提出了d - m a r i s s 存储体系结 构。 第三章d m a r i s s 存储体系结构。首先介绍了d - m a r i s s 系统的设计耳标， 接着对其体系结构进行了详细说明，然后分析了系统的处理流程，接着对 d - m a r i s s 的特点和优势进行了归纳总结，最后从遥感影像数据集的逻辑组织和影 像数据文件的物理结构两个方面说明遥感影像数据在d - m a r i s s 中的组织。 第四章d - m a r i s s 中的分布式并行计算。本章先给出了分布式并行计算的概 第4 爽 圈醛科学技术大学磅褒生院工学矮圭学整论文 念，并对其在分布式环境下的应用进行了讨论，接饕详细介绍了d m a r i s s 系统 率熬分毒式并行计冀禚槊m a p r e d u c e 及其碰耀实瑗。 第玉章实验结暴与势撬。遴涟实验来验证本文掇掇酌d - m a r i s s 系统辩逶感 影像数据瓣读写性熊。麸本地文粹系统、萘统番娃攀辩影像数据块读褒蛙能三个 方面避行验证实验，并通过实验缡果褥出结论。 第六章结谂。对论文豹工律避季亍了总结，并对下一步需要继续甜究的王律进 舞了爨塑。 纂5 贾 圜防科学技术大学研究生院工学硕士学位论文 第二章海量遥感影像数据存储管理技术综述 2 1 遥感影像数据获取技术 遥感测量中搭载遥感器的工具统称为遥感平台( r e m o t ep l a t f o r m ) 。遥感平台 的种类很多，按平台距地面的高度，大体上霹分3 类：地面平台、航空平台、航 天平台吼遥感器是收集：探测、记录地物电磁波辐射信息的工具。它的性能决定 了遥感的能力，即遥感器对电磁波波段的响应能力( 如探测灵敏度和波谱分辨率) 、 遥感器的空间分辨率及影像的几何特征、遥感器获取地物电磁波信息量的大小和 可靠程度等。 从2 0 世纪9 0 年代开始，伴随着航空航天技术的不断进步以及计算机技术秘 传感器技术的不断发展，遥感影像数据获取技术趋向三多( 多平台、多传感器、 多角度) 和三高( 高空间分辨率、高光谱分辨率、高对相分辨率) s l ，使得遥感影 像数据量以惊人的速度膨胀着。 遥感平台有地球同步轨道卫星( 3 5 0 0 0 k m ) 、太阳同步卫星( 6 0 0 - - - 1 0 0 0 k m ) 、 太空飞船( 2 0 0 3 0 0 k m ) ，航天飞机( 2 4 0 - - 3 5 0 k m ) ，探空火箭( 2 0 0 - 1 0 0 0 k r n ) ， 并且还有高、中、低空飞杌、升空气球、无入飞机等；传感器有框幅式光学相机， 缝隙、全景相机、光机扫描仪、光电扫描仪、c c d 线阵、蔼阵摆摧纹、微波散射 计雷达测高仪、激光扫描仪和合成孔径雷达等，它们几乎覆盖了可透过大气窗口 韵所有电磁波段；三行c c d 阵列可以同时得到3 个角度的扫描成像，e o s t e r r a 卫星上的m i s r 可同时从9 个角度对地成像。 卫星遥感的空闻分辨率从i k o n o s 的l m ，进一步提高到q u i e k b i r d ( 快鸟) 的0 ，6 2m ；高光谱分辨率已达到5 6 n m ，5 0 0 - 6 0 0 个波段。在轨的美国e o i 商光 谱遥感卫星具有2 2 0 个波段，e o s a ml ( t e r r a ) 和e o s p ml ( a q u a ) 卫星上的 m o d i s 具有3 6 个波段的中等分辨率成像光谱仪；时闻分辨率的提高主要依赖予 小卫星技术的发展，通过发射地球同步轨道卫星和合理分布的小卫星星座，以及 传感器的大角度倾斜，可以以l 一3 d 的周期获得感兴趣地区的遥感影像。由于具 有全天候、全天时的特点，以及用i n s a r 和di n s a r ，特别是双天线i n s a r 进 行高精度三维地形及其变化测定的可能性，s a r 雷达卫星势全世界各国所普遍关 注。例如，美国宇航局的长远计划是要发射一系列太阳同步和地球网步的长波 第6 页 匿防辩学技术大学臻究生照王学磉士学位论文 s a r ，美国国防部则耍发射一系列短波s a r ，实现干涉重访闻隔为8 娃、3 d 邪l d ， 空瓣分辨率分粼蠹2 0 m ，5 越霸2 m 。 魏数字遥感转惑嚣鼗摇转稼涛弯矮营惑麓瀛程掰黻菇概括为图2 量新示瀚步 骤： ， ；曩釜，0 数据鞭娃理o 嫠l匿援蠛数字谤惠撬鹱。1l | 陵举劐弋一悃 i毒纛：气* 黼m ? ； ll ； 一 | 。毳。一蔫辘辩嫠意耩套。一 ； t 。一。j ：= 三= _ _ z = 蠹乞。一一。一一。j + 嚣2 1 遥感数器获取流程 避感传感嚣系统蓠毙捡测寒塞感兴趣瑷象并穿过大气慧蕊魄磁渡缝萋，然螽 馘模拟电储号的擀式将检测到的电磁波能擞记录下来，这然模拟的电信号邋嚣霹 墩运避模数转换转纯为数字倍弩。翻栗使髑飞祝平台，就霹以很简孽拖将这些数 字数撼送圈地嚣；翔暴使爱重璧平台，数字数掭粥霹虢壹媸传输瑟蛾两站藏遗遵 鼹踪数据孛魅邀攫系统进稽闻搂传簸。遁鬻，霰要对数字遥感数据进褥一塑镁缝 理，例如辐射校溉和几何校正，这个过程斟能包蛞星历表戡辅助( 间接) 数据例 懿缝篷鹣坐标x ，y 和数字高程模螯等毽焉，戳提高数据的可解译缝：然后对 数据增强瑷餐予分析太爨避莓霹裰纯分爨，或者粟舞数享辫像楚瑾算法进行受送 步的处理。采月尽视解译蠛数学影像处理方法提取憋生物物瑾、地裁掰跳蘸 覆盖稽惠分发后，可以用于各种浃策。未采的传感器系统褥直接利用墅上遥感系 统进翁影豫预簸骥寨嫠息摄取戮。 2 。2 遥感影像数据处理与应崩 。 错患技术和博感嚣技术的飞谶发展带采了遥感数据源的极大丰富，每哭都雀 数量庞大魏不霹分瓣攀魏遥感蔫崽，获番静传惑器上攘；i 芟下来。这些离分辨率、 高光谱的遥感数撼为遥感定量讫、动态他、耀络纯、实矮饿鼗产监纯及剥瘸遥感 。 繁爨 一 国防科学技术大学研究生鲵工学硕士学位论文 数据进行地物特征的提取，提供了丰富的数据源【1 0 1 。 然而，由于地球大气、陆地、水体非常复杂，用空间、时间、光谱和辐射分 辨率均有限| 孽传感器并不麓很好的记录它稍。鑫戴，获取数据时产生的误差会簿 低遥感数据的质量，并影响随后的人工和计算机辅助影像分橱的糟度【l n 。 遥感数据的两种常见误差为辐射误差和几何误差。辐射校正可以提高遥感系 统获取的地物表西光谱反射率、辐射率或者后向散射测量值的精度。几何校正员 j 使反射、辐射或媾懿教射鲍测量值及其产燕具有正确鹃平面( 地图) 像置，使之 能与地理信息系统( g i s )空间决策支持系统中的其他空间数据信息联合使用【1 2 】。 因为遥感数据的辐射校正和几何校正是在信息提取之前进行的操作，所以通 常称为预处理。无论是辐射还是几何方面，都期鋈预处理得到豹影像与数据采集 时研究区域的辐射秘空间属性真值尽可缝接近。在进行遥感数据校正对，霈要确 定内部误差和外部误差： 1 。内部误差：由传感器系统本身引起。这种误差通常是系统性( 可预测) 的， 胃透过传惑嚣发射翦或在孰飞霉亍时的定标溺量确定并改正。很多情况下，辐射校 正戆调整探测器的误校准。 2 。外部误差：通常由空间和时间特性引起。引起遥感数据辐射和几何误差的 最重要的外部因素有大气、地面高程、坡度和坡向j 有些遥感系统的外部误差可 激通过相关的缝瑟( 帮辐莉和几餐地面控翎点) 观测来校正。 摄影测量与遥感数据的计算机处理更趋向自动化帮智能化，影像识别和影像 知识挖掘的智能化是遥感数据自动处理研究的重大突破，遥感数据处理工具不仅 可潋鲁动进行各种定标处理，而且可以自动或半自动提取道路、建筑物等人工建 筑，遥感数据自动配准算法是遥感数据生产煞一大福音，它大大加快了数据定位 速度，提高了生产效率【1 3 。 丰富的数据源，日益智能化的数据处理，使得遥感影像数据量大大增加，遥 感影像数据的应用范围也越来越广，越来越深入，实用化程度越来越高n 田。主要 体现在以下几个方面： l 。对台风、暴丽、龙卷风等灾害性天气的监测效率提高到王o 溅的水平，使数 值天气预报准确率有了明显提高；为农业管理、合理灌溉、抗旱等提供了决策依 据。 。 2 ，在河西混涉翘律研究、海水监测、海温鉴测、海况监测、海洋袒缀生产力 及渔场监测、海洋污染监测等方藤已经发挥整重要作用；在海岸带调查和监测、 滩涂资源利用和制图、海港建设和工程中显示出更太潜力。 3 。在火出蓝测、地震断层测量、三蛱大墩等大垄工程环境的懿测、油气区鲍 第8 页 鳖黪科学技零大学臻巍生魏工学硬攀毽捻交 蔼溅降警颧域，基舞始显示般蕊量大的照爝潜力。 罐。在萃堍产草量釉承谣初缀生产力调查方砸有潜广泛的戚用前最；澍于哭气 预擐雾气髅预测熬及备赫褥生黉瓣瓣蓝蔫、预溺帮评嵇率也发挥着趟来越重要的 撵黑。 当前，遥感影像数攒在应燃的过程孛爨突蕊憋矛矮对熬檄撼必“数糕叉多叉 势鼯毒嚣数据多静措髂是逶避措载在备种遥感平台上的高分辨率遥感器所狱取的 遥感影像数据量嚣掌之大，嚣萎还在誉鞲蓠速鬻筏；鲑数灞步静潮燕说面对鲡就 鹣巍越海懿遥撼影豫数攥集，夫懿缝鼗难驭褥燮癜蹙举爨露要羹帮势，具蒋焉誊， 数据群储系统虽然麓够将这些数擐存下，德却缺乏一套数攫管理系缆犍邋感影镰 皴据迸行合瑾懿缀织，议支持离效酌影像数据查询检索。因此，对遥感影像数掇 麓警遴瓣羹蒹牲趱菱突显，霈隶雀越寒越惹遥。 竺3 海量遥感影像数据存然管理 2 + 3 。熏现青海量遥感影豫数瓣存赣解决靠寨 鬻疼棼镶多学术撬擒葑震了穗关翁研究诗蒸虢顼瓣，葳褥了令入满肴魏成莱。 簌这璧褥究成果枣，舆偻酶富：美藿靛空然罴羼( n a s a ) 囔气攘涟赛齄室菱器 在o n e a r t h 颁霹中研制的用于存镶l a n d s a t - 7 全球影像拼接的r a s c 弛a l 爨统f l 燃 毒赣器量4 0 t b ，基使蔫15 t b ) 、g o o g l e 耀于支撑其g o o g l ee a r t h m a p s 威用的 辫萤簪瓣系统f 1 6 i 1 r t 数捶囊7 0 5 t b ，蒺孛辫檬数据7 0 t b ，索零；数据5 0 0 g b t l 霹) 。 遴毒一些魏o r a c l e 鳇o r a c l es p a t i a l 、i b m 酶d b 2s p a t i a le x t e n d e r 、羚源凌嚣m y s q l 靛s p a t i a le x t e n s i o n 以及基予微软s q l s e r v e r 2 0 0 5 的舞源埂曼m s s q l s p a t i a l 等然于传 统麓蓑添羹d b m s 窦糯瓣空藕数据瘠瞧蘸够支耨海鬣遥感影像数据的存储与管 理。藏豁，述骞蒜夫g i s 金攮与瓣究撼褥窭溪熬空瓣数蠢零 擎，焘要霄e s r i 翡 a r c s d e 、m a p i n f o 憋s p a t i a lw a r e 等等。星惠麸“丸玉 絮瓣囊嚣贻羞攀遴豁糖美 研究工作，也取得了- 丰磺的成果，其中摄著名的就是瞧武汉岩奥磷趔的 g e o l m a g e d b t i 9 t 2 0 ，现辩在誉家遥感率心稻串国避懑卫蕊地筒站搜入使用，还有中 科院诗冀所凌髭十纛嚣裳蠢舔饕戴姥熬露薹鲸1 0 0 0 势海量存籍系统，壤琶嚣秀突 运篷星脒毒幺索一号船的避感影像数搔襻然系统运稽醛n 。 主逑成繁舞纳超来，就熟当前实现海量遴感影像数据襻健管耀的螋种主要搜 术辫缓： 纂9 茭 蹩黪辩学技术大学疆巍生蹬工学矮士学位论文 1 基于关系数据库海壁数挺存储与管理；这类磅变成暴多爻燕渡数懿瘴管理 系统( d b m s ) 厂商实现的基于原有通用的关系型d b m s 的空间数据库。 2 。基予空闻数据审阕粹的海量数据存槠与管理：这类研究成果多为商业地理 僖惠系统( 攒s ) 厂囊实瑗黧透焉囊空瓣数攥罨| 擎。 3 。基于分布式文件系统的海量数据存储与管理；基予企业邕圭开发蛉分毒式 文件系统、存储管理器、集群调度器等实现的海量遥感数据存储与管理系统。 4 。基于n a s ( n e t w o r ka t t a c hs e r v e r ) 或s a n ( s t o r ea r e an e t w o r k ) 韵海量 数据存储；采惩当今流褥靛瓣络存德技术n a s 或s a n 搭建熬海量存黛系统。 一 四种技术路线的对比如表2 。l 所示； 表2 i 现宥技术路线对拢 霞势不是 i 。对影像数据支捺煮限 对传统燕系型数据库1 成熟的d b m s 技术 2 。体系结构与数据管理能力受制于 进行扩展翁路线 2 系统开发成本较低 d b l s 3 。d b m s 赡餐戒本较寓 王。成熟的d b m s 技术量。体系结构霸数据管理熊力受铡于 稳建空瀚数据咚闻锋 2 针对遥感影像的特d b m s 害+ 2 数据管理层过于厚霞 的路线 3 ，丰富熬谤羯褛黧3 + 潞辩热主空闻数据枣蔫箨瓣嚣藏 4 。系统舞发戏本较低本根赛 基予凇s 葳s 然的运1 。数据砖输蘧度侥 1 通用型存储，没有专门针对遥感数 据 用型海量存储路线2 存储容量大 2 ，番糁器贵 王不采耀d b m s 管理数 基予分布式文件系统据，降低购置成本 蔫数耀管理层和数据访闯接蜀垒部 妻每黯线 2 觚文彳簪存储级别对 癸鑫主嚣发，难度较大，并发成本较 系统进行健麓钱诧t 越 2 、 2 。3 2 现藉技术的特点及不足 从海爨遥感影像数据存储系统的体系结构上分，主要有三释形残：集中式赞 文件系统存储管理、分布式数据库存储管理和分布式文件系统存储管理删。 耋。集孛式文舞系统存储管理：特点是将海藿影像数据全都存储于中心服务器 一 第 臻页 匿防科学技术大学磺究生魏工学硬士学擅论文 上，邋过文件的方式对影像数据进行组织管理。 客户鞠嚣产输客声端： 一 中心疆势器 爨2 ，2 集孛式文箨系统存搂譬臻 黼2 。2 给出了这种存储方式的系统架构，中心服务器既存储影像数据，也负赞 对整个系统浆控制维护，一般是赉高性能的服务器组成。影像数据的数据结构复 杂，不易黑关系数据霹进行管理，瑟文舞系统裁够缀好遗适应备穗复杂薛影像数 据结构，并能高效地支持数据的操作耧维护。可是数据文件之鲻不能建立关系， 冗余度大，不宜扩充和维护，系统的可扩展性不强。 采雳集中警疆模式可戮使整个系统维护的工作量得到减少，也方便了管理入 炭熬管理操作，健是焘手中央鼗务器鹣王嚣量大，客赫威为整个系统靛瓶颈，当 服务器崩溃对就遗成整个系统的瘫痪。 2 分布式数据库襻储管理：生要包括两种形拭 是对蒋统关系型数据痒迸孳亍扩展，透过增翔空间数据类型、空闯关系和揉 作，实现对影像数据的存撩鹣管遴瑟麓； ， 二是通过构建数据管理中间件( 称为空阀数据弓l 攀) ，撼供丰富高效的空闻数 据访溺接口，实现对影像数据的存储与管理弘稍。 蓁l i 囊 国防科学技术大学研究生院工学硬士学位论文 客户媸客户端客户斌 ，t ：；- j ：0 ，：，。：，i 毋o - ：一 蠢霄慕瑟喜饕t ? 熬 蛾计馓够 圈2 3 分布式数据浑存储管理 图2 3 给出了这两种方式的系统架构。可以看出，蘸者均充分剩震成熟的 d b m s 技术，系统开发成本低，具有良好的安全性、多用户并发访问特性和数据 一致性。采用分布式数据库【2 5 】管理可以减轻中央服务器的负担，减少产生网络瓶 颈的凡率，提高了影像数据的传输效率溺，在查询数据时可以通过建立的空闯索 引来加快速度。屠者还针对遥感影像数据的特点实现了高效管理并提供了事富的 访问接阴，并可以有效的支持各种异构的数据库。 从现有的产晶来看，采用空间数据引擎的方式在效率往往比关系数据库的空 间扩展的效率高校多。但是，两者均采用了传统的关系型d b m s 对遥感影像数据 这种非结构化数据进行存储，其效率并不高，使褥系统的存储能力受制于所依赖 的d b m s 的能力，对影像数据的管理与发布也支持较弱，从而影响整个系统的性 能。 3 。分布式文件系统存储管理：特点是整个系统部署在由遥用型桌面计算设备 构建的大规模集群之上，将影像数据存储在分布式文件系统的各个数据节点上， 中心节点通过文件的方式对影像数据进行组织管理。 第1 2 页 协构外辩 能瓣鼢队羧 髫 黧陵辩学技术大学磷究垒院工学颈圭学蕴论文 褰产淡磐产媾 窑户蟪 数撼节窳一 嗣2 4 分布戏文件系统脊储管理 豳2 。莲缭爨了这释方式鳃系统架构。此耪方式翡鬣点是麓够键磐她逶痘各种复 杂的影像数据结构，菸褰效地支持数摆的操作帮维护。充分裂鬟了集群串各个繁 点的计算能力和存储能力，并通过备份的镱略，使整个系统具有平滑的扩展能力 和商可蘑甓。 溪蕊，童于遥感辫豫数据的数据薰增长速皮菲常快，殴蔬静对该领域靛薪究 墨现以下嚣个特点；一是数据存储的体系结梅从集孛式逐澌彝分布式转变，扶夺 规模集群逐渐向大规模集群转变；二熄数据管理技术从依托传统的关鲧型d b m s 逐渐惫锌对遥感影像麴特煮实现轻量静专用型遥感数据管理系统转变。 2 。3 本章夺绥 本章首先介绍当前遥感影像数据的获取技术，从遥感平台和遥感器两个方馘 揭示了当嚣遥惑影像数据拜三多辩帮嚣三赢玲懿特煮；接着介绥了影像数播靛处 理中的一些关键技术瓣辐射校正期a 俺校芷等，弊曼绘毖了当前海量遥感影像数 据的广阔应用前景，指出了管理海量遥感影像数据的必要健和紧迫性；最爝介缨 了现有的海爨遥感影像数据存储管理解决方案，对各种技术路线进行了分树对比， 指蠡冀优势鸟不是。 ， 第i 3 页 匿防科学技本大学臻究生豌工学颈学挺论文 ， 第三章d - m a r is s 存储系统 豁。薹d 。m a r i s s 系统鳃设诗霹标 簧实现对多数据源、多分辨率的海量遥感影像数据的存储管理，篙囊解决以 下两个方面瀚目题； 首先要黧决靛游题是舞舅荐搂瓣鼗墓夫数攥萋熬影像数撵，篓子2 ，3 。2 繁孛酶 讨论氕我们采用了分布式存储的技术路线，朗通过构建个大规模的集群系统来 存储这些遥感影像数据，充分利用集群大存储量和平滑扩展的特性。 勇一个要解决麓离题就是如何能高散豹从集群系统中将我们需要的数据提取 凄寒，酃实瑷大豹数据吞吐率。这个麓遂熬解决依赖予我赛部署在集嚣之主翁努 布式文件系统本身的性能，以及我们对遥感影像数摆的缝织管理。 针对上述两个方面的问题，我们构建了基于分布式文件系统的海量遥感影像 数据存撩系统d - m a r i s s ( d i s t r i b u t e d - m a s sr e m o t e - s e n s i n gi m a g es t o r a g es y s t e m ) ， 在满足大存锉容量( 露、t b 甚至p b 级) 懿爨黠，巍够提供嘉数据吞避攀，凳磐， 作为一个好的分布式存储解决方案，d m a r s s 还嚣要达到下强几个尽标【2 7 】； l 、离可用性：不仅是数据的商可用性，还包括服务的高可用性； 2 、霹扩震性：应雳在不赣交诧，系统撬攘也在不断变纯，这就要求系统摄供 缀好的扩展瞧，并在容量、技