版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
书目
1.1技术方案
1.1.1项目背景
为了满意探讨所(地理所)资源与环境信息系统国家重点试验室时空大数据
的存储、管理、计算、制图、共享服务等业务需求,为空间数据部门供应海量化、
可视化与自动化的技术支持,全面提升地理所对大规模时空数据的管理与服务实
力,希望通过时空大数据管理与服务平台的实施为探讨所的基础数据的整合共享、
可视化管理、大规模时空数据库的管理与服务实力等供应必要的保障与服务,同
时全面提升信息化水平,完成大数据管理平台的建设。
总体建设要求:本项目要建成探讨所时空大数据管理与服务平台,可实现地
理所对大规模时空数据的管理、计算与服务实力的全面的提升,尤其是在可视化
管理、查询高达数百空间数据、影像处理水平、大规模空间数据的数据共享与可
视化制图服务的整体实力。
1.1.2项目需求分析
项目建设目标:建成探讨所时空大数据与服务平台,实现平台数据、三维产
品、应用系统云端下的部署与应用,为空间数据部门供应海量化、可视化与自动
化的技术支持,全面提升地理所对大规模时空数据的管理与服务实力,希望通过
时空大数据管理与服务平台的实施为探讨所的基础数据的整合共享、可视化管理、
大规模时空数据库的管理与服务实力等供应必要的保障与服务。
本项目的招标内容主要是探讨所时空大数据与服务平台系统开发、数据处理、
系统对接工作。
3.1.2.1功能需求
(1)软件平台
通过该平台可以达到两大方面的需求,一是通过该平台可以进行集群硬件状
况与性能的监控;能够实现大规模栅格数据的接入、存储•、管理、检索、快速可
视化与制图、共享服务等(数据单景可达500,数据总量可达500);同样实现大
规模矢量数据的接入、存储、管理、检索、快速可视化与制图、共享服务等(单
个数据可达3,属性字段支持中文,并支持、等标准服务);还有实现大规模三
维模型数据的接入、存储、管理、检索、快速可视化与制图、共享服务等(支持
三维模型的渐进传输模型的存储与抽取);与此之外还可以供应非时空数据的接
入、存储、管理、共享等支持,设计实现大规模时空数据的计算框架,支持集群
/多核等多层次的高性能计算技术,实现分布式的空间计算(调用计算工具);供
应空间数据模型(多种栅格与矢量数据格式),开放计算框架与工具编写规范,并
可由用户自主开发计算工具;供应100~200个具有代表性的计算工具(计算工具、
计算工具),实现多层次的空间大数据计算与分析:大规模时空数据的实时后染
与交互制图,支持地图配置、图层配置、样式配置等;达到单个地图瓦片的服务
响应时间限制在45以内。二是在平台功能服务的需求上,要求该平台技术先进、
成熟,核心技术自主研发;全部服务的运用都通过完善的加密限制和权限管理,
确保用户的数据平安;支持分布式和集群式部署,能够实现系统服务实力的动态
扩充;软件平台服务供应,实现各类数据服务的远程管理,包括创建数据服务、
删除数据服务、初始化数据服务;客户端应供应成熟的二次开发工具,熨现应用
功能的定制开发。
(2)平台客户端
通过平台服务的支撑,平台客户端的建设,可以供应管理客户端、数据查询
服务应用客户端以及的手机端与平板,且支持二维与三维的地图视图;管理客户
端通过简明流畅对接数据管理、查询,计算与工具,可视化与配图功能,并能流
畅交互;应用客户端与移动端供应基本的数据查询、阅读,地图阅读等。
(3)遥感影像数据处理入库
通过该平台可以在遥感影像数据处理入库方面实现以下要求,在数据提取方
面全面检查遥感影像原始数据,确保数据源的完整性和一样性,提取原始影像元
信息并入库;对影像进行正射订正处理,消退原始影像由于传感器的外方位变更、
传感介质不匀称、地球曲率等因素造成的变形误差;对经过正射订正后的影像进
行配准,确保不同传感器影像数据的几何精度一样性,并且具备相同的空间坐标
系;对配准后的影像进行融合处理,合成真彩色影像或假彩色影像;依据行玫界
线或者指定感爱好区,对影像进行匀色镶嵌处理,最终镶嵌成果色调一样,接近
真实地表状况;对于影像处理过程中的阶段性成果进行入库,主要入库数据包括:
原始数据、正射数据、融合数据、镶嵌数据。
3.1.2.2性能需求
探讨所时空大数据与服务平台将满意不同部门的大量用户同时登录系统、进
行数据提取入库、数据处理计算等等,因此对平台的性能有着较高的要求:
用户数和响应时间:支持1000用户并发,登录时间小于3秒;200用户并
发,登陆时间小于2秒;对于一般的系统提交操作及简洁的查询操作,平均相应
时间小于2秒;对于较困难的组合查询,平均响应时间小于5秒。
系统的吞吐量:页面点击率为12;流量:100M环境下,能够支持20。
系统的稳定性:系统支持7*24小时稳定运行,系统出错率小于0.1%。
制图可视化性能要求:交互式可视化效率不低于25帧/秒。
3.L2.3平安需求
探讨所时空大数据与服务平台以统一的空间基础数据库为依托,面对全所各
部门供应空间信息服务,平台的平安性尤为重要。在系统的平安设计中须要考虑
系统的物理设备平安、网络平安、应用系统平安以及数据平安。
3.1.2.4其它需求
进度要求:本项目建设工期为45日历天。
质保期要求:一年。
1.1.3平台总体方案
基于高性能系统,对平台的软件功能进行集成、封装,搭建大数据管理与服
务平台,供应“集群一数据一计算一信息一制图”一体化的服务。本小节具体探
系统扩展性原则
在主流技术及相关技术飞速发展的今日,系统的扩展性是任何一个新建系统
不容忽视的问题。本系统的扩展性主要从以下两个方面来考虑:
(1)数据的扩展性
数据的扩展性是指系统数据模型的扩展性,是对于本系统建立后出现的数据
模型的兼容性。对此,本系统供应了用户自定义数据模型的功能,用户可以通过
它定义自己的数据模型来实现与现有数据模型的兼容。
(2)功能的扩展性
系统设计时所采纳的“插件基础,框架集成”的模式能很好地解决功能的扩
展性。系统建成后,扩展功能可以写成插件的形式,然后通过插件管理器集成到
系统中来。还要允许用户可以自定义参数、自定义数据处理方法、自定义查询条
件、自定义输出数据类型,使系统具有良好的扩展性。
1.系统兼容性原则
系统结构设计时,采纳面对对象的技术,利用事务驱动和封装的思想为应用
软件供应接口;在功能实现上,充分体现探讨所时空大数据管理与服务平台功能,
同时还考虑数据共享和接口应用;在软件的平台选型上,选用当今主流平台,为
系统的发展和升级供应便利;在软件的总体架构方面,留意接口的设计,充分考
虑本系统与其它系统的无缝连接。
2.系统好用性原则
系统应具有多种功能的批处理实现,人机交互必需简便好用,系统的输入和
输出统一规范化。
3.系统平安性原则
为保障系统平安,应对软件需求、结构设计、程序编写、软件测试和软件变
更进行平安性分析,避开设计异样、实现异样和运用异样。
4.系统牢靠性原则
在方案设计过程中,必需对服务器、和相关软件的部署进行合理的规划、保
障系统全年不间断稳定运行,关键业务系统设备不存在单点故障隐患,并供应完
备的备份和灾难复原措施,保障在业务系统出现重大故障后能快速复原。此外,
还应合理的配置资源的规格型号数量,避开关键性资源形成瓶颈影响整体业务的
正常运转。
5.经济性原则
在满意系统需求的前提下,选用经济好用的软硬件设备,以便节约投资,即
选用高性能价格比的设备;同时,应当充分挖掘现有系统软硬件设备的运用潜力,
尽可能以最低成原来完成系统建设。
3.L3.2平台指标
大数据管理与服务平台面对急剧暴涨的空间大数据与日益增长的信息需求,
供应上白的大数据存储与管理、空间大数据的高性能计算与分析、面对企业/个
人/区域/全球等多层次的数据与信息服务。
平台的数据服务指标
数据服务指标包括:
1.数据类型分析;平台管理的数据包括栅格数据(影像与)、矢量数据、三维
模型数据和其他非空间数据等四种类型。
2.数据容量需求;单景栅格数据容量达100,单个达500、对象10个;栅
格数据总容量达上百,矢量数据达级。
3.数据共享服务;栅格数据、其他非空间数据实现文件服务;矢量数据供应
标准服务;三维模型数据实现渐进传输()服务。
平台的计算服务指标
计算服务指标包括:
1.计算服务形式;平台供应开发的计算框架,用户遵循〈平台计算工具开发
技术规范》开发功能,并能简便地集成到平台计算环境中。
2.计算规模分析;平台具有大规模的空间计算实力,单次计算数据量可达
200,同时在线计算数据量可达5。
平台的制图服务指标
制图服务指标包括:
1.交互制图;支持地图、地图样式、图层、图层样式、波段合成、图层依次
等地图的交互配置和预览;
2.支持高并发访问;并发用户数210,000时的制图服务牢靠性299乐
3.制图可视化性能;交互式可视化效率不低于25帧/秒。
平台服务实力指标
服务实力指标包括:
1.平台服务形式;平台基于标准的(S)1.1通信协议,供应标准的服务;
2.平台的服务用户;1)面对大司空数据应用的客户
“总一分”结构的分布式架构
针对上述对大数据管理与服务平台的数据、计算与服务的指标分析,基于高
性能系统,搭建“总一分”结构的服务平台,而在总中心与分中心分别实现分布
式的架构。
1.大数据服务的“总一分”结构
2.数据中心的分布式架构
在大数据服务“总一分”结构的基础上,数据服务的总中心和分中心均采纳
分布式的软硬件架构。
3.L3.3平台硬件架构
基于上述平台功能的需求,参考“数据一计算”一体化的分布式架构思想,
构建可伸缩的平台硬件架构。
硬件整体架构
基于“数据一计算”一体化的分布式架构思想,搭建无共享系统构架(,):
集群中每个节点都配备有存储设备和计算资源,使计算本地化,削减数据在节点
间的迁移c如图3—2所示,整个硬件构架共包含二层:存储/计算层是“数据-
计算”一体化硬件构架的核心,由机架服务器与磁盘阵列组合而形成集群节点,
节点通过高速的限制网络与数据网络()相连而成,组成浩大的集群系统;服务
层是分布式架构的服务端,经由高速以太网,连接各个集群节点和服务器,并通
过服务端将集群所供应的存储、计算实力供应出去。
以太网高速数据网络高速控制网络XKSATA接LI+磁盘总线
图3-2高性能的硬件架构
下面对各个硬件的功能进行简洁论述。
1.磁盘阵列(,)
通过硬盘限制器把多块独立的物理硬盘按某种方式组合成一个硬盘组(逻辑
硬盘),实现多个硬盘的读写同步;并通过数据备份,提高磁盘的牢靠性。不但
能够充分发挥出多块硬盘的优势、供应远远超出仁何一块单独硬盘的速度和吞吐
量;而且供应多个级别的数据备份功能,具有良好的容错实力,在用户数据一旦
发生损坏后,利用备份信息可以复原损坏的数据,保障了用户数据的平安性。计
算机技术的发展,使得技术被应用于中低档甚至个人机上,可以通过主板上板载
的芯片,干脆组建磁盘阵列并同计算机相连。
2.机架服务器
机架服务器是一种外观依据统一标准设计的服务器,协作机柜统一运用,以
尽可能削减服务器空间的占用。将机架服务器同磁盘阵列相连,集群中的每个节
点具有独立的存储设备与计算资源,能够独立完成计算任务。
3.高速以太网络
利用多网卡技术,实现限制和数据的分别传输。磁盘阵列之间通过高速数据
网络互联,保证大数据量传输的稳定性;限制指令通过高速限制网络传输,保证
限制的实时性。
4.处理器
包含几个专为串行处理而优化的核心,而由数以千计更小、更节能的处理核
心组成,这些核心专为供应强劲的大规模的并行性能而设计。通过流程设计,将
程序中计算量繁重的并行部分交由处理,以提高程序执行速度。
5.服务器
在上述机架服务器上,利用虚拟机技术,抽象出空间数据查询服务器、空间
数据服务服务器、空间信息计算服务器、服务器、服务器等。
上述分布式硬件架构,可通过增加更多节点的方法获得更大的平台存储实力、
更高效的计算实力与服务实力,平台具有较强的可扩展性与伸缩性。
硬件配置
针对硬件架构建设的须要,进一步设计机房环境、机柜与机架服务器配置、
参数与指标、交换机参数等。
1.机房环境
表3-1服务器机房环境配置
远离腐蚀气体、易燃易爆物;腐蚀气体随着新风吸入机房后会对•
计算机设备和人员健康造成危害,同时不干净的空气也会对计算
污染物
机设备的运行造成不利影晌,还会对机房内精密空调、新风机等
的滤网等造成污染。
1.干球温度计:20C~25℃(6877F);2.相对湿度:4050%;3.最大
温度、湿度
露点:21℃(69.8°F);4.最大变更速度:每小时5℃(9下)。
噪声计算机停机时,机房内的噪声在主机房中心处测试应小于6(A)
机房在距地0.8m处,照度不应低于3001X,协助房间照度不低于
照度
200lx
无线电干频率为0.15^1000时不大于126
扰场强
磁场干扰磁场干扰场强不大于800
地板振动计算机停机时,主机房地板表面垂直及水平向的振动加速度值不
加速值应大于500
主机房地面及工作台面的静电泄漏电阻,应符合现行国家标准
电阻
6650-1986《计算机机房用活动地板技术条件》的规定
静电主机房内绝缘体的静电电位不应大于
2.机柜
表3-2服务器机柜套件
17寸液晶屏幕、键盘及鼠标触控板整合于一个1U的抽拉式限制
端模块内
基本参数
口数:8;带宽:75;支持辨别率:1280x1024
切换方式:屏幕选单、热键、面板按键
5708抽拉式多电脑切换器是一套先进的限制方案,其可通过
特点
一组2或限制端(犍盘、鼠标及显示器)存取多台服务器。一台
设备可分别干脆管理8台服务器;通过菊链方式另外再串接31
台多电脑切换器,即可从单一限制端管理多达256台服务器;图
腾42U服务器标准机柜:600*1000*2000,前后网孔,带3个以
上托盘保修3年
3.机架服务器
表3-3机架服务器的配置参数
架构机架式,高度W2U,带快速滑动导轨,带理线架;
不低于两颗E56492.53,12缓存,5.86,6C;
最大可扩展容量不低于8个插槽,当前配置容量不低于32B
内存
(4X8)1066,四列;
当前配置不低于2个30010热插拨硬盘,5块2盘,不低于6;
硬盘工厂定制希捷硬盘,5年硬盘不返近服务,扩展性(必需满意)
最大支持不低于14块硬盘,可选8块硬盘机箱和4块硬盘机箱;
配置0、1、5、6、10、50、60,支持热备盘技术,高速缓存H700
卡不低于512;网卡:不低于2个主板集成千兆以太网卡,带故障
切换和负载均衡功能,支持,启动;
插槽不低于4个,两种卡可选:3X(x8)+lX或IX(xl6)+lX;
光驱1个驱动器;配置服务器导轨;
1、远程管理卡(必备):远程管理卡,具有单独的管理网口,不
依靠主机操作系统进行远程操作,独立远程管理卡不占用插槽,
管理支持视频重定向,服务器复位、重新启动、开机/关机,远程虚
拟介质(软驱存储固态盘),内置128可用于紧急的软件诊断,
支持加密连接(),支持卡。(必需满意);
2、屏幕/主板管理限制器(必需满意)前面板上配备有可编程液
晶屏,可显示默认或定制信息,包括地址、服务器名称、金牌支
持服务编号等。假如系统发生故障,该液晶屏上将显示关于故障
的具体信息。主板集成嵌入式管理限制器,可一站式地完成操作
系统的部署,包括内建驱动程序安装、固件更新、硬件配置和问
题诊断。不须要协助光盘,在内嵌管理器中快速部署驱动、、;不
须要协助光盘/软盘,实现快速安装系统;
3、管理软件(必需满意)管理限制台支持将网络中全部主流品
牌基础架构管理整合到一个限制台上,供应单一视图和单一通用
数据源,采纳模块化结构,供应基本的硬件管理,支持资产和平
安管理。采纳基于网页的界面,符合行业标准的协议传输加密数
据;支持虚拟介质连接;可与动态书目()集成。
电源两个热插拔750W电源,额定功率75OW电源;
5年专业支持与关键任务,5年当日4小时(24X7)上门服务(配
件+人力),人工、配件、交通等任何费用全免;高级软件支持;
服务原厂本地技术客户经理24X7电话支持,可选硬盘不返还服务;
要求供应原厂商正式服务承诺函;要求必需供应原厂商产品授权
证明。
4.交换机
表3-4交换机的配置参数
线速非堵塞交换机,48个10/100/1000自适应以太网端口,4个
端口
可用的1000千兆以太网端口,支持万兆接口不少于2个;
速率交换容量240G,包转发率132;
支持虚拟化,支持6,支持4和6的三层路由功能;
服务三年原厂7X24X4现场服务。
3.1.3.4平台软件架构
依据大数据管理与服务平台的整体设计,大数据平台基于高性能软件的功能
体系,对资源引擎、数据引擎、计算引擎和可视化与制图引擎进行有机组合和封
装,构建面对数据/信息流水线生产、数据/信息服务多样化服务的平台软件体系,
并通过服务接口支撑平台的产品生产和解决方案。
(1)统一的对外服务接口
依据用户恳求的类型(资源、数据、计算、地图等),将服务分发到服务集群
相应的服务节点上。
(2)平台平安与权限
在恳求发送到服务总线时,服务总线查询用户及权限数据库,对恳求进行动
作过滤、数据约束等,并将限制后的吩咐发送到服务集群。
发起请求
图3-4服务总线的权限/平安机制
3.1.3.4.1软件功能架构
基于大数据服务平台的应用需求,平台的软件功能构架如图3-5所示。
应用层数据管理数据/信息生产应用解决方案智慧城市
服务层[f空间数据可视化与制图服务[*]
\空间计算服务「空间数据服务
'.......................,、.......................
一M
y
空.
RS/GIS_L具集GDAL/OGRs
间Q
L
计+
空
算数据库■
心工具流NoSQL间
引RSIS
扩
擎
■展
数据/信息生产线NFS文件系统
多层次异构并行计算环境分布式文件系统
数据+计算层—[资源服务\—
硬件层I机架服务器I高速以太网I磁盘阵列一
图3-5软件功能架构
3.1.3.4.2资源服务
资源服务引擎建立在底层硬件的基础上,是对硬件资源的抽象和虚拟化。其
实现对集群系统中硬件资源的管理、调度和监捽,如收集各个节点的、内存容量、
磁盘、网络带宽等信息及其实时利用状况,集群中节点的添加、暂停、配置和移
除操作;同时协作数据存储和计算任务的管理,如数据存储位置的确定、计算资
源的安排等;并且支持平台的平安管理和日志功能,如客户端用户权限管理、系
统口志查看、针对不同用户的客户端订制等。在大数据服务云平台中,资源服务
是基础实施即服务0的具体实现,是最底层的云•服务,为上层的数据、计算和可
视化服务以及客户端供应基础支撑。
3.1.3.4.3数据服务
数据服务建立在分布式文件系统的基础上,利用、模型、数据库和文件系
统,实现空间数据存储、管理的抽象和虚拟化。在数据存储上,采纳存储空'可数
据的元数据,而空间数据本身依据既定的存储策略分布式地存储在集群节点上;
在数据管理上,数据服务引擎负责数据的迁移、备份、复原等;在数据服务上,
数据服务引擎支持数据的查询、查看、导入、导出、删除等操作。在大数据服务
云平台中,数据服务引擎是空间数据即服务0的具体实现,为计算和可视化服务
以及客户端供应服务支撑。
3.1.3.4.4计算服务
计算服务建立在多层次的异构并行计算环境的基础上,是对空间数据计算的
抽象和虚拟化。计算服务负责计算工具的管理,如工具的注册、卸载、调用执行
以及工具流的组装等;支持计算任务的调度和安排,任务的执行和监控等。在大
数据服务云平台中,计算服务是空间信息软件即服务()的具体实现,为可视化服
务以及客户端供应服务支撑。
3.1.3.4.5可视化与制图服务
可视化与制图服务建立在数据服务和计算服务的基础上,是计算服务针对空
间大数据渲染的特殊应用。从计算实现看,数据可视化是数据计算的具体化和实
例化,具有的数据密集,运算简洁而琐碎,实时性较高等特点。
大数据服务平台通过对外供应资源管理服务、数据服务、计算服务和可视化
与制图服务,其功能清单和所依靠功能如表3-5所示。
表3-5平台功能列表
项目功能底层依靠
1.节点的增册IJ/启停;管理引擎
2.集群节点硬件性能检测;
资源服务3.节点资源消耗监测;
4.用户与组角色安排与管理;
5.系统日志;
1.数据的接入/交换/导出;管理引擎
2.数据的时空属性查询;数据引擎
3.数据存储的统计分析(时间、空间、存
数据服务储);
4.数据简洁的预处理;
5.数据平安与一样性维护(迁移、备份、
复原);
1.计算工具注册、卸载、调用:管理引擎
2.计算任务的分发、监控、结果回收;数据引擎
计算服务
3.计算任务的重启、迁移、负载均衡;计算引擎
4.计算流水线的构建与执行;
1.创建/删除/配置/发布地图;管理引擎
2.添加/删除/调整/配置图层;数据引擎
可视化与
3.切片/缓存地图;计算引擎
制图服务
4.栅格/矢量图层支持;制图引擎
5.标准地图服务;三维可视化引擎
表3-6平台软件环境配置
项目软件其他说明
1.操作系统2008R2支持x64操作
2.空间(元)数据5.6+;
库
1
34.0;4.5
4.文件服务的服务
5.服务的服务
3.1.3.5平台服务
对平台的软件功能进行集成与封装,并开放平台,支持服务平台的门户网站、
解决方案等应用。
服务总线一APIs
/\/\/\/\
资源服务数据服务计算服务可视化与制图服务
图3—6平台服务
资源服务、数据服务、计算服务和制图服务等的经过服务总线的聚集和集成,
对外供应统一的服务接口。
3.L3.6平台影像数据处理方案
3.1.3.6.1原始数据样本选取
利用高精度卫星影像制作数字正射影像图须要经过•系列的数据处理过程,
先是对单景进行处理,使每一块影像都有较好的处理效果,然后对整体图进行拼
接与镶嵌。主要生产技术流程为数据打算、限制点选取、正射订正、配准、融合、
匀色镶嵌。生产技术流程如下:
3.1.3.6.2影像正射订正
由于卫星的姿态、轨道,地球的运动和形态等外部因素及遥感器本身结构性
能和扫描镜的不规则运动、监测器采样延迟、探测器的配置、波段间的配准失调
等内部因素,卫星遥感图像上的像元会出现几何畸变。几何畸变分为系统性的几
何畸变和非系统几何畸变两种,系统性的是有规律并可以预料的,如扫描畸变等;
然而非系统性的几何变形是没有规律的,难以预料,如遥感平台的高度、经纬度、
速度和姿态等的不稳定。
几何校正的目的就是要订正这些系统与非系统因素引起的图像变形,从而实
现与标准图像或者地图的几何整合。图像的几何校正须要依据图像几何变形的性
质、可用的校正数据、图像的应用目的来确定合适的几何订正方法。有两种几何
校正:一是系统校正,即依据卫星轨道公式将卫星的位置、姿态、规定及扫描特
征作为时间函数加以计算,来确定每条扫描线上像元坐标。但由于遥感器的位置
及姿态的测量值精度不高,其校正图像仍存在几何变形,不能满意实际应用的须
要。用户得到的数据人都经过系统校正。二是儿何精校正,即利用地面限制点和
数学模型进行校正,包括两个环节:一是像元坐标的转换,二是对坐标转换后的
像元亮度进行重采样。
我们所查询得到卫星原始数据都是已经经过系统几何校正,后续的卫星数据
处理主要集中于非系统校正。
自动提取限制点
目前,高分卫星影像常用的传统几何校正模型主要有三种:有理函数模型、
精确模型和轨道模型。其中有理函数模型属于近似校正,它不考虑成像的特性,
主要利用多项式等数学方程式干脆对影像坐标进行地面坐标转换,校正误差相对
较大。但是,由于该模型中有高精度参加,其校正精度明显高于多项式模型,因
此常用有理函数模型进行近似校正;精确模型和轨道模型则属于严密校正,它们
是依据卫星轨道、传感器类型以及拍摄地物所形成的几何条件,以共线条件方程
式推算出成像关系式,然后进行坐标转换,可获得很高的校正精度。
以卫星数据为例,有理函数模型采纳两个多项式的比值来计算影像行,用类
似的多项式比值计算影像列(5.1)式。每个多项式中都包含了经度、纬度和高程
信息,至少有20个系数。这些多项式系数一般由影像发布机构计算得出,并和
影像数据捆绑一起供应应用户(影像数据中*文件),这些系数在模型运算时自动
导入到正射校正模块中。
X=Fl(X,Y,Z;/F2(X,Y,Z)
(5.1)
y=F3(X,Y,Z;/F4(X,Y,Z)
aO+al・X+a2・Y+a3・Z+a4・X・Y+a5・Y・Z+a6・Z・X+a7・X2+a8・Y2
+a9*Z2+alO・X・Y・Z+all*X*Y2+al2・Y・Z2+al3・Z・X2+al4・X2・Y+al5*Y2*Z
+al6・Z2・X+al7*X3+al8*Y3+al9*Y3
精确模型是运用标准影像和预正射标准影像产品的元数据文件(*)中供应了
部分卫星轨道参数,并以航测的共线条件(5.2)式为基础,用推估方式求解出卫
星轨道的相关参数,最终建立起完整的儿何转换式对影像进行校正。
/X-=/Y-=/Z-(5.2)
X、Y、Z——地面坐标
、、一一空中坐标
卫星轨道模型是卫星影像几何校正中最严密的一种数学模型。它以航测的共
线条件为基础,利用影像产品所供应的完全轨道参数,建立完整的几何转换式对
影像进行校正,其校正精度可达1个像元,是目前最精确的几何校正方式。
针对测区的自然地貌特点,传统的几何校正模型并不能适用于测区的卫星影
像正射处理,因而测区正射影像订正主要采纳区域网平差方法。
区域网平差,乂称区域网空中三角测量,就是运用计算的方法,依据影像上
所量测的像点坐标以及少量的地面限制点,求出地面上加密点的大地位置。传统
区域网平差的探讨对象主要是同一种传感器获得的影像。
区域网平差的主要三种方法:航带法、独立模型法、光束法。
限制点残差剔除
依据选取的限制点,对测区的全色数据进行区域网联合平差,有选择地剔除
和调整残差较大的限制点。
残差是指实际观测值与回来估计值的差。在配准过程中,观测点为参考图层
上的限制点,可以是在参考图层刺点所得点,也可以是通过输入X、Y坐标所得
的限制点。计算点为在配准图层刺点所得限制点,依据某一种配准算法计算出来
的拟合点。
X残差是观测点与计算点在X坐标方向上的距离。
Y残差是观测点与计算点在Y坐标方向上的距离。
对于线性配准和多项式配准,在选择了肯定的地面限制点后,都用以下的公
式计算每个地面限制点的均方根误差():
山电出=河—十+”一寸
式中,x,y为地面限制点在原始图像中的坐标,X,,/是一次或二次多
项式计算出的限制点坐标,即估算坐标。估算坐标和原始坐标之间的差值大小代
表了每个限制点几何订正的精度。对线性配准和多项式配准,系统都会计算x,
y方向上的和点的均方根误差。通常一个应用都有一个可以接受的总均方根误
差,所以当某些限制点的均方根误差大于可接受的总均方根误差时,可以通过剔
除或修改该限制点,减小总体均方根误差,提高配准精度的目的。
在剔除残差的过程中,首先保证限制点分布匀称,限制点密度不能过于稀疏,
同时农区有限制区的限制点尽量不剔除,从而保市农1乂有限制IX.域的精度能够达
到项目要求。
自动提取连接点
在各景限制点满意区域网误差要求的基础上,对影像之间的重叠区域自动提
取同名点,并剔除残差较大的同名点,直至同名点误差满意规定要求,提高影像
接边精度。在此基础上对全色数据进行正射订正,用双线性插值法重采样为2
米,订正过程中没有对影像的灰度和反差进行拉伸,没有变更像素位数,订正后
的正射影像有效数据范围内没有漏洞区。
影像重采样
几何校正的最终一步是重采样。经变换定位后的像元在图像中分布是不匀称
的,须要建立起图像的新格网,对每个图像按肯定的规则进行灰度插值计算来重
新赋值,构成新的图像矩阵,应当看到,重采样对分类精度和图像信息会产生肯
定的影响。像元是一个复合信息,也是一种综合亮度信息。虽然对像元亮度值重
采样作为新的校正点的亮度值,像元是被校正了,但其复合信息或综合亮度系数
也有所变更,信息也相应的有所变更。因此,最大限度削减信息变更就须要正确
的选取种采样方法,采样方法较多,常见的重采样方法有三种:邻近点插值法();
双线性插值法();立方卷积插值法()。
二种方法各有优缺点:邻近点插值法简洁易用,计算量小,但处理后得图像
亮度具有不连续性,影响精度。双线性插值法与邻近点法相比、虽然计算量增加,
但是精度明显提高,特殊是对亮度不连续现象或线装特征的快转化现象有明显的
改善,但这种方法对图像起到平滑作用,从而使对比度明显的分界线变得模糊。
三次卷积插值法计算量很大,精度也最高,但对限制点选取的匀称性要求很高,
否则达不到很好的结果。
多光谱与全色波段影像配准订正
多光谱影像与全色影像配准是影像融合的前提和基础,配准的精度干脆影响
最终制作的质量。多光谱影像与全色波段影像的配准订正以正射订正好的全色波
段影像为限制基础,利用全色影像的同名点和数据,同样采纳全色影像正射订正
方法,对多光谱数据进行正射订正。正射订正后的多光谱数据与全色数据完全匹
配的约占全部景数的70%以上,其余约30%影像配准精度局部达不到的,采纳自
动匹配限制点或局部人工增加限制点的方式进行单独订正,直至全部景的多光谱
与全色影像的同名点量测要求精确到子像素精度。
为保证融合效果,订正后将多光谱影像和全色波段影像进行套合检查,两景
影像之间的配准精度误差不得大于1个像元(多光谱影像上)。
aw
图3-8多光谱影像与全色影像配准精度示意
3.1.3.6.3影像融合
影像融合是一个对多遥感器的图像数据和其他信息的处理过程。它按肯定的
规则(或算法)对空间或时间上冗余或互补的多源数据进行运算处理,获得比任何
单一数据更精确、更丰富的信息,生成一幅具有新的空间、波谱、时间特征的合
成图像。影像融合从层次上可分为:像元级信息融合、特征级信息融合和决策级
信息融合。像元级信息融合,是指对测量的物理参数的合并,即干脆在采集的原
始数据层上进行融合。这是最低级的信息融合,亦称数据级融合,它包括一维时
间序一列数据、焦平面数据。其空间配准的遥感影像数据干脆融合,而后对融合
的数据进行特征提取和属性说明。像元级融合的优点是保留了尽可能多的信息,
具有较高精度,缺点是处理信息量大、费时、实时性差。特征级融合是一种中等
水平的融合,在这种框架中先是将各遥感影像数据进行特征提取,产生特征矢量,
而后融合这些特征矢量,采纳决策法、神经网络法等基于特征级融合法进行史理,
做出基于融合特征矢量的属性说明。其优点是实现了可观的信息压缩,有利于实
时处理,并且供应的特征干脆与决策分析相关。因此融合的结果最大限度地给出
了决策分析所须要的特征信息,其缺点是比像元级融合精度差。决策级融合是最
高水平的融合,它首先对每一数据进行属性说明,然后对其结果加以融合,得到
目标或环境的融合属性说明。该融合框架的优点是具有很强的容错性,很好的开
放性,处理时间短。由于像元级融合基于最原始的影像进行融合,能更好地保留
影像原有的信息,供应其他层次融合不能供应的微小信息,被广泛运用,因此本
项目也采纳像元级融合。对于高辨别率影像而言,变换、变换两种融合方法较为
常用。
变换是线性代数和多元统计中常用的方法,类似于变换法,它可以对矩阵或
多维影像进行正交变换,消退多光谱波段之间的相关性。变换与的区分是变换
后信息在各主成分之间重新分布,第一主成分包含的信息量最多,其它主成分的
信息含量依次削减;而变换后各重量只是正交,各重量所包含的信息量相差不大,
这样可以改进中信息过于集中的问题。
变换融合方法是基于统计原理的,它利用最小方差技术对参加融合的波段的
灰度值进行最佳匹配并利用此原理调整单个波段的灰度分布以削减融合结果的
颜色偏差,另外还对全部输入波段进行一系列的统计运算并以此来消退融合结果
对数据集的依靠性和提高融合过程的自动化程度。
本次项目影像融合数据源是经过正射订正的数据,多光谱和全色影像二者之
间配准精度误差小于1个像素,融合方法采纳算法进行影像融合,融合效果样例
如下:
(a)融合前多光谱影像
(b)融合前全色影像
(c)融合影像
图3-9融合结果图
3.1.3.6.4影像镶嵌
影像镶嵌技术是遥感数据处理领域的传统问题,也是当前计算机视觉领域和
计算机图形学领域的探讨热点之一。微软公司2006年公布的以全景镶嵌技术为
核心的产品给公众带来了全新的视觉体验。随着新的影像数据的大量获得,一方
面对现有的镶嵌技术的相宜性提出了考验,另一方面为开发新的镶嵌技术供应了
空间。
在遥感图像的应用中,当探讨区域处于儿幅图像的交接处或者探讨区域较大
须要多幅图像才能覆盖时,须要对覆盖探讨区域的图像进行配准,进而把这些图
像镶嵌起来,以便于更好地统一处理、解译和分析。遥感影像镶嵌是将2幅或多
幅遥感影像拼在一起,构成一幅整体影像的技术过程。实践证明,传统的手工镶
嵌图像不仅在接缝和色调上易出现不一样,还会出现微小的影像错位。计算机协
助影像数字镶嵌技术能够大大改善镶嵌图像的质量。通常,首先在相邻影像的重
叠区域内选择多个限制点,使两景影像在该部安排准,并利用这种配准关系对其
中的一景影像进行几何重定位和重采样,随后经色调匹配和拼接线划定,最终完
成影像镶嵌。据测算,采纳传统方法得到两景镶嵌影像,其内部几何误差达8
像素之多(尽管在重叠区域内影像配准良好),已经远低于影像原来的几何精度。
镶嵌过程中的几何错位和色调差异会引起线状和面状地物变形以及连接上的误
导和解译标记的不一样,从而影响遥感图像分析和解译的质量和可信度,这必定
会对后续的应用工作产生不利影响.目前已经形成很多计算机协助镶嵌算法,有
些算法已经在商业化图像处理软件、数码相机图像处理模块中广泛应用。光学遥
感影像往往是在不同大气条件下、不同卫星轨道上、不同姿态的传感器获得的地
面反射或辐射电磁波的强度数据,一方面数据更加困难,另一方面为了满意后续
解译和定量反演的要求,相对于•般图片而言,对几何精度和数据处理速度的要
求更高。
我公司镶嵌数据产品基于影像重米样缩略图为参考的自动色调匹配、匀光匀
色技术,以及影像重叠区最小灰度值差异为参考的自动镶嵌线技术,可限制并确
保真彩色镶嵌数据产品色调真实、过渡自然。
项目所需的影像镶嵌成果采纳、、的真彩色波段组合方式,即选择波段3/2/1
的依次作为红、绿、蓝三通道进行影像镶嵌波段组合。首先将融合好的测区影像
进行降维处理和削减波段处理,得到3波段8的预镶嵌影像,然后按同轨依次镶
嵌,最终依据多轨影像块进行全区镶嵌,相邻景重叠区的镶嵌线以保留无云、影
像季节好影像为原则。
进一步对相邻镶嵌区域间影像的匀色处理,保持景与景之间接边处色调过渡
自然,地物合理接边,无重影和发虚现象。保持地物的完整性和合理性。
色调调整后,正射影像的直方图大致成正态分布,影像清楚,反差适中,色
调自然,无因太亮或太暗失去细微环节的区域。
1.1.4平台具体功能方案
我方选取的大数据管理平台,采纳空间数据库形式管理,统一管理空间属性、
时态属性、专题属性和二三维符号数据,空间数据库具备自动化空间索引机制,
地理信息存储到空间数据库后可自动创建空间索引,无需经过二次预处理,却可
支持高性能空间数据访问。平台可以快速高效地整合.三维地理要素,具备地理要
素编辑功能;支持供应多种城市模型生成预览方窠;支持模型快速预览、模型快
速生成、模型入库管理等功能,并对导入影像的属性信息进行编辑管理,为单机、
网络应用供应优质的数据支持。
二级功能项三级功能项功能说明
表3-7平台功
能方案表一级
功能项
计算节点信查看全部正在运用中的
息查看节点信息
计算节点查
看
单个计算节查看单个计算节点信息
1.资源管理
点信息查看的动态变更
可视化服务可视化节点查看全部正在运用的可
查看信息查看视化节点的信息
新建数据集新建数据集(定制模板)
删除数据集删除指定数据集
2.数据管理数据集管理
复制数据集复制相同模板的数据集
重命名数据重新定义数据集的名称
集
数据集元信查看数据集元信息。
息查看
数据集空间统计数据集内数据的空
分布查看间分布。
缩放至数据将地图的可视范围缩放
集至数据集所在区域
数据集迁移将数据集拖拽至其他数
据集组
数据导入将数据导入到指定数据
集
数据导出导出指定数据
数据边框导导出指定数据的边框文
出件
元信息查看查看数据的元信息
数据管理
数据范围查查看数据在地上的位置
看范围
缩放到数据将地图可视范围缩放至
数据所在区域
数据单景阅查看单景数据的影像
读
创建金字塔提交数据建立金字塔任
务
数据冗余修改数据的冗余度,复
制数据至不同的服务器
节点
数据查询可依据空间、时间等条
件搜寻符合要求的数
据,支持高级查询
数据列表导导入由产品服务网产生
入的数据列表,在客户端
中实行各种操作
数据任务查看正在进行或最近完
成的数据任务信息
工具集信息查看工具集的信息
查看
工具管理
工具信息查工具集所包含工具及其
看信息的查看
任务提交提交计算任务,可选择
3.计算管理
单个任务或者批量任务
任务信息查查看正在进行中的任务
任务管理
看信息及其进度
历史任务查查看本机提交的全部任
务,失败任务可重新提
看交
新建地图新建一张地图
地图管理配置地图进行可视化配图
删除地图删除指定地图
新建瓦片组在地图上新建一个瓦片
组
删除瓦片组删除指定的瓦片组
4.可视化管
插入数据在瓦片组中插入指定数
理
据
可视化制图移除数据移除指定的数据
图层属性编辑修改指定数据图层
的属性
保存地图保存对当前地图的修改
发布地图将保存的地图发布到指
定的地图列表
(1)桌面应用平台
供应集群管理、数据管理、计算管理、可视化管理。
♦计算节点信息查看
如上图所示:
打开管理客户端,进入集群管理界面,其默认状态即为计算节点查看功能。
左侧窗口中树状图就是全部的计算节点列表;右侧窗口上方为全部节点、内
存和网络运用率的动态图,下方为全部节点的具体信息。
♦单个计算节点信息查看
t北G*C
如上图所示:
鼠标左键单击节点列表中的某个节点,即可查看单个节点的信息。右侧
窗口上方为该节点中、内存和网络运用率的动态变更图,下方为该节点的具
体信息。
♦可视化节点信息查看
*at9
如上图所示:
鼠标左键单击右侧窗口中的可视化服务,即可查看全部可视化服务器的信息。
右侧窗口中即为全部可视化服务的具体信息列表。
♦数据集管理
♦新建数据集
Qx/I
ES至邮诵月
二包11网卷数据组
3归天2诬感,
no
实三身始全电碗
奥三n将多于
虻2m«ai
方黄三正射多无海丽一
・奥三正射全包效掘存M
,夷三2用台该米效婚
安资三2M很赤户品3登总数胡
营全国资三2m分省福近百23:触北
S出鬲分一2罪揖
2QLandsat卫星,缭数据组
,0国RR星彩像数搐组
±⑦中高分1缗怖组
・它通用I维数握&
v团研交区“僧的爆
如上图所示:
打开客户端,选择数据管理界面,
默认界面右侧窗口即为数据集列表。若干数据集属于•个数据集组,右谑单
击随意数据集组,可出现新建功能,单击新建可选择你所需新建的各种类型
的数据集。
上左图所示为新建栅格数据集的功能界面,在该界面中填写相关的信息,定
制模板后,单击提交按钮,即可新建数据集。点击新增按钮,弹出上右图,
可在此界面自定义模板信息。其他类型数据集的新建类似栅格数据集新建。
♦删除、重命名、复制数据集及缩放至数据集
»«*■!._
S3三d沙瓶元帅《«»»•;««««
立
复或三”的上色
义或三用为多先雄1
V用三冲台户品
V,三正胪6中,
V第三正射金色的1
V,三24酒在
,旧像______
W证.2n^.Hfl隔55
♦由矗分一罟紫IB
itQL^055rt2*>j«niMI
⑥aOB«£XI«AtBtg
it&中4分,雷豹弹A
a助•丑胴德“康出
如上图所示:
右键单击数据集列表中的数据集,即可对该数据集进行删除、复制、重
命名以及缩放数据集功能。注:删除数据集为权限功能,暂不开放。
♦数据集元信息查看
如上图所示:
数据管理默认界面中右侧窗口即为数据集元信息列表,单击不同数据集可切
换数据集元信息。
♦数据集空间分布
•点击右侧窗口中的空间分布标签,即可切换至数据集空间分布界面。此功能
主要展示数据集在地图中的分布状况。具体效果见下图。
♦数据查看
UM»UJU*UJdeiCOiJXAMOCRMM
tiM»<«JM»«Ijnww)jumi0m*>
tiM»u^M»ujKc*m,M4amaaMM
iiir»ajD4»a
fln*«>
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年一级注册建筑师之建筑材料与构造考试题库500道【含答案】
- 2026年县乡教师选调进城考试《教育心理学》题库及答案
- 2026年设备监理师之质量投资进度控制考试题库200道及参考答案(a卷)
- 2026年设备监理师之质量投资进度控制考试题库200道及完整答案(夺冠系列)
- 钢筋工创新方法强化考核试卷含答案
- 硝基氯苯装置操作工安全实践能力考核试卷含答案
- 临床检验类设备组装调试工安全管理能力考核试卷含答案
- 2026年设备监理师之质量投资进度控制考试题库200道及完整答案(名校卷)
- 2026年一级注册建筑师之建筑材料与构造考试题库500道附参考答案【达标题】
- 2026年二级注册建筑师之建筑结构与设备考试题库500道(精练)
- 2026民航华北空管局招聘(44人)考试笔试参考题库附答案解析
- 测绘安全培训课件
- ZD(J)9电动转辙机的工作原理及故障分析
- 电梯安装人员配置方案
- 妇产科住院总工作汇报
- 特色手工艺品电商营销推广策划方案
- 肿瘤内科进修汇报
- 农机操作培训知识内容课件
- 蜀风诗韵复赛题目及答案
- 2025湖北仙桃市城市发展投资集团有限公司招聘拟聘用人员笔试历年参考题库附带答案详解
- 产品管理题库及答案
评论
0/150
提交评论