遥感大数据平台介绍及应用课件

1、遥感大数据平台介绍及应用 遥感大数据平台介绍及应用 主要内容 遥感大数据背景 遥感大数据平台方案 典型应用案例 主要内容 遥感大数据背景 遥感大数据平台方案 典型应用案例从卫星发展看遥感大数据 过去5年，年平均12颗遥感卫星发射 未来5年，年平均25颗遥感卫星发射 从卫星发展看遥感大数据 过去5年，年平均12颗遥感卫星发射 传统遥感影像处理和分析的局限性 专业性强 操作繁琐 很难做到实时性 结果让人纠结 专家系统 很长时间里，遥感应用还停留在桌面 传统遥感影像处理和分析的局限性 专业性强 操作繁琐 很难做到遥感大数据需要解决的问题 ?遥感大数据特点 数据量大 数据存储、 管理、分享 云存储 信

2、息挖掘、 应用 基于像素 高效预处理 GPU 更新频率快 信息丰富 储存模型 并行计算 基于对象 互联网 算法改进 定量反演 遥感大数据需要解决的问题 ?遥感大数据特点 数据量大 数据遥感大数据平台技术需求 ?互联网 ?基于SOA架构 ?支持云计算环境 ?多客户端 ?计算机硬件 ?GPU ?并行、多线程计算 ?程序开发 ?图像算法 ?遥感模型 遥感大数据平台技术需求 ?互联网 ?基于SOA架构 ?支持云遥感系统的发展 桌面系统 定制系统 云服务 Web系统 企业级服务器遥感平台 遥感系统的发展 桌面系统 定制系统 云服务 Web系统 企业新一代企业级&云平台服务器遥感技术 网页 桌面 桌面 网

3、页 移动 移动 提供： ?在线影像数据 提供： ?在线影像数据 ?在线影像处理 数据服务器 服务器 影像处理 以Services方式提供影像处理工具 新一代企业级&云平台服务器遥感技术 网页 桌面 桌面 网页 遥感大数据平台总体框架 ?基于SOA架构 应 用 层 桌面应用 城市管理 国土资源 Web客户端 地质、矿产 水利、海洋 国防情报 气象、环境 移动客户端 农业、林业 交通、救灾 ?支持多平台部署 ?可扩展性 ?支持多应用端 标 服 务 准 层 规 范 数 据 层 数据服务 SOA 遥感处理功能 服务 成果应用服务 算法库 组件库 遥感分析模型 服务 管 理 规 定 遥感影像数据库 高程

4、数据库 控制点数据库 地图数据库 基 础 设 施 层 集群环境 云计算环境 应用集群 存储系统 主机系统 网络系统 系统软件 遥感大数据平台总体框架 ?基于SOA架构 应 用 层 桌面应创新的ENVI企业级服务器产品：ENVI Services Engine ?组织、创建及发布先进的ENVI/IDL图像分析能力 ?标准Rest服务，易于其他Web系统集成 ?可部署在任何现有集群环境、企业级服务器或云平台中 ?充分利用服务器端硬件资源快速处理和分析影像。 ?在Web浏览器或移动设备在线、按需、自助式请求遥感服务 桌面端 影像 Web应用 移动 模型 服务器 其他 创新的ENVI企业级服务器产品：

5、ENVI Services灵活的遥感服务开发 ?以高分一号数据预处理为例 调用ENVI Tasks实现GF1数据处理 发布 ENVI Services Engine 服务 使用 ENVI Services Engine 服务 灵活的遥感服务开发 ?以高分一号数据预处理为例 调用ENVI全新的二次开发模式：ENVI Tasks ?ENVI Tasks开发模式 “真正的”面向对象 全新的二次开发模式：ENVI Tasks ?ENVI Tas程序开发：流程化高分一号数据预处理工具 ENVINNDiffusePanSharpeningTask ENVIRPCOrthorectificationTask

6、 ?正射校正 ?转换为BIL 全色图像 ?正射校正 ?图像融合 多光谱图像 融合结果 程序开发：流程化高分一号数据预处理工具 ENVINNDiff程序开发：流程化高分一号数据预处理工具 程序开发：流程化高分一号数据预处理工具 发布服务：流程化高分一号数据预处理工具 ?IDL或Web控制台 发布服务：流程化高分一号数据预处理工具 ?IDL或Web控制客户端使用 ?ArcGIS for Desktop、ENVI以及基于IDL开发的客户端 ?Web客户端 ?HTML5、JavaScript 、Flex 及Silverlight等 ?ArcGIS API for JavaScript 、ArcGIS

7、API for Flex 及ArcGIS API for Silverlight等 HTML5 JavaScript Flex Silverlight REST ENVI Services Engine 客户端使用 ?ArcGIS for Desktop、ENVIENVI Services Engine应用：在线处理与分析 ENVI Services Engine应用：在线处理与分析演示系统软件框架 应用端 JavaScript界面 应用开发 应用 程序 高性能处理环境 ENVI Services Engine处理器 集群计算处理器 HTTP REST 浏览器 ?正射校正 ?温度反演 ? 移动

8、端 演示系统软件框架 应用端 JavaScript界面 应用开发国产GF-1卫星影像预处理流程 ?数据处理步骤多 ?大量数据 ?批量处理 多光谱图像 自动解压 全色图像 自动解压 正射校正 正射校正 图像融合 图像镶嵌 处理结果 国产GF-1卫星影像预处理流程 ?数据处理步骤多 ?大量数据国产GF-1卫星影像预处理测试环境 ?计算机环境（单个DELL工作站） ?CPU：2个8核，2.4主频 ?内存：8G ?硬盘：1.9T，15000转硬盘 ?软件环境 ?操作系统：Linux ?ENVI Services Engine5.2，4 Works 国产GF-1卫星影像预处理测试环境 ?计算机环境（单个

9、DEL国产GF-1数据预处理测试结果 ?数据：4对标准景高分PMS数据，即4景8米多光谱图像， 4景2米全色图像。 处理 解压缩 时间 1分05秒 结果数据量大小 3.40G 4.08G 14.38G 正射校正（无控制点） 4分20秒 图像融合（NND方法） 4分52秒 图像镶嵌 8分07秒 13.36G 4对标准景GF1数据总共处理时间为：18分24秒。 国产GF-1数据预处理测试结果 ?数据：4对标准景高分PMSHICO图像处理系统 ?基于云框架，具有在线、按需和可拓展的遥感图像 处理能力 ?在线获取水质、水深和水生栖息地特征等信息 ?数据源：超光谱成像仪(Hyperspectral Im

10、ager for Coastal Ocean,HICO) ?由空间科学促进中心(CASIS: Center for the Advancement of Science in Space)赞助 ?HySpeed Computing公司与Exelis VIS公司(ENVI 原厂商)合作开发 HICO图像处理系统 ?基于云框架，具有在线、按需和可拓展的在线体验HICO图像处理系统 在线体验网址：/HICO/ 在线体验HICO图像处理系统 在线体验网址：http:/h在线体验HICO图像处理系统 在线体验网址：/HICO/ 在线体验HICO图像处理系统 在线体验网址：http:/h在线体验HICO图

11、像处理系统 在线体验网址：/HICO/ 在线体验HICO图像处理系统 在线体验网址：http:/h主要实现的模型 ?叶绿素含量 游浮植物 有色可溶性有机物 水深测量 主要实现的模型 ?叶绿素含量 游浮植物 有色可溶性有图像处理工作流 ?使用工作流方式实现算法，即按照处理顺序明确相关的接口 陆地/云掩膜 HICO数据 Chl算法 图像差值 3-Band Chl_OC4 = OC4 叶绿素浓度(mg/m3) Chl_OCI = OCI 叶绿素浓度(mg/m3) Chl_d diff = 叶绿素浓度差值(mg/m3) 图像处理工作流 ?使用工作流方式实现算法，即按照处理顺序明确图像处理工作流 ?包括

12、QAA(Quasi-analytical algorithm)算法、半分析反演模型 1-Band 掩膜文件0: 陆地/云，1: 水体 输入阈值 4-Band a(438)=总吸收m-1 adg(438)=有色可溶物质吸收m-1 aph(438)=浮游植物吸收m-1 bbp(438) =颗粒后向散射m-1 bb(438) =总后向散射m-1 7-Band aph(440)=浮游植物吸收m-1 adg(440)=有色可溶物质吸收m-1 bp(440)= 颗粒/角度/海况吸收m-1 albedo(550)=底部反照率- depth =水深m a(438) =总吸收m-1 bb(438)=总后向散射m

13、-1 陆地/云掩膜 HICO数据 QAA算法 陆地/云掩膜 反演模型 图像处理工作流 ?包括QAA(Quasi-analyticaENVI Services Engine应用模式 ?高效的影像处理（栅格计算） ?服务器硬件资源 ?支持并行处理和分布式处理 ?可伸缩的负载均衡机制 ?分析功能传递到数据 ?提供自助式影像处理和分析 ?将复杂、专业的遥感模型部署到服务器 ?客户端按需、在线获取影像信息 ? ENVI Services Engine应用模式 ?高效的影典型应用案例 典型应用案例 案例1：林业高分高性能预处理系统 ?背景：林业部门需要处理大量林业上使用遥感数据，包括 MODIS、环境小卫

14、星、高分一号、高分二号、资源三号，以及 QuickBird、SPOT5-7、Worldview2/3、RapidEye、Pleiades；应 用于森林资源调查、湿地调查、病虫害、森林火灾监测、森 林参数反演等。 ?传统方法：根据应用需求利用桌面遥感软件进行处理和分析。 ?革新方法：在云计算平台中，充分利用集群环境，按需、在 线、高效处理影像。 案例1：林业高分高性能预处理系统 ?背景：林业部门需要处理大林业高分高性能预处理系统功能 林业高分高性能预处理系统 Web客户端交互浏览 地 图 显 示 地 图 浏 览 工 具 个人中心 业务分析工具 服 务 器 监 控 服 务 器 监 控 管 理 员

15、权 限 任 务 浏 览 图 层 管 理 目 录 管 理 任 务 管 理 数 据 目 录 浏 览 密 码 管 理 用 户 管 理 面 向 对 象 图 像 分 割 模 块 植 被 变 化 检 测 模 块 植 被 指 数 计 算 模 块 林 火 检 测 模 块 图像预处理工具 常见 卫星 正射 校正 模块 MOD hyper IS ion L1B级 L1T数 几何 据处 校正 理模 模块 块 典型 国产 卫星 数据 流程 化处 理模 块 环境 卫星 正射 校正 模块 图 像 自 动 配 准 模 块 辐 射 定 标 模 块 大 气 纠 正 模 块 图 像 镶 嵌 模 块 图 像 融 合 模 块 坐 标

16、 投 影 转 换 模 块 图 像 裁 剪 模 块 云 检 测 模 块 坏 线 修 复 模 块 林业高分高性能预处理系统功能 林业高分高性能预处理系统 We林业高分高性能预处理系统 林业高分高性能预处理系统 林业高分高性能预处理系统 林业高分高性能预处理系统 林业高分高性能预处理系统 林业高分高性能预处理系统 林业高分高性能预处理系统 林业高分高性能预处理系统 案例2：农作物遥感估产与基础产品生产并行系统 ?背景：农业作为高分专项的重要应用领域，主要应用于耕 地面积调查、草地和水产资源调查、作物面积测量、作物估 产、农业灾害监测等，是建设现代农业的重要技术支撑。 ?目标：构建农作物遥感估产与基础

17、产品生产并行系统，充 分利用现有的硬件资源和IT设备，实现在集群环境中，基于 国产高分系列卫星，进行十五个农业基础产品生产、农作物 面积监测，实现农作物长势监测，农作物单产和产量预测等 专题产品的生产。 ?架构：基于SOA架构，B/S体系结构 ?中国农科院农业资源与农业区划研究所提供 案例2：农作物遥感估产与基础产品生产并行系统 ?背景：农业作系统功能列表 农作物遥感估产与基础产品生产并行系统 Web客户端 数据预处理 子系统 数据自动解压 缩 农业基础产品 生产子系统 耕地破碎度、 复种指数、作 物物候期、作 物叶面积指数、 作物冠层叶绿 素含量、作物 氮含量、作物 水分、作物覆 盖度、农田

18、蒸 发度、净初级 生产力、土壤 水分、土壤有 机质、草地地 上生物量、草 原植被返青期、 草原植被盖度 农作物面积 监测子系统 专家知识决策 树作物面积监 测 农作物长势 监测子系统 直接作物长 势模块 单产和产量 预测子系统 遥感指数单产 预测模块 图层管理 地图显示 正射校正 任务列表 图像融合 面向对象图像 农作物面积监 测 实时作物长势 监测模块 产量估算模块 功能列表功能 图像镶嵌 过程作物长势 监测模块 一键式批处理 系统功能列表 农作物遥感估产与基础产品生产并行系统 Web客系统模块构成 登录系统 个人中心 预处理系统 基础产品生产 主页系统 长势监测系统 运行数据库 面积监测系统 单产、产量预测 系统模块构成 登录系统 个人中心 预处理系统 基础产品生产 ,!,兰 I 臼 还S哗 m OveMew , I忒 m;o e Oi ti I 品 分二已 茹至1 术全已、 未，多光诺相机 伍钦两台品分 ,!,兰 I 臼 还S哗 m OveMew , I忒 m;o系统展示 系统展示 系统展示 系统展示 系统展示 系统展示 案例3：上海市地理信息公共服务平台+ 增加“影像管理、遥感功能服务”作为升级改造的重要内容 ?上海市测绘院提供 案例3：上海市地理信息公共服务平台+ 增加“影