像素工厂-对地观测数据处理系统简介.doc

像素工厂对地观测数据处理系统简介一、 像素工厂简介Infoterra法国研发的像素工厂，是拥有革命性数字处理作业链的工业化地理产品系统，生产高级的、品质优越的3D制图产品。由于像素工厂具有高超的处理能力和开放的架构，它可以自动处理大数据量、多种传感器的原始对地观测数据，生产各种制图终端（数字地表模型，真正射影像以及大范围正射镶嵌图像）。像素工厂提供了独一无二的企业级解决方案，具有大数据量并行计算、高效快速生产制图数据，以及高度自动化生产等先进特性。代表了当前遥感影像数据处理技术的发展方向,它的终端产品可用于地形图测绘、城市规划、城市环境变化监测等。由于专门的硬件配置(优化的网络、计算机组、巨大的存量)和与该硬件结构对应的算法，进行并行计算，加速生产流程，必将能为各领域的测绘部门提供更好的服务。二、 像素工厂的概念像素工厂（Pixel Factory，PF）由法国地球信息（INFOTERRA）公司研制开发，是一套用于大型生产的对地观测数据处理系统，是一种能批量生产,且由一系列算法、工作流程和硬件设备组成的复合最优化系统，包含具有强大计算能力的若干个计算节点。输入航空数码影像、卫星影像、或者传统光学扫描影像，在少量人工干预的条件下，经过一系列自动化处理，输出包括数字表面模型（DSM）、数字高程模型（DEM）、正射影像（DOM）以及真正射影像（TDOM）等产品，并能生成一系列其他中间产品。大中型像素工厂系统 移动像素工厂系统三、 像素工厂的主要功能像素工厂是一种能批量生产数字表面模型(DSM) 、数字地形模型（DTM）、正射影像和真正射影像，且由一系列算法、工作流程和硬件设备组成的复合最优化系统。3.1 全自动提取密集数字表面模型DSM数字表面模型DSM (Digital Surface Model)是指包含了地表建筑物、桥梁和树木等高度的地面高程模型；而DEM只包含了地形的高程信息，并未包含其他地表信息。DSM 是在DEM 的基础上,进一步涵盖了除地面以外的其他地表信息的高程模型。在一些对建筑物高度有需求的领域，DSM得到了很大程度的重视。像素工厂与传统摄影测量系统相比，优势之一就在于数字表面模型(DSM) 的计算。传统的摄影测量系统计算DSM 需要人工估计高程信息，而“像素工厂”则可以在25cm 到1m 的地面采样距离(GSD) 之间自动进行DSM 计算, 无需人工干预。某些摄影测量系统虽具有计算数字表面模型的功能，但是这些系统在总体工作流程方面，并没有与能够大批量生产数字产品的硬件设备很好地结合在一起。在加载了影像数据之后，像素工厂会利用专有的算法生成大量立体像对，并将这些立体像对分配到可用的计算结点上进行并行计算，这样可以减少立体像对匹配过程所花费的时间。根据对多视角数据的自动多重相关，可轻松提取DSM，航向和旁向的立体像对之间通过多相关方法进行匹配，这是一个逐点进行计算的过程。自动化算法可从原始影像每两像素提取高程信息，最后通过融合得到数字表面模型。此外，像素工厂系统可以导入导出LAS(LIDAR)格式数据，因此可对LIDAR DSM和多重相关生成的DSM进行混合。DSM 的计算是进行真正射计算过程中的最重要一步，只有利用数字表面模型才可以进行对正射影像的真正射校正，以确保影像上任意点的几何精度。航带1航带2图3.1 沿航带获得的系列航片1、优选立体像对进行交叉相关2、每个像素值来源于多个像素高程值的复杂解算 图3.2 数字表面模型DSM建筑物树木飞机图3.3 像素工厂全自动提取的数字表面模型DSM（地面分辨率10cm）- 4 -Infoterra Pixel FactoryQUICKBIRD DSM 2-5mIKONOS DSM 2-5mSPOT DSM 20mASTER DSM 30mADS40 DSM 2.4m图3.4 基于不同传感器生成的密集地表模型示例 3.2半自动提取数字地形模型DTM通过对DSM采取滤波算法，可半自动化的生成DTM，减少50%到95%的人工编辑道路断裂漏滤建筑物过滤不完全图3.5 通过对DSM过滤半自动生成DTM（1）2) 自动DTM过滤3)人工三维摄影测量限制1）自动DSM计算4) 最后DTM插值图3.6 通过对DSM过滤半自动生成DTM（2）3.3大规模生产真正射影像和传统正射影像真正射影像(TrueOrtho)指所有物体的倾斜均被纠正的一种镶嵌影像。它是利用数字表面模型DSM，采用数字微分纠正技术，改正原始影像的几何变形，保证影像上每点都是完全垂直视角。像素工厂可以通过对多视角的影像逐点计算，消除所有倾斜，生成真正射影像。与传统的正射影像相比，在大比例尺影像图中，避免了高大建筑的倾斜对其它地物的遮挡，在拼接地区能够实现平滑自然的过渡。利用完美的DSM 能够生成完美的真正射影像。像素工厂实现了真正射产品的商业化和大规模生产，并实现了针对真正射影像的一系列解决方案，例如大气纠正、物理纠正、匀色等。真正射影像图直接用于做线画图,可大大降低制图成本,提高作业效率。传统摄影测量处理中，经过数字高程模型(DEM)校正、镶嵌得到正射影像。根据影像获取的几何原理，繁华的城市地区需要一些手工编辑以最小化每张影像的视差(建筑物倾斜) 。而真正射影像通过高精度DSM纠正消除了所有视差，建立了完全垂直视角的地表景观，建筑物保持垂直视角，因此在真正射影像上，只显示了建筑物的顶部，不显示侧面，避免了高大建筑物对其他地表信息(其他较矮建筑物、道路、停车场、绿地等)的遮挡，恢复了桥梁的正确方位。下图反映了传统正射影像与真正射影像之间的主要区别。( a) 传统正射影像中有建筑物倾斜效果( b) 真正射影像中没有任何建筑物倾斜效果圆形楼顶倾斜的楼体被遮挡区域圆形楼顶被遮挡区域纠正后楼体图3.7 像素工厂专利产品-真正射影像（全自动处理）倾斜的楼体倾斜的楼体图3.8 传统正射影像倾斜的楼体纠正的楼体图3.9 真正射影像3.4 大面积影像无缝自动镶嵌及匀色像素工厂实现了对正射影像的自动拼接，并具有强大的匀色功能。对于大面积区域的处理更能体现该套系统的高效率和高质量。对于传统正射影像，系统可以对任何光谱波段结合高分辨率全色波段生成融合影像。例如，可生成快鸟融合影像或者对SPOT5多光谱波段制作真彩色影像。自动生成算法可以提高多光谱影像的分辨率且保留其光谱信息。并且像素工厂可以根据影像光谱特征，自动生成最优的图像组合方式。这表示该融合算法，在融合后的图像上进行分类不会产生伪影。不参考DSM参考DSMDSM图3.10 利用DSM自动优选镶嵌线图3.11 优选镶嵌线图3.12 镶嵌及匀色效果图3.13 大面积遥感影像自动无缝镶嵌西班牙 ,400景，50多万平方公里，Spot5 2.5m 分辨率影像镶嵌,2个人，3个月包括：空三、镶嵌、色彩调整，等图3.14 卫片不同图幅之间存在较大色彩差异图3.15 接边线两侧及整体匀色效果四、像素工厂的特点像素工厂是当今世界一流的对地观测数据自动化处理系统，集自动化、并行处理、多种影像兼容性、远程管理等特点于一身,代表了当前遥感影像数据处理技术的发展方向。4.1软硬件完美结合的系统架构像素工厂是一套集软硬件完美结合，快速生产的解决方案。采用高性能计算(High Perfermance Computing)集群和SAN(Storage Area Network存储区域网络)架构。高性能计算集群致力于提供单个计算机所不能提供的强大的计算能力，并担保负载均衡技术，保证服务器稳定运转。集群架构的主要优点：1、高可扩展性：计算机节点以及整套机群系统有高度可扩展性能。2、高可用性：集群中的一个节点失效，它的任务可以传递给其他节点。防止单点失效。3、高性能：负载平衡集群允许系统同时接入更多的用户。4、高性价比：可以采用廉价的符合工业标准的硬件构造高性能的系统。SAN是一个专有的、集中管理的信息基础结构，它支持服务器和存储设备（如磁盘阵列、磁带库）之间任意的点到点的连接，SAN集中体现了功能分拆的思想，提高了系统的灵活性和数据的安全性。SAN以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有较高传输速率的光通道连接方式，提供SAN内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。SAN采用光纤通道(Fibre Channel)技术，光纤通道最大优点是速度快，它可以给计算机设备提供接近于设备处理速度的吞吐量。SAN可实现在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的无缝扩充。4.2能够全面支持当前主流的各种航空航天传感器像素工厂能够兼容当前市场上的主流航空航天传感器，既可以处理航空数码影像(如ADS40 、UCD、DMC 等) , 光学或雷达卫星影像( 如SPORT5 、IKONOS、LANDSAT等) ,也可以处理传统胶片影像(如RC30 等)。这是因为像素工厂提供了建立精密传感器模型的SDK软件包，能够通过参数的调整来适应不同的传感器类型，只要获取相机参数并将之输入系统，像素工厂系统就能够识别并处理该传感器的图像。也就是说，像素工厂系统是与传感器类型无关的遥感影像处理系统。系统可处理全部已有航空数字传感器，传统框幅传感器和卫星传感器，如 航空传感器： ADS40 / ADS50 / ADS80 UCD / UCX DMC DSS and derived HassBald sensor ？ 框幅式如RC-30, RMK 卫星传感器： SPOT 1-4 SPOT 5 HRS IKONOS QUICKBIRD LANDSAT FORMOSAT-2 ASTER KOMPSAT-2 GEOEYE WORLDVIEW ALOS RADARSAT ERS ENVISAT TERRASARX IRS 另外，系统可轻易地添加新的传感器模型而不需要系统和工作流程重大改变。比如： SSOT THEOS PICTOMETRY 像素工厂对中国自主研发传感器/相机的支持：l 中巴资源卫星数据快速处理l HJ（环境）减灾卫星数据处理l CASM刘先林院士JXDC-4相机数据快速处理此列表并没有涵盖所有可处理的传感器，且像素工厂会随着新发布的传感器不断更新。关于推扫式传感器(ADS40, SPOT5)，像素工厂使用严密的物理数学模型，计算出精准的结果。事实上，像素工厂不对传感器参数进行线性近似估计。作为一个可选项，像素工厂也可以对推扫式传感器进行内部检校。对于框幅相机，像素工厂还支持径向畸变参数。4.3强大的并行计算能力、自动化处理能力和存储能力像素工厂采用并行计算技术，大大提高了系统的处理能力，不仅提供多任务功能，管理并行的工作流，而且对处理数据量无限制。像素工厂允许多个不同类型的项目同时运行，并能根据计划自动安排生产进度，充分利用各项资源，最大限度地提高生产效率，缩短了项目周期；像素工厂具有强大的自动化处理技术，比市场上现有的遥感影像处理软件具有更多的自动化能力，在少量人工干预的情况下，能迅速生成正射影像等产品。在整个生产流程中，系统完全能够且尽可能多的实现自动处理。从空三解算到最终产品如DSM、DEM、GroundOrtho、TrueOrtho，系统根据计划自动分派、处理各项任务，自动将大型任务划分为若干子任务。通过自动化处理，大大减少人工劳动，提高了工作效率。像素工厂在数字产品生产过程中会产生比初始数据更加大量的中间数据及结果数据，只有拥有海量的在线存储能力，才能保证工程连续的自动的运行。像素工厂使用磁盘阵列实现海量的在线存储技术，并周期性的对数据进行备份，最大可能的避免意外情况造成的数据丢失，确保了数据的安全。4.4对传统算法的改进和200多种先进的算法传统摄影测量是通过对每张影像单独进行纠正来获取正射影像的，然后通过镶嵌，使每张影像的视差达到最小。但是对于像素工厂来说，正射纠正的方式正好相反：正射影像上面的每一个像素都是单独考虑的，每个点都是通过它在原始影像上的像点结合它在DSM中的高程信息来确定的。这一步骤是全自动化的，也是分布式的。它可以保证地面上的每一个点都是从垂直角度看去的(高层建筑的倾斜可以消除)。像素工厂具有先进成熟的影像处理算法和多年的技术积累，代表了当前遥感影像处理技术的最新发展方向。200多种先进的算法：传感器校正、原始图像增强（大气校正、电离校正）、快速多传感器空中三角测量、快速自动生成和滤除连接点、自动提取密集DSM、真正射校正和传统几何校正、由DTM自动生成等高线、自动生成镶嵌影像（正射影像、高程影像和第二代镶嵌）、图像增强（局部匀光，对比度，平衡补偿等）、。第二代影像镶嵌插件(SGM) 是像素工厂3.2 提供的一款全新高效的模块，它可对已有的数字正射、镶嵌影像进行迅速更新。该处理通过从参考数据库提取所有需要的参数，自动完成光束法平差和辐射校正。该功能极大缩短了镶嵌影像的制作时间，且与原有数据完美契合。此插件对卫片和航片均适用，且无生产环境限制（包括地面接收站）。4.5开放式的体系结构像素工厂是基于标准J2EE应用服务开发的系统，具有本地开放式的体系结构，使用XML实现不同结点之间的交流和对话，可在XML中嵌入数据、任务以及工作流等，支持跨平台管理，兼容Linux、Unix、True64和Windows等操作系统。像素工厂有外部访问功能，支持Internet网络连接（通过http协议、RMI等），并可以通过Internet（例如VPN）对系统进行远程操作。支持扩展包和动态库方法；支持通过范性XML/PHP接口整合任何第三方软件，辅助系统完成不同的数据处理任务。如可以通过Photoshop对图像进行人工编辑。像素工厂为主流应用软件提供接口： Intergraph SSK solution LPS Stereo viewer Virtuozo & JX-4与主流GIS软件的接口： ESRI ArcServer MicroStation 4.6周密而系统的项目管理机制和内嵌生产工作流机制像素工厂具有周密而系统的的项目管理机制，能够及时查看工程进度，项目完成情况，并能根据生成的信息适时做出调整；用户无需深究如何管理，因为系统内嵌了一套高端的任务管理器： 对当前任务序列进行自动进程管理 对并行计算机的使用进行优化，提供持续100利用所有计算机的能力，以致系统： 闲置节点的运行无须等待优先任务完成。 可配置大于实际硬件计算机的虚拟计算机数量 平衡所有计算机的任务计算，避免瓶颈产生 调度系统易于对硬件故障进行管理，如 当某计算机关闭时，系统重新分配任务 列出可用计算机，可远程重启计算机像素工厂可与任何传统网络浏览器连接(Internet Explorer, Netscape.)，进入界面对系统进行管理： 系统完整的参数化设置(工作流，默认参数.) 用户档案的管理 系统数据库的管理 系统硬件的管理配置 系统日志的管理 像素工厂包含了内嵌生产工作流机制，帮助用户在生产过程中查找相关任务。该工作流机制基于产品自动处理而设计，同时也保持了用户直接和工作流交互的灵活性。管理工具可帮助用户查看每个项目的进展情况，且根据需要停止/ 重启某个工作。此类工具包括： 列出所有工作闲置的计算机 列出所有运行的工作，且均配有项目标识 管理工具不仅可以用于控制，还能： 停止某些正在运行工作(单个工作，或者与项目有关的所有工作) 以完全重算或只计算失败任务的方式，重载工作像素工厂的工作流编辑器可以使用户通过图形界面定义满足特定需求的工作流。这个工具允许用户根据自身的特殊需求，建立一个新的工作流程，而且这个新建的工作流可以仍然采用像素工厂中所包含的各个独立的处理手段，比如影像相关，光束法区域平差，真正射等。像素工厂自我管理其数据和生产工作流，以便让用户可以关注于更高层次的生产任务，比如项目管理和质量控制。五、像素工厂应用案例简介5.1台湾项目使用像素工厂制作台湾19景（含子区）SPOT 5 2.5米虚拟自然色影像正射纠正及镶嵌。完成的主要工作有2.5米及10米数据正射纠正、2.5米与10米正射影像融合得到虚拟自然色影像、影像增强调色并镶嵌。其中正射纠正作业以UTM 51带，WGS84高程基准为参考坐标系统，以IKONOS数据为参考源，以像素工厂自带的SRTM为高程参考源。此项目中的关键技术如下：1、空三中同名点获取及优化同名点的获取分步进行，误差控制在0.5个像素内。首先将导入的IKONOS的参数修改作参考基准值；接着为各景SPOT 5 数据获取重叠区同名点；再为SPOT 5 2.5米及10米数据获取相对配准同名点；最后为SPOT 5及IKONOS获取相对配准同名点（相当于控制点）。所有同名点都赋以高程值再优化，并目视检查是否有同名点位于云、水、阴影等匹配困难的地区，如有，将其删除。最后剩余794个同名点，其中80个为SPOT 5影像与IKONOS影像的相对配准点，这80个点相当于以IKONOS数据为参考选择的控制点。各同名点位置分布图如下：图5.1 所有同名点位置分布图其中，红色方框处共有5幅IKONOS（新竹为相邻两幅）。IKONOS与SPOT 5的同名点分布分别如下：基隆：图5.2 基隆IKONOS与SPOT 5的同名点分布图新竹：图5.3 新竹IKONOS与SPOT 5的同名点分布图高雄：图5.4 高雄IKONOS与SPOT 5的同名点分布图台东：图5.5 台东IKONOS与SPOT 5的同名点分布图2、正射纠正依据上一步空三结果及SRTM对SPOT 5 2.5米及10米全分辨率影像及快视图分别做正射纠正，纠正后的影像如图所示：图5.6 正射纠正效果示意图3、融合将正射纠正的2.5米全色影像与10米多光谱影像123波段组合进行融合得到2.5米彩色影像，并以像素工厂中特有的光谱库为参考进行自然色处理。对全分辨率及快视图都做融合，得到如下图所示结果： 图5.7 台北、基隆地区2.5米融合虚拟自然色影像图图5.8 台北局部融合效果图4、接边线计算以10米多光谱影像的红波段为参考计算影像镶嵌接边线。红波段植被反射弱，纹理最丰富。接边线计算最准确。计算时同时考虑影像入射角及高程信息，使接边线走向最优。对于可以去云的地区，手工编辑接边线以便镶嵌时选择无云影像。对于云恰好覆盖在重叠区只能去掉一部分的情况，编辑接边线使得尽量以无云影像填充。最后得到的镶嵌线如下图所示：图5.9 镶嵌接边线示意图5、统计区取样、快视图镶嵌及调色根据前面计算的接边线对快视图进行初步镶嵌，由于台湾影像东部及南部云覆盖大，效果较差，因此根据云的分布取如下绿色样区进行统计：图5.10 镶嵌统计样区示意图根据上面样区统计的结果对所有影像辐射均衡，得到下面的快视图镶嵌影像：图5.11 调色前的快视图镶嵌转入Photoshop，调整全局反差，局部色调色阶，及云的修理，最后得到下图：图5.12 调色后的快视图镶嵌5.2甘肃项目项目名称：处理甘肃全省280幅SPOT数据生产单位：北京视宝卫星图像有限公司工作区面积：45.5万平方公里工作流程： 导入数据 自动正射 自动寻找同名点 自动优化镶嵌线 自动镶嵌 自动匀色生产时间：2周备注：无控制点5.3天津项目项目名称：天津滨海新区1/2000真彩色正射影像图制作生产单位：北京视宝卫星图像有限公司工作区面积：滨海新区5450平方公里 数据源：9276幅15厘米DMC图像成果规格：l 0.2m 分辨率自然彩色正射影像图；l DOM中地面明显地物点对最近野外控制点的图上点位中误差不得大于0.5mm；l 相邻DOM影像镶嵌处的接边限差不应大于2个像元。l 6300幅1：2000图工作流程：- 导入原始数据- 空三加密检查- 镶嵌线自动计算- 自动提取DSM- 自动滤波生成DTM人员情况：2个人，一个有6个计算节点的像素工厂生产时间：3个月5.4凉州项目项目名称：凉山州1:1万 SPOT 正射影像图工作区:四川省凉山州全境, 共26对SPOT 5 2.5m全色+10m多光谱参考数据:（1）GPS外业像控点坐标成果表、点之记及控制点影像；（2）1/50000数字高程模型DEM；（3）1/50000数字栅格影像DLG。成果规格： 2.5m 分辨率数字正射影像图 有GPS外业点地区，按照1:10000精度，即平面中误差和接边中误差一般5米，最大8米； 对没有外业点的地区(主要是高山地形)按照1:50000成图精度，即平面中误差和接边中误差一般25米，最大40米。生产时间：2周5.5三峡项目项目名称：三峡航空摄影与正射影像制作项目 (ADS40)生产单位：山西省工程测绘院 航测资料： 相机:ADS40 架次:10个 有效航线数:100条 原始数据:600GB GSD:0.25米控制资料： 三峡库区高等级控制点 三峡库区已有的等级GPS点 大地水准面精华成果作业平台: 软件:像素工厂 硬件:服务器：Dell 1950 ：12台（工作节点）;Dell 2950 ：3台（其中两台文件服务器，一台数据库服务器）;光纤交换机：2台;Dell7400工作站：4台;磁盘阵列5.6文昌项目项目名称：文昌1：1000 - 419平方公里项目(DMC)生产单位：北京天下图数据有限公司 工作区:文昌市位于海南省东北部，属于低丘台地平原地带 。测区总面积为419平方公里。参考数据:1）设 备：DMC数码航摄仪；2）提供数据资料：DMC数码相机检校文件； 直接地理定向法得到的外方位元素文件； 控制点坐标文件。3）摄影比例尺：1：8000。成果规格：0.1米 分辨率数字正射影像图 和 2米 分辨率的DEM生产周期：两周六、像素工厂与同类产品的比较 软件名称性能 像素工厂海拉瓦SSKPCIVirtuoZo多重传感器支持（航空/航天）XXX全自动快速高精度DSM计算XXXX真正射影像处理能力XXXX项目数量无限制XXXXTB级数据量无限制XXXXDLG数据采集功能XX集群式体系架构XXXX自定制工作流XXXX混合传感器空三XXX表6.1 像素工厂与同类产品比较表6.1像素工厂的优势1.像素工厂专门用于快速精确的数码相机的图像处理 非常密集的高精度数字地表模型（DSM） 带有匀色校正的大面积正射镶嵌 大面积真正射镶嵌（唯一能自动生产真正射影像的系统）2.像素工厂拥有完整的多传感器支持 所有的光学数字航空相机 (ADS80, UCX, DMC) 所有的光学和雷达卫星系统 独一无二的LIDAR/框幅数码相机集成3.像素工厂拥有独一无二的管理系统，简化了数据制作管理和大型项目生产流程4.像素工厂做到了专业软件的独一无二的集成 拥有最快的速度和最高的效率（并行计算和海量在线存储） 处理过程最大程度自动化5.像素工厂也被用于SPOT Infoterra集团内部的制图工作 软件公司和制图公司独一无二的合并 更靠近用户，更理解用户需求可以说，像素工厂对于生产数字产品没有项目大小限制、没有网络数据传输问题、没有传感器兼容问题、没有人力不足问题。七、像素工厂的典型客户列表在中国使用像素工厂的典型客户：