ArcGIS数据处理

ArcGIS数据处理,Esri（中国）信息技术有限公司张凤,总体流程,前期数据处理指确定数据来源、进行数据格式转换并进行数据整合，最终形成成果数据以供电子地图使用；电子地图配图指导入成果数据套合OneMap地图制图模板从而完成电子地图制作的过程；地图服务发布指将制作好的电子地图发布为服务以供第三方调用，并进行地图缓存制作的过程。,电子地图制作与发布流程,电子地图数据处理流程,电子地图数据处理主要包括数据获取、数据格式转换、数据整合、数据组织重构、分类代码转换、兴趣点数据处理、坐标投影变换、质量检查等步骤。,数据处理,数学基础：坐标系统为2000国家大地坐标系，坐标单位为度存储与交换格式：生产过程中可采用通用的可交换格式存储（如Esrishapefile格式），建库后采用所使用数据库的格式数据分层及属性：参见400万-5万地理实体数据整合技术要求及本文附录中1:1万数据分层及属性说明；存储单元：生产过程中的数据依据数据比例尺采用国家标准国家基本比例尺地形图分幅和编号（GB/T13989-92）分幅存储，建库后统一拼接；,数据要求,几何精度：数据整合改造过程中应保证与源数据精度一致，不得损失、破坏或降低原始数据精度；成果数据相邻图幅的要素要严格接边，包括数据几何接边与属性接边。由于整合改造时所使用数据源不同而引起的相邻图幅无法接边的情况，需要在项目技术总结中说明；属性精度：保留原始数据属性信息。,数据要求,Esri提供了一套完全符合国家地理信息公共服务平台规范的基于ArcGISFileGeodatabase的数据模型，在地图制图模板中也参照规范对坐标系统、数据分层及表达等进行了设置。,数据要求,矢量电子地图数据通常来源于测绘部门的基础地理信息数据，包括1:100万、1:25万、1:10万、1:5万、1:2.5万、1:1万、1:5000、1:2000、1:1000、1:500等不同比例尺，以及公共服务设施等专题地理信息。确定数据来源后最关键的工作就是建立源数据与成果数据的分层对应关系及要素选取转换对照表。,数据获取,ArcGIS中常用的数据格式转换工具包括转换工具集（ConversionTools）数据互操作扩展模块（DataInteroperabilityTools）,数据转换,支持包括OGC规范数据格式WFS、KML格式转换,多种栅格数据转换，CAD、Collada、Coverage、dBASE、Shapefile、Geodatabase格式导出等。,转换工具集,利用数据互操作（DataInteroperability）扩展模块可实现超过100种数据格式的直接读取，超过70种数据格式转出，以及自定义格式的转出。,数据互操作模块,数据整合,源数据转为目标格式后，就可以按照分层对应关系及要素选取转换对照表对数据进行整合处理了。数据整合的过程较复杂，根据源数据与成果数据的关系数据整合处理可能涉及到数据提取、数据裁切、数据拼接等方法。,数据提取是指将源数据图层中的部分要素通过属性筛选或空间过滤的方式提取到目标图层中，例如将道路图层中的高速公路、国省道提取出来。数据提取比较简单的方法是将图层加载到ArcMap中利用Selection菜单对要素进行选取：,数据提取,数据裁切是指将源数据图层中指定区域内的数据导出到目标图层中，并且导出的数据内容与选取的多边形要素类严格契合,数据裁切,数据拼接是指将空间相邻的数据拼接成为一个完整的目标数据。原始数据经数据提取、裁切等操作后形成若干中间结果，要对这些中间结果进行拼接形成最终结果要素类。拼接的前提是矢量数据经过了严格的接边，下面首先来介绍数据接边操作。,数据拼接,数据接边,数据合并,接边后的数据可以通过数据合并来构成一个整体。数据合并有多种方法，如Append、Merge、Load等。,位于工具箱“DataManagementTools-General”下，Append可以将多个图层的数据合并到一个已存在的目标图层中。属性传递有两种模式：TEST和NO_TEST，其中TEST模式要求原始和目标图层的属性结构一致，不一致将会报错；NO_TEST模式不要求二者的属性结构一致，它以目标图层的属性结构为准，原始图层中与之不一致的属性字段将会丢失，若想保留原始图层中的所有字段，在执行该工具前要对目标图层的属性结构进行处理，使其包含原始图层的属性，还可以在FieldMap中通过字段映射建立原始与目标图层中的属性对应关系。推荐采用NO_TEST模式。,Append方法,Append方法,Merge工具位于工具箱“DataManagementTools-General”下，该工具也可以将多个图层合并为一个，与Append不同的是它将结果生成了一个新的要素类，而不是合并到已存在的要素类当中。,Merge方法,Merge方法,在ArcCatalog中可以直接通过Load方法将其他要素类的内容合并到当前要素类中。选中要与其他要素类进行合并的要素类，右键单击Load-LoadData菜单命令，在弹出的对话框中选择需要进行合并的要素类。,Load方法,数据组织重构包括两方面的内容，数据分层命名和属性结构规整。数据分层命名分为两种情况，一种是经过数据整合后的数据层与要求的数据层一一对应，可直接按照命名规范进行修改；另一种是数据整合后的数据层与要求的数据层并不一一对应，需要针对不同情况做相应处理。属性结构规整分为三步，首先按照规范的属性字段及类型长度给由以上步骤所生成的数据层添加属性项；其次是按照属性值对应关系将旧的属性值赋到新属性字段中；最后删除旧属性项。,数据组织重构,数据组织重构,属性连接,OneMap地图制图模板中提供了分类代码转换工具，转换时需要建立分类代码转换表，建立GB/T13923-1992分类代码与GB/T13923-2006分类代码的对应关系，执行工具完成转换，该工具的使用详见分类代码转换、Label换行和符号处理工具说明。,分类代码转换,兴趣点（POI）数据的用途大体上分为两类：一类作为底图供用户浏览，一类作为业务数据供查询、统计分析等使用。作为底图的兴趣点数据又包含两种情况：一是单纯作为底图，如天地图；二是提供底图上的兴趣点动态识别功能，如百度、搜狗地图等。,兴趣点数据处理,目前在ArcGIS中有三种点抽稀的方法：Maplex自动点抽稀Subset点抽稀SubPoints点抽稀,ArcGIS中常用的点抽稀方法,Maplex是ArcGIS的高级智能标注引擎，利用Maplex的牵引线标注，将Symbol作为label显示，从而使点符号与文字标注绑定在一起，通过调整阙值自动进行标注间避让，计算出地图上所有标注的最佳放置位置，达到点抽稀的目的。Maplex点抽稀方法的优点是自动化、方便快捷，只需对图层标注样式进行设置就可以自动完成点抽稀。缺点是作牵引线标注后点符号的中心与实际点位存在半个符号的偏差。如果POI单纯用于底图浏览，并且对数据精度没有特别高的要求可以采用这种方式。,Maplex自动点抽稀,如果POI单纯用于底图浏览，并且对数据精度没有特别高的要求可以采用这种方式。,SubsetFeatures工具是ArcGIS地统计分析模块的一个工具，该工具可将数据按照百分比进行抽稀，生成两个结果数据集，一个是抽稀后保留的数据，另一个是互补的那一部分数据。,Subset点抽稀,用Subset工具执行效率较高，但该方法保持了原图的疏密程度，并不能使数据均匀分布，原有数据密度高的地方抽稀后还是较密，因此单纯利用该工具难以实现底图上的抽稀效果。,SubPoints工具是Esri中国自主开发的一个插件，该工具优先考虑点在空间分布上的均匀合理性，并结合点数据中包含的“优先级”属性进行筛选。,SubPoints点抽稀,对于大数据量POI，为了兼顾图面效果、数据精确性以及执行效率，我们可以采用Subset与SubPoints相结合的方法。首先通过Subset方法进行空间上的抽稀以减少数据量，再利用SubPoints方法进行抽稀以达到较好的制图效果,动态投影,定义坐标系统（DefineProjection）投影变换（Project）创建自定义地理变换（CreateCustomGeographicTransformation）,投影变换,定义坐标系统,投影变换,创建自定义地理变换,数据质检,数据是GIS的基础和源头，甚至某种程度上决定了GIS的成败，这使得对GIS数据进行质量控制显得尤为重要和关键。在电子地图的制作和展示方面，数据质量直接影响着地图的渲染效率和制图效果，因此在数据处理的整个过程中都要进行质量控制。,质检的重要性,几何检查与修复,ArcGIS在数据管理工具箱中提供了对要素类中每个要素的几何问题进行自动检查与修复的相关工具，能发现的几何问题包括：短线段、空几何、不正确的环走向、不正确的线段方向、自相交、重复节点、非闭合环、空的部分、不匹配的属性、不连续的部分、空的Z值。有效的输入格式包括shapefile以及存储在个人地理数据库或文件地理数据库中的要素类。,逻辑关系检查,重复数据处理,DeleteIdentical方法,PointDistance找重叠点,拓扑检查,在ArcGIS中除了可通过Geodatabase属性域、子类型的设置有效保证属性字段质量外，还可通过对属性表的相关操作处理，完成对属性字段和内容的相关检查处理。,属性检查,构建路网数据,1、国家标准2、高德数据,路网数据要求,路网数据分级,路网分析服务,影像底图生产,影像服务的两种方式：各有优劣：ImageservicecacheSavetimeonoverviewgeneration,fastingeneratingcachetilesOneserviceservebothdynamicandcachedserviceMapservicecacheCancombinecachewithfeaturelayerformetadataBuildingoverviewsformosaicdatasettakesadditionaltime,ArcGIS+ENVI影像底图生产,ArcGIS的切片生产,基于ENVI的解决方案：,方案一：ArcGIS+ENVI,1,镶嵌,方案一：实际生产案例,脱分辨率,定义投影,方案一：实际生产案例,2,重采样：脱分辨率处理的本质就是对影像进行重采样，获取不同空间分辨率的底图，从而可以满足不同级别的瓦片需求。而脱分辨率处理同样有可能会导致坏点的出现，ENVI提供了三种重采样方法：最近邻域法、双线性内插法、三次卷积。在处理中，建议选择最近邻域法，能最大程度避免坏点的重新出现。并且可以定制批处理工具，从而提高生产效率，减少人工投入量。,方案一：实际生产案例,3,重投影：由于不同地区、不同单位都有自身的投影标准，在底图生产中，需要对航片数据进行重投影操作。如下图所示为ENVI5.0提供的重投影工具，但是在处理结果中有可能出现Nodata（ArcGIS中）的情况。为了避免这种情况的发生，我们可以利用ENVI提供的API进行重投影工具的定制与开发，并且可以实现批处理操作。,方案一：实际生产案例,4,坐标偏移：在地方坐标系中，可能与标准坐标系存在偏差。比如需要对整个影像向某个方向平移一段距离。这项处理使用ENVI可以快速完成，用户只需要手动修改ENVI栅格数据的hdr头文件中的坐标信息即可。,方案一：实际生产案例,5,发布服务并切图：将通过ENVI前面五步处理好的影像添加到mxd中，选择对应schema，启动切图,方案一：实际生产案例,6,方案二：ENVI+ArcGISMosaicDataset,创建MD，指定坐标系，会进行投影变换。加入镶嵌数据集的影像将会最终被实时投影为目标影像,方案二：实际生产案例,1,数据脱密：使用地理配准工具条【更新地理配准】,方案二：实际生产案例,2,去除黑边：1、设置无效值，MosaicDataset右键ModifyDefineNoData；2、计算Footprint或者导入Boundary，MosaicDataset右键ModifyBuildFootprints最小数据值和最大数据值，定义了影像数据集的有效像素值。近似拟点数，追踪轮廓线的点数，点数越多和边界叠合的越好。收缩距离，轮廓线向内收缩的距离，帮助你更好的去除边缘无效区域。,方案二：实际生产案例,3,去除空洞：使用Streach函数。,方案二：