ArcGIS数据处理

1、ArcGIS数据处理Esri（中国）信息技术有限公司 张凤总体流程前期数据处理指确定数据来源、进行数据格式转换并进行数据整合，最终形成成果数据以供电子地图使用；电子地图配图指导入成果数据套合 OneMap 地图制图模板从而完成电子地图制作的过程；地图服务发布指将制作好的电子地图发布为服务以供第三方调用，并进行地图缓存制作的过程。电子地图制作与发布流程前期数 据处理 电子地 图配图 地图服 务发布 电子地图数据处理流程电子地图数据处理主要包括数据获取、数据格式转换、数据整合、数据组织重构、分类代码转换、兴趣点数据处理、坐标投影变换、质量检查等步骤。数据处理 数学基础：坐标系统为2000国家大地坐

2、标系，坐标单位为度 存储与交换格式：生产过程中可采用通用的可交换格式存储（如Esri shapefile 格式），建库后采用所使用数据库的格式 数据分层及属性：参见400万-5万地理实体数据整合技术要求及本文附录中1:1万数据分层及属性说明； 存储单元：生产过程中的数据依据数据比例尺采用国家标准国家基本比例尺地形图分幅和编号（GB/T 13989-92）分幅存储，建库后统一拼接； 数据要求 几何精度：数据整合改造过程中应保证与源数据精度一致，不得损失、破坏或降低原始数据精度；成果数据相邻图幅的要素要严格接边，包括数据几何接边与属性接边。由于整合改造时所使用数据源不同而引起的相邻图幅无法接边的情

3、况，需要在项目技术总结中说明； 属性精度：保留原始数据属性信息。 数据要求 Esri 提供了一套完全符合国家地理信息公共服务平台规范的基于 ArcGIS File Geodatabase 的数据模型，在地图制图模板中也参照规范对坐标系统、数据分层及表达等进行了设置。 数据要求 矢量电子地图数据通常来源于测绘部门的基础地理信息数据，包括1:100万、1:25万、1:10万、1:5万、1:2.5万、1:1万、1:5000、1:2000、1:1000、1:500等不同比例尺，以及公共服务设施等专题地理信息。 确定数据来源后最关键的工作就是建立源数据与成果数据的分层对应关系及要素选取转换对照表。 数据

4、获取ArcGIS中常用的数据格式转换工具包括 转换工具集（Conversion Tools） 数据互操作扩展模块（Data Interoperability Tools） 数据转换支持包括OGC规范数据格式WFS、KML格式转换,多种栅格数据转换，CAD、Collada、Coverage、dBASE、Shapefile、Geodatabase格式导出等。 转换工具集 利用数据互操作（Data Interoperability）扩展模块可实现超过100种数据格式的直接读取，超过70种数据格式转出，以及自定义格式的转出。 数据互操作模块数据整合 源数据转为目标格式后，就可以按照分层对应关系及要素选

5、取转换对照表对数据进行整合处理了。 数据整合的过程较复杂，根据源数据与成果数据的关系数据整合处理可能涉及到数据提取、数据裁切、数据拼接等方法。数据提取是指将源数据图层中的部分要素通过属性筛选或空间过滤的方式提取到目标图层中，例如将道路图层中的高速公路、国省道提取出来。数据提取比较简单的方法是将图层加载到ArcMap中利用Selection菜单对要素进行选取：数据提取 数据裁切是指将源数据图层中指定区域内的数据导出到目标图层中，并且导出的数据内容与选取的多边形要素类严格契合数据裁切 数据拼接是指将空间相邻的数据拼接成为一个完整的目标数据。原始数据经数据提取、裁切等操作后形成若干中间结果，要对这些

6、中间结果进行拼接形成最终结果要素类。拼接的前提是矢量数据经过了严格的接边，下面首先来介绍数据接边操作。数据拼接数据接边数据合并接边后的数据可以通过数据合并来构成一个整体。数据合并有多种方法，如Append、Merge、Load等。位于工具箱“Data Management Tools-General”下，Append可以将多个图层的数据合并到一个已存在的目标图层中。属性传递有两种模式：TEST和NO_TEST，其中TEST模式要求原始和目标图层的属性结构一致，不一致将会报错；NO_TEST模式不要求二者的属性结构一致，它以目标图层的属性结构为准，原始图层中与之不一致的属性字段将会丢失，若想保留

7、原始图层中的所有字段，在执行该工具前要对目标图层的属性结构进行处理，使其包含原始图层的属性，还可以在Field Map中通过字段映射建立原始与目标图层中的属性对应关系。推荐采用NO_TEST模式。Append方法Append方法Merge工具位于工具箱“Data Management Tools-General”下，该工具也可以将多个图层合并为一个，与Append不同的是它将结果生成了一个新的要素类，而不是合并到已存在的要素类当中。Merge方法Merge方法 在ArcCatalog中可以直接通过Load方法将其他要素类的内容合并到当前要素类中。选中要与其他要素类进行合并的要素类，右键单击Lo

8、ad-Load Data菜单命令，在弹出的对话框中选择需要进行合并的要素类。Load方法数据组织重构包括两方面的内容，数据分层命名和属性结构规整。 数据分层命名分为两种情况，一种是经过数据整合后的数据层与要求的数据层一一对应，可直接按照命名规范进行修改；另一种是数据整合后的数据层与要求的数据层并不一一对应，需要针对不同情况做相应处理。 属性结构规整分为三步，首先按照规范的属性字段及类型长度给由以上步骤所生成的数据层添加属性项；其次是按照属性值对应关系将旧的属性值赋到新属性字段中；最后删除旧属性项。 数据组织重构数据组织重构属性连接 OneMap地图制图模板中提供了分类代码转换工具，转换时需要建

9、立分类代码转换表，建立GB/T 13923-1992分类代码与 GB/T 13923-2006分类代码的对应关系，执行工具完成转换，该工具的使用详见分类代码转换、Label换行和符号处理工具说明。分类代码转换 兴趣点（POI）数据的用途大体上分为两类：一类作为底图供用户浏览，一类作为业务数据供查询、统计分析等使用。作为底图的兴趣点数据又包含两种情况：一是单纯作为底图，如天地图；二是提供底图上的兴趣点动态识别功能，如百度、搜狗地图等。兴趣点数据处理目前在ArcGIS中有三种点抽稀的方法： Maplex自动点抽稀 Subset点抽稀 Sub Points点抽稀ArcGIS中常用的点抽稀方法Mapl

10、ex是ArcGIS的高级智能标注引擎，利用Maplex的牵引线标注，将Symbol作为label显示，从而使点符号与文字标注绑定在一起，通过调整阙值自动进行标注间避让，计算出地图上所有标注的最佳放置位置，达到点抽稀的目的。Maplex点抽稀方法的优点是自动化、方便快捷，只需对图层标注样式进行设置就可以自动完成点抽稀。缺点是作牵引线标注后点符号的中心与实际点位存在半个符号的偏差。如果POI单纯用于底图浏览，并且对数据精度没有特别高的要求可以采用这种方式。Maplex自动点抽稀如果POI单纯用于底图浏览，并且对数据精度没有特别高的要求可以采用这种方式。Subset Features工具是ArcGI

11、S地统计分析模块的一个工具，该工具可将数据按照百分比进行抽稀，生成两个结果数据集，一个是抽稀后保留的数据，另一个是互补的那一部分数据。Subset点抽稀用Subset工具执行效率较高，但该方法保持了原图的疏密程度，并不能使数据均匀分布，原有数据密度高的地方抽稀后还是较密，因此单纯利用该工具难以实现底图上的抽稀效果。Sub Points工具是Esri中国自主开发的一个插件，该工具优先考虑点在空间分布上的均匀合理性，并结合点数据中包含的“优先级”属性进行筛选。Sub Points点抽稀对于大数据量POI，为了兼顾图面效果、数据精确性以及执行效率，我们可以采用Subset与Sub Points相结合

12、的方法。首先通过Subset方法进行空间上的抽稀以减少数据量，再利用Sub Points方法进行抽稀以达到较好的制图效果动态投影l 定义坐标系统（Define Projection）l 投影变换（Project）l 创建自定义地理变换（Create Custom Geographic Transformation）投影变换定义坐标系统投影变换创建自定义地理变换数据质检l 数据是GIS的基础和源头，甚至某种程度上决定了GIS的成败，这使得对GIS数据进行质量控制显得尤为重要和关键。l 在电子地图的制作和展示方面，数据质量直接影响着地图的渲染效率和制图效果，因此在数据处理的整个过程中都要进行质量控

13、制。质检的重要性几何检查与修复ArcGIS在数据管理工具箱中提供了对要素类中每个要素的几何问题进行自动检查与修复的相关工具，能发现的几何问题包括：短线段、空几何、不正确的环走向、不正确的线段方向、自相交、重复节点、非闭合环、空的部分、不匹配的属性、不连续的部分、空的 Z 值。有效的输入格式包括 shapefile 以及存储在个人地理数据库或文件地理数据库中的要素类。逻辑关系检查重复数据处理Delete Identical方法 Point Distance找重叠点拓扑检查 在ArcGIS中除了可通过Geodatabase属性域、子类型的设置有效保证属性字段质量外，还可通过对属性表的相关操作处理，

14、完成对属性字段和内容的相关检查处理。属性检查构建路网数据1、国家标准2、高德数据路网数据要求路网数据分级路网分析服务影像底图生产影像服务的两种方式：各有优劣：Image service cacheSave time on overview generation, fast in generating cache tilesOne service serve both dynamic and cached serviceMap service cacheCan combine cache with feature layer for metadataBuilding overviews for

15、mosaic dataset takes additional timeArcGIS+ENVI影像底图生产ArcGIS的切片生产基于ENVI的解决方案：方案一：ArcGIS+ENVI1 镶嵌方案一：实际生产案例系统Windows 7 64位位内存内存16GB航片景数：航片景数：1675景景空间分辨率：空间分辨率：0.25米米数据总量：数据总量：200GB镶嵌所用时间：镶嵌所用时间：4小时小时定义投影方案一：实际生产案例2重采样：脱分辨率处理的本质就是对影像进行重采样，获取不同空间分辨率的底图，从而可以满足不同级别的瓦片需求。而脱分辨率处理同样有可能会导致坏点的出现，ENVI提供了三种重采样方法

16、：最近邻域法、双线性内插法、三次卷积。在处理中，建议选择最近邻域法，能最大程度避免坏点的重新出现。并且可以定制批处理工具，从而提高生产效率，减少人工投入量。方案一：实际生产案例3重投影：由于不同地区、不同单位都有自身的投影标准，在底图生产中，需要对航片数据进行重投影操作。如下图所示为ENVI 5.0提供的重投影工具，但是在处理结果中有可能出现Nodata（ArcGIS中）的情况。为了避免这种情况的发生，我们可以利用ENVI提供的API进行重投影工具的定制与开发，并且可以实现批处理操作。方案一：实际生产案例4坐标偏移：在地方坐标系中，可能与标准坐标系存在偏差。比如需要对整个影像向某个方向平移一段

17、距离。这项处理使用ENVI可以快速完成，用户只需要手动修改ENVI栅格数据的hdr头文件中的坐标信息即可。方案一：实际生产案例5发布服务并切图：将通过ENVI前面五步处理好的影像添加到mxd中，选择对应schema，启动切图方案一：实际生产案例6大数据镶嵌预处理数据脱密投影变换去除黑边去除空洞创建概视发布服务调整参数生成切片方案二：ENVI+ArcGIS Mosaic Dataset创建MD，指定坐标系，会进行投影变换。加入镶嵌数据集的影像将会最终被实时投影为目标影像方案二：实际生产案例1数据脱密：使用地理配准工具条【更新地理配准】方案二：实际生产案例2去除黑边：1、设置无效值，MosaicD

18、ataset右键ModifyDefine NoData；2、计算Footprint或者导入Boundary，MosaicDataset右键ModifyBuildFootprints 最小数据值和最大数据值，定义了影像数据集的有效像素值。 近似拟点数，追踪轮廓线的点数，点数越多和边界叠合的越好。 收缩距离，轮廓线向内收缩的距离，帮助你更好的去除边缘无效区域。 方案二：实际生产案例3去除空洞：使用Streach函数。方案二：实际生产案例4创建Overview：相当于单景影像的金字塔.使用10.1及以上版本的影像服务切图，则可以省略Overview构建的步骤方案二：实际生产案例5发布服务并切图：将通过Mosaic前面五步处理好的影像添加到mxd中，选择对应schem