2021智慧城市时空大数据与云平台技术方案

智慧城市时空大数据与智慧云平台解决方案表3-4所示。集群中各服务之间存在依赖或者关联的关系：A依赖于B表示，若集群中部署A服务，需要提前或同时部署B服务。A与B可以不部署在相同的节点上。A与B关联表示，若集群中部署A服务，需要同时部署B服务。A与B需要部署在相同的节点上。安装集群时只能安装一对NameNode和Zkfc，当HDFS服务设置HDFSFederation需要部署多对Namenode和Zkfc时，需要在集群安装完成后手动添加其余部分。服务名称角色名称内存最小要求依赖关系角色业务部署原则OMSServerOMSServer10GB-分别部署在2个管理节点上，主备配置。LdapServerSlapdServer1GB-LdapServer与KrbServer部署在相同的节点上。OMS的OLdap服务：LS分别部署在2个管理节点上，主备配置。LdapServer服务：LS分别部署在2个控制节点上，2个实例均为OLdap服务的备用实例。KrbServerKerberosServer3MBKrbServer依赖于LdapServerKerberosServer与KerberosAdmin关联分别部署在2个控制节点上，负荷分担，与KerberosAdmin部署在相同的节点上。KerberosAdmin2MB分别部署在2个控制节点上，负荷分担，与KerberosServer部署在相同的节点上。ZooKeeperQP（quorumpeer）1GB-每个集群内配置3个在控制节点上。如需扩展，请保持数量为奇数个，最多支持9个实例。HDFSNN（NameNode）4GBNameNode与Zkfc关联依赖于ZooKeeper分别部署在2个控制节点上，主备配置。Zkfc（ZooKeeperFailoverController）1GB分别部署在2个控制节点上，主备配置。JN(JournalNode)4GB至少部署3个在控制节点上，每个节点保留一份备份数据。如需保留超过三份以上备份，可部署多个在控制或数据节点上，请保持数量为奇数个。DN（DataNode）4GB至少部署3个，建议部署在数据节点上。HttpFS128MB可部署0～n个，与DataNode部署在相同的节点上。YarnRM（ResourceManager）2GB依赖于HDFS和ZooKeeper分别部署在2个控制节点上，主备配置。NM（NodeManager）2GB部署在数据节点上，与HDFS的DataNode保持一致。MapreduceJHS（JobHistoryServer）2GB依赖于Yarn、HDFS和ZooKeeper1个集群内只能部署1个在控制节点上。DBServiceDBServer512MB-分别部署在2个控制节点上，主备配置。HueHue1GB依赖于DBservice说明Federation场景下，Hue组件可连接HttpFS进行接口转换。此时Hue还依赖于HDFS的HttpFS角色。分别部署在2个控制节点上，主备配置。LoaderLS(LoaderServer)2GB依赖于Mapreduce、Yarn、DBService、HDFS和ZooKeeper分别部署在2个控制节点上，主备配置。SparkSR（SparkResource）-依赖于Yarn、Hive、HDFS、Mapreduce、ZooKeeper和DBService无实体进程，不消耗内存。分别部署在2个控制节点上，非主备。JH（JobHistory）2GB分别部署在2个控制节点上，非主备。JS（JDBCServer）2GB至少部署在2个控制节点上。可部署在多个控制节点上，负荷分担。HiveHS（HiveServer）4GB依赖于DBService、Mapreduce、HDFS、Yarn和ZooKeeper至少部署2个在控制节点上。可部署多个在控制节点上，负荷分担。MS（MetaStore）2GB至少部署2个在控制节点上。可部署多个在控制节点上，负荷分担。WebHCat2GB至少部署1个在控制节点上。可部署多个在控制节点上，负荷分担。HBaseHM（HMaster）1GB依赖于HDFS、ZooKeeper和Yarn分别部署在2个控制节点上，主备配置。RS（RegionServer）6GB部署在数据节点上，与HDFS的DataNode保持一致。TS（ThriftServer）1GB每个集群部署3个在控制节点上。若ThriftServer访问HBase延时不能满足用户需求的时候，可以部署多个在控制或者数据节点上。FTP-ServerFTP-Server1GB依赖于HDFS和ZooKeeper每个实例默认提供16个并发通道，当所需并发数更大时，可部署多个实例。不建议部署在控制节点和DataNode所在节点，当部署到DataNode节点时，可能存在数据不均衡的风险。FlumeFlume1GB依赖于HDFS和ZooKeeper建议单独部署，不建议Flume和DataNode部署在同一节点，否则会存在数据不均衡的风险。MonitorServer128MB分别部署在2个控制节点上，非主备。KafkaBroker1GB依赖于ZooKeeper至少部署2个在数据节点上。若每天产生的数据量超过2TB，建议部署多个在数据节点上。MetadataMetadata512MB依赖于DBService1个集群内只能部署1个在控制节点上。Oozieoozie1GB依赖于DBService、Yarn、HDFS和Mapreduce分别部署在2个控制节点上，非主备。。SolrSolrServerN(N=1～5)2GB依赖于ZooKeeper说明Solr数据选择保存在HDFS上时，还依赖于HDFS。若选择Solr索引数据保存在HDFS上，建议每个节点只部署一个SolrServer实例（包含SolrServerAdmin）。每个节点可以配置5个实例。建议配置3个以上节点，每个节点上的实例个数均匀分布。Solr数据优先选择保存到HDFS，每个节点部署三个Solr实例。单节点实时索引速度2MB/s以上的，建议部署到本地磁盘，每个节点Solr实例部署5个，每个Solr实例单独挂载磁盘。存储HDFS相比本地磁盘性能下降30%～50%。SolrServerAdmin2GB分别部署在2个数据节点上，非主备。HBaseIndexer512MB依赖于HBase、HDFS和ZooKeeper说明一般不需要部署，除非需要使用hbase-indexer功能。建议每个SolrServer实例所在节点均部署一个。SmallFSFGCServer6GB依赖于Mapreduce、Yarn、HDFS和ZooKeeper分别部署在2个控制节点上，主备配置。StormLogviewer1GB-根据Supervisor的部署情况进行规划，每个部署Supervisor的节点也需要部署Logviewer。Nimbus1GB依赖ZooKeeper分别部署在两台控制节点上，主备配置，和UI是联动关系。UI1GB依赖ZooKeeper分别部署在两台控制节点上，和Nimbus是联动关系（部署Nimbus节点肯定会有UI）。Supervisor1GB-至少部署在一台数据节点上，如需提供大量计算能力，可部署多个，建议部署在独立节点上。主要负责管理工作进程（Worker），工作进程数量、内存可配置，对资源占用较大。说明Supervisor部署数目可根据如下公式进行计算，其中拓扑数和每个拓扑要求的Worker数为客户自行规划项，Supervisor配置的Worker数默认为4。需要的Supervisor数=拓扑数×每个拓扑要求的Worker数/Supervisor配置的Worker数RedisRedis_1、Redis_2、Redis_3……Redis_321GB依赖DBService单master模式Redis至少部署在一台数据节点上，如需部署Redis集群，则至少要部署到三台数据节点上。配置计算服务器配置CPU对于计算密集型的业务，建议使用推荐配置(双路8核及以上)X86处理器对于存储密集型的业务，大于最低配置(双路4核)X86处理器即可内存建议内存配置≥64GB，对于计算密集型的业务，内存配置可以更大，比如192G或更大。磁盘对于高并发低时延相关的业务，建议使用SAS盘，单盘容量可以根据实际业务需求确定。对于海量存储相关的业务，建议使用SATA盘，单盘容量可以根据实际业务需求确定。网络建议配置Bond(主备或负荷分担)，选择GE还是10GE需要根据实际业务情况确定。通常建议业务平面配置10GE口，管理平面配置GE口。服务器从硬盘空间来考虑，集群数据节点数：=ROUNDUP(集群总数据量_TB*HDFS副本数量*应用层数据压缩率/(单硬盘大小_TB*单节点硬盘数量*硬盘利用率),0)管理节点和控制节点服务器需要根据集群规模来考虑，方法如下(MN：管理节点，CN：控制节点，DN：数据节点)：数据节点数管理控制硬件规格建议说明[3,30)21CPU2路8核主频2.2GHz(支持超线程)64G-128GB内存SAS/SATA1.控制节点与管理节点合布2.数据节点独立部署[[30~100)23CPU2路8核主频2.4GHz(支持超线程)128G-256GB内存SAS盘管理节点、控制节点、数据节点独立部署[100~500)25CPU2路8核主频2.6GHz(支持超线程)256-512GB内存SAS盘/SSD盘超过100节点必须使用600G以上的硬盘1.管理节点、控制节点、数据节点独立部署2.ZooKeeper/JournalNode占5节点，3.Hue/Oozie/MonitorServer/Nimbus/NameNode/JouralNode合布2节点，其中NameNode可以扩展成多对，同时在剩余的节点中部署一个JouralNode4.ResourceManager/HMaster/LDAP/Krb/DBservice/MetaStore等基础服务占2节点5.Spark/Hive/Hue/Loader/Jobhistory等与用户交互的相关实例独立占2节点，可根据负载扩展成多个[500~2000)29CPU2路8核，主频3.0GHz(支持超线程)256-512GB内存（500-1500节点）SSD/SAS（1500-2000节点）SSD1.管理节点、控制节点、数据节点独立部署2.Hue/Oozie/MonitorServer/Nimbus/NameNode/JouralNode合布2节点，其中NameNode可以扩展成多对，同时在剩余的节点中部署一个JouralNode3.LdapServer和KrbServer合部占两个节点4.剩余5个节点上部署5个ZK，HiveServer、JDBCServer、MetaStore合部到其中3个节点上，同时在这3个节点中两个节点上部署DBService。ResourceManager、Loader、MetadataServer、JobHistory（MR）部署到剩下的两个节点上。5.Nimbus/Hue/Oozie部署在两个节点上[2000~5000]211CPU2路10核3.0GHz，或2路8核3.2GHz(支持超线程)256-512GB内存SSD盘1.管理节点、控制节点、数据节点独立部署2.Hue/Oozie/MonitorServer/NameNode/JouralNode合布2节点，其中NameNode可以扩展成多对，同时在剩余的节点中部署一个JouralNode3.LdapServer/KrbServer/Nimbus合部占两个节点4.剩余5个节点上部署5个ZK，HiveServer、JDBCServer、MetaStore合部到其中3个节点上，同时在这3个节点中两个节点上部署DBService。ResourceManager、Loader、MetadataServer、JobHistory（MR）部署到剩下的两个节点上。以上配置不含HDFS联邦部署时多对NameNode的硬件。如需部署多对NameNode，每对NameNode需单独规划两台独立控制节点。例如某项目推荐规格如下：类别推荐配置单硬盘大小（TB）4单节点硬盘数量12HDFS副本数量3硬盘利用率70%应用层数据压缩率40%集群总数据量（TB）100那么集群数据节点数＝ROUNDUP(100*3*40％/(4*12*70％),0)＝4应用层数据压缩比率，如Hive文件存储采用SequenceFile和Snappy压缩时，平均相比原始文本数据的压缩比为40%。管理节点数量可以根据集群规模来计算。如果采取合部的方式，则管理节点一共需要24块硬盘(RAID1)。对于上面的示例，管理服务器数量为24/服务器硬盘数＝2台。如果采用单独部署的方式，则管理节点服务器为3台。带宽配置节点带宽配置各节点的业务平面带宽建议配置2*10GE管理平面的数据节点和控制节点建议带宽为2*GE，管理节点建议采用10GE*2。接入-汇聚带宽配置建议汇聚带宽=m（数据节点数）*n（每节点业务网卡端口数）*k（网卡端口带宽）*i（节点带宽占用率）/h（收敛比）Gbps接入交换机堆叠带宽配置见\o""接入-汇聚带宽规划描述。软件配置按照节点数量配置FusionInsight的软件License。配置样例下面以金融行业历史明细数据查询为例进行配置计算，运营商的配置与此类似，只是交换机需要选择运营商的交换机型号。背景假设：客户未来2年一共需要保存100T左右的数据，提供在线历史数据查询服务和离线的数据查询服务，在线查询通常要求在1分钟内返回查询结果，离线查询可以在2小时内返回查询结果。客户仅采购FusionInsightHD软件。服务器配置计算：由于用户提供在线服务，且对响应时间要求较高，因此建议配置较高的CPU和内存。根据上述配置方法，建议使用推荐配置(双路8核及以上)X86处理器(假设配置为双E5-2690V2CPU)和128G的内存。硬盘建议配置SAS盘，网络配置10GE口。按照服务器配置14块硬盘(其中2个硬盘做RAID1后安装OS，剩余12块硬盘)，每个硬盘1T，压缩比为40%计算，需要数据节点服务器个数为=ROUNDUP((100*3*40%)/(1*12*70%),0)=15台，采取管理控制节点合部的方式(需要24块硬盘)，需要再增加一台控制服务器（两台管理节点不计算License使用量），这样总共需要16台服务器。按照每个机架最多放置12台服务器计算，需要2个机架，因此均匀放置时每个机架放置9台服务器。假设业务模型接入汇聚带宽收敛比为2:1，节点带宽占用率为40%，则汇聚带宽=9*2*10*40%/2=36Gbps。根据\o""接入交换机堆叠带宽规划的两种异常场景计算，当一个接入交换机上行链路全部故障时，要求接入交换机堆叠带宽配置为20GE（四舍五入）。每个服务器业务平面需要2个10GE口，每个机架一共是9*2个10GE口，机架间堆叠需要2个10GE口，上行到汇聚交换机需要4个10GE口，因此每个机架一共需要使用18+2+4=24个10GE口，需要配置1台S6700-24-EI交换机。2个机架，每个机架向上汇聚需要4个10GE口,一共需要8个10GE口，则需要配置1台S6700-48-EI交换机，如果客户已经有汇聚交换机，则提供8个10GE口即可。管理平面计算同上，每台服务器需要2个GE口，由于流量较小，机架间堆叠和上行口各需要一个GE口即可，因此每个机架需要18+1+1=20个GE口，配置1台S5700-28交换机即可。按照节点数量配置软件License数量最终配置：设备类型建议配置标准机架2服务器16台，CPU：2*E5-2690V2；内存：128G；网口：2*10GE+2*GE；硬盘：2*300GSAS+12*1TNL-SAS接入交换机2台S6700-24-EI（业务平面）2台S5700-28-C-EI（管理平面）汇聚交换机1台S6700-48-EI（根据客户需要配置）大数据软件17个FusionInsightHD软件License，版本根据客户需要确定配置清单【示例】一般和一线产品经理讨论得出。序号部件编码型号描述数量1RH2288HV31.1基本配置02310YJVBC4M02HGSARH2288HV3(12硬盘EXP机箱)H22H-03102311EUUBC1M01FXEB02板载网卡-2X10GE光口(82599)-SFP+-2X多模模块(850nm,0.3km,LC)102310YKPBC1M03FANA8056PlusFanmodule402311DUPBC1M10IHDD2*2.5"后置硬盘背板组件102310QWXEN3MCACC750W白金交流电源模块21.2HaswellEPCPU02311CDHBC1M13CPUX86series-2600MHz-1.8V-64bit-105000mW-HaswellEPXeonE5-2660v3-10Core-withheatsink21.3DDR4内存06200176N00DDR401通用内存-DDR4RDIMM-16GB-288pin-0.9ns-2133000KHz-1.2V-ECC-2Rank(1G*4bit)-服务器专用81.4硬盘(带拉手条)02311AYMN2000NS7W3通用硬盘-2000GB-NLSAS6.0Gb/s-7200rpm-3.5inch-64MB-热插拔-内置式-3.5英寸拉手条602311HAPN600S1210W2通用硬盘-600GB-SAS12Gb/s-10000rpm-2.5inch-128MB及以上-热插拔-内置式-2.5寸拉手条21.5RAID卡及配件02310YLWBC1M01ESMNSR130(LSI3008)-SAS/SATARAIDCard-RAID0,1,10,1E,+630mmMiniSASHD模块(12_28盘规格)11.6PCIe卡03022TSCCN21ITGB以太网卡-1Gb电口(IntelI350)-双端口-RJ45-PCIe2.0x411.7线缆和配套设备21240434EGUIDER012U静态滑轨套件1No.PartNumberModelDescriptionQty.1RH2288HV31.1BaseConfiguration02310YJVBC4M02HGSARH2288HV3(12HDDEXPChassis)H22H-03102311EUUBC1M01FXEB02OnboardNetworkcard,2X10GEPort(82599),SFP+-2XMulti-modeModule(850nm,0.3km,LC)102310YKPBC1M03FANA8056PlusFanmodule402311DUPBC1M10IHDD2*2.5"RearHardDiskBackplaneModule102310QWXEN3MCACC750WPlatinumACPowerModule21.2HaswellEPCPU02311CDHBC1M13CPUX86series,2600MHz,1.8V,64bit,105000mW,HaswellEPXeonE5-2660v3,10Core,withheatsink21.3DDR4Memory06200176N00DDR401MemoryModule,DDR4RDIMM,16GB,288pin,0.9ns,2133000KHz,1.2V,ECC,2Rank(1G*4bit),ServerDedicated81.4HardDisk(includeFrontPanel)02311AYMN2000NS7W3HardDisk,2000GB,NLSAS6.0Gb/s,7200rpm,3.5inch,64MB,Hot-swap,Built-in,FrontPanel602311HAPN600S1210W2HardDisk,600GB,SAS12Gb/s,10000rpm,2.5inch,128MBorabove,Hot_plug,Built-in,2.5inchFrontPanel21.5RAIDCardandOtherAccessories02310YLWBC1M01ESMNSR130(LSI3008)-SAS/SATARAIDCard-RAID0,1,10,1E,+630mmMiniSASHDCableMoudle11.6PCIeCard03022TSCCN21ITGBEthernetAdapter,1GbElectricalInterface(IntelI350),2-Port,RJ45,PCIe2.0x411.7CablesandOptionalEquipments21240434EGUIDER012UStaticRailKit1集群组网方案集群划分原则集群划分参考对集群划分的建议规则1）隔离实时和非实时工作负载：对实时性要求比较高的负载采用独立集群，同时支持多时区。2）根据业务对硬件资源的根本性差异（含CPU/内存/磁盘/网络），建议按照SLA等级，将不同业务拆分部署。如MR通常是磁盘密集型应用，Spark通常是CPU/内存密集型应用,冷数据归档一般需要高密存储。3）根据客户的业务管理需要（如安全/备份策略要求，业务数据源归属，故障隔离要求等），可进一步切分，如分割数据平台和应用集群。组网方案组网原则：节点数小于200的集群，可采用二层组网，网络配置简单；大于200的集群采用三层组网，便于线性扩展。采用双平面隔离组网，集群中每个节点分别接入业务平面和管理平面。组网隔离时，双平面可以采用各自独立的端口配置，也可以采用VLAN的方式配置。建议采用独立端口配置。以二层组网为例，采用独立的端口配置组网参见下图：双平面组网时，每个节点有两个IP地址，分别用于业务和管理，两个IP地址所在的网段之间不互通。业务平面用于组件之间的业务通信（例如HBase的HMaster和RegionServer的通信、HBase的RegionServer之间的通信）；管理平面用于FusionInsightManager管理集群（例如，各个节点监控指标的上报、健康状态的检查）业务平面：业务平面采用210GE负荷分担Bond接入交换机两两堆叠，与服务器的Bond对接两端口配负荷分担Trunk。管理平面：管理平面采用2GE负荷分担Bond。接入交换机两两堆叠，与服务器的Bond对接两端口配负荷分担Trunk；数据服务层（DAAS）方案设计时空大数据采集建库矢量数据以《基础地理信息要素分类与代码》（GB/T13923-2006）、《基础地理信息标准数据基本规定》（GB21139-2007）、《基础地理信息数据库基本规定》（CH/T9005-2009）等相关标准要求，结合实际应用需求，制作XXXX城市核心区域75平方公里1:500矢量数据，构建时空矢量数据库。时空矢量数据建库主要包括数据采集、质量检查、数据提取、时空化处理、电子地图制作等步骤，主要流程如下图所示：图矢量数据建库流程（1）数据处理：采集回来的影像数据主要为GIS格式，可以直接导入GIS软件，按照统一的数据基础（坐标系等）、数据分类分层、命名、属性设置标准等，进行数据处理。（2）质量检查：按质量标准，对上述GIS数据进行质量检查，对不符合要求的数据进行返工，直至符合要求为止。（3）数据入库：对于检查合格的数据进行入库。数据入库需要依托GIS桌面软件及空间数据库引擎，将空间数据存储于数据库管理系统中，生成全要素的地形图数据，即数字线化地图（DLG），形成矢量数据库。（4）时空化处理：矢量框架数据的应用有两种，一种作为底图浏览，以地图切片的方式存在；另一种是加工形成各类地理专题数据，如建筑物专题、路网专题、水系专题等。针对电子地图应用，时空化处理只需对数据根据更新年代分块，每块分别标示时间属性并单独存储，结合数据采集更新年代，形成一个独立的数据库，如果某一块数有两次以上更新，便可形成历史数据；针对专题数据应用，时空化处理需要对数据按对象标示时间属性，具体时空处理与组织方式在数据库设计章节体现。（5）电子地图制作：基于时空化处理后的矢量数据，制作满足需求的矢量电子地图，具体流程如下：地图是数据资源对外显示的载体，数据更新后，需要对数据进行地图配图。地图配图，主要按照《地理信息公共服务平台电子地图数据规范》（CH/Z9011-2011）等标准和规范，基于现有的电子地图，鉴于数据显示效果，对其进行分级控制和配赋符号，主要表达境界、道路、铁路、水系、居民地、植被及注记等要素。主要处理流程如下：图电子地图制作与切片流程地图要素及内容选取：为了应对电子地图数据网络化服务所针对的不同用户群体，需要按照相关标准规范及保密要求，对地图要素进行选择，明确地图显示哪些要素类别；同时，不同比例尺显示的地图要素内容也不同，应按照标准规范要求，明确每一级比例尺显示的要素内容。数据分层：结合实际需要，在数据分类的基础上，进行细化，以满足平台应用的需要。数据显示设置：通过设置显示比例尺，使地图浏览与应用获得较好的应用效果。要素符号化：按照地图符号要求，将各类地图要素进行符号化处理；同时，需要对背景地图进行配色，使地图美观实用。图面整饰：对图面的整体检查，使图面看起来更美观，符号表达更合理，比如是否存在兴趣点符号压盖道路等问题，并进行处理。数据切片：将地图数据发布为不同比例尺的地图瓦片，以满足平台应用的需要。影像数据和高程以《基础地理信息要素分类与代码》（GB/T13923-2006）、《基础地理信息标准数据基本规定》（GB21139-2007）、《基础地理信息数据库基本规定》（CH/T9005-2009）等相关标准要求，结合实际应用需求，制作XXXX城市核心区域75平方公里1:500影像数据和高程，构建时空影像和高程数据库。计划基于无人机倾斜摄影测量系统采集XXXX城市75平方公里的0.1米分辨率的倾斜影像数据。并将已有的多年份多分辨率影像数据集导入时空信息大数据中心，建立75平方公里的1:500比例尺DOM、DEM。影像数据入库更新主要利用GIS桌面软件，经过数据校正、投影转换、数据拼接、数据融合、数据调色等处理及质量检查合格后，方可入库，主要流程如下图所示：图时空影像数据建库流程（1）原始影像数据采集：基于倾斜摄影系统，采集XXXX城市75平方公里的倾斜影像数据，影像分辨率为0.1米。（2）数据校正：根据控制点信息，对原始影像进行辐射校正和几何校正，并赋予数据真实的空间坐标。（3）投影转换：根据本项目要求的空间参考，对影像进行投影转换。（4）数据拼接：对相邻影像进行无缝拼接处理，保持地物连续一致性的基础上，去除重叠区多余影像，形成整景影像。（5）数据融合：通过SFIM变换、PCA变换、Brovey变换、PanSharping等融合方法融合多源遥感影像，以达到全色和多光谱数据优势互补，增强空间细节，减少颜色失真，形成对地面目标较完整的信息描述。（6）数据调色：对影像的色调进行调整，统一各景融合后的原始影像色调，还原地物真实色彩或根据不同应用对象的需求，达到预期的地物色彩。（7）质量检查：首先对获取的影像进行质量检查，如有无数据缺块、有无云遮盖等；在数据校正后，对校正后的影像进行精度评价（RMS误差小于1个像元），在满足要求的情况下才能进行下一步工作，否则需重新校正；影像拼接后，对接边的数据进行检查，以确保数据质量。（8）数据入库：在经过上述处理后，对质量合格的影像进行入库。由于影像数据量较大，在入库时考虑影像的压缩存储；同时，为提高访问速度，可建立影像金字塔。（9）时空化处理：影像数据库采用快照模式进行时空化处理，分库标示时间属性，具体在“数据库构建”章节描述。（10）DEM、DOM制作：基于时空化处理后的影像数据，制作满足需求的数字高程模型、数字正射影像，步骤同矢量电子地图制作。三维数据通过高精度IMU/GPS辅助航空摄影的技术，生产XXXX城市核心区域75平方公里范围内重点地域的精细三维模型、建设区104平方公里范围内道路精细化模型以及建成的职园区三维场景、三级区200平方公里的道路精细化模型，为构建智慧XXXX城市提供基础地理信息框架数据。三维维数据建库流程如下：图精细化三维模型建库流程（1）模型制作：制作XXXX城市三维模型数据，格式为通用的3DMAX格式；（2）模型处理：将模型进行整合、处理分析，形成整合后的三维数据；（3）时空化处理：针对整合后的三维数据，根据其对应的二维建筑物数据，进行关联编码，并逐对象赋予时间属性，如模型更新时间、模型所属建筑建设年代等，构建三维数据库。地名地址数据XXXX城市地名地址数据的建设是加快地名地址工作信息化建设的重要内容，地名地址数据的建设目标是以XXXX城市政府部门的需求为导向，以现有数据成果资料为数据基础，并以移动测量等先进技术与传统测绘作为手段，建立XXXX城市完整、统一的地名地址数据库，将地名地址资料标准化、科学化、可视化，为XXXX城市区各级政府和企业、公众用户提供完善、准确的、高效的地名地址数据服务，提高地名地址数据的利用效率和地名地址信息化服务水平。地名地址及建（构）筑物数据更新建库包括有数据处理、分析与提取、数据质检入库等操作。具体流程如下：图时空地名地址数据建库流程（1）地名地址数据采集：以移动测量等先进技术与传统测绘作为手段，采集XXXX城市75平方公里的地名地址数据，建立XXXX城市完整、统一的地名地址数据库。（2）数据处理：依托GIS桌面软件，按照统一的数据基础（坐标系等）、数据分类分层、命名、属性设置标准等，进行数据处理。（3）分析与提取：在多方汇聚的地名地址数据、地形图数据的地名和居民点数据、行政区划数据以及及建（构）筑物数据等现有地名地址及相关资源的基础上，对各类数据进行内业预处理分析，提取出相互匹配的地名地址数据；对不一致的数据必要时可以通过外业进行确认。（4）数据质检：包括过程质量检查和成果检查，在数据采集的过程中，进行数据质量控制和检查，根据相关规定数据采集的内在约束性；成果检查主要依据建库标准对数据进行入库前的检查，检查合格方可入库；（5）时空化处理与入库：地名地址及建（构）筑物的时空化处理应逐条标示地址的采集时间、地址启用时间、停用时间等，最终构建时空地名地址及建（构）筑物数据库。兴趣点数据现状的公共专题数据，通常源于部门间信息共享。目前XXXX城市有多个行业的公共专题数据，通过信息共享交换平台获取,包括人口、法人、宏观经济、兴趣点、国土、地质环境、林业、公安、交通、环保、卫生、旅游、体育、教育、农业、民政、城管、文广新、建委、银行、口岸通、产业园区、技术服务、科技合作等与应用相关的公共专题数据等。本期需要建设的专题数据包含兴趣点的采集和更新。XXXX城市兴趣点数据建设目标是以现有的数据资源为基础，以XXXX城市政府部门的具体需求和公众对地理信息的需求为导向，采集或者更新兴趣点数据，并建立成熟的兴趣点数据增量更新机制，满足政府和公众对当前地理信息服务的需求，大大提升地理信息服务水平。建立XXXX城市已开发或者在开发区域范围内（约75平方公里）与政务及公众服务相关的POI数据库，包含但不限于宾馆酒店、餐饮酒楼、公寓大厦、电信邮政、工商企业、购物指南、交通服务、金融保险、科研教育、文体休闲、医疗卫生、政府机构等内容。兴趣点数据建库流程如下：（1）原始数据获取：原始数据包括：以全景数据、导航矢量数据及其它现有数据源。（2）兴趣点数据外业采集从全景数据、导航矢量数据中的POI以及其他数据源提取符合要求的兴趣点数据。对于从全景数据、导航矢量数据及其它现有数据源无法获取的兴趣点数据，要采用传统测绘手段进行补充。（3）兴趣点数据内业整理POI名称属性录入处理POI门牌地址属性录入处理POI空间位置信息录入处理（4）质量检查检查数据的准确性和空间位置一致性，并对内业整理后的数据成果进行数据准确性、数据完整性、数据逻辑一致性等方面的质量检查。（5）兴趣点数据入库将质量检查合格后的兴趣点数据作为成果数据进行提交，并将数据成果以新版本存储到兴趣点数据库中。以后在对兴趣点数据库中的数据进行更新时，要同时保留历史版本的兴趣点数据。图兴趣点数据建库流程360°高清全景影像数据360°高清全景影像数据的建设目标是以XXXX城市政府部门的需求为导向，采集XXXX城市300公里的360°高清全景影像数据，并提供配套的处理软件，为XXXX城市政府部门提供完善的360°高清全景影像数据服务，并为其打造一个实景可视化的工作环境，大大提高各级政府部门的工作效率。图360°高清全景影像数据采集建库流程（1）360°高清全景影像数据采集：使用陆基移动道路测量系统在XXXX城市采集GPS/IMU、全景影像、激光点云数据、时间同步数据等原始数据；（2）集成定位定姿处理：使用陆基移动道路测量系统配备的组合定位定姿处理软件，对系统轨迹和姿态数据组合处理，输出带时间标签的高精度高频率位置姿态信息；（3）地理参考处理：使用陆基移动道路测量系统标配的直接地理参考处理软件，将全景影像、激光点云数据等数据通过时间同步数据与定位定姿结果进行关联，获取地理参考；（4）影像编辑：首先通过实景影像数据处理软件对360°高清全景影像数据进行匀光、调色、保密、模糊化等专业处理，再通过将同侧多帧连续影像进行无缝拼接处理，拼接方法可以采用计算机自动处理和人工交互的方式半自动进行；（5）质量检查：质检检查贯穿于数据生产的各个过程，包括数据采集、集成定位定姿处理、地理参考处理、影像编辑，每一过程都要遵循相应标准，合格后方可进入下一流程；（6）时空化处理及数据入库：360°高清全景影像数据按影像数据的方式，采取分库标示时间属性进行时空化处理。互联网电子地图数据制作XXXX城市75平方公里的互联网电子地图数据。该数据包括车载路网交通规则数据、POI数据、导引数据、背景数据。它是既可以通过浏览器、客户端进行查询浏览等使用，也可以装载在车载导航仪、PND、手机等嵌入式设备上，以及在互联网上使用的数据产品。该产品为各种移动端设备的地图显示、车辆定位、兴趣点查询、路线搜索、智能驾驶等功能提供基础数据支持，也可以在互联网、移动互联网上为大众用户提供基于地理位置的定位、行车路线查询、生活信息搜索、交友娱乐、广告服务、快递服务等增值服务的数据支持。一般城区内部参考比例尺为1:2000，城区外部参考比例尺为1:1万。城区内部道路优于5米，城区之间的等级公路的精度优于15米。图互联网电子地图数据建库流程历史地理信息数据根据XXXX城市的发展，建立连续的时间序列，描述地名、行政建制和其他基础地理要素随时间变化的地理信息数据，一些图层的数据是随着业务办理过程或外业测绘而动态更新的，例如，图斑变更和房产权属情况。记录历史地理信息最终目标是建立一套灵活的工具和数据，以便检索和查询XXXX城市基础历史地理信息。每一个随时间变化的独立地理要素记录拥有一个唯一的ID号，它可以用作相关数据库中的关联编码，也可以此连接相应的地理要素释文，按不同历史时期和不同数据集的方式，查寻、检索和显示用户数据。以现有矢量数据和影像数据的数学基础为依据，将历史的矢量、影像数据添加“三域”标识，并进行规范化处理，对矢量数据统一空间基准、统一时间基准、统一数据分层、统一地理编码、统一数据结构，对影像数据统一空间基准、统一时间基准、统一匀色，分别采用面向对象的时空数据模型和连续快照模型进行数据重组。本项目历史地理信息数据整理建库不改变原有专题数据结构，只对成果进行转换处理和时空化组织，具体流程如下：图历史地理信息数据库整理建库流程（1）数据获取：获取已有的历史地理信息数据成果，格式为GIS通用格式或其他相关的文档资料等；（2）数据处理：对获取的数据进行分类整理、坐标转换、一致性检查等操作，建立历史地理信息数据库；（3）时空化处理：分图层标示数据的更新时间，构建历史地理信息数据库。远景规划地理信息数据远景地理信息是指在城市扩展到稳定阶段时对城市总体发展做出的与空间位置相关的设计与安排，如：土地使用政策、交通管理政策。将这些地理信息数据整理集中在一起，可以更方便的对远景规划数据进行方便的管理，并且将规划信息和现实数据进行对比，更好的发现远景数据的有效性。将城市发展规划数据，如国民经济和社会发展规划、城乡总体规划、土地利用规划、生态环境规划、产业布局规划等规划内容信息，添加时间、空间和属性三域标识。本项目远景规划地理信息数据整理建库不改变原有数据结构，只对成果进行转换处理和时空化组织，具体流程如下：图远景规划地理信息数据库整理建库流程（1）数据获取：获取远景规划地理信息数据数据成果，格式为GIS通用格式或其他相关的文档资料等；（2）数据处理：对获取的数据进行分类整理、坐标转换、一致性检查等操作，建立远景规划地理信息数据库；（3）时空化处理：分图层标示数据的更新时间，构建远景规划地理信息数据库。实时位置数据在现在社会中，位置信息已经是一项很容易获取的数据，除了一般的车辆携带的GPS，还有各种智能感知设备比如手机、智能手表等一系列感知设备都可以实现基本的定位功能。采用北斗、GPS、无线通信基站定位等多种空间位置确定技术，获取城市基础设施如井盖、垃圾桶和移动目标如流转中的农产品、运营车辆、老人孩子等实时位置信息。图实时位置信息建库流程物联网智能感知设备位置数据根据XXXX城市特点和需求，对涉及到的感知设备如地址、地址标签、停车场无线射频、监控像头等进行分类，划分为相对稳定和运动两种类型，确定所属专题的类型。通过专业测量手段，采集室外这些设备的空间位置，调查有关属性内容；依托人工确定或室内定位方法，获取室内感知设备的相对空间位置及其属性。按照统一制定的感知设备分类、命名及编码要求，对获取的各种地址信息，进行规范与编码。图感知设备地址数据库整理建库流程实时感知的流式数据及其摘要数据交通、大气、环境、安全、水质等感知设备获取的流式数据和解译结果，及其多层次摘要，构成了非结构化的动态实时信息。时空大数据库时空信息云数据库实现了对各种时空信息数据的存储和管理。在时空大数据与云平台中，时空信息云数据库除了管理传统的空间数据类型外，还需要管理新型的时空信息数据。对于各种时空信息数据，由于数据类型复杂数据量巨大，时空信息云数据库必须实现：数据分布式存储、分布式空间索引、弹性扩展等能力，同时，数据库必须具备很强的健壮性和容错能力。因此，时空信息云数据库需要实现下列技术功能模块：路由集群在数据库系统早期数据量还小的时候，数据体量不会引起太大的问题，但是随着数据量持续增多，就会出现机器硬件瓶颈问题的。而时空信息云数据库采用分布式集群（分片）机制来解决这个问题。如下图所示：图STYLEREF1\s4–SEQ图\*ARABIC\s11分布式集群机制从图中可以看到数据库集群有四个组件：数据库路由（mongos）、配置服务（configserver）、分片（shard）、副本集（replicaset）。数据库路由：数据库集群请求的入口，所有的请求都通过数据库路由进行协调，不需要在应用程序添加一个路由选择器，数据库路由自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的分片服务器上。在生产环境通常有多数据库路由作为请求的入口，防止其中一个挂掉所有的数据请求都没有办法操作。配置服务：顾名思义为配置服务器，存储所有数据库元信息（路由、分片）的配置。数据库路由本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。数据库路由第一次启动或者关掉重启就会从配置服务加载配置信息，以后如果配置服务器信息变化会通知到所有的数据库路由更新自己的状态，这样数据库路由就能继续准确路由。在生产环境通常有多个配置服务配置服务器，因为它存储了分片路由的元数据，这个可不能丢失！就算挂掉其中一台，只要还有存货，数据库集群就不会挂掉。分片：分片是指将数据拆分，将其分散在不同的机器上的过程。有时也用分区（partitioning）来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以存储更多的数据，处理更大的负载。一台机器的一个数据表Collection1存储了1T数据，压力太大了。在分给4个机器后，每个机器都是256G，则分摊了集中在一台机器的压力。在存储数据的同时，不仅仅要是存储空间，还有实际运行的数据库还有硬盘的读写、网络的IO、CPU和内存的瓶颈。在数据库集群只要设置好了分片规则，通过数据库路由操作数据库就能自动把对应的数据操作请求转发到对应的分片机器上。在生产环境中分片的片键的设置，关系到了能否把数据均匀分到多个分片机器上。副本集：副本集就是有自动故障恢复功能的主从集群。主从集群和副本集最为明显的区别是副本及没有固定的“主节点”：整个集群会选举出一个“主节点”，当其不能工作时则变更到其他节点。然而，二者看上去非常相似：副本集总会有一个活跃节点（primary）和一个或多个备份节点（secondary）。副本集是自动化的。首先，它需要做很多管理工作，自动提升备份节点成活跃节点，以确保运转正常。其次，它对于开发者而言，也很易用：仅需要为副本集指定一下服务器，驱动程序就会自动找到服务器，在当前活跃节点死机时自动处理故障恢复这类事情。在高可用性的分片架构还需要对于每一个分片构建副本集保证分片的可靠性。生产环境通常是2个副本+1个仲裁，一定数量的分片存储数据、数据库路由、配置服务、clients、arbiter（仲裁节点）。分片配置分片是时空云数据库提供的一种机制，其可以将大型的集合分割保存到不同的服务器上。只要我们进行简单的配置，并告诉时空信息云数据库要分配的数据，它就可以自动维护数据在不同服务器之间的平衡。同时根据需要增减服务器，云数据库也会自动移动平移已有数据。分片机制提供了如下三种优势：1.

对集群进行抽象，让集群“不可见”。云数据库自带了一个专有路由进程。数据路由就是掌握统一路口的路由器，其会将客户端发来的请求准确无误的路由到集群中的一个或者一组服务器上，同时会把接收到的响应拼装起来发回到客户端。2.保证集群总是可读写。云数据库通过多种途径来确保集群的可用性和可靠性。将云数据库的分片和复制功能结合使用，在确保数据分片到多台服务器的同时，也确保了每分数据都有相应的备份，这样就可以确保有服务器换掉时，其他的副本可以立即接替坏掉的部分继续工作。3.使集群易于扩展。当系统需要更多的空间和资源的时候，云数据库使我们可以按需方便的扩充系统容量。仲裁机制总裁机制是确保时空云数据库可用性的一种关键技术手段，当数据库分片集群中有某个节点故障时，仲裁机制就会发生作用，仲裁者（Arbiter）会从副本集中选择一个健康节点作为分片集群的主节点继续提供数据服务，从而确保数据库的健康运行。仲裁者是副本集中的一个数据库实例，它并不保存数据。仲裁节点使用最小的资源并且不要求硬件设备。为了确保副本集中有奇数的投票成员（包括primary），需要添加仲裁节点做为投票，否则primary不能运行时不会自动切换primary。一个副本集中可设置多个个成员，但只有7个投票成员（包括primary），其余为非投票成员。非投票成员是副本集中数据的备份副本，不参与投票，但可以被投票或成为主节点。仲裁结构如下：分布式空间索引时空信息数据具有结构复杂性、多维性、动态性、海量增长性等特点，而在分布式云数据库下，空间索引结构也有与之相适应的各种特点，具体如下：（1）动态性由于对象的相关信息可以以任意顺序插入到空间数据库中，也可以被任意删除，因此索引技术也应该可以插入、删除操作而动态变化。（2）支持更多、更广泛的操作索引技术要在整体立场上进行使用，不能为进行某一操作而停止其他操作。（3）分布式存储模式，尽管存储器的容量在随着科学的发展而不断的增大，但是依然不可能将数据库中的所有数据放入主存储器中，尤其是对具有海量性时空数据更要构建分布式存储管理。而索引结构也要与存储模式管理保持一致。（4）独立于输入数据维度及插入顺序索引结构应该维持其高效性，无论插入数据的维度是多少还是插入顺序发生如何的改变。这一点对于分布着不同维度数据的空间数据库系统尤为重要。（5）简单性复杂的索引结构对于特殊示例的实现往往缺乏强健性，尤其是在大规模的应用中。（6）扩展性随着数据库大小的变化，索引的结构自身能进行大小的调节。（7）时空有效性索引结构是决定查询速度的关键技术，因此所创建的索引一定要保证高效的时间利用率。同时索引结构所占的存储空间要比原数据小，从而保证空间利用率。（8）并行性和可恢复性当同时对同一数据库进行插入、修改、删除、查询操作时，索引结构要保证这些操作同时进行，不分主次。（9）最小复杂性当为一个数据库集成索引结构时，应使当前系统增加最小的复杂度。时空信息云数据库的分布式空间索引机制如下图所示：弹性部署时空信息云数据库必须支持弹性部署能力，管理者可以根据数据和访问压力情况，实时添加或删除分片节点，而不影响数据库提供服务的能力。（1）云数据库运行时添加分片复制集基于云数据库分片和副本集机制组成的数据库集群，可在集群运行时动态添加分片复制集。1、启动复制集节点2、配置复制集3、添加到集群4、查看集群分片信息至此，复制集就作为一个分片加入到集群中去了。（2）云数据库运行时移除分片复制集缩减集群(删除分片)这种一般很少用到。由于集群中部分服务器出现故障，所以我们送修之前必须把它上面的数据自动迁移到其他分片上。

1、执行RemoveShard命令（此时后台自动进行数据迁移）2、查看迁移状态定期查看数据前几情况，当remain为0之后，这一步就结束了。3、移出非分片数据4、最后的清理坐标系统支持时空信息云数据库支持各种常用的空间参考和投影的数据。可支持的空间参考包括：CGCS2000、WGS84、西安80、北京54。可支持的投影包括：地理坐标系、高斯投影、莫卡托投影等。具体到XXXX城市时空大数据与云平台项目中中，所有数据要求统一到CGCS2000坐标系统下；高程基准为1985国家高程基准；对于分幅数据采用高斯-克吕格投影，3度分带，单位为米，保留3位小数；其他数据采用地理坐标系，单位为度，保留8位小数。时空信息大数据管理系统按照《智慧城市时空信息云平台建设技术大纲》的建设要求，结合时空信息云平台建设地的数据资源情况与应用需求，开展时空信息大数据管理系统的建设，为实现多源、多类型、多时态数据资源的统一管理与应用提供支撑。时空大数据管理系统应采用统一的图形界面用户接口，将各类功能的集中呈现给用户调用。时空大数据管理系统基于GIS基础功能组件和一体化云平台的支撑技术实现。图STYLEREF1\s3–SEQ图\*ARABIC\s11时空大数据管理系统图形截面图时空大数据数据源管理时空大数据数据源管理支持对各类数据源的连接及配置管理，实现对数据源的编目管理，能够展示各类数据模式、规则、关联、索引、约束等。（1）查看数据源按照一定的标准和规则，对某范围内数据资源每种实体（Item）的外部特征和内容特征进行分析、选择、描述，并予以记录成为款目，继而将款目按一定顺序组织成为目录（Catalogue）或书目（Bibliography）进行展示，同时能够通过关联关系查看相关联的数据。（2）新建数据源新建数据源时需要填写数据源名称、数据库类型、客户端字符集、数据库字符集、驱动程序、数据源url、数据库用户名、访问数据库密码等属性。新建数据源我们提供JDBC和ODBC两种数据源连接方式。新建数据源可选择使用实例建立数据源和不使用实例建立数据源。使用实例建立数据源系统会自动设置好数据库类型、驱动和url的格式。（3）修改数据源修改数据源时，数据源名称和数据库类型不允许修改。其中需要注意的是如果原来已经使用数据源中的数据表建立了数据集，进行数据源修改后变更了所连接的数据库，并且里面并没有对应的数据表，则原来已建好的相关数据集均不可再使用。（4）删除数据源为了防止错误删除数据源操作的安全性，删除时系统弹出提示信息，确定是否删除数据源，点击确定后方能删除该数据源。值得注意的是对于已使用的数据源，将其删除后，数据源对应的数据集和数据表也将一同被删除，原来使用该数据源建立的数据，将找不到数据源且不能查看和使用，因此需慎用删除数据源功能。符号数据管理云端服务引擎以OGC标准服务、发布影象、矢量要素等地理信息。其提供的服务包括WMS网络地图服务和WFS网络地理要素服务。自定义的符号数据信息以开源的Mapfile文件为标准，用于控制对数据的栅格或矢量输出。其中包含了数据源和渲染样式（颜色、符号、标准等）信息。通过配置符号数据，就可以通过服务引擎发布WMS、WFS、WCS和SOS等服务。符号数据支持以文件方式存储，多个符号数据存储到SQLite数据库，保存为后缀为.db格式的数据，我们称为一个符号库。一个符号库中，包含多个符号信息。利用符号编辑工具，可以支持新增符号、删除符号、修改符号线宽颜色等信息、查询符号等操作。元数据管理元数据管理支持如下操作：（1）元数据维护元数据基本信息、属性、被依赖关系、依赖关系、组合关系的查询修改和删除操作。元数据与其对应的数据建立关联，并能与其对应的数据进行同步更新。（2）元数据查询根据搜索条件，查询符合数据访问权限的元数据。（3）元数据导出对需要导出的元数据全部导出为Excel文件。（4）元数据版本管理系统提供元数据的生命周期管理，发布、删除和状态变更都有严格的流程，并提供了版本管理功能，这些都确保元数据的质量，保证了后续使用元数据的权威性和可靠性。（5）元数据变更支持实时追加元数据，以及元数据的实时更新。历史数据管理具备时态管理能力，具有历史数据备份和恢复功能。数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。云平台提供历史数据管理方案，是基于云存储技术建立的大数据管理安全保障方案，实现了对海量数据及时完整备份。在系统运行状态下即可实现历史数据恢复功能，无须停止服务。安全管理安全管理主要有用户管理、权限管理、日志管理、事务管理、备份与恢复。（1）用户管理用户管理主要是针对平台的使用者进行管理。包括：用户信息（帐号、密码、姓名等个人基本信息）、角色设定、用户权限分配等。用户管理的功能有：新增用户、编辑用户、删除用户、修改密码、设置角色、单独授权、用户有效性、用户排序等。（2）权限管理权限管理即对用户的权限限制，包括新增角色、修改角色、删除角色、给用户分配角色、给角色设置权限、修改角色权限等功能。（3）日志管理日志管理包括日志自动备份的设置、备份数据的导入和删除以及查看系统日志等功能。查看系统日志用来查看系统日志和操作员日志。（4）备份与恢复备份包括数据的备份和系统软件的备份。备份采用全备份或增量备份方式，定期检查备份的可用性。输入输出（1）平台支持对静态地理信息数据以通用格式导入、检查、添加和确认。（2）平台支持三维模型的几何数据和属性数据以通用格式导出。（3）平台支持按照产品类型、数据时相或用户需求所进行的产品制作、内容提取、导出和分发。（4）平台支持对静态地理信息数据以通用格式导入、检查、添加和确认。包括上传数据、上传符号等功能。（5）支持在线配图、制图，可保存配图方案、可分享、可导出、可发布服务。动态更新（1）具有流式数据或者其多层次摘要动态追加和积累功能；（2）支持数据索引的实时修正；（3）支持数据按范围、按时间、按类型以及整体的更新；（4）支持三维模型的替换、模型属性的更新和局部区域模型的整体更新；（5）支持瓦片数据的整体更新、按层更新和局部更新。数据编辑及处理空间数据的编辑主要包括空间拓扑关系的建立、去除多余点、曲线的光滑、图幅的拼接等。处理主要指图形的整饰，如径纬线或方里网的生成、图例的标注、图解的注释及图形放大、缩小、平移、旋转、剪裁等。（1）图幅拼接是将相邻区域拼接成一个大区域进行统一的信息分析或输出，要求同一目标的线段或弧段的数据坐标相互衔接，为此必须进行图幅数据边缘的匹配处理，并使同一目标属性码统一。平台支持坐标及投影变换、高程换算、数据裁切、数据格式转换以及影像数据的对比度、灰度（色彩）、饱和度一致性调整等。（2）平台支持对二维矢量数据的图形编辑功能。（3）平台支持坐标及投影变换、高程换算、数据裁切、数据格式转换以及影像数据的对比度、灰度（色彩）、饱和度一致性调整等。（4）平台支持对二维矢量数据的图形编辑功能。（5）平台支持对三维模型数据模型替换、模型空间位置修改、纹理编辑、属性编辑、元数据编辑等功能。统计查询（1）平台具有按时间、属性和空间或其组合条件，查询与检索不同时相、不同类型和不同区域时空信息的能力，并可提取与统计。（2）平台具有对三维模型数据进行查询的功能；对三维模型数据进行目录检索的功能；根据检索结果进行快速定位的功能。（3）平台具有按时间、属性和空间或其组合条件，查询与检索不同时相、不同类型和不同区域时空信息的能力，并可提取与统计。数据可视化空间数据的可视化是将符号或数据转化为直观的图形、图像的技术。平台支持将多时相数据组合、叠加、符号化，并可通过动画、动态符号和颜色模拟变化；支持指标数据和实时数据的动态渲染。（1）支持将多时相数据组合、叠加、符号化，并可通过动画、动态符号和颜色模拟变化；（2）支持数据的三维符号化，支持三维模型多种方式的动态渲染与专题显示。（3）支持指标数据和实时数据的动态渲染。时空数据资源整理工具根据《智慧城市时空大数据与云平台建设技术大纲》与用户的实际要求，开发空间处理工具对汇聚好的数据资源进行加工处理。时空数据资源整理包含坐标转换工具、时空数据采集工具、政务数据清洗融合工具等。坐标转换工具坐标转换工具主要实现了不同格式不同类型以及不同坐标系统的数据之间的空间坐标转换。不同格式指的是矢量数据（shape、DXF、MIF等）、栅格数据（img、tiff等）以及支持传统数据库的访问。不同类型指的是大地坐标、平面坐标、空间直角坐标三种坐标类型。不同坐标系统指的是1954北京坐标系、1980西安坐标系、2000国家大地坐标系、WGS84以及各种地方自定义坐标系。此外，还实现数据的简单视图功能，可以方便对数据查看以及转换结果的比较分析；转换精度满足国家测绘局对相应比例尺数据的转换精度要求；转换后的成果能保证图形、属性数据完整，拓扑关系正确。坐标转换工具包含矢量数据转换、栅格数据转换、矢量数据投影转换、栅格数据投影转换等功能。时空数据采集工具时空数据采集工具基于数据分类和资源目录定义，确定可信数据源，定义数据规范与标准，自动化采集地理空间数据、政务数据与全域互联网数据（MappingGo、智能AI引擎），实现了地理空间数据、政务专题数据、物联网节点数据和互联网社交媒体数据的统一汇聚。工具包含数据源管理、指标项管理、集群管理、流程管理、任务管理、流程日志、流程服务等功能。.1数据源管理数据源管理主要解决政府各个部门、互联网爬取站点和物联网设备的数据源注册和管理，目前系统支持数据源包括：MySQL数据库、Oracle数据库、Hbase、Hive、NoSQL数据、云数据库、大文件系统、小文件系统等各种关系性数据库和非关系数据库。数据源中存储了所有建立数据库连接的信息，就象通过指定文件名可以在文件系统中找到文件一样，通过提供正确的数据源名称，用户可以找到相应的数据库连接；能够实现多类型数据源的注册、查询和管理等功能。.2指标项注册指标项注册，包括采集指标项注册，下发指标项注册；顾名思义定义一个指标项的名称，并设置数据的来源表和目标表；这个功能就是对所有指标项做统一的管理.3流程管理流程管理包括规则定制，流程定制，任务定制，流程监听和任务监听几大板块。流程管理是在多个参与者之间按照某种预定义的规则流程传递信息，或让任务的过程自动进行，从而实现预期的业务目标实现。流程管理是业务整合的关键控制链，是业务协同处理的中心集成者和管理者。规则定制解决交换过程中库之间格式不能正常交换等问题，在流程定制时根据需求选择规则来定制流程；流程定制完全是拖拽方式，可定制化流程配置即可实现数据传输；添加，启动任务调度流程运行，可设置任务执行的生效时间，频率；可分别对流程和任务做监听.4集群管理集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。集群管理就是对所有的节点机的管理，包括节点机的激活，禁用，并对激活的节点机进行监控.5监控管理监控管理主要是对各种不同的数据源采集过程进行监控，能监控到每一批数据采集的结果，能统计到每天数据采集的结果，通过监控管理能很清楚的了解数据汇聚的全部情况，为数据采集提供了良好的运维支撑。.6日志管理日志管理包括流程日志和操作日志两个板块；流程日志显示流程的执行状态，开始时间，结束时间并可查看本流程中所有插件的执行情况，包括插件名称，输入总数，输出总数，错误总数并记录运行时间；操作日志对每个使用系统的人员操作做记录，显示操作结果和操作内容政务数据清洗融合工具政务数据清洗融合工具以高精度互联网地图为基本载体，经过数据现状调研、大数据中心组织架构设计与编制、拟定数据标准与技术规范，将原有人口、法人、地理信息、宏观经济等数据库进行整合与清洗，建立公共数据集、政务专题数据集，重新建立城市公共信息资源的新次序。工具支持海量实时数据处理和离线数据处理，有效提高数据处理的效率。工具包含数据源管理、集群管理、流程管理、任务管理、规则管理、流程日志、流程服务等功能。数据源管理数据源管理主要解决政府各个部门、互联网爬取站点和物联网设备的数据源注册和管理，目前系统支持数据源包括：MySQL数据库、Oracle数据库、Hbase、Hive、NoSQL数据、云数据库、大文件系统、小文件系统等各种关系性数据库和非关系数据库。数据源中存储了所有建立数据库连接的信息，就象通过指定文件名可以在文件系统中找到文件一样，通过提供正确的数据源名称，用户可以找到相应的数据库连接；能够实现多类型数据源的注册、查询和管理等功能。流程定制管理流程管理包括规则定制，流程定制，任务定制几大板块。流程管理是在多个参与者之间按照某种预定义的规则流程传递信息，或让任务的过程自动进行，从而实现预期的业务目标实现。流程管理是业务整合的关键控制链，是业务协同处理的中心集成者和管理者。规则定制解决交换过程中库之间格式不能正常交换等问题，在流程定制时根据需求选择规则来定制流程；流程定制完全是拖拽方式，可定制化流程配置即可实现数据传输；添加，启动任务调度流程运行，可设置任务执行的生效时间，频率；云节点管理云几点管理就是对所有的节点机的管理，基本信息如节点名称，节点IP,节点端口，web端口，包括节点机的激活，禁用，并对激活的节点机进行监控日志管理日志管理包括流程日志和操作日志两个板块；流程日志显示流程的执行状态，开始时间，结束时间并可查看本流程中所有插件的执行情况，包括插件名称，输入总数，输出总数，错误总数并记录运行时间；操作日志对每个使用系统的人员操作做记录，显示操作结果和操作内容下图为插件运行日志：平台服务层（PAAS）方案设计时空信息云平台基于基础功能组件，提供服务资源池、时空云服务系统、服务引擎、地名地址引擎、业务流引擎等功能系统。服务资源池时空大数据服务要素服务WFS（WebFeatureService）要素服务（WebFeatureService简称WFS）遵循OGC的WFS1.0.0、1.1.0规范，本服务返回的是要素级的GML编码。OGCWeb要素服务允许用户终端从多个Web要素服务中取得使用地理标记语言（GML）编码的地理空间数据（以下是WFS1.1.0的接口标准，WFS1.0.0的接口标准请参照OGC规范）。同时，在这个服务中可支持基于要素的时态数据的发布。支持对地理要素的插入、更新、删除、检索和发现服务。该服务根据HTTP客户请求返回GML（GeographyMarkupLanguage、地理标识语言）数据。通过WFS服务提供数据服务的情况下，任何使用Web服务的应用程序均可访问地图或地理数据库中的地理要素。WFS服务返回的是带有几何和属性信息的实际要素，客户端可以将这些要素与属性用于任何类型的地理空间分析。WFS服务也支持过滤器，由此用户可以在数据上执行空间查询和属性查询。支持以下操作：（1）获取服务的要素类及支持的操作，即服务元数据（GetCapabilities）（2）获取要素的描述信息，即要素元数据（DescribeFeatureType）（3）获取要素信息（GetFeature）用户可以在平台上选择相应的数据源发布成WFS服务，并且允许用户在分布式的环境下通过HTTP对空间数据进行查询、编辑等操作。地图服务WMS（WebMapService）地图服务（WebMapService简称WMS）遵循OGC的WMS1.1.1、1.3.0规范，该服务利用具有地理空间位置信息的数据制作地图。其中将地图定义为地理数据可视的表现（以下是WMS1.3.0的接口标准，WMS1.1.1的接口标准请参照OGC规范）。利用具有地理空间位置信息的数据制作地图，其中将地图定义为地理数据的可视化表现，能够根据用户的请求获取相应的地图（包括PNG，GIF，JPEG等栅格形式或者是SVG和WEBCGM等矢量形式）。WMS服务支持HTTP协议，所支持的操作由URL决定。通过向服务的URL附加参数来使用WMS服务。支持以下操作：获取关于服务的元数据（GetCapabilities[必选]）；获取地图图像（GetMap[必选]）；获取关于地图要素的信息（GetFeatureInfo）；获取用户定义的样式（GetStyles）；获取图例符号（GetLegendGraphic）。用户可以在平台上选择相应的方案发布成WMS服务，允许用户在分布式的环境下通过HTTP对空间数据进行出图等操作。目录服务CSW（CatalogServiceWeb）目录服务（CatalogServiceforWeb简称CSW）遵循OGC目录服务2.0.2规范。着重于采用WSDL、SOAP、ebXML等Web服务标准实现地理空间信息目录服务。目录服务的主要功能支持查询、管理和同步功能。用于将地理记录的目录（描述地理数据的记录如KML、描述地理服务的记录如WMS等）以XML的形式发布在网络中。有效应用于地理空间信息资源，如测绘成果目录的检索和管理，可与特定应用及其元数据信息模型绑定，形成符合自身需要的内容和功能，对外提供查询服务，能有效实现基于Web的覆盖全国分布式互操作的目录服务系统。覆盖服务WCS（WebCoverageService）Web覆盖服务（WebCoverageService简称WCS）遵循OGC的WCS1.0.0、1.1.0、1.1.2规范。该服务面向空间影像数据，它将包含地理位置值的地理空间数据作为“覆盖（Coverage）”在网上相互交换（以下是WCS1.1.0的接口标准，WCS1.0.0和WCS1.1.2接口标准请参照OGC规范）覆盖服务包含地理位置信息或属性的空间栅格图层，而不是静态地图的访问。根据HTTP客户端要求获取相应的数据，包括卫星影像，多光谱影像和数字高程数据等，也就是栅格数据。WCS服务具有以下三种功能：获取服务级别元数据以及数据集合的简要描述（GetCapabilities）；获取一个或者多个coverage的完整描述（DescribeCoverage）；以熟知的coverage格式返回coverage（GetCoverage）。地名地址服务WFS-G（WebFeatureGazetteerService）地名地址服务主要是提供地名地址查询和地址正向匹配、逆向匹配的功能。地址匹配又称为地理编码，是指将地址(例如：北京市海淀区知春路106号皇冠假日酒店)转换成地理坐标(例如纬度116.322990和经度39.975710)的过程，客户端可以使用这些坐标来放置标记或设定地图位置。另外，此服务能执行反向作业