大数据时代的GIS基础软件技术发展

1、大数据时代GIS基础软件技术发展GIS基础软件发展回顾全球第一套现代GIS基础软件Arc/Info, 1982(by ESRI)中国第一套GIS基础软件PURSIS(SpaceMan), 1987(by 北大任伏虎团队)自主GIS基础软件起步并不晚!晚的是晚的是应用早期中国经济发展水平制约IT应用晚的是产业化机制ESRI成立于1969年(先有企业后有产品)自主GIS软件企业90年代中期才有任博士个人掏钱参会推广软件孤掌难鸣!第八届亚洲遥感大会（ 1987，曼谷）90年代中期，自主GIS产品纷纷登场CityStar北京大学(PURSIS换代产品)GeoStar武汉测绘科技大学APSIS中科院地理

2、所WinGIS中国林科院MapGIS中国地质大学青鸟GIS北大青鸟方正智绘北大方正有一个GIS软件真的来晚了SuperMap，2000年(By 超图软件)源于ActiveMap早期，自主产品与国际先进水平差距大15年前，国外品牌垄断国内GIS基础软件市场ESRIMapInfoIntergraphBentleyAutodeskSmallWorld6年前：自主品牌积极参与竞争数据来源：赛迪顾问2009年度GIS基础软件市场份额(按合同额)2015年，自主品牌取得突破数据来源：赛迪网/中国市场情报中心2015年度GIS基础软件市场份额(按合同额)2009年与2015年国内市场份额变迁2009年201

3、5年绝大部分为自主软件绝大部分为自主软件自主品牌显著增加2009年与2015年国内市场份额变迁(续)多个国际著名软件消失Intergraph, MapInfo, Bentley, Autodesk， Smallworld市场份额龙头易位国外品牌 自主品牌“市场份额数据有问题吧？”“感觉测绘、规划、国土行业用国外软件还是比较多？”测绘/规划/国土行业用GIS早开发商积累解决方案时间长开发商替换GIS平台代价高替换进度滞后于新兴行业自主品牌GIS优势领域新兴技术领域三维移动相对较晚启动的行业不动产登记智能交通金融保险海关、文化人防、气象什么因素驱动自主GIS基础软件快速成长？驱动因素1：96年科技

4、部启动GIS “技术比武”GIS基础软件测评(19962009)GIS软件企业竞相发展技术驱动因素2：2001年科技部863项目“比武招亲”“面向网络海量空间信息大型GIS”类“超女”淘汰赛机制(海选5进3)要求必须有产业化机制极大推动GIS基础软件技术发展驱动因素3: 国内GIS应用水平快速提高催生领先的产品提供领先的需求应用水平领先世界数字城市N金工程智慧XX不动产登记驱动因素4：企业实力提升，研发投入上规模2300多人1000多人800多人 2015年研发投入逾8500万驱动因素5：建成规范化研发机制(以超图为例)产品立项机制：让一线呼唤炮火部门个人产品立项申请产品立项申请公司产品决策委

5、员会给人、给钱、给设备GIS应用服务器软件SuperMap iServer所以才能产生产品级创新GIS门户服务器软件SuperMap iPortalGIS分发服务器软件SuperMap iExpressGIS云管理器软件SuperMap iCloudManager创新产品比如：云GIS服务器软件 “四驾马车”领先的质量保障持续集成自动测试代码审查品质持续提高3万多个测试程序每天自动集成源代码级“测试”自主GIS基础软件30年简单工具桌面GIS组件式GISWebGIS空间数据库技术三维起步新一代三维GIS云GISGIS大数据技术200020101987起步追赶并行大数据汹涌而至Volume体量大

6、Variety种类多Velocity变化快Value价值密度低大数据特征对挖掘性能要求高贫矿挖掘难度大对挖掘工具要求高(真的很多V，这四个最重要)大数据挖掘涉及大量高新技术大规模并行处理数据库（ MPP ）分布式文件系统分布式数据库云计算平台可扩展存储系统挖掘大数据不是件容易的事！跟GIS有什么关系？80%的大数据与空间位置相关空间大数据 or 时空大数据?无论是否关注时间属性，只要带位置，就是我们处理对象!地理信息领域早就在处理大数据航天航空遥感数据街景数据倾斜摄影原始数据我们是否可以说GIS已经在管理大数据了呢？不能！以上大数据的共同点测量过程中产生，有专业软件针对性处理遥感软件航测软件倾

7、斜摄影三维建模软件GIS软件使用的是处理结果，已不符合大数据定义数据量缩小价值密度提高换句话说对这些大数据的处理，没GIS软件什么事！上述案例GIS做了什么?用专业软件处理，用GIS可视化！GIS该做的不仅限于这些！非测绘活动产生更多空间大数据带位置的大数据互联网移动互联网物联网例：Uber用空间大数据分析“一夜情”1)晚上10点至凌晨4点打车，2)46小时后160米内再次打车，都极有可能经历“光荣之旅”旧金山“光荣之旅”分布图能干点正事吗？基于手机信令数据的居住区类型分析(北京)数据及资料来源：北京市测绘设计研究院基于手机信令大数据的通勤OD分析(重庆)数据及资料来源：重庆市规划局/上海数慧

8、越来越多空间大数据手机信令数据导航终端轨迹移动社交网络数据可穿戴终端数据城市摄像头数据GIS平台不具有大数据管理分析能力仅作为大数据分析结果的展示工具要命的是Hadoop、Spark等大数据平台也不直接具备空间统计与分析能力出个图，有啥了不起？挖掘空间大数据不是件容易的事是少数机构的盛宴!若GIS平台能解决这些问题，将让更多单位能挖掘空间大数据空间大数据价值挖掘数据GIS平台模型价值空间大数据，对GIS提出了新的需求空间大数据分布式存储/检索/管理空间大数据的高性能分析计算空间大数据的高性能可视化1)大数据GIS平台总体架构Hadoop还是Spark？Hadoop大数据1.0Spark 大数据

9、2.0Spark相对于 Hadoop的优势更快新并行架构代替Hadoop中的MapReduce大幅提升性能通过RDD提升分布式迭代计算性能2个数量级更强增加流处理、图计算和机器学习等子系统GIS运行于Spark框架内部还是外围?外围任务调度控制分析结果可视化内部索引与查询处理与分析计算（Spark/HDFS/MongoDB/ZK等）大数据技术栈主要原生于Linux在Windows上仅用于研究和学习GIS基础软件最好直接支持Linux超图大数据GIS架构SuperMap iObjects JavaSuperMap SDX for Big DataSuperMap iServer(GIS应用服务器

10、)iObjects for Spark (空间大数据组件)Processing ServiceDataMappingAnalystStreamingSuperMap iDesktop CrossPlugin-TabularPlugin-AnalystPlugin-DataManagerMongoDBPostgreSQL 集群星环数据库HDFS数据存储数据引擎GIS组件GIS桌面与应用服务器RDDStreamingDataAnalystMappingRDD派生类及接口实现SuperMap iObjects for SparkSuperMap iObjects 直接嵌入Spark框架运行服务接口与

11、界面REST API & JSONTaskflowDsingerJupyterNotebook通用大数据计算框架Taskmanager, SchedulerSQL ConsoleSpark SQLSpark DataFrameScala ShellPythonShellRShell大数据存储系统FilesHDFSMongoDB空间大数据引擎2)空间大数据存储SuperMap空间数据引擎传统数据引擎UDB引擎Oracle引擎MySQL引擎SQL Server引擎Web引擎百度地图天地图大数据引擎PostgreSQL集群引擎MongoDB引擎星环分布式引擎HDFS分布式文件引擎基于HDFS的空间数

12、据管理(存储)基于HDFS的空间数据管理(索引)（HDFS文件列表）3)空间大数据分析计算高级计算基础计算流式计算叠加分析缓冲区分析SuperMap iObjects for Spark 大数据计算临近分析空间查询插值分析密度分析热点分析聚合分析地图匹配路况计算SuperMap iObjects for Spark 实时路况计算Apache Spark StreamingSuperMap iObjects for SparkSuperMap iObjects Java实时浮动车数据接入时间窗口&数据分组加载路网环境匹配轨迹点数据预处理归并匹配结果计算拥堵等级计算速度4）空间大数据可视化Supe

13、rMap iDesktop Cross：任务提交、结果展现实时路况(武汉)路况可视化(纽约曼哈顿)7576分析结果三维表达77分析结果三维表达(续)实时动态数据显示太慢怎么办？5）大数据基础设施：云大数据需要云计算数据量大需要极强的处理能力需求随时变化处理能力需动态伸缩PC端移动端SuperMap云GIS平台四驾马车移动GIS开发平台 iMobile for iOS iMobile for Android轻量移动端SDK iClient for iOS iClient for Android iClient for Win8组件式GIS开发平台 iObjects Java iObjects .

14、NET iObjects C+桌面GIS平台 iDesktop iDesktop Cross浏览器端SDK iClient for JavaScript iClient for Flash iClient for Silverlight iClient3D for Plugin iClient3D for WebGL云GIS平台软件 iPortal iServer iExpress iCloudManagerDocker，容器技术介绍一种云计算新技术Docker与传统虚拟化的对比传统虚拟化Docker服务器(硬件)宿主操作系统(Windows/Linux)虚拟化程序(VMWare/KVM)虚拟机寄生系统(Windows/Linux)运行库(bins/lib)GIS应用服务器(硬件)宿主操作系统(Windows/Linux)Docker引擎运行库(bins/lib)GIS应用Docker层级更少，性能更高Docker 性能优势快9倍Docker 性能优势85vmware虚机Docker动态出图332170静态出图355数据查询1862995735表：响应时间对比（单位：毫秒）快32.5倍Docker 资源利用率优势86同一台PC服