地理时空大数据管理与应用云平台建设.pdf

38 测绘通报 2016 年 第 4 期 引文格式 ：肖建华 ， 王厚之 ， 彭清山 ， 等 地理时空大数据管理与应用 云平台建设 J 测绘通 报 ， 2016( 4 ) ： 3842 DOI ： 10 13474 j cnki 11-2246 2 Ol 6 Ol 】 7 地理时空大 数据 管理与应用云平 台建设 肖建华 ， 王厚之 ， 彭清 山， 郭 明武 ( 武汉 市测绘研 究院 ， 湖北 武 汉 430022 ) R es ea r c h on th e C onst r u c ti on of C l ou d P l a tf or m f l 0 r th e S pa t io -t em p or al B i g D a ta M a n agem e nt an d A p pl i ca ti on XIAO Jianhua， WANG Houzhi， P ENG Qing shan ， GUO Mingwu 摘要 ： 针对当前国内地理时空大数据生产管理与应用面I 的数据存储组织难、 数据吞吐处理难 、 数据集成应用难和数据生产全过 程管理难等 问题 ， 同时从地理实体产生消亡全过程管理与地理数据生产服务全过程管理两个角度出发 ， 研究 了地理时空大数据全 生命周期管理与应用的相关方法 ； 并基于云计算 、 GIS 及 SOA 等技术 ， 构建 了智 能高效 的云 GIS 管理平 台， 实现 了地 理时空大数据 全生命周期 的高效管理与智能应用 关 键 词 ： 云平台 ； 大数据 ； 全生命 周期 管理 ； 云 GIS； 时空 中图分 类号 ： P208 文献标识码 ： B 文章 编号 ： 0494 09 11( 2016 ) 040038 05 近年来 ， 随着人类生产活动的加剧及新型智能 测绘技术装备的不断涌现， 地理空间数据正呈爆炸 式增长 ， 地理时空大数据正势不可挡地取代传统 的 静态空间数据而成为地理信息社会化应用的主要形 式 。与传统的静态空间数据相 比 ， 地理时空大数据 除了包含空间及专题属性信息外 ， 还包含时间信息 ， 并呈现出 “ 4V ”( Volum e ： 体量 大 ； Velocity ： 增 速快 ； Variety ： 样式多 ； Value： 价值高 ) 等特点1 。地理时 空大数据“ 4V ” 的特点让其在 生产管理与应用上面 临着存 储组 织 与分 析 处 理难 、 集 成应 用 难 及 数 据 全 生命周期管理难等问题。这些问题都是传统 GIS 无 法 解决 的问题 。 J。 本 文 针对 当前 国内地理 时空 大数 据在 生产 管理 与应 用 中面临的上述 问题 ， 同时从地 理实体 产生 消亡 全 过程管理及 地 理数 据生 产 服务 全 过程 管理 两个 角 度出发， 研究地理时空大数据全生命周期管理与应用 的相关 方法 ； 并 基于云计算 、 GI S 及 SOA 等技术 ， 研发 出一套智能高效的地理时空大数据管理与应用云平 台( 以下简称平 台 ) ， 能满 足数 据生产管理 部 门对 地理 时空大数据生产过程管理 、 加工处理 、 分发共享与集 成应用全生命周期管理的需要 ， 同时也能满足数据应 用部门对地理时空大数据集成化 、 实时化 、 时序化 、 动 态化 、 服务化 、 大众化 、 智能化与人性化应用的需要。 一 、时 空数据 的组 织管理 与集成 方法 1 矢量时空数据库设计 时空数据库是用于存储与管理位置或形状随时 间变化的各类空间对象 。时空对象的变化情形主要 包括以下 6 种情况 ： 属性变化 ， 图形无变化 ； 新 增 ； 消失 ； 合并 ； 拆分 ； 形变 。 本文设计的矢量数据时空数据库结构如下 ： 1) 采 用对 象 关 系数 据 库 中的 表来 管 理 时 空 数 据 。 2) 通 过在 数 据库 的表 中增加 时 间戳 的方 式 来 记 录地 理 实体 随时 间的变 化情况 。时间戳 以生 成时 间( 字段名称为 cT ， 字段类型为 DateTime 型) 与消 亡时间( 字段名称为 DT ， 字段类型为 DateTim e 型 ) 两 个字 段来 表示 。 3) 通 过在 数据 库 的表 中增 加 字 段 “ FroObj ” 与 “ ToOb j ” 来标 识 时空 实 体变 化前 后 的衍 生 关 系。 FroOb j 标识当前实体 由哪个实体 ( 旧实体 ) 演变而 来 ， 它记 录旧实体 在表 中对 应 的 I D： ToOb j 标识 当前 实体演变成 了哪个实体( 新实体 ) ， 它记录新实体在 表 中对 应 的 I D。 4) 通 过在 数据 库 表 中增 加字 段 “ Case” 标 识 空 间实体发生变化的情形， 取值包含上述 6 种情形之 一 或 两种 以上情 形 的组合 。 5 ) 通 过在 数据 库表 中增加 字段 “ Event” 标识 空 问实体发生变化 的事件。 图 1 为某地 块 发生变 化 的示意 图 。相 邻 的两地 块 101 与 102 先合并为地块 201， 然后地块 20 1 又拆 分为 地块 301 与 302 。 基 于 以上 时空 数据 库结 构对上 述 时空演 变过程 记 录见表 l 收稿 日期 ： 201508 1 0 ； 修 回 日期 ：2015 11-17 喜 界 善 囊 鹜鬻 P 与 F 行2 0 政1 2 管) 理 工 作 。 E m a il：x jh w h k c 1 6 3 c o m 作 者 简 介 ： 肖 建 华 (1 9 6 3 一 )，男 ，教 授 级 高 级 工 程 师 ， 主 要 从 事 城 市 勘 测 技 术 与 行 政 管 理 _作 。 一 ： 2016 年 第4 期 肖建华， 等 ： 地理时空大数据管理与应用云平 台建设 39 田 一 日 一 口 图 1时空演变 实例 2 栅格时空数据库设计 对应栅格数据的时空组织 ， 采用栅格快照模型 ， 将变化的栅格数据保存为一系列的时间快照。利用 该方法 ， 可反演出给定时刻地理实体的状态。 3 时 空数 据 集成技 术 ( 1) 多源异 构 时空 大数 据 的集成 组 织架构 对 多源异 构时 空大数 据采 用分 类分 级 的层次 结 构组织。首先依据数据尺度 ， 将数据分大类组织 ， 每 个大类下又对应一个或多个要素层 ， 每个要素层包 括若干地理空间实体 。每个地理空问实体由一个几 何对象和描述几何对象 的属性或语 义两个部分 构 成 它是数 据集 成 组 织 的最 小 单 元 。每 个 要 素 层 在 数据组织和结构上相对独立 ， 数据更新 、 查询 、 分析 和显示等操作以要素层为基本单位6 。 (2 ) 面 向服 务 ( SOA ) 的 多源异构数 据 网络 集成 OGC 制 定 的 开放 地 理 数 据 互 操 作 规 范 为 在 网 络环境下访问异构地理数据和地理处理资源提供了 一 致性 的接 口定 义 。为 了方 便 时空 大数据 在 网络 环 境 下 的共享 利用 ， 本 文采用 面 向服务 ( SOA ) 的方式 ， 将 所有 的地 理 空 间数 据 处 理 成遵 循 OGC 规 范 的标 准 地理 数据 服 务 ( Rest 、 WMS 、 WFS 和 WCS) 来 实现 多源异构数据的集成共享 ， 并将不 同的时空数据服 务 分 布式地 部署 在 网络云端 J 。 二 、 平 台 的 设 计 与 实 现 1 平台逻辑结构设计 为 了满 足时 空 大数 据 的存储 管 理需 要 ， 同 时也 为 了确保数据生产管理与应用的安全性 ， 平 台基于 私有 云环 境进 行 设计 与研 发 。基 于私 有 云 环 境 ， 平 台 的逻辑 结构 ( 如 图 2 所 示 ) 设 计 为 3 层 ， 从 下 往 上 依 次为 ： 基 础 设 施 层 、 中 间 层 和 数 据 管 理 与 应 用 层 l 1 。其 中 ， 基 础 设施 层 又包 含 物理 层 和虚 拟 层 ： 数据 管理 与应用 层 又 包含 时空 数 据 层 、 管 理 服 务层 和应用 层 “ 。 应 用 数 薯薹 层 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 中 间 层 时 空 数 据 层 虚 拟 茵 基础 地理 数据 专题 数据 圆 圈 圈圈圆 叠 基 层 虚 拟服 务 虚拟 存储 虚拟 网络 虚 拟化 应用 础 ： 施 物 理 - 圈 服 务器 网络 设施 图 2平台的逻辑结构 1) 物理层 ： 由均质化的服务器 、 网络 、 存储等硬 件资 源组 成 ， 所 有 服 务器 采 用 相 同品牌 、 相 同 型号 ， 满足驱动程序或硬件 的兼容性 这样才能实现迁移 、 负载均衡 、 容错等多项功能。 2) 虚拟层 ： 利用 虚拟化 技术 ， 对 操作 系统 、 网 络 、 应用程序 、 服务器 、 存储等资源进行虚拟化 ， 提供 虚 拟化 的 资源和技 术 3) 中间层 ： 负责 管理基础设施层 的虚 拟化资 源 ， 提供 自动化 管理 服务 ， 实现虚拟资源 的 自动部 兰务 一子争一 圆 三务lI l 一 三服 一 瞄一 豳 菌 翱 测绘通报 2016 年 第 4 期 署 包括主机管理 、 虚拟机管理 、 资源的动态部署 、 动 态调 度 、 服 务运行 状况 监 控 _l 。 4) 时 空 数 据 层 ： 对 应 平 台 管 理 的 各 类 时 空 大 数 据 。 5) 管理服务层 ： 对应平台的数据管理与访 问相 关 的模 块 与接 口。除 了时空 数 据 服 务 外 ， 还 包 括 空 间数据 引擎 服务 、 空 间查 询服 务 、 空 间分 析处 理 服务 等 。所有数据与功能服务遵循 OGC 标准协议 ， 使得 不 同数据服务可以聚合与叠 置， 不同功 能服务可 以 互 操作 。 6 ) 应用 层 ： 应用 层 对应 基 于 平 台 的数 据 服 务 及 功能 服务搭 建 的各 类 GIS 应 用系统 。 云计算 的建设 、 运行 、 管理和维护都需要在一定 的安全 机制 下进 行 ， 并 遵循 一 定 的标 准 。安 全 控 制 服务保 护 应用 程序 免 受 外来 攻击 ， 可 以通 过 为虚 拟 机构 建虚 拟 防火 墙 来 实 现 。此 外 ， 还 需要 开放 虚 拟 化 格式 ( OVF ) 标 准 作 支 持 。OVF 对 虚 拟 机 和 元 数 据 的封装进行了规范 ， 以保证在任何虚拟化平 台上 都 能够 自动和 安全 地部署 虚 拟设 备 _】 。 2 平台的功能设计与实现 按照云计算 的相关理论 ， 设计的平 台总体架构 由 7 个 系统 构成 。这 7 个 系统 分别 对应 云 GIS 的基 础 设施 即服务 ( IaaS ) 层 、 软件 即服 务 ( SaaS) 层 、 平 台 即服务 ( PaaS ) 层与数据 即服务 ( DaaS ) 层 J。IaaS 层 相关 服 务 由私有 云基 础设 施搭 建与 管理 系统 来实 现 ： SaaS 层 相关 服 务 南数 据 生产 全 过 程追 踪 与管 理 系统 、 数据 资源 创 建 与管 理 系 统 和 数 据 成 果档 案 建 档 与管 理 系统来 实 现 ； PaaS 层 相关 服 务 由数据 服 务 功能接 口创建与管理系统 、 数据应用平 台创建与管 理系统 、 应 用程 序二 次开 发 API 、 功 能模 块 及 功 能服 务来 实现 ： DaaS 层相 关服 务 由 时空数 据 服 务 与数 据 资源检 索 与服 务 系统来 实 现 。7 个 系统 均 以 托管 服 务 的方 式 部署 在 云环 境 中 ， 系 统 之 间 实 现 了无 缝 对 接 、 联 动操 作 和单 点 登 录 。平 台包 含 的 7 个 系统 的 主要功 能及 实 现方 法如 下 ： ( 1) 私有 云基 础设 施搭 建 与管 理 系统 该 系统为搭 建 、 管理 与 维 护 高 性 能 的 时 空大 数 据存储管理云环境提供有效的支持 ， 解决 了时空大 数 据 生产 管理 与 应 用 过程 中 IT 资源 不 足 的瓶 颈 问 题 ， 主要负责平 台运行的私有云基础设施层的管理 、 虚拟化 、 资源监测及动态弹性调度等 “ 。系统功能 分为 5 个模块 ， 分 别为基础资源管理 、 站点管理 、 系 统监控 、 资源度量 、 系统管理。 该 系统 基于 B S 架 构 ， 并 通 过 VMware vSphere SDK fo r NET 二 次 开 发 接 口 ， 实 现 硬 件 集 群 及 资 源 池 的建立与管理 ； 基于 VMware vCloud SDK for NET 的二次 开发 接 LI 实现 资源池 上 的虚拟 机建 立和站 点 的配置 ， 并对资源池的使用状况 、 站点的负载情况进 行 实 时监控 ( 2 ) 数据 生产 全过程 追踪 与 管理 系统 该 系统 主 要 实 现 数 据 生 产 全 过 程 “ 项 目登 记 、 作业过程管理 、 费用管理 、 合同管理 、 质量管理 、 资料 管理 、 产值管理” 等环节的规范化 、 科 学化 、 系统化 与智 能化 的追 踪 与 管 理 ； 基 于 B S 架 构 ， 并 综 合 采 用 AJAX 、 CAS 、 JQuery 等 技术 开发 而成 。 ( 3 ) 地理数 据 资 源创 建 与管理 系统 该 系统 主 要 对 地 理 空 间数 据 进 行 时 空 编 辑 处 理 、 转换入库 、 服务创建及更新维护等 。针对地理空 间数据 格式 较 多 、 存储 方式 各异 ， 处理 转换 及数据 服 务创建 与更 新维 护 复 杂等 问题 该 系 统 面 向行 业 内 主流 GIS 数 据 ， 实 现 了 海 量 地 理 数 据 服 务 分 布 式 、 “ 一 键式 ” 与 智 能 化 的创 建 及 更新 维 护 。在 进 行 时 空数据 的更 新维 护 时 ， 系 统 自动维 护 时 间 戳及 时 空 索引 。 由于 目前最 常用 的地 理空 间数 据主要 包括 Arc GI S 数据 和 DWG 数 据 ， 因此 本 系统 提 供 了处 理 这 两类数 据 的环境 ， 即 GIS 环 境 和 CAD 环境 。GI S 环 境主 要 对 ArcGI S 中 的 SHP 、 GeoDatabase 等 数 据 进 行 处理 ： CAD 环 境 主 要 实 现 DWG 数 据 格 式 与 SHP 的转换 、 DWG 数据 创建 地 图服 务 等 。系 统基 于 Arc GI S Engine、 CAD 二次 开发控 件开 发 ( 4 ) 数据 成 果档案 建档 与管理 系统 该 系统 主要 对地 理数 据生产 过程 所产 生 的电子 资料进行数字化档案管理 ， 其 目的是为了规范档案 资料的管理， 实现档案资料 的综合利用 。其功能模 块主要 包 括收集 积 累 、 验 收 归 档 、 案 卷整 理 、 变更 管 理 、 档 案编 目、 档 案 备 份 、 档 案 鉴定 、 档 案 统 计 、 发 布 查询 、 档案 利用 、 档案 编 研 、 元 数 据 管理 等 。该 系统 基于 B S 架 构 ， 并 综合 采用 AJAX 、 CAS 、 J Query 等技 术 开发 而 成 。 ( 5 ) 数据服 务 功能接 口创 建 与管理 系统 该 系统主要 实 现 GI S 功能模 块 与功能 服务 的管 理， 方便功能模块与功能服务 的重复利用与组合搭 建 ， 为 GIS 应 用系统 的定制奠 定基础 。该 系统 综合采 用了 ArcGIS Eng ine 、 Python、 工作流等技术开发而成。 ( 6) 数 据应 用平 台创 建与 管理 系统 由于 当前 GI S 应 用 系统 的开 发 存 在 专业 性 强 、 开发难度大 、 投资成本高 、 扩展定制难等问题， 这让 一 般数 据生 产管 理部 门或数 据应 用部 门按需 定制 自 己 GI S 应用 系统 的愿 望难 以实现 。该 系统 的 主要 目 2016 年第 4 期 肖建华 等 ： 地理 时空大数据管理与应用云平台建设 41 的是降低 GIS 应用系统研发 的门槛 。 让非专业 人员 根 据 自己的需要 快速 定制 时 空大 数 据集 成 应 用 GI S 系统 。 系统基 于模块 化 、 先分 后合 和软 件 复用等 思想 ， 先 对 GI S 应 用 系 统 构 成 要 素 ( 数 据 、 功 能 、 业 务 逻 辑 、 用 户界 面和用 户 权 限等 ) 进 行 离 散 化 、 通用 化 与 模块化划分 。 并构建构件库 ， 让 GIS 应用系统构件元 素之间相互独立 、 相互分离 ， 同时又彼此互 留接 口； 最后采用组合搭建 的方法 ， 让用户 以装配式 的可视 化 、 零代码或近似零代码方式 搭建 GIS 应 用系统。 该 系统 基于 B S 架 构 ， 并 综合 采 用 了 XML 、 Web Se ice、 ASP NE T 及 ArcGIS Se er 开发 而成 。 在没 有进 行扩 展 的情 况 下 ， 数 据 应用 平 台创 建 与管理系统搭建的用户应用系统具备时空大数据集 成应 用 的常见 基本 功能 用户 还可 以在 此基 础上 ， 根 据 自己的需要 进行 功能 扩展 。这些 基 本功 能可 概括 为 8 个能 ： 能看 ： 能对海量时空大数据进行浏览及 查看 ： 能查 ： 能对海量时空大数据进行查询定位 ； 能加 ： 用户能叠加显示本地数据 SHP 、 DWG 等数 据 ： 能下 ： 能进行电子档案资料的下载； 能算 ： 能 基 于空 间或属性 对 地理 空间要 素进 行定 制化 的统 计 开 始 分析计算 、 面积长度的计算等： 能 比： 能将不 同形 式 的时 空数 据双 拼联 动 比对 ， 还 能 基 于 时 间轴 或 时 间帧对时序数据进行动态可视化 的历史 回溯 ： 能 绘 ： 能进行 地 图 标 绘 ， 并 将 标 绘 的 图形 输 出 成 SHP 或 DXF ； 能 定 制 ： 能 从 数 据 源 、 数 据 展 示 方 式 、 要 素操作方式 、 功能 、 用户权限等方面对系统进行定制 与维 护 。 ( 7) 数 据 资源检 索与服 务 系统 由于 平 台 中的数 据 服 务 均发 布在 云 端 ， 为 了方 便普 通用 户快 速查 找并 利用 基于本 平 台发 布在 云端 中 的各 类 地理 数据 服 务 ， 该 系 统 为 普通 用 户 提 供 了 数据服务检索及浏览 的接 口。用户查找到数据服务 后 ， 可 以在 Auto CAD 、 ArcGIS 或 其 他 GIS 应 用 系 统 中调用 对 应 的 数 据 服 务 。 为 了在 Auto CAD 下 调 用 OGC 地 图服务 本文 还基 于 Auto CAD f0r ArcGI S API 在 Auto CAD 下开发 了调用 地 图服务 的功能接 口。 3 基于平台的时空大数据全生命周期管理 与应用流程 本 文设 计 的基 于平 台进行 时空 大数 据全 生命 周 期管理与应用的流程如图 3 所示。 数 据生产 管理 与处理 数据 资源 数据 应 用 图 3 时空数据生产管理与应用 的全 生命周期 管理流程 ( 1) 数 据 生产过 程 管理 数 据生 产管理 部 门对所 有数 据生 产项 目通 过数 据生产全过程追踪 与管理系统进行任务登记 、 任务 分配、 过程管理 、 成果提交及质量检查等。管理 中， 成果 数据 以 电子 资料 的 形 式 通 过 该 系 统 上 传 与 流 转。成果检查合格后 ， 对应的电子资料就是最终的 成果资料 ， 并 被 自动推送 到数据 资 源创建 与管 理 系统 。 42 测绘通报 20 1 6 年第 4 期 ( 2 ) 数 据 处 理 及 电子 归 档 数据 管 理员根 据数 据 的特 点 及 应 用需 要 ， 利用 数据 资 源创 建与 管理 系统对 数 据进行 数 据入库 或 服 务创建 或者两项操作都进行。完成数据更新入库 后 ， 形成 了时空数据库。完成服务创 建 ( 更新 ) 后 ， 就 形成 了发 布在 云端 的数 据服 务 。完成 这两 项操 作 后 ， 数据 资 源创建 与 管 理 系 统将 电 子 资料 推 送 到 数 据 成果 档 案建档 与 管理 系统 ， 档案 管理 人员 检查 、 归 类 及 登 记 操 作 后 就 完 成 了 数 据 生 产 资 料 的 数 字 归 档 。 ( 3 ) 时 空 数 据 的 应 用 通 过 上述 3 个 系 统 后 ， 将所 有 时空 数据 及 对 应 的档案 资料 转换 成 了数 据 库 、 数 据 服务 和 电子 档 案 这 3 种 形式 的成 果 。用户 可 以根据 自己个性 化 的需 要 ， 利用 数 据服 务功 能接 口创 建 与 管理 系统 创 建 功 能模块 或 功能 服务 ； 然 后 结 合 创 建好 的数 据 服 务 与 功能 服务 ， 利用 数据 应 用 平 台创 建 与 管理 系统 快 速 定 制 自己的 GI S 应 用 系 统 从 而 实 现 时空 大 数 据 及 其 相关 的电子档 案 资料 的集 成应用 。 此 外 ， 用户 还可 以利 用 数 据 资 源检 索 与 服 务 系 统 ， 快 速查 找基 于本 平 台发 布 在 云 端 的海 量 时 空 数 据 服 务 ， 然 后将 这些 数 据 服 务 加 入 用 户 的管 理 系 统 ( 如 ArcGIS 、 AutoCAD 或其 他 GI S 应用 系 统 ) 中进 行 应 用 三 、 结束语 目前 ， 本 文的研 究 成 果 已经 成 功 应用 于武 汉 市 土地利 用 和城 市空 间 规 划研 究 中 心 、 长沙 市 规 划 勘 测设计研究 院、 昆明市测绘研 究院等单位项 目中。 随着地理信息产业 的发展和大数据 时代 的到来 ， 地 理信息服务的 内容 、 领 域 、 方 式也在发生深 刻 的变 革 。云平 台支撑 下 的时 空信 息服 务将 是地 理信 息应 用 的主要 形式 。 因此 ， 本 文 的研 究 成 果将 具 有 巨大 的应用 潜 力与 良好 的应 用前 景 。 参考文献 ： 1 龚健雅 ， 王 国良 从数字城市到智慧城市 ： 地理信息 技 术面临的新挑 战 J 测绘地 理信 息 ， 20 1 3 ， 38 ( 2 ) ： 1 6 吴正 升 GIS 中时空数据 组织方 法研 究 D 郑州 ： 信 息T 程大学 ， 2006 乔朝 飞 大数据及其对测绘地理信息 L 作 的启示 J 测绘 通报 ， 20 1 3( 1) ： 1 07 1 09 郭 忠 ， 刘江 涛 ， 彭 子凤 ， 等 开放式 空 间基础信 息平 台的发展 特征 与 技 术 内涵 J 1 测 绘 学报 ， 201 2 ， 41 ( 3) ： 323 326 张山 山 基