基于大数据的北斗泛在管理系统及其应用.doc

基于大数据的北斗泛在管理系统及其应用2014.08.05摘要：本文在泛在网络及北斗的应用基础上，基于物联网及大数据，建立了在事务状态数据化下进一步将事务之间的关系数据化，在数据资源化下，进一步将数据资源体系化的新型北斗动态管理系统模型，并结合北斗/GPS双模定位终端，提出了一个新型的最优化的北斗泛在管理系统SKYS-BD方案。关键词：北斗，大数据，定位服务，动态管理,泛在网，动态管理，智慧城市一、引言泛在、智能、协同、融合是信息通信技术发展的主要方向，而大数据伴随着云计算、移动互联网等技术的发展，为智慧城市及信息化的动态管理方案提供了新的契机。在智慧城市建设成为我国的战略热点的时机下，大数据产业生态环境的加速构建与北斗导航定位的结合呈现出集成化、多元化和学科交叉现象，同时北斗与全球的定位技术从常规静态逐步发展到准动态、动态和实时定位阶段，正向着实时、高精度、高可靠性的方向发展，结合大数据的架构管理及终端技术的提高，北斗最终将实现产品化并应用于广泛领域。本文从北斗应用管理入手，结合泛在网络下的应用，构建以指标体系为核心的“数据+服务体系”，同时给出新型系统SKYS-BD的应用解决方案。二、系统设计思路本文提出的基于大数据的北斗泛在管理系统，不仅仅是一个技术方案，而且是一个服务体系，是一个以政治、经济、文化，民生为基础，以“发展更科学，管理更高效，生活更美好”为目标的管理体系方案。大数据化是为了更好的处理好数据，做好数据的挖掘工作，在合理时间内达到撷取、管理、处理、并整理成为帮助系统决策的目的。基于大数据的结构如图1：1 多种通信方式：SKYS-BD模块化设计，利用独立的通信驱动库，在不影响核心和业务模块的基础上，支持各种通信方式，所有通信驱动程序都遵守相同的驱动库规范，可靠性、可维护性、可扩展性大大提高。2 泛终端接入：拥有通信驱动库和定位模式库后，终端驱动程序只是通信驱动程序和定位模式程序的组合，从而使其编写非常简单，且终端与SKYS-BD可做到无关，面对复杂多变的终端市场，可灵活、低成本的接入各类终端，使SKYS-BD的用户可以非常容易的支持各类终端用户，从而使最低成本的支持最多数用户成为可能。3 SKYS-BD海量数据存储，先进的核心架构SKYS-BD系统采用了MPP（大规模并行处理）方式，无共享，每个SMP节点也可以运行自己的操作系统、数据库等。节点之间的信息交互是通过节点互联网络实现的，当需要处理的事务达到一定规模时，MPP的效率要比SMP好。同时支持混合按列或按行存储数据，每张表或表分区可以由管理员根据应用需要，分别指定存储和压缩方式。基于这个功能，用户可以对任何表或表分区选择按行或按列存储数据和处理方式。4 最强大的高并发处理机制此系统利用强大并行处理能力提供并发支持。系统提供资源管理功能(workload management)来管理数据库资源，利用资源队列管理可实现按用户组的进行资源分配，通过资源管理功能，可以按用户级别进行资源分配和管理用户SQL查询优先级别，同时也能防止低质量SQL(如没有条件的多表join等)对系统资源的消耗。5 先进的线性扩展与多层次的容错能力系统的数据管理软件包含多层次容错和冗余能力，基于云计算架构保证整个数据仓库系统在遇到硬件、软件的故障的情况下，仍然自动继续运行。同时在系统中增加节点服务器即可增加存储容量，处理性能和加载性能。当系统扩展时，数据仓库保持在线，并且完全可用，扩展进程在后台运行。增加节点服务器，性能和容量线性增加。6 高效的负载均衡与负载管理（Workload Management）SKYS-BD内置负载均衡功能，在多台SKYS-BD集群的情况下，SKYS-BD可通过负载均衡将工作负载均布在所有的服务器上，充分发挥集群的处理能力，防止出现载荷过于集中而造成的服务响应迟钝现象。同时具有系统资源管控能力，可控制给各个查询分配各自系统资源，允许管理员指派资源队列，从而管理数据仓库的队列进入执行情况，在运行的查询的优先级可以随时调整。7 灵活的业务定制功能：SKYS-BD内的业务模块完全独立，通过一系列预先制定好的通信协议，可在不影响核心模块的前提下，进行业务定制，业务模块独立后，摆脱了复杂的业务定制的核心和通信模块，可以更加简洁、高效，运行稳定性大大提高。同时业务模块的定制完全以业务为中心，可是定制工作变得非常简易，从而将定制成本降至最低。8 完整的安全机制：SKYS-BD具备完整的安全机制，可对监控端的用户进行多级授权，授权体系中无交叉，悖论现象出现，安全可靠，SKYS-BD用户可根据实际运营要求，精确限定监控端的用户的操作范围，高级安全校验机制可充分保证用户的合法性，9 完善的泛在网络管理接口：SKYS-BD系统提供完善的泛在网络管理接口，系统管理员通过浏览器等方式就可以执行全部的服务器管理功能，在使用系统性能数据动态收集模块后还可以对服务器运行情况进行实时监测。三、技术方案SKYS-BD大数据下北斗泛在管理系统数据构架系统大数据处理流程一般可分为数据获取阶段、数据集成阶段以及数据分析解释阶段。1 数据获取阶段数据获取阶段主要是完成对外界数据源的接收和记录操作。其中对大数据的接收方式主要有北斗/GPS获取，对大数据的记录主要完成对元数据的选择，以便构建所需要的数据结构。2 数据集成阶段大数据的集成阶段主要完成对已接收数据的抽取、清洗和贮存等操作。数据库的选择可以多种多样，针对特定数据设计的特定数据库将会更加高效、适用。3 数据分析和解释阶段用户提出查询时，系统进行及时地分析与建模，并将结果以用户可接受的方式返回给用户。用户查询可以是多种多样的，不同的查询输入应该得到对应的结果，即使面对用户的错误查询也应该给出相应的错误友好处理。四、基于大数据的北斗泛在管理系统在儿童安全服务上的应用天安信通首次将基于大数据的北斗泛在管理系统应用在儿童安全服务管理方面，并取得了很好的效果。基于云计算方案，为儿童机终端和其监护者提供一个高效可靠的服务平台。服务平台的拓扑结构如图4：Skyscom-Cloud云服务关键技术天安信通根据在GPS服务领域多年的技术积累，成功发布了基于云计算的智能定位云服务平台，该平台能够为用户提供全面，灵活的个性化服务。Skyscom-Cloud云平台中自动系统以Fast Paxos算法为基础，主管理节点是其他节点通过选举产生，同时生成从管理节点。当主节点宕掉时，优先将从节点提升为主节点，然后再选举新的从节点。避免单点故障，也减少切换时对系统效率的影响，增加稳定性。从节点平时可以协助同步节点间数据，能够更快速的切换不同节点，提升处理效率。使用Loadrunner，模拟并发用户对平台进行压力测试。每用户平均每次随机发送1K字节数据，每次持续测试1小时，查看响应时间。10000用户每24小时上报的数据量为5230GB，经过优化后，实际存储量可减少到50GB以内，每月的数据也可以少于1000GB。五、结论基于大数据的北斗泛在管理系统在稳定性，高并发及大数据处理能力方面具有无与伦