构建电信物联网开放数据服务体系的思考.doc

构建电信物联网开放数据服务体系的思考赵钧2012-5-2 10:11:56来源：电信科学2012年第02期摘要：物联网的一个特征是智能处理，面对海量的物联网数据，如何存储、分析和共享使用是一个值得关注和需要解决的问题。基于对电信运营商物联网经营现状和未来发展趋势的分析，本文提出了建设电信物联网开放数据服务体系的构想，并详细设计了物联网数据服务的服务内容和体系框架，针对数据服务体系建设中涉及的关键技术点进行了分析，最后对电信运营商构建物联网开放数据服务体系的策略给出了建议。关键词：物联网，开放数据服务体系，数据挖掘1引言物联网被视为“物物相连的互联网”，通过传感设备将物体与互联网连接起来，进行信息交换和通信，实现智能化识别、定位、跟踪、监控和管理。随着政府智慧城市的大力推进以及传感设备的普及和广泛部署，未来将会有海量的物联网数据需要采集、汇总、存储和分析处理，如何对这些数据进行管理和使用并最终服务客户，成为一个值得关注的问题。 在物联网产业链中，电信运营商负责提供数据传输通道，但仅作管道提供者是不够的。电信运营商多年来数亿用户的运营经验和品牌服务信用，使其有条件、有能力构建一个开放的物联网数据服务体系，封装物联网数据智能处理过程，最终成为数据服务的平台提供者，让第三方合作伙伴（包括个人开发者）能够通过标准开放的服务接口，实时访问真实、可靠的物联网数据，并基于这个平台提供数据服务，构建自己的物联网应用。 2物联网数据服务需求分析2.1电信运营商现有物联网服务模式 现阶段，全球范围内的物联网应用都处于起步阶段，国内电信运营商也非常重视物联网带来的产业发展机遇，都申请了用于物联网的专用号码段，并积极建设自己的物联网运营平台，在提供终端监控、数据转发等基础通信服务的基础上，集成类似电力抄表、车辆调度等的行业应用模块，面向行业应用提供物联网服务。目前的这种服务模式聚焦在企业客户，针对不同行业甚至同一行业的不同企业根据客户需求开发个性化物联网行业应用，但电信运营商本身对行业的认识和理解存在局限，因此多通过集成行业内其他成熟解决方案为客户提供一站式服务，扮演软件集成商的角色，虽然短期有利于获取客户，但长期来看存在被管道化的风险，而且一站式服务成本也很高。 2.2未来物联网开放数据服务需求 随着企业需求驱动的物联网逐渐走向成熟，未来出现跨企业的行业数据开放、面向公众服务的物联网应用将是必然的发展趋势，不少专家也认为物联网应用正从企业走向公众，物联网的最好运用是服务公众。公众服务的一个特点是数据的开放性，不存在隐私保护问题，这让电信运营商可以基于海量的物联网数据提供数据服务，无需针对每个客户提供从终端、通信、平台到行业应用的整套集成解决方案，而是可以专注于提供物联网数据的采集、分类、融合、分析等相关的标准化服务，让产业链上游的物联网应用开发商可以基于电信运营商的开放物联网数据服务开发物联网应用服务，同时也能吸引产业链下游传感器厂商通过生产部署传感终端、上传数据，从数据服务调用中获取利润分成，从而形成一个良性的物联网产业生态环境。 3物联网数据服务体系设计3.1数据服务内容设计 为汇聚物联网数据，服务于产业链上下游，电信运营商首先要规划物联网数据服务的内容，即开放的服务目录，从数据自身封装和服务的角度来看，可以分为以下几大类服务。 （1）数据采集转换服务 根据已注册终端上传的数据，进行数据关联和格式转换，实现数据分层组织和并行加载，使不同终端上传的数据能够按标准格式进行存储和使用。 （2）数据存储服务 支持存储空间大小的申请，可根据预设的规则对存储空间大小进行动态调整。 （3）数据查询服务 可根据传感终端号码、时间、位置、事件等信息，对原始数据、分析结果数据进行单个/批量、实时/非实时查询，如在页面实时显示环境监控数据，具体可根据物联网行业数据特征或应用功能需求设计各种参数的查询服务。 （4）数据统计服务 根据地域、终端类型、时间段等维度，输出数据统计结果，如截止当前一天某区域的车流总量，具体可根据物联网行业数据特征或应用功能需求设计各种参数的统计服务。 （5）数据融合服务 多传感器在空间或时间上观察的冗余或互补信息可以依据某种规则，通过融合算法进行组合，形成对被观测对象的一致性刻画，如从不同角度观测数据的合成。 （6）数据挖掘服务 通过数据清理和集成，生成并分析相关的数据，选择不同的数据挖掘算法，设定不同的参数建立挖掘模型，进行数据挖掘操作，输出挖掘结果，可根据需要提供定时或实时挖掘服务。数据挖掘算法包括决策树算法、贝叶斯算法、聚类算法、时间序列算法、关联规则算法、序列聚类算法等，通过对算法的选择和参数配置，可实现分类和预测、异常和趋势发现等应用挖掘需求。 （7）数据分析服务 支持对物联网数据的多维分析，提供数据切片、切块、钻取、旋转等服务，如按时间、地域等维度对大气监测数据进行分析。 （8）数据可视化服务 为方便数据应用，还可以提供数据可视化支持服务，如车辆行驶路线的电子地图展现、数据分析统计结果的图表展现服务等。 实际中，由于传感数据不同、行业间存在差异以及未来潜在物联网应用的不可预测性，基于物联网数据的服务数量可以说是无限的，这就需要在服务设计时进行合理裁剪和分类规划，防止数据服务数量泛滥，难以管理和使用，如针对一个安装传感芯片的车辆，可能需要实时查询其位置，也可能需要绘制某段时间的行车路线，在设计服务时可针对单个车辆提供实时查询服务，物联网应用开发者基于实时查询的数据可自行绘制行车路线。除了数据服务外，电信运营商也可以利用现在为客户提供的物联网行业应用，向上拓展，封装和开放流程服务、应用服务，为第三方开发物联网应用提供更多的便利。 3.2数据服务体系结构设计 为提供3.1节设计的数据服务内容，物联网数据服务体系结构应包括终端管理模块、数据预处理模块、数据存储模块、实时分析模块、离线分析模块、数据服务模块、数据接口模块、应用管理模块和其他附属模块，如图1所示，实现与传感终端的通信、第三方物联网数据提供商数据库的集成以及物联网应用对数据服务的访问，同时对用户通过物联网应用访问数据服务的情况进行记录，以提供给电信运营商运营支撑系统进行计费。 终端管理模块：提供终端注册、监控、资源管理等功能，对传感终端等物理设备进行统一管理。 数据预处理模块：接收终端上传的数据，进行数据转换，屏蔽不同厂商传感器硬件数据的差异性，生成统一的标准数据格式。 数据存储模块：实现原始采集数据、清洗转换数据、分析挖掘结果数据、元数据等各类物联网数据的存储和备份功能。 实时分析模块：通过对实时数据的统计分析，可对数据进行分析处理，输出分析结果。 离线分析模块：对大量非实时数据进行统计、分析挖掘，定时生成分析结果数据，当用户调用相关分析数据服务时，可以直接输出已分析的结果，提高服务效率。 数据服务模块：提供服务注册、服务发现、服务组装服务，将服务开放给外部物联网应用。 数据接口模块：与第三方物联网数据提供商的数据库接口，实现对外部数据源的访问。 应用管理模块：对访问数据服务的物联网应用进行注册、注销管理。 其他附属模块：可以根据需要增减辅助模块，如数据可视化模块、计费数据采集模块、流程管理模块、安全管理模块、系统管理模块等。 4物联网开放数据服务关键技术构建开放的物联网数据服务体系，对于电信运营商来说，是从关注产品转向关注数据和平台，可以说是一个新的领域，因此必然会面临一系列技术问题，其中涉及的关键技术主要包括以下几种。 4.1数据融合技术 物联网多传感器部署情况下，有时需要利用不同时间与空间的多个传感器数据，按照一定规则进行分析和综合，获得对被测对象的一致性描述，这需要数据融合技术。这一技术广泛应用于工业过程控制、医疗诊断、图像处理、遥感等众多领域，是传感技术、数据处理技术、人工智能技术、并行计算技术等相关技术的一种综合应用。数据融合技术的关键是融合算法的选择，融合算法包括加权平均法、卡尔曼滤波法、多贝叶斯估计法、神经网络、粗集理论等。 4.2数据存储和分析挖掘技术 针对物联网数据采集点分散、数据量大、时间相关和位置相关、存储和计算能力边缘化的特点，在数据架构设计上，可采用分层、分布式或基于网格的数据存储和分析挖掘架构，以提高数据处理效率，例如要对分散在各地的传感数据进行存储、统计、分析，如果统一上传到全国集中的数据中心进行处理，一般很难满足数据处理性能上的要求，因此可以采用分布式存储、分布式并行计算、内存计算等技术提高数据处理效率。 对于简单可通过排序解决且数据量不大的数据服务，可以通过内存NoSQL数据库进行存储和计算，在物联网数据存储节点实现快速实时分析；对于可进行并行处理的数据服务，如趋势分析、流量统计、数据聚类、关联规则、依赖关系等挖掘算法，可以基于MapReduce技术实现并行计算，提高分析效率，同时还可针对各类数据挖掘算法进行服务封装，供外部物联网应用调用。在挖掘算法方面，Apache Mahout开源项目提供了一个可借鉴的基于Hadoop实现各种机器学习与数据挖掘的算法库，通过与Hadoop库结合，能够实现挖掘算法的并行处理。另外考虑到海量物联网数据挖掘的计算密集、不同分析挖掘应用对性能要求存在差异，还可引入弹性负载、动态任务迁移等技术对计算任务进行均衡处理，以有效利用资源。 4.3云计算相关技术 云计算是通过互联网将动态、易扩展且被虚拟化的计算资源提供出来的一种服务，涉及虚拟化、弹性扩展等技术，分为基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）3种服务模式。本文提出的电信物联网开放数据服务体系是一种PaaS服务模式，上文提到的分布式存储和并行计算就是PaaS层涉及的关键技术。另外，在服务的实现层面也可以应用到IaaS层和SaaS层技术，如针对个性化数据分析挖掘服务需求，可提供云主机服务，自动为客户生成具备物联网数据分析架构的虚拟机，方便客户自行定制开发。 4.4面向服务架构 开放数据服务体系需要将物联网数据以服务的方式开放给外部用户调用，基于Web服务的SOA实现是目前流行的一种技术，是面向服务架构的一种，采用基于可扩展标识语言（XML）的服务描述语言（WSDL）定义和描述服务，服务间利用XML Schema定义的消息进行通信，通过通用描述、发现与集成（UDDI）服务注册服务，实现服务的定义、封装、查找。 5物联网数据服务体系实施策略目前各电信运营商在物联网发展战略上，主要关注两个方面：一是与电信传统核心网结合的物联网基础通信，二是面向不同行业客户的应用解决方案。因此在规划和建设物联网运营平台时，实现的功能也主要是终端监测、通信能力封装以及行业应用开发接口，忽视了对物联网最重要的资源“数据”的利用，因此本文结合电信运营商提出的“做综合平台的提供者”的企业战略以及物联网数据量大和服务公众的特点，提出了构建物联网开放数据服务体系的思路，希望电信运营商能够将数据资源封装成服务提供给第三方使用，逐渐实现角色转换，成为物联网数据服务的平台提供者。在具体实施策略上有如下建议。 5.1统一规划目标架构，分步推进平台建设 由于物联网数据服务体系对电信运营商来说是一个新的服务模式，因此电信运营商首先要做好规划，明确商业盈利模式、数据服务内容、目标体系架构、分阶段演进路径，解决好数据服务体系与现有内部物联网运营平台、IT支撑系统以及外部上下游合作伙伴之间的关系。在系统建设上，可先从传感原始采集数据的查询和统计服务入手，逐步向分析挖掘服务延伸，从提供通用基础数据服务向提供行业个性化数据服务延伸，从提供数据服务API调用向提供高层流程集成、数据可视化等应用服务领域延伸，分阶段、分步骤实施。 5.2从公共基础数据服务切入，发掘和拓展数据开放领域 电信运营商以往在提供物联网传输通道和行业应用产品时，关心的是产品功能而不是数据，因此要构建数据服务体系，需要观念和行动上的转变，在与政府或行业客户的合作中，要注重发掘数据价值，寻找数据开放的突破口。现阶段电信运营商在大力拓展物联网行业应用时，应加强对政府公共服务数据开放性的关注，如环境监测数据就是公众关心且非隐私的数据，通过与政府相关部门合作提供这类数据的开放服务，能够快速吸引第三方合作伙伴基于开放的数据服务开发专业化、个性化物联网应用，而电信运营商在一个领域形成成功案例后，也能够更加方便地向其他领域拓展，迅速形成规模效应。 5.3建立数据质量管控体系，保障数据准确可靠 在将海量的物联网数据经过采集、存储、加工处理后共享给外部应用的过程中，如何保证数据质量是必须面对的问题，因为没有质量的数据也就没有了价值。要保证数据质量，首先应制定物联网电信企业数据标准，如数据采集接口标准、数据存储标准、元数据标准等，指导平台对数据的规范化处理，避免数据混乱；其次还要建立数据全生命周期的管控流程和制度，辅以IT技术手段的支持，实现全流程端到端数据状态和质量的追踪。 5.4合作共赢，促进产业链形成和健康发展 电信物联网数据服务体系不是一个孤立的系统，需要上下游合作伙伴的加入，通过专业化分工合作，共同服务客户，其中下游传感终端厂商通过生产部署终端与电信运营商对接，借助电信运营商将数据自动包装成服务提供给物联网应用开发商，自己不用开发应用就能获得收入分成；而应用开发商也无需自己部署终端，只需从电信运营商获取数据，就能方便快捷地开发物联网应用。在物联网数据