（信号与信息处理专业论文）实时数据库在物联网中的应用研究.pdf

南京邮电大学硕士研究生学位论文 摘要 i 摘摘 要要 目前在物联网的发展与建设中，面向智能电网中海量数据的存储、读取、查询技术， 及上层应用还有待进一步研究。海量的智能电网数据如何进行采集、存储、压缩、归档、 分析是面向智能电网的物联网技术最终能否大规模应用的关键。 数据库是工业信息化中的核心基础软件， 在信息化与工业化融合的过程中起着核心作 用。实时数据库作为关键支撑软件，被广泛应用于电力、石化、冶金、交通、水利、航空、 国防、环保等重要行业。数据库是工业信息化中的核心基础软件，在信息化与工业化融合 的过程中起着核心作用。国外主流实时数据库产品主要包括美国 osi software 公司的 pi、 instep 公司的 edna、honeywell 公司的 phd 以及 aspentech 公司的 infoplus 等，通过实 际运用发现其产品普遍存在着处理能力有限，数据压缩算法单一等不足。 本文针对智能电网的数据处理需求， 结合物联网技术， 给出了一种面向智能电网海量 数据处理的实时数据库设计方法，并描述了系统总体结构、压缩算法、客户端程序设计及 优化策略与实现技术， 以提高系统在物联网应用中的普适能力。 通过实验验证了本文研究 工作的有效性和可行性。 关键词：关键词：实时数据库，物联网，智能电网，文件映射，数据压缩 南京邮电大学硕士研究生学位论文 abstract ii abstract currently in development and construction of internet of things, the smart grid about mass-data storage, gather, query techniques, and the upper application also remains to be further studied. whether the technology of internet of things is going to be applied in large scale remains to be un-known. the key refers to how the mass-data are sampled， storaged, compressed, archived and analyzed. database is the core industry of information infrastructure software. information technology and industrialization in the process of integration plays an important role. as a central support, real-time database software is widely used in electric power, petrochemical, metallurgy, transportation, water industry, aviation, defense, environmental protection and other important industries. however, real-time databases on the market are mainly from foreign products nowadays. local products started late. the real-time database can not form a universalproducts, which oriented to certain industry. the mainstream of real-time database products abroad include osi softwares pi, insteps edna, honeywells phd and aspentechs infoplus. we find that the products are in short of processing capability and data compression algorithms through the practical applications. in order to meet the need of mass-data processing in smart grid, this thesis proposes a specific scheme in designing the real-time database system, and describes the system architecture, compression algorithm, detailed client application, optimization strategy and its implementation technology, which improves the universality of the system in internet of things. the research work is proved to be practical and efficient by the effective experiments. keywords: real-time database，internet of things，smart grid, file mapping，data compress 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了中文特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获 得南京邮电大学或其他教育机构的学位或证书而使用过的材料。 与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本 人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复 制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在 保密期内的保密论文外， 允许论文被查阅和借阅， 可以公布 （包括刊登） 论文的全部或部分内容。论文的公布（包括刊登）授权南京邮电大学研 究生部办理。 研究生签名： 导师签名： 日期： 南京邮电大学硕士研究生学位论文 第一章 绪论 1 第一章第一章 绪论绪论 1.1 研究背景研究背景 物联网（internet of things）是通过在物品上内嵌电子标签、条形码等能够存储物体 信息的标识， 通过无线网络的方式将其即时信息发送到后台信息处理系统， 而各大信息系 统可互联形成一个庞大的网络。 从而可达到对物品进行实施跟踪、 监控等智能化管理的目 的。物联网可实现物与人之间的信息沟通。 bill gates 在 1995 年the road ahead 1一书中已经提及物联网的雏形，只是当时 受限于无线网络、硬件及传感设备的发展，并未引起足够重视。随着技术不断进步，国际 电信联盟于 2005 年正式提出物联网概念2，极大地推动了物联网技术与应用的发展。 2009 奥巴马就职演讲后对 ibm 提出的“智慧地球”积极响应，物联网再次引起广泛 关注，并在世界范围内引发轰动。ibm 认为，it 产业下一阶段的任务是把新一代 it 技术 充分运用在各行各业之中，具体地说，就是把感应器嵌入和装备到电网、铁路、桥梁、 隧 道、公路、建筑、供水系统、大坝、油气管道等各种物体中，并且被普遍连接在一起，形 成物联网。 中国政府高度关注和重视物联网的研究与应用。2009 年 8 月 7 日，温家宝总理在江 苏无锡调研时，对物联网建设提出希望：“在传感网发展中，要早一点谋划未来，早一点 攻破核心技术”，“在国家重大科技专项中，加快推进传感网发展”，“尽快建立中国的 传感信息中心，或者叫感知中国中心”。同年 11 月 3 日，温家宝总理在人民大会堂向首 都科技界发表了题为让科技引领中国可持续发展的讲话，再次强调科学选择新兴战略 性产业非常重要，并指示要着力突破传感网、物联网关键技术。中国已将物联网明确列入 国家中长期科学技术发展规划(2006-2020 年)和 2050 年国家产业路线图。物联网的推 广将会成为推进经济发展的又一驱动器，未来中国物联网行业发展前景广阔。目前，我国 传感网标准体系已形成初步框架3，向国际标准化组织提交的多项标准提案被采纳。 根据 itu 的描述，在物联网时代，通过在各种各样的日常用品上嵌入一种短距离的 移动收发器，人类在信息与通信世界里将获得 一个新的沟通维度，从任何时间任何地点 的人与人之间的沟通连接扩展到人与物和物与物之间的沟通连接。有研究机构预计 10 年 内物联网就可能大规模普及， 这一技术将会发展成为一个上万亿元规模的高科技市场， 其 产业要比互联网大 30 倍4-5。 今天， “智慧的地球”战略被不少美国人认为与当年的“信息高速公路”有许多相似 南京邮电大学硕士研究生学位论文 第一章 绪论 2 之处，同样被他们认为是振兴经济、确立竞争优势的关键战略。该战略能否掀起如当年互 联网革命一样的科技和经济浪潮，不仅为美国关注，更为世界所关注。物联网前景非常广 阔， 它将极大地改变我们目前的生活方式。 它把我们的生活拟人化了， 万物成了人的同类。 在这个物物相联的世界中，物品（商品）能够彼此进行“交流” ，而无需人的干预。物联 网利用射频自动识别（rfid）技术，通过计算机互联网实现物品（商品）的自动识别和 信息的互联与共享。可以说，物联网描绘的是充满智能化的世界。在物联网的世界里，物 物相连、天罗地网。 但是随着物联网市场和业务模式6-7不断细化，系统功能日益增强，应用操作将产生 比以往更多的生产型数据， 同时对历史数据分析的需求也在不断增加， 因此将会不可避免 的引起业务数据的极度膨胀。我们现在已经看到，越来越多地数据系统达到几百 gb 甚至 于 tb 级以上的容量。 如何建设如此巨大的数据库应用系统， 用户需要从多方面加以考察， 其中包括系统运行绝对性能、投资回报率（roi） 、系统运行风险和数据可管理性等多方 面的因素，以得到一个最优的综合解决方案。 物联网之所以能把我们的世界变为“智慧地球” ，其根本在于能够获取并处理各种类 型的海量数据。但是，对于海量数据的存储、查询8-10，普通的关系型数据库显得力不从 心。 实时数据库作为数据库系统发展的一个分支， 适用于处理不断更新的快速变化的数据 及具有时间限制的事务处理。实时数据库技术11是实时系统和数据库技术相结合的产物， 可以利用数据库技术来解决实时系统中的数据管理问题， 同时利用实时技术为数据库提供 时间驱动调度和资源分配算法。然而，实时数据库并非是两者在概念、结构和方法上的简 单集成。 传统的数据库系统旨在处理永久、 稳定的数据， 强调维护数据的完整性、 一致性， 其性能目标是高的系统吞吐量和低的代价，而根本不考虑有关数据及其处理的定时限制， 所以， 传统的数据库管理系统不能满足这种实时应用的需要。 而传统的实时系统虽然支持 任务的定时限制，但它针对的是结构与关系很简单、稳定不变和可预报的数据，不涉及维 护大量共享数据及它们的完整性和一致性， 尤其是时间一致性。 因此， 只有将两者的概念、 技术、方法与机制“无缝集成”的实时数据库才能同时支持定时和一致性。 实时数据库具有两方面的特性，一个是实时性：即其数据是实时的，其数据来源是其 自动从工业现场采集实时数据12，每一个数据都有时标。另一个是数据库技术：该系统 中管理了大量的数据， 同时提供数据的存贮、 检索、 修改、 加工等多方面的数据管理手段。 因此，将实时数据库融入物联网，能够解决物联网海量数据存储、查询等问题。实时数据 库是物联网实时数据采集系统中不可缺少的一个支撑部分，其主要功能如下： （l）汇聚生产实时数据，把各采集节点采集到的数据汇聚到计算机的信息处理系 南京邮电大学硕士研究生学位论文 第一章 绪论 3 统中； （2）加工采集过来的实时数据，可以对实时数据进行量程变换等初步处理； （3）对采集到的数据进行一系列运算，如累计运算，逻辑运算，spc 统计分析等； （4）管理实时数据，处理实时报警，以流程图方式显示实时数据等； （5）管理历史数据，提供趋势分析，历史查询等手段管理历史数据； （6）提供各种组件如班组考核，物料平衡，快速多方面的浏览数据； （7）对外提供数据接口，可以和关系数据库集成。 当前，节能减排、绿色能源13、可持续发展成为各国关注的焦点。人类能源发展面 临的第一挑战就是以可再生能源逐步替代化石能源， 建造能源使用的创新体系， 以信息技 术彻底改造现有的能源利用体系， 最大限度地开发电网体系的能源效率。 因此期望通过一 个数字化信息网络系统将能源资源开发、输送、存储、转换(发电)、输电、配电、供电、 售电、 服务以及蓄能与能源终端用户的各种电气设备和其它用能设施连接在一起， 通过智 能化控制实现精确供能、对应供能、互助供能和互补供能，将能源利用效率和能源供应安 全提高到全新的水平， 将污染与温室气体排放降低到环境可以接受的程度， 使用户成本和 投资效益达到一种合理的状态，这就是智能电网的核心思想。 智能电网与物联网的相互渗透和深度融合14-16是信息通信技术发展到一定阶段的必 然结果，能有效整合通信基础设施资源和电力基础设施资源，提高电力信息化水平，改善 现有电力基础设施利用效率。一方面，作为“智能信息感知末梢” ，物联网以其独特的优 势，能在多种场合满足智能电网信息获取的实时性、准确性、全面性等需求，有助于实现 对电力设备资产、生产过程的全方位采集和监控，有助于降低线损、提高电能传输效率和 使用效率，有助于提升电网企业与用户的互动能力。另一方面，电网智能化是物联网的重 要应用领域。智能电网的实践，为“感知中国”工程提供了很好的行业应用示范。智能电 网信息通信网的建设， 特别是电力光纤到户工程的实施， 不仅能够为物联网技术的深化应 用提供通信网络保障，也将为电信网、广播电视网和互联网的“三网融合”提供有力的支 撑。电网智能化17将成为拉动物联网产业甚至整个信息通信产业发展的强大驱动力，并 将深刻影响和有力推动其他行业的物联网应用， 进而提高我国工业生产和公众生活等各个 方面的信息化水平。 1.2 研究现状研究现状 专家表示，10 年内物联网就可能大规模普及，应用物联网技术的高科技市场将达到 南京邮电大学硕士研究生学位论文 第一章 绪论 4 上万亿元的规模，遍及智能交通、环境保护、公共安全、工业监测、物流、医疗等各个领 域。物联网以其在实体属性信息（位置、状态、行为、特征等）的获取、分析、处理、控 制与反馈中的强大能力， 必将对智能电网的发展产生巨大的积极推动作用。 在可以预见的 未来，物联网在智能电网应用过程中，依托关键技术的成熟与发展，必将开发出多种特色 服务。目前，物联网对于全世界而言都刚起步，各个国家都基本处于同一起跑线，中国应 抓住这个难得的战略机遇，把建设物联网上升为国家战略。而随着物联网的蓬勃发展，用 户对数据精度、数据持久性的要求也随之增加，那么如何存储、检索海量数据也将成为物 联网发展的瓶颈之一。 1.2.1 物联网发展现状 2009 年 8 月 7 日，温家宝总理在江苏考察期间，到中科院无锡高新微纳传感网工程 技术研发中心考察， 听取了我国传感网发展和运用的汇报。 他最关心的是中国的传感网核 心技术处于什么样的水平，与世界先进水平有多大差距。通过中心负责人介绍，得知中国 起步比较早，标准化和技术有一定优势，但不是最领先的。总理说，当计算机和互联网产 业大规模发展时，我们因为没有掌握核心技术而走过一些弯路。在传感网发展中，要早一 点谋划未来，早一点攻破核心技术。 中心负责人向总理提出了发展传感网的建议，温家宝说至少三件事情可以尽快去做： 一是把传感系统和 3g 中的 td 技术结合起来；二是在国家重大科技专项中，加快推进传 感网发展；三是尽快建立中国的传感信息中心，或者叫“感知中国”中心。温家宝总理在 无锡微纳传感网工程技术研发中心视察并发表重要讲话之后， “传感网” 、 “物联网”一时 成为热点，引起广泛关注。那么，什么是“传感网”？什么是“物联网”？两者的关系如 何？ “传感网”是多学科高度交叉的前沿研究领域，综合了传感器、嵌入式计算、网络及 通信、 分布式信息处理等技术。 传感网络利用大量的微型传感计算节点通过自组织网络以 协作方式进行实时监测、感知和采集各类环境或监测对象的信息，以一种无处不在的计 算的新型计算模式，成为连接物理世界、数字虚拟世界和人类社会的桥梁。目前的传感 器网络技术还是以微型传感终端和组网为主，成本还比较高，也缺乏接入互联网的能力。 无线传感器网络在环境监测、资源监测、灾害污染监测、公共安全和国防、智能交通等各 个领域都有广泛的潜在应用前景，也是国际信息领域的研究热点和竞争焦点。物联网 是一个理念，指的是将各种信息传感设备，如射频识别（rfid)装置、红外感应器、全球 南京邮电大学硕士研究生学位论文 第一章 绪论 5 定位系统、 激光扫描器等种种装置与互联网结合起来而形成的一个巨大网络， 其目的是让 所有的物品都与网络连接在一起，方便识别和管理。 “物联网”是利用无所不在的网络技术（有线的、无线的）建立起来的，其中非常重 要的技术是 rfid 电子标签技术。它是以简单 rfid 系统为基础，结合已有的网络技术、 数据库技术、中间件技术等，构筑的一个由大量联网的阅读器和无数移动的标签组成的， 比 internet 更为庞大的网络。物联网成为 rfid 技术发展的趋势。在这个网络中，系统可 以自动地、实时地对物体进行识别、定位、追踪、监控并触发相应事件。 在 2009 年北京举行的“中国通信业发展高层论坛”上，中国移动总裁王建宙阐述了 他对于 “物联网” 的理解： 互联网改变了人们的生活， 无论是以 p c 为终端的互联网应用， 还是以手机为终端的移动互联网应用， 都在不停地往前发展。 今天说物联网是人与人之间 进行沟通的网络的话，那么我们完全有条件建立人与物，物与物沟通的网络，我们把它叫 做物联网18。 王建宙阐述了物联网的三个特点。第一个是全面展示，也就是利用 rfid、传感器、 二维码，甚至其他的各种机器，能够随时即时采集物体动态；第二个特性是可靠的传送， 感知的信息是需要传送出去的， 通过网络将感知的各种信息进行实时传送， 现在无处不在 的无线网络已经覆盖了各个地方，在这种情况下，感知信息的传送变得非常现实；第三是 智能处理， 利用云计算等技术及时对海量信息进行处理， 真正达到了人与人的沟通和物与 物的沟通。因此可以说， “传感网”属于“物联网”技术体系中的一环， “物联网”概念的 出现为“传感网”赋予了新的内涵19。 在现实生活中，已经可以见到一些物联网的具体应用，如远程防盗、高速公路不停车 收费、智能图书馆、远程电力抄表等，只不过这些仅是物联网的雏形，还尚未形成一个庞 大的网络。物联网固然给我们构建了一个十分美好的蓝图，在未来，我们可以想象通过物 物相连的庞大网络实现智能交通、智能安防、智能监控、智能物流以及家庭电器的智能化 控制。但从目前全球状况来，物联网的发展仍有众多问题需得到解决20： （1）资金和成本问题。实现物联网，首先必须在所有物品种嵌入电子标签等存储体， 并需安装众多读取设备和庞大的信息处理系统， 而这必然导致大量的资金投入。 而物品附 属存储体也将导致物品成本的上升， 在成本尚未降至能普及的前提下， 物联网的发展将受 到限制。 （2）技术标准问题。物联网的发展必然涉及通信的技术标准，而各类层次通信协议 标准如何统一则是一个十分漫长的过程，中国 rfid 标准已提及多年，但至今仍未有统一 说法，这正是限制中国 rfid 发展的关键因素之一。物联网的各类技术标准有待中国、日 南京邮电大学硕士研究生学位论文 第一章 绪论 6 本、美国及欧洲发达国家共同协商，其发展之路仍很漫长。 （3）产业化问题。物联网的产业化必然需要芯片商、传感设备商、系统解决方案厂 商、 移动运营商等上下游厂商的通力配合， 而在各方利益机制及商业模式尚未成型的背景 下，物联网普及仍相当漫长。 事实上，包括海量存储、云计算、无线网络的扩容和优化等均是物联网普及需解决的 问题。虽然物联网的概念已经引起全球关注，但其发展之路仍然十分漫长21-22。 2008 年底，美国 ibm 公司总裁彭明盛提出的“智慧的地球” 。2009 年 6 月，欧盟委 员会宣布了物联网行动计划。2009 年 8 月日本继“e-japan” 、 “u-japan”之后提出了更 新版本的国家信息化战略： “i-japan 战略 2015” 。这些信息化战略的共同点是：融合各种 信息技术，突破互联网的限制，将物体接入信息网络，实现“物联网” ；在网络泛在的基 础上，将信息技术应用到各个领域，从而影响到国民经济和社会生活的方方面面23。 1.2.2 实时数据库发展现状 上世纪八十年代， 随着国外众多针对实时领域和数据领域进行数据融合的研究群体的 出现，实时数据库这个新兴研究领域开始浮出水面。到上世纪九十年代，国外实时数据库 开始大规模应用。随着应用的不断推广，国外实时数据库技术得到了不断的提高，出现了 众多开发实时数据库系统的厂家，如美国 osi 公司、美国 instep 公司、ge-fanuc 公司、 美国 wonderware 公司等，其实时数据库产品广泛应用在电力、钢铁、化工等众多领域。 到 21 世纪初期，实时数据库市场发展也大致趋于平稳。据美国软件与信息产业协会与汉 鼎咨询的联合统计，未来 5-10 年间全球实时数据库的总体潜在市场容量为 100 亿美元， 随着全世界越来越认识到实时数据库在工业及其他领域信息化建设中发挥的重要作用， 目 前全世界实时数据库市场规模也在加大，2008 年的市场规模为 5 亿美元24。 在上世纪九十年代， 我国实时数据库市场一直被国外品牌所垄断， 国内没有自主品牌 的实时数据库产品。 随着国家鼓励发展软件行业政策的出台， 以及国内企业对实时数据库 系统的重视度不断提高、研究不断深入，国内实时数据库产品诞生。到目前为止，国内实 时数据库在理论和实践上均取得了很大的进展， 部分产品已经可与进口品牌相媲美。 但是 作为一个通用的产品开发和应用平台， 国内可用的杰出的产品还不多， 组态软件厂商提供 的低端实时数据库仍然大量充斥市场，中高端品牌比较有代表性的有上海麦杰科技 openplant、三维力控 pspace、中科启信 agilor 等，高端市场目前仍然被国外产品如 pi、 edna 等所占据。 南京邮电大学硕士研究生学位论文 第一章 绪论 7 依据中国机电一体化协会工业实时数据库分会与汉鼎咨询的联合统计，2008 年，国 内实时数据库销售总量近 500 套，当年市场销售额 2.64 亿元，预计 2009 年达到 611 套， 较上年增长 24.6%。未来 4-5 年我国实时数据库系统的总体潜在市场规模在 17-25 亿元。 2008 年我国实时数据库系统应用分布上， 石化行业仍是实时数据库及生产信息化系统 应用的重头，当年即实施项目 181 个；2008 年全年，电力领域的实时数据库系统应用达 到了 125 套，实时数据库在火电领域的应用极为广泛，风电、核电等领域对中低档的实时 数据库需求也较有潜力； 钢铁领域的实时数据库项目 2008 年实现 74 个， 未来也还有一定 的发展空间。除石化、电力、钢铁三大行业外的交通、航空、水利、环保及证券 金融等 新兴市场的发展也在推动我国实时数据库行业的进一步发展。 依据电监会方面的统计，截至 2008 年我国共有各类型发电企业近 3000 座，其中火力 发电企业 2267 座，水力发电企业 230 余座，风力发电厂 239 个，已投产的核电站 4 座。 近几年来， 伴随着我国电力体制改革的实施及软件行业的快速发展， 电力企业的信息化被 国家提到了显要的位置， 相继出台了一系列可持续的行业支持政策， 引导我国电力行业信 息化水平的提升。 1.2.3 智能电网发展现状 为推动物联网以及新一代宽带通信技术在智能电网中的应用， 国网信通公司联合中国 电力科学研究院、物联网研究院等国内多家从事物联网及新一代宽带通信研发的优势单 位，分析和论证了物联网技术在智能电网“输、变、配、用”四个环节的攻关目标，制定 了 7 大应用系统 10 余个产品、一个一体化平台、一个标准安全体系的开发研究框架。 华东电网公司于 2007 年在国内率先开展了智能电网可行性研究，并设计了 20082030 年“三步走”的行动计划，在 2008 年全面启动了以高级调度中心项目群为 突破的第一阶段工作，以整合提升调度系统、建设数字化变电站、完善电网规划体系、建 设企业统一信息平台为 4 条主线，力争到 2010 年全面建成华东电网高级调度中心，使电 网安全控制水平、经营管理水平得到全面提升。2009 年 2 月 28 日，作为华北公司智能 化电网建设的一部分华北电网稳态、 动态、 暂态三位一体安全防御及全过程发电控制 系统在京通过专家组验收。 这套系统首次将以往分散的能量管理系统、 电网广域动态监测 系统、在线稳定分析预警系统高度集成，调度人员无需在不同系统和平台间频繁切换，便 可实现对电网综合运行情况的全景监视并获取辅助决策支持。 此外， 该系统通过搭建并网 电厂管理考核和辅助服务市场品质分析平台， 能有效提升调度部门对并网电厂管理的标准 南京邮电大学硕士研究生学位论文 第一章 绪论 8 化和流程化水平。 在输电网建设方面， 2006 年底交流特高压示范工程奠基， 2008 年 8 月 正式建成投运。我国电网优化配置资源的能力明显增强。在控制系统新技术方面，由中国 电力科学研究院等单位承担、周孝信院士担任首席科学家的国家 973 计划项目“提高大 型互联电网运行可靠性的基础研究” 研究人员开展了基于智能和专家系统的电力系统故障 诊断和恢复控制技术研究，为智能型的电力系统动态调度与控制提供了基本的分析工具， 开发成功电网在线运行可靠性评估、 预警和决策支持系统平台， 为新的智能化电网运行控 制开发提供了系统的研发平台。国家电网公司推行了 sg186 一体化平台建设，山东、浙 江、江苏、上海等各省(市)电力公司都在积极推动用电信息采集系统、营销业务系统信息 化建设等项目，并取得了突出成果。在可再生能源发电方面，国家也启动了多项 863 高 技术研究发展计划项目，在“十一五”期间，在三大先进能源技术领域设立重大项目和重 点项目，包括：以煤气化为基础的多联产示范工程，mw 级并网光伏电站系统，太阳能 热发电技术及系统示范等项目25。 面向智能电网的物联网从技术方案的角度来讲， 网络功能仍集中于数据的采集、 传输、 处理三个方面：一是数据采集倾向于更多新型业务。由于宽带接入技术的支持，物联网应 用不局限于数据量的限制， 在未来的大规模应用中可以提供更多的数据类型业务， 如重点 输电线路监测防护、大规模实时双向用电信息采集。二是网内协作模式的数据传输。以网 内节点的协作互助为基本方式， 解决数据传输问题。 以各种成熟的接入技术为物理层基础， 从 mac 层以上，通过多模式接入、自组织的路由寻址方式、传输控制、拥塞避免等技术 实现节点协作数据传输模式。 三是网内数据融合处理技术。 物联网不仅仅是一个向用户提 供物理世界信息的传输工具， 同时还在网络内部对节点采集数据进行融合处理， 是一个具 有高度计算能力和处理能力的云计算信息加工厂， 用户端得到的数据是经过大量融合处理 的非原始数据。 物联网作为智能电网末梢信息感知不可或缺的基础环节， 在电力系统中具有广阔的应 用空间，物联网将渗透到电力输送的各个环节，从发电环节的接入到检测，变电的生产管 理、 安全评估与监督， 以及配电的自动化、 用电的采集、 以及营销这方面都要采用物联网， 在电网建设、生产管理、运行维护、信息采集、安全监控、计量应用和用户交互等方面将 发挥巨大作用。可以 80%的业务跟物联网相关。传感器网络可以全方位提高智能电网各 个环节的信息感知深度和广度，为实现电力系统的智能化以及信息流、业务量、电力流提 供高可用性支持。 南京邮电大学硕士研究生学位论文 第一章 绪论 9 1.3 本文的主要工作和组织结构本文的主要工作和组织结构 本文的主要工作有： （1）在分析物联网的主流体系架构、协议，并参考若干已经实施或正在设计阶段的 物联网项目的基础上，结合智能电网的需求，给出了一个符合应用需求的数据结构。 （2）根据实际需求和实时数据库的处理能力，合理设计出实时数据库与关系数据库 相互依赖的面向物联网应用的数据支撑体系。 （3）为了解决智能电网数据的大吞吐量问题，设计了一套符合智能电网标准的大压 缩比、低资源占用的数据压缩算法。 （4）引入移动位置服务的概念，提供采集更加完备的系统数据的手段。 （5）设计了基于时间和空间的索引机制，加速应用系统的数据查询速度。 （6）给出了一套基本符合物联网需求的实时数据库系统设计方法。 本文总共分为六章，其组织结构如下： 第一章绪论。主要介绍了本课题的研究背景、意义，以及物联网、实时数据库和智能 电网的发展现状。 第二章相关技术研究。 给出了物联网的定义， 描述了物联网的发展和物联网在当今政 治、经济中的重要地位。介绍了实时数据库的基本概念，并分析讨论实时数据库龙头产品 pi 和 edna。具体说明了物联网技术在智能电网中的应用技术。 第三章面向智能电网的实时数据库设计。 设计了系统的体系架构及数据走向流程， 描 述了各 api 的功能。 第四章面向智能电网的实时数据库设计。 着重讨论了设计过程中的相关核心技术， 包 括数据格式的设计、大文件的读取、并发访问控制技术、原始数据的压缩、磁盘文件的索 引。并对该系统进行了适当地优化。 第五章测试及性能分析。 对设计的实时数据库应用系统进行测试。 测试结果数据验证 了其有效性。 第六章总结与展望。总结了全文工作，对下一步工作进行展望。 南京邮电大学硕士研究生学位论文 第二章 相关技术研究 10 第二章第二章 相关技术研究相关技术研究 2.1 物联网物联网 物联网的一般定义是：通过射频识别（rfid） 、红外感应器、全球定位系统、激光扫 描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通 讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。 物联网就是“物物相连的互联网” 。这有两层意思：第一，物联网的核心和基础仍然 是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何 物品与物品之间，进行信息交换和通讯。 2.1.1 物联网的概念 物联网是通过 rfid 技术、无线传感器技术以及定位技术等自动识别、采集和感知获 取物品的标识信息、物品自身的属性信息和周边环境信息，借助各种电子信息 传输技术 将物品相关信息聚合到统一的信息网络中，并利用云计算、模糊识别、数据挖掘以及语义 分析等各种智能计算技术对物品相关信息进行分析融合处理， 最终实现对物理世界的高度 认知和智能化的决策控制。 目前物联网的传输技术非常丰富，包括：蓝牙、zigbee、wifi、超短波数传电台、 gprs 等等。主要可以概括为以太网终端、wifi 终端、2g / 3g 终端等，当然有些智能终 端具有上述两种或两种以上的接口。 （1） 以太网终端 该类终端一般应用在数据量传输较大、 以太网条件较好的场合， 现场很容易布线并具 有连接互联网的条件。一般应用在工厂的固定设备检测、智能楼宇、智能家居等环境中。 （2） wifi 终端 该类终端一般应用在数据量传输较大、 以太网条件较好， 但终端部分布线不容易或不 能布线的场合，在终端周围架设 wifi 路由或 wifi 网关等设备实现。一般应用在无线城 市、 智能交通等需要大数据无线传输的场合或其他应用中终端周围不适合布线但需要高数 据量传输的场合。 （3） 2g 终端 该类终端应用在小数据量移动传输的场合或小数据量传输的野外工作场合，如车载 南京邮电大学硕士研究生学位论文 第二章 相关技术研究 11 gps 定位、物流 rfid 手持终端、水库水质监测等。该类终端因具有移动中或野外条件下 的联网功能，所以为物联网的深层次应用提供了更加广阔的市场。 （4） 3g 终端 该类终端是在上面终端基础上的升级， 增加了上下行的通讯速度， 以满足移动图像监 控，下发视频等应用场合，如：警车巡警图像的回传、动态实时交通信息的监控等，在一 些大数据量的传感应用，如震动量的采集或电力信号实施监测中也可以用到该类终端。 2.1.2 物联网体系结构 物联网的自主体系结构是为了适应于异构的物联网无线通信环境而设计的体系结构。 该自主体系结构采用自主通信技术，自主通信是以自主件（selfware）为核心的通信，自 主件在端到端层次以及中间结点， 执行网络控制面已知的或者新出现的任务， 自主件可以 确保通信系统的可进化特性。 物联网的自主体系结构26如图 2-1 所示，包括了数据面、控制面、知识面和管理面， 数据面主要用于数据分组的传递； 控制面通过向数据面发送配置报文， 优化数据面的吞吐 量以及可靠性；知识面提供整个网络信息的完整视图，并且提炼成为网络系统的知识，用 于指导控制面的适应性控制；管理面协调和管理数据面、控制面和知识面的交互，提供物 联网的自主能力。 图 2-1 一种物联网的自主体系结构 这里自主特征主要由 stp/sp 协议栈和智能层取代传统的 tcp/ip 协议栈，stp 和 sp 分别表示智能传送协议（smart transport protocol）和智能协议（smart protocol） ，物联网 结点的智能层主要用于协商交互结点之间 stp/sp 的选择，用于优化无线链路之上的通信 和数据传送， 满足异构物联网设备之间的联网的需求。 物联网自主体系结构的协议栈如图 2-2 所示。 南京邮电大学硕士研究生学位论文 第二章 相关技术研究 12 图 2-2 物联网自主体系结构的协议栈 这种面向物联网的自主体系结构涉及的协议栈较为复杂， 只能适用于计算资源较为富 裕的物联网结点。目前物流仓储的物联网应用都依赖于产品电子代码（epc）网络，该网 络如图 2-3 所示，主要组成部件包括：产品电子代码（epc） ，这是一种全球范围内标准 定义的产品数字标识；电子标签和阅读器，电子标签通常采用射频标识（rfid）技术存 储 epc，阅读器是一种阅读电子标签内存储的 epc 并且传递给物流仓储管理信息系统的 装置；epc 中间件，这是一组具有特殊属性的程序模块或服务，用户可以根据某种应用 需求定制和集成 epc 中间件中的不同功能部件， 其中最重要的部件是应用层事件 （ale） ，用于处理应用层相关的事件；epc 信息服务（epc-is） ，该服务包括两个功能， 一是存储 epc 中间件处理的信息，二是查询相关的信息；对象名字服务（ons） ，类似于 域名服务器，其中的信息可用于指向某个存放 epc 中间件信息的 epc-is 服务器。 图 2-3 epc 网络体系结构 epc 网络包括 3 个层次27： （1）实体和内部层次，该层由 epc、rfid 标签、rfid 阅读器、epc 中间件组成。 这里的 epc 中间件实际上屏蔽了各类不同的 rfid 之间的信息传递技术，把物品的信息 南京邮电大学硕士研究生学位论文 第二章 相关技术研究 13 访问和存储转化成为一个开放的平台。 （2） 商业伙伴之间的数据传输层， 这层最重要的部分是 epc-is， 企业成员利用 epc-is 服务器处理被 ale 过滤之后的信息，这类信息可以用于内部或者外部商业伙伴之间的信 息交互。 （3）其他应用服务层，这层最重要的部分是 ons，ons 用于发现所需的 epc-is 的 地址。全球 epc 管理机构（epc-global）委托全球著名的域名服务机构 verisign （威瑞 信）公司提供 ons 全球服务，全球至少有 10 个数据中心提供 ons 服务。 2.2 实时数据库实时数据库 时间是自然界无所不在的客观属性， 所有信息都具有相应的时间戳。 随着数据库与信 息技术的深入和发展， 信息系统面临许多新的应用和新的需求， 对实时信息处理的需求越 来越迫切。 实时信息处理已成为许多新一代数据库与信息系统的关键技术。 物联网应用中 存在海量的带时间标记的数据，因此可以采用实时数据库做其数据支持系统。 2.2.1 实时数据库 信息系统是信息化建设的核心；信息是信息系统处理的核心；数据（data）是信息 （information）的具体物理表示符号。日常生活中的数字是最简单的一种数据，是对数据 传统的、 狭义的理解。信息系统中定义的数据不是狭义数据，而是包括数字、符号、图像、 声音等。数据经过加工、处理和组织，并赋给一定涵义后则成为信息。信息和数据是既不 可分而又有区别的两个概念。 信息是经过加工过的， 是用有意义的形式加以排列和处理的 数据； 数据是将描述事物的符号记录数字化后存入计算机。 数据是数据库中存储的基本对 象。数据库（database）是长期储存在计算机存储设备内的、有组织的、可共享的数据集 合。 数据库是工业信息化中的核心基础软件， 在信息化与工业化融合的过程中起着核心作 用。在这其中，实时数据库与关系数据库同为企业信息化建设的支撑软件。目前市场上的 实时数据库主要被国外产品占领， 国内产品起步较晚， 暂未形成全国性跨行业的通用实时 数据库产品。 实时数据库的基本体系架构一般包括现场控制系统适配器接口， 支持主流的协议， 从工厂或企业范围内众多数据源中实时收集由事件驱动的实时的频繁的数据流, 目前多 则涉及 600 种以上接口；实时数据库内核，完成数据在线压缩存储、实时计算、事件报警 南京邮电大学硕士研究生学位论文 第二章 相关技术研究 14 计算以及调度、并发控制等处理。实时数据导入磁盘存储，则形成可追溯或可回放的历史 数据；与应用层之间的各种适配器接口， 支持各种访问、导入导出和数据通信；支持实 时 web、实时门户、实时报表、实时报警等多种发布、展示、虚拟现实和通信形式。 实时数据库主要功能28如下： （1）分布的实时数据采集、存贮、管理与查询。可以管理多达数百万点（tag）的实 时数据，通过对历史数据的高效压缩，可以保存长达数年的历史数据。支持实时数据、历 史数据的远程查询。实时数据库可用于过程的自动采集、存储和监视，实时存储每个测点 的数据，可以提供清晰、精确的操作情况画面，用户既可浏览工厂当前的生产情况，也可 回顾过去的生产情况，可以说，实时数据库对于流程工厂来说就如同飞机上的“黑匣子” 。 （3）实时报警(rtalerts) 管理和实时规则在线建立。 （4）趋势分析与事故追忆。提供可视化的数据分析，将事故点相关的数据再现。实 现异常报警跟踪与通知。 历史数据对物联网来说是很有价值的， 实时数据库的核心就是数 据档案管理，它采集并存储与流程相关的上千点的数据。由于未来情况多变、难以预测， 现在很难知道将来进行分析时哪些数据是必须保留的。 因此， 保存所有的数据是防止丢失 所需信息的最好方法。此外，要改进物联网，必须具备与之相关的各方面信息，并了解当 前和过去的操作状态。实时数据库采集、存储各种海量数据，可以用来指导物联网系统的 改进。 （5） 实时数据整合与发布。 支持 odbc、 ole 等协议和 soa 架构， 通过 datalink 等 连接，发布到关系数据库、excel 电子表格以及 mes、eam、lims、erp 等应用系统。 （6）高效的流程组态和动态报表(rtreports)生成。支持面向对象的流程组态工具， 提供丰富的图形元素与设备图库，提供创建动态交互式图形显示的图形软件包，支持 vbscript 脚本驱动的动画连接。 （7）统一数据平台，支持实时数据与关系数据的无缝集成。 （8）支持 b/s、实时 web、实时门户（rtportal） ，提供实时信息服务。 （9）提供数据协调和验证软件包，通过严格、精确的数据协调来生成可靠信息。 （10）支持手工录入数据，使用 mads（manual data acquisition service，手工数据 采集服务）等方式，把部分暂时无法自动采集的或远程的数据手工录入，并集成在已有的 历史数据中。 （11）提供容错技术，实现业务连续性。支持一台主服务器和一台或多台辅助服务器 冗余、服务器集合及复制。所有接口将时间序列数据直接同步写入到集合的各台服务器。 可实现接口失效转移，辅助接口处于“热”备用状态。在服务器中断状态下，实时数据库 南京邮电大学硕士研究生学位论文 第二章 相关技术研究