物联网技术及应用 课件 第8章 海量数据存储与处理技术

第8章海量数据存储与处理技术CONTENTS目录01

海量数据存储与处理技术02

【实践】调研云计算服务方案03

新疆油田物联网+建设见成效04

由技术追随者到标准的制定者05

趟出一条低成本物联网建设的新路子海量数据存储与处理技术018.1物联网数据处理技术概述：8.1.1物联网数据的特点

物联网数据特点海量、动态、多态、关联，特性显著，需高效处理技术。8.1物联网数据处理技术概述：8.1.1物联网数据的特点海量物联网数据量1000节点每日产1.4GB，特定场景达TB级，如智能电网监控。物联网数据实时性ETC系统24小时实时采集车辆信息，包括车型、车牌、颜色等，生成海量数据。物联网数据特征物联网节点众多，数据海量，实时性高，需高效处理技术支撑。8.1物联网数据处理技术概述：8.1.1物联网数据的特点多态

物联网数据多态性传感器通过压力、振动等区分目标，如人或坦克；RFID识别运动商品种类、功能、价格；农业监控作物长势，畜牧业跟踪牲畜成长，确保食品溯源，提升公共卫生安全。

物联网数据应用实例迪卡侬运用RFID系统辨识多样商品；农业传感器动态监控作物，畜牧业追踪个体成长，实现食品全程数据管理，保障食品安全。8.1物联网数据处理技术概述：8.1.1物联网数据的特点

动态物联网数据具有动态性，不同时间、传感器、时段、天气下，交通路口的汽车与行人流量数据差异很大。8.1物联网数据处理技术概述：8.1.1物联网数据的特点关联

物联网数据特点海量、多源异构，具时空关联，需高效处理，提取有价值信息。

物联网数据处理挑战面对巨量数据，需解决存储、计算难题，避免信息过载，实现智能分析。8.1物联网数据处理技术概述：8.1.2物联网数据处理的关键技术面对物联网具有海量、多态、动态与关联特征的数据，物联网的数据处理，需要重点关注以下几个关键技术8.1物联网数据处理技术概述：8.1.2物联网数据处理的关键技术海量数据存储

物联网数据产生传感器与RFID读写器持续生成大量数据，数亿物品流通中不断产生数据，如医疗监护、智能电网、物流及机场安防系统。

物联网数据重要性物联网数据如医疗记录、电网安全、物流信息及机场监控比互联网中的web、聊天与游戏数据更为关键，需在存储与利用中实现隐私保护。8.1物联网数据处理技术概述：8.1.2物联网数据处理的关键技术数据融合

物联网数据处理研究多传感器数据融合，综合分析提取有用信息，提高检测识别准确性。

数据融合技术多感知节点采集数据，优势互补，简化目标检测，增强信息一致性，降低不确定性。8.1物联网数据处理技术概述：8.1.2物联网数据处理的关键技术数据查询搜索

物联网感知数据特性实时、周期、不确定，需高效处理策略。

物联网数据查询方法快照、连续、事件、生命周期、准确度查询，适应多样需求。

物联网环境下搜索引擎挑战融合智能与非智能对象，主动识别，抓取信息，超越传统技术。8.1物联网数据处理技术概述：8.1.2物联网数据处理的关键技术数据挖掘、知识发现、智能决策与控制物联网获取海量数据需经汇聚整合智能处理获取有价值知识，其价值体现在智能数据处理、数据挖掘与智能决策水平上，数据挖掘等为物联网智能服务提供技术支撑。8.2海量数据存储技术：8.2.1海量数据存储需求

海量数据来源源自传感器、RFID及智能终端，物联事务处理中动态生成，如农业监测、气象预测。

数据应用实例无线传感网结合服务器，应用于农业、气象，动态监测环境，智能控制设备，远程管理分析。8.2海量数据存储技术：8.2.1海量数据存储需求数据库技术

数据库技术发展核心科技，广泛应用，促物联网进步，数据管理进化，智能未来。

数据存储演变从文件系统到数据库，解决依赖问题，结构变更无忧，统一管理提升。

数据库系统组成数据库+管理软件，关联数据集中，统一高效管理，多类型系统涌现。

数据挖掘应用分析顾客数据，预测信用风险，发现销售规律，指导策略，提升业绩。8.2海量数据存储技术：8.2.1海量数据存储需求数据仓库技术

数据汇总挑战总裁需知Q4商品、分公司业绩，数据分散各地，汇总难，数据仓库简化任务。数据仓库优势收集多源数据，统一格式存储，按主题组织，支持历史汇总，便利高层分析决策。8.2海量数据存储技术：数据存储分类数据存储模式分类

数据存储分类物联网数据存储分网内与网外模式，网内利用自身存储能力记录数据，网外则由专门节点集中存储，通过网络与外部通信。

网内存储模式包括本地存储于产生数据的节点及分布存储于网络各节点，通过分布式机制访问和存储。

网外存储模式数据由专门节点收集，通过网络设施与外部存储系统通信，支持直接查询处理，无需与感知网络建立连接。8.2海量数据存储技术：数据存储分类物联网大数据的传输和存储技术

数据存储分类物联网数据存储技术分DAS、NAS、SAN和云存储，各有优势，适应不同场景需求。直连式存储(DAS)通过电缆直接连接存储设备与服务器，依赖服务器硬件，常用于小型系统，高效直接。网络附加存储(NAS)专业网络存储设备，通过网络接口直接连接，实现异构平台间的数据级共享，适合局域网环境。存储区域网络(SAN)高速专用子网，通过光纤设备连接存储与服务器，形成存储设备池，支持远程存储，增强管理与控制。云存储基于云计算，通过网络技术集合存储设备协同工作，提供数据存储和业务访问服务，由第三方数据中心托管。云计算与物联网：8.3.1云计算的基本概念云计算概念与定义

云计算定义演变自2007年IBM提出，定义上百种，维基百科持续更新，强调资源软件化，互联网提供，用户无需管理基础设施。

云计算服务模式SaaS提供应用服务，公共云如AmazonS3、GoogleAppEngine，私有云限组织内部使用，NIST定义强调网络访问资源池，快速供应，低管理成本。云计算与物联网：8.3.1云计算的基本概念云计算发展与应用

01云计算起源与发展2007年起，美国高校与Google、IBM合作研究，开源平台Eucalyptus加速普及，各国政府战略投入，美国、英国及中国城市开展试点。

02云计算应用与服务美国政府、英国G-Cloud平台广泛应用，中国阿里云服务全球200余国，提供安全可靠计算，支持天猫双11、12306春运，涉足金融、交通、医疗大数据解决方案。云计算与物联网：8.3.1云计算的基本概念阿里云助力12306应对春运高峰

云计算应用案例阿里云助12306春运，承载75%余票查询，峰值日PV达297亿，创新高，弹性扩展解决资源浪费与网站瘫痪风险。

云计算优势成本低，按量计费，分钟级资源交付，两次大型云上扩容应对高峰，业务结束回收成本，避免硬件闲置浪费。云计算与物联网：云计算模式与特征

云计算模式通过互联网按需访问资源池，提供网络、服务器、存储等服务，快速高效，管理工作少。

云计算特征融合并行、分布式与网格计算技术，具虚拟化、效用计算特性，由3服务、4部署模式和5特征构成。云计算与物联网：云计算模式与特征云计算的3种服务模式云计算的服务层次可分为将基础设施作为服务层、将平台作为服务层以及将软件作为服务层，市场进入条件也从高到低。目前越来越多的厂商可以提供不同层次的云计算服务，部分厂商还可以同时提供设备、平台、软件等多层次的云计算服务

IaaS概念IaaS提供计算、存储资源，按需付费，整合多台服务器资源，代表如AWSEC2、S3，IBM蓝云。

PaaS概念PaaS提供开发环境、平台基础，支持应用定制与部署，核心技术为分布式并行计算，如GoogleAppEngine。

SaaS概念SaaS模式下，服务提供商统一部署软件，用户按需租用，无需管理底层设施，代表有SalesforceCRM、ZohoOffice。云计算与物联网：云计算模式与特征云计算的4种部署模式

01私有云特性为单一客户构建，提供数据、安全和服务质量控制，支持动态基础设施，降低IT复杂度，策略驱动服务水平管理，满足业务需求变化。

02社区云共享被有共同关注点的社区共享，如任务、安全要求等，成本共担，成员限定，提供业务相关性和隶属关系单位的资源共享平台。

03公共云服务第三方供应商提供，用户按需付费，无需担心安装、管理和维护，适合资源灵活扩展，配置基于最常见使用情形，远程托管，降低成本和风险。

04混合云架构结合私有、社区或公共云，保持独立性同时通过技术组合，提供数据和应用可移植性，适合按需和外部供应扩展，但管理复杂，涉及安全和网络问题。云计算与物联网：云计算模式与特征云计算的5种特征

01云计算特征自助服务，网络访问广泛，资源池化，弹性使用，服务可度量，按需快速调配资源，透明监控使用。

02自助式服务用户按需扩展资源，网络便捷申请配置，服务商高效分配回收，实现计算能力灵活调用。

03网络访问互联网提供自助服务，无需部署硬件或了解资源详情，直接透明访问获取高性能计算。云计算与物联网：云计算模式与特征

资源池化多租户模式动态分配资源，客户独立使用无需知悉位置，高级抽象云计算资源轻松获取。

弹性使用快速部署资源，服务商按需弹性供应，资源无限，按使用量计费，满足即时需求。

可度量服务系统提供计量方式，自动控制优化资源，监测使用过程，实现供应者与消费者间透明服务。云计算与物联网：8.3.3云计算与物联网的关系云计算与物联网核心关联

云计算作用实现物联网核心，动态管理与智能分析兆级物品，依托高效可扩展处理能力。

物联网技术融合射频识别、传感、纳米技术，实时信息采集，无线传输至处理中心分析。

物联网基石传感器、传输通道如电信网，及云计算提供大规模动态技术处理能力。云计算与物联网：8.3.3云计算与物联网的关系

云计算促进物联网智能融合云计算促进物联网和互联网智能融合，构建智慧地球，需高效动态可扩展技术资源处理能力，创新服务交付模式。

物联网四大组成部分与云计算物联网四大组成部分为感应识别、网络传输、管理服务和综合应用，其中网络传输和管理服务利用云计算，管理服务因海量数据存储和计算需求，使用云计算较省钱。云计算与物联网：8.3.4云计算和物联网的结合方式

云计算大脑角色云计算作大脑，物联网为感官，协同工作提升智能应用效率。

单中心多终端模式终端收集信息，统一由云中心处理存储，提供统一界面与分级管理，适用于监控、监测等场景，多为私有云实现。云计算与物联网：8.3.4云计算和物联网的结合方式多中心，大量终端对于很多区域跨度加大的企业、单位而言，多中心、大量终端的模式较适合

01云计算多中心应用多地区企业监控生产流程，实时共享数据至多终端，提升服务质量，节省投资，如地震预警快速传达。

02云计算与物联网结合构建公私云互联无碍的体系，保障信息传递同时维护企业机密安全，如中国联通“互联云”模式。云计算与物联网：8.3.4云计算和物联网的结合方式信息、应用分层处理，海量终端这种模式可以针对用户的范围广、信息及数据种类多、安全性要求高等特征来打造

云计算数据处理根据数据特性，视频、游戏数据本地处理，高端运算云端执行，敏感数据灾备中心存储。

云计算资源分配按需分配，低安全要求数据本地化，高计算需求云端化，高安全数据灾备中心托管。云计算与物联网：8.3.5云计算在物联网中的应用云计算物联网应用融合物联网互联网，需高层次整合，透彻感知，全面互联，深入智能，研究从三种应用出发。智慧地球构建构建智慧地球，实现物联网络深度整合，提升感知互联智能化水平，探索云计算技术在物联网中应用。云计算与物联网：8.3.5云计算在物联网中的应用第一种情况

云计算在农业应用通过感测系统收集环境参数，如作物温度、湿度、光照和土壤成分，为作物生长环境控制提供数据支持，实现精准农业。云计算服务模式用户无需购买大型硬件和软件，可按需租用计算资源，云计算服务提供商满足计算与存储需求，降低成本，提高效率。云计算与物联网：8.3.5云计算在物联网中的应用第二种情况云计算应用物联网服务无需硬件投资，租用云资源快速搭建，满足移动终端需求。海尔U+大脑采用AI与大数据，分析用户习惯，提供个性化服务，实现家电智能控制。云计算与物联网：8.3.5云计算在物联网中的应用第三种情况

云计算物联网应用云计算助力物联网数据存储，提供安全备份，支持大规模信息管理，尤其适用于医疗领域远程监测与数据分析。

云计算模式优势“胖服务器/瘦客户机”模式降低用户设备要求，用户轻松访问计算与存储资源，加速物联网应用部署，无需自建服务器集群。8.4数据融合技术：8.4.1数据融合的定义数据融合技术起源与发展

数据融合定义针对多传感器系统，处理多样、巨大、复杂数据，实现实时、准确、可靠信息综合，超越人脑处理能力，多传感器数据融合技术诞生。数据融合发展历程起源于20世纪70年代美国国防部，英、法、日、俄跟进研究，近40年快速发展，随电子、信号、计算机等技术进步，广泛应用于多领域。8.4数据融合技术：8.4.1数据融合的定义数据融合的定义与理解

数据融合定义数据融合处理来自单一或多平台感知数据，通过综合分析提升目标信息精度，涉及不同层次抽象信息，运用数学工具处理不确定性数据，强调决策推理过程，为复杂系统工程。

数据融合特点特点包括处理多层次信息，利用数学工具，应对数据不确定性，强调决策推理，定义随时间发展完善，存在多种权威描述。8.4数据融合技术：8.4.1数据融合的定义数据融合的三层含义

数据融合定义融合技术在工程中具三重意义：全空间数据处理，内外特性综合，及多层次互补，提升数据质量，促进知识提取。

数据特性涵盖确定与模糊，全空间与子空间，同步与异步，数字与非数字，体现复杂多源，全频段覆盖特征。

数据处理区别于组合的外部特性，融合关注内部特性，为系统动态过程中的数据综合加工，实现质的飞跃。

数据互补涉及表达、结构、功能及层次互补，核心在于通过互补数据融合，促使系统性能质变。8.4数据融合技术：8.4.1数据融合的定义数据融合的定义与表述

数据融合定义数据融合是用计算机技术综合分析时序感知数据，完成决策评估，处理数据的过程。

数据融合作用融合不同源、模式、时间的数据，得到更精确的感知对象描述，超越单一节点信息局限。8.4数据融合技术：8.4.2无线传感器网络数据融合技术无线传感器网络功能收集监测区域信息，节点具能量限制，需数据融合去冗余，提升信息准确性和能量效率。数据融合技术中间节点预处理数据，综合信息，最小化传输量，提高整体网络效率，适应高冗余度场景。1）准确度准确度是重要衡量标准，指汇聚节点得到的值与真实值之差，可表示为差、比值、统计数据或特定情况所得值。2）完整性完整性是对准确度的近似。定义为汇聚节点计算最终的融合时所使用的读数占所有读数的百分比。3）等待时间因为中间节点可能会等待数据，所以数据融合会延长报告的等待时间。4）信息开销数据融合最主要的优点就是能减小信息开销，从而提高能量效率和延长网络的生存期。8.4数据融合技术：8.4.3数据融合的分类

数据融合分类按问题与对象定制层次，如检测至威胁评估；输入输出特征融合；无统一标准。

融合方式集中式：数据直传汇聚，保全信息，高能耗；分布式：网内逐级融合，节能低效。

融合类型无损：保留全信息，去冗余，保证完整性；有损：牺牲细节减量，满足需求。

融合层次数据级：原始数据整合；特征级：提取关键特征；决策级：综合分析决策。8.4数据融合技术：8.4.3数据融合的分类1）数据级融合数据级融合是面向传感器采集数据的底层融合，依赖传感器类型，目标识别中为像素级融合，可分类组合像素数据、去除冗余信息。2）特征级融合特征级融合面向监测对象特征，通过特征提取将数据表示为反映事物属性的特征向量，如温度监测的地区范围、最高及最低温度，目标监测的图像颜色特征值。8.4数据融合技术：8.4.3数据融合的分类3）决策级融合

决策级融合应用提取数据特征参数，判别分类，逻辑运算获取决策信息，如综合多传感器信息判断灾难或识别目标颜色、轮廓。

数据融合与应用层关系分类为应用层、网络层中数据融合及独立数据融合协议层，依据数据语义与应用层关系。8.4数据融合技术：8.4.3数据融合的分类1）应用层中的数据融合

应用层数据融合基于查询模式，采用SQL风格应用层接口，分布式数据库技术收集传感网数据，实现描述性语言查询，多跳路由返回结果，融合度高但牺牲数据收集率。

分布式数据库技术挑战计算与存储能力受限的感知节点需控制本地计算复杂度，影响传感网实现难易，数据融合与应用数据无缝对接，提升融合效率。8.4数据融合技术：8.4.3数据融合的分类2）网络层中的数据融合

网络层数据融合结合路由技术，中间节点融合数据包，减少出口报文，关注区域数据而非单节点，优化传输与能耗。

独立数据融合协议层(AIDA)独立层次实现融合，不解析应用数据语义，依据算法合并数据单元，适应网络负载变化，缓解MAC层冲突。8.5普适计算与物联网

01普适计算概念MarkWeiser于1991年提出，强调“无处不在”与“不可见”的计算模式，实现信息与物理空间融合，以人为本，智能为核心。

02普适计算特性体现于分布式技术，提供统一、自适应网络服务，涵盖多种网络环境与设备，重点在用户服务，革新人机关系，设备嵌入生活空间。

03普适计算与物联网解决物联网计算难题，延伸互联网范围，连接嵌入式设备，通过传感器、RFID技术感知物体，体现分散计算，对比云计算的集中处理。8.5普适计算与物联网：普适计算技术的特征信息空间与物理空间的融合

绑定过程信息空间对象与物理空间物体绑定，物体成服务入口，嵌入感知、计算、通信能力，或添加自动识别标签，如条码、NFC、RFID。交互体现物体与信息对象关联，操作物体可改变信息状态，如油画带URL链接，指向相关Web站点，实现实时双向互动。8.5普适计算与物联网：普适计算技术的特征无处不在计算环境下的研究

普适计算研究中科院软件所研究智能人机交互，自动化所研究身份鉴别与行为理解，清华研究人机交互方式，交互与媒体所进行普适计算结合远程教育项目。

智能远程教室SmartClass项目实现智能教室与远程教育结合，自动调整视频镜头，转发电子黑板内容，记录上课过程，无需人工干预，实现信息与物理空间状态同步。8.5普适计算与物联网：普适计算技术的特征普适计算的特征普适计算特征需支持间断连接，保证用户在断开时仍可处理信息，轻量计算适应资源受限设备。数据库角色数据库成关键软件部件，因部分数据需存储于普适设备，支撑大量嵌入式设备协同。8.5普适计算与物联网：8.5.2普适计算的系统组成普适计算的系统组成主要包括普适计算设备、普适计算网络和普适计算软件三部分

普适计算设备普适计算设备含不同类型，典型为嵌入式智能设备，能感测处理环境信息，建立隐式人机交互，智能手机等可作为此类设备。

普适计算网络普适计算网络是泛在网络，支持异构网络和多种设备自动互联，提供人与物、物与物通信服务，包含电信网、互联网等多种网络环境。

普适计算软件普适计算软件体现普适计算智能关键，管理大量联网智能设备，智能处理感测的人、物信息，为行动提供决策支持。8.5普适计算与物联网：普适计算的体系结构普适计算还没有统一的体系结构标准，人们定义了多种层次参考模型。其中一种体系结构如下

物理层和操作系统层物理层是普适计算硬件平台，含微处理器等组件；操作系统层含嵌入式实时系统，负责计算调度、报文收发及任务并发管理。8.5普适计算与物联网：普适计算的体系结构移动计算层

01移动计算层MC/NC解决无线移动计算问题，通过移动终端实现信息互动，涵盖通信、计算和移动三要素，相互转化，提升通信系统容量，引入新应用。

02移动计算挑战无线环境干扰大，信号受衰落、多径影响，频带资源有限，传输时延高，需系统层面增强移动性支持，确保计算移动性。8.5普适计算与物联网：普适计算的体系结构互操作计算层互操作计算层架构四层结构：脚本引擎、协议栈、接口和管理，构成服务协同互操作基础。脚本引擎层功能解释执行所有对象脚本，基础层面对资源受限的普适设备，需管理多个引擎及调度。协议栈层角色作为软件核心，通过特定数据结构、语法和通信协议，实现设备间服务请求与提供。接口层作用封装下层服务功能，向上层提供便捷编程接口，简化高层应用开发。管理层职责包含服务请求、提供、调度和管理组件，统筹服务流程，确保高效运行。8.5普适计算与物联网：普适计算的体系结构情感计算层

情感计算目标赋予计算机理解、生成情感特征能力，实现自然、亲切的智能交互，解决多模态输入与识别问题。

传统人机交互局限依赖键盘、鼠标等被动中介，缺乏情感能力，难以实现真正和谐自然的人机交互体验。8.5普适计算与物联网：普适计算的体系结构上下文感知计算层

01上下文感知计算通过感知实体状态信息，如任务、位置、时间等，自动提供适应当前情景的服务，增强用户体验。

02上下文分类分为计算上下文、用户上下文、物理上下文和上下文历史，全面覆盖实体状态描述。

03上下文感知应用应用行为与用户上下文紧密关联，实现情景识别，涉及表示、综合、查询、分布机制及编程模型研究。8.5普适计算与物联网：普适计算的体系结构

API与应用应用程序利用API提供传统计算模式下无法实现的新型服务，如移动会议、灵感捕捉和普遍交互等。8.6人工智能与物联网

人工智能起源多学科交叉，始于50年代，目标使计算机运用知识，完成智能工作。

人工智能研究领域涵盖机器人、语言识别、图像识别、自然语言处理和专家系统等。8.6人工智能与物联网

自然语言理解语音理解是计算机“听懂”口语语音并应答的技术，实现功能较强的系统较艰巨，目前在有限范围对话和小段文本理解上进展较大。

数据库的智能检索数据库智能检索结合人工智能与数据库技术，建立演绎推理机制，具备理解自然语言、推理及常识性知识补充功能。

专家系统专家系统是人工智能实际应用课题，涉及多领域，关键是知识表示、应用和获取，开发工具发展迅速。8.6人工智能与物联网：感知问题视觉与听觉的计算机处理

01视觉与听觉感知计算机处理视频与声音，需基于“理解”能力，实现视觉听觉模拟，涉及实时并行处理、主动式定性视觉等前沿研究。

02机器视觉应用广泛应用于机器人装配、卫星图像处理、工业监控等领域，如实时图像压缩传输、多光谱图像处理，支持飞行器跟踪及电视直播。8.6人工智能与物联网：感知问题

人工智能与物联网的结合未来人工智能与物联网将紧密结合、相互促进、共同发展。物联网为人工智能提供海量数据提升智能水平，人工智能极大提升物联网应用水平。【实践】调研云计算服务方案02任务目的（1）理解物联网如何对海量数据进行处理？方法有哪些？（2）理解云计算是如何应用于物联网中的任务要求

调研报告内容收集分析国内外云计算服务方案，撰写报告含方案分析、结论及个人建议。

报告形式以小组为单位，用Word整理并制作PPT，指定一人进行2-3分钟课内分享。新疆油田物联网+建设见成效03新疆油田获奖

新疆油田获奖《赋能荒漠油田高效生产的物联网建设与应用管理》项目荣获二等奖，标志新疆油田智能化转型取得突破，首获国家级管理创新认可。

会议信息成果于2023年全国企业管理创新大会上发布，会议在南京召开，为新疆油田智能化转型提供经验与分享平台。物联网技术应用

物联网技术应用新疆油田运用物联网技术，实现实时数据采集与远程控制，提升生产效率，描绘智能油田新图景。

生产状态监控通过物联网，生产指挥中心可实时监控三万多口井，实现设备集中操控，掌握生产状态。生产模式变革

生产模式变革新疆油田通过物联网技术，实现生产管理智能化，提升指挥效率35%，故障处置效率提高75%。

管理模式转变从人工判断转向自动报警，从经验分析转向智能分析，有效预警，及时控制异常情况。由技术追随者到标准的制定者04新疆油田物联网建设历程

新疆油田物联网建设历程始于90年代，从全面领先至技术追赶，经历不平凡历程，数字化建设先行者，落实工业化与信息化融合典范。

数字化建设起步20世纪90年代率先启动，成为石油系统数字化建设领头羊，油气生产物联网建设标杆。物联网建设的技术突破数字化建设初见成效2000年起兄弟油田开展数字化建设，2013年集团公司启动油气生产物联网系统建设项目，推动油田物联网研究与应用，取得成效。物联网项目实践与突破新疆油田在风城1号稠油处理站和采油二厂开展物联网项目建设，克服难题与技术瓶颈