物联网技术导论完整ppt课件

陈永 物联网技术导论 第一章绪论 1 1物联网的概念 1 3物联网的应用 1 4本章小结 1 2物联网的起源与发展 1 1物联网的概念 1 1 1物联网的定义 定义 物联网是通过使用射频识别 RadioFrequencyIdentification RFID 传感器 红外感应器 全球定位系统 激光扫描器等信息采集设备 按约定的协议 把任何物品与互联网连接起来 进行信息交换和通讯 以实现智能化识别 定位 跟踪 监控和管理的一种网络 1 1物联网的概念 1 1 2物联网的特征 全面感知 可靠传递 智能处理 1 1 3 物 的含义 1 1物联网的概念 1 1 4物联网概念辨析 EPC系统 信息物理系统 传感器网络 M2M技术 1 2物联网的起源与发展 1 2 1物联网的起源 国际发展现状 国内发展现状 1 2 2物联网的发展 物联网发展面临的问题 1 3物联网的应用 智能交通 智能物流 环境监测 智能电网 医疗健康 智能家居 1 4小结 第二章物联网体系结构 2 1物联网体系结构概述 2 3物联网关键技术 2 4已有物联网相关应用架构 2 2物联网体系结构 2 5物联网的反馈与控制 2 6本章小结 2 1物联网体系结构概述 2 1 1意义和功能 物联网的最终目的是建立一个满足人们生产 生活以及对资源 信息更高需求的综合平台 管理跨组织 跨管理域的各种资源和异构设备 为上层应用提供全面的资源共享接口 实现分布式资源的有效集成 提供各种数据的智能计算 信息的及时共享以及决策的辅助分析等 图物联网 2 1物联网体系结构概述 2 1 1意义和功能 无线传感网 无线传感器网络的相关技术可以作为物联网开发的基础 互联网 互联网连接的是虚拟世界 而物联网则是实现物理世界的互联互通 2 1物联网体系结构概述 2 1 1意义和功能 图物联网的三层结构 异构屏蔽性 互联互通 安全性 2 1物联网体系结构概述 2 1 2设计原则 以 用户为中心 时空性 互联互通 开放性 可管理性 安全性 鲁棒性 2 1物联网体系结构 2 1 1组成模块 图USN结构 2 1物联网体系结构 2 1 1组成模块 图物联网体系结构 2 2物联网体系结构 2 2 1组成模块 感知控制层 数据传输层 数据的动态组织与管理层 应用决策层 数据的实时采集 信息的有效传递 信息的智能化处理 2 2物联网体系结构 2 2 2感知控制层 传感技术 传感器是将能感受到的及规定的被测量按照一定的规律转换成可用输出信号的器件或装置 通常由敏感元件和转换元件组成 标识技术 标识技术是通过RFID 条形码等设备所感知到的目标外在特征信息来证实和判断目标本质的技术来 定位技术 定位技术是测量目标的位置参数 时间参数 运动参数等时空信息的技术 它利用信息化手段来得知某一用户或者物体的具体位置 2 2物联网体系结构 2 2 2感知控制层 图定位技术 2 2物联网体系结构 2 2 3数据传输层 图数据传输技术 短距离通信技术 广域网通信技术 2 2物联网体系结构 2 2 3数据的动态组织与管理 图云计算架构 2 2物联网体系结构 2 2 4数据的动态组织与管理 智能计算技术 海量数据的存储 服务计算 2 2物联网体系结构 2 2 5应用决策 监控型应用 图基于RFID的物流跟踪 2 2物联网体系结构 2 2 5应用决策 控制型应用 图智能交通 2 2物联网体系结构 2 2 5应用决策 扫描型应用 图手机钱包 2 3物联网关键技术 图物联网关键技术 2 3物联网关键技术 2 3 1感知标识技术 图感知设备 2 3物联网关键技术 2 3 1感知标识技术 传感器 无线传感网 标识技术 定位技术 2 3物联网关键技术 2 3 2网络与通信技术 接入网技术 通信技术 三网融合技术 2 3物联网关键技术 2 3 3云计算技术 PaaS IaaS SaaS 2 3物联网关键技术 2 3 4安全技术 从安全技术角度来看 相关技术包括以确保使用者身份安全为核心的认证技术 确保安全传输的密钥建立及分发机制 以及确保数据自身安全的数据加密 数据安全协议等数据安全技术 因此 在物联网安全领域 数据安全协议 密钥建立及分发机制 数据加密算法设计以及认证技术是关键的部分 2 4已有架构 2 4 1无线传感网 图WSN 2 4已有架构 2 4 1无线传感网 图WSN体系结构 2 4已有架构 2 4 2EPC UID 图EPC的组成 2 4已有架构 2 4 2EPC UID 图EPC 2 4已有架构 2 4 3CPS 图CPS 2 4已有架构 2 4 4M2M 图M2M 2 5物联网的反馈与控制 2 5 1自动控制的基本原理与方式 自动控制的概念及应用 反馈控制系统的基本组成 自动控制系统的基本控制方式 自动控制是指在没有人直接参与的情况下 利用外加的设备或装置 称控制装置或控制器 使机器 设备或生产过程 统称被控对象 的某个工作状态或参数 即被控量 自动地按照预定的程序运行 自动控制的概念及应用 2 5物联网的反馈与控制 自动控制的基本原理与方式 反馈控制定义 反馈 把取出输出量送回到输入端 并与输入信号相比较产生偏差信号的过程 称为反馈 分为负反馈和正反馈 反馈控制 就是采用负反馈并利用偏差进行控制的过程 而且 由于引入了被控量的反馈信息 整个控制过程成为闭合过程 因此反馈控制也称闭环控制 反馈控制原理 反馈控制系统组成 测量元件 检测被控制的物理量 并将其转换为电量 给定元件 给出与期望的被控量相对应的系统输入量 比较元件 把测量元件检测的被控量实际值与给定元件给出的参据量进行比较 求出它们之间的偏差 放大元件 将比较元件给出的偏差信号进行放大 用来推动执行元件去控制被控对象 执行元件 直接推动被控对象 使其被控量发生变化 校正元件 也叫补偿元件 用串联或反馈的方式连接在系统中 以改善系统性能 自动控制系统的基本控制方式 反馈控制方式 方式 按偏差进行控制 特点 减小或消除这个偏差作用 具有抑制任何内 外扰动对被控量产生影响的能力 有较高的控制精度 问题 系统使用的元件多 结构复杂 设计麻烦 自动控制系统的基本控制方式 开环控制方式 方式 是指控制装置与被控对象之间只有顺向作用而没有反向联系的控制过程 特点 是系统的输出量不会对系统的控制作用发生影响 设计简单 作用 可以按给定量控制 也可以按扰动控制 缺点 按扰动控制方式只适合扰动可测的场合 且一个补偿能力单一 自动控制系统的基本控制方式 复合控制方式 方式 把两者结合起来 对主要扰动采用适当补偿的装置实现按扰动控制 同时再组成反馈控制系统实现按偏差控制 以消除其余扰动产生的偏差 特点 系统的主要扰动已被补偿 反馈控制系统就比较容易被设计 控制效果也会更好 2 5物联网的反馈与控制 2 5 2物联网系统的控制论解析 2 5 3物联网的控制特性 2 5 4控制理论在物联网中的应用前景 物联网系统的控制论解析 物联网中的 感 智 控 分别构成了物联网控制系统的测量 比较 执行等三大部件 这三大部件又在 联 这种网络平台上得以相互作用 形成了 控制系统 最终实现了 控 的目的 联 物联网的控制特性 鲁棒性保安性可信性时延性 控制理论在物联网中的应用前景 物联网的控制系统一定是一个计算机参与的离散控制系统 将离散控制理论的分析方法引入物联网系统的分析 研究和设计过程中 能够使这一过程更加科学 合理 对系统的各种性能将有一个更准确的判断 同时也便于进行仿真分析 第三章传感器技术 3 1传感器概述 3 3传感器技术原理 3 4常见传感器介绍 3 2传感器分类 3 5本章小结 3 1传感器概述 3 1 1传感器的功能 物理世界的 感觉器官 从狭义角度来看 传感器是一种将测量信号转换成电信号的变换器 从广义角度来看 传感器是指在电子检测控制设备输入部分中起检测信号作用的器件 3 1传感器概述 3 1 1传感器的功能 3 1传感器概述 3 1 2传感器的特性 线性度 传感器的线性度是指传感器的输出与输入之间数量关系的线性程度 3 1传感器概述 3 1 2传感器的特性 灵敏度 灵敏度是传感器静态特性的一个重要指标 其定义是输出量增量 y与引起输出量增量 y的相应输入量的增量 x之比 用S表示灵敏度 即 3 1传感器概述 3 1 2传感器的特性 迟滞 传感器在正 输入量增大 反 输入量减小 行程期间其输出 输入特性曲线不重合的现象称为迟滞 3 1传感器概述 3 1 2传感器的特性 重复性 重复性是指传感器在输入量按同一方向作全量程连续多次变化时 所得特性曲线不一致的程度 3 1传感器概述 3 1 3传感器的发展趋势 微型化 智能化 多样化 网络化 集成化 新型材料 高精度 高可靠 3 1传感器概述 3 1 3传感器的发展趋势 3 1传感器概述 3 1 3传感器的应用领域 工业检测和自动化控制系统 智能家居 环境保护 医疗 航空航天 智能机器人 3 2传感器的分类 3 2 1根据测试对象 温度传感器 湿度传感器 压力传感器 位移传感器 加速度传感器 3 2传感器的分类 3 2 2根据原理 电学式传感器 磁性式传感器 电势型传感器 光电式传感器 电荷传感器 半导体传感器 谐振式传感器 电化学式传感器 3 2传感器的分类 3 2 3根据输出信号 模拟式传感器 数字式式传感器 3 2传感器的分类 3 2 4根据能量 有源传感器 无源传感器 3 2传感器的分类 3 3传感器的技术原理 3 3 1电阻应变式传感器 3 3传感器的技术原理 3 3 1电阻应变式传感器 3 3传感器的技术原理 3 3 1电阻应变式传感器 应变片电阻值 绝缘电阻 应变片的灵敏系数 机械滞后 零漂和蠕变 极限 横向效应 3 3传感器的技术原理 3 3 1电阻应变式传感器 3 3传感器的技术原理 3 3 2电感式传感器 自感传感器的基本工作原理演示 气隙变小 电感变大 电流变小 3 3传感器的技术原理 3 3 2电感式传感器 3 3传感器的技术原理 3 3 2电感式传感器 70 对于变隙式传感器 因为气隙 很小 所以可以认为气隙中的磁场是均匀的 若忽略磁路磁损 则磁路总磁阻 式中 Li 各段导磁体的长度 i 各段导磁体的导磁率 Si 铁芯材料的截面积 气隙的厚度 0 空气的导磁率 S 空气隙的截面积 3 3 2电感式传感器 自感传感器分为三种类型 a 变间隙式 b S 变面积式 c 螺管式 磁路磁阻随着衔铁插入深度不同而变化 3 3 2电感式传感器 72 差动变压器式传感器 差动变压器式传感器是把被测位移量转换为一次线圈与二次线圈间的互感量M的变化的装置 当一次线圈接入激励电源之后 二次线圈就将产生感应电动势 当两者间的互感量变化时 感应电动势也相应变化 由于两个二次线圈采用差动接法 故称为差动变压器 结构特点 两个二次线圈反向串联 组成差动输出形式 二次线圈 二次线圈 一次线圈 铁心 3 3 2电感式传感器 73 工作原理 3 3 2电感式传感器 74 电涡流式传感器 1 电涡流形成 高频电流线圈靠近被测金属 线圈上的高频电流所产生的高频电磁场在金属表面上产生电涡流 线圈通入交变电流I 在线圈的周围产生交变的磁场H1位于该磁场中的金属导体上产生感应电动势并形成涡流涡流也产生相应的磁场H2 H2与H1方向相反H2的作用引起线圈等效阻抗 等效电感等发生相应的变化 3 3 2电感式传感器 75 根据法拉第电磁感应原理 块状金属导体置于变化的磁场中或在磁场中作切割磁力线运动时 导体内将产生呈涡旋状的感应电流 此电流叫电涡流 以上现象称为电涡流效应 3 3 2电感式传感器 76 电涡流使通电线圈的等效阻抗发生变化 线圈等效阻抗的变化反映了金属导体的涡流效应 电涡流效应与被测金属间的距离及电导率 磁导率 线圈的几何形状 几何尺寸 电流频率等参数有关 通过电路可将被测金属参数转换成电压或电流变化 电涡流传感器根据这一原理实现对金属物体的位移 振动等参数的测量 Z 高频涡流传感器线圈阻抗 电导率 导磁率r 线圈半径等几何尺寸I 线圈电流f 频率x 距离 3 3 2电感式传感器 电容传感器是将被测量转换成电容量的测量装置 它与电阻传感器和电感传感器相比 具有如下优点 测量范围大 C C可达100 灵敏度高 相对变化量可达10 7 动态响应时间短 可动部分质量小 固有频率高 结构简单 适应性强 3 3 3电容式传感器 工作原理 电容量C的变化决定于参数S d和 因而有三种基本类型的电容传感器 介质介电常数 r 极板间介质的相对介电常数 0 真空的介电常数 8 85 10 12F mS 极板面积d 极板间距离 3 3 3电容式传感器 电容微位移计 变极板间距离 d 型极板1固定不动的极板2沿间隙方向平行位移 1定极板 2动极板 极板间介质介电常数 0 真空介电常数 r 极板间介质相对介电常数 极板间距离S 极板面积 3 3 3电容式传感器 3 3 3电容式传感器 电容变化分析 非线性误差随着d0的减小而增大为了保证一定的线性度 应限制动极板的位移量 通常规定测量范围 X d0 此时 传感器的灵敏度近似为常数在实际应用中 为了提高灵敏度 减小非线性误差 大都采用差动式结构 3 3 3电容式传感器 变面积电容传感器常用的有角位移型和线位移型两种与变间隙型相比 适用于较大角位移及直线位移的测量 3 3 3电容式传感器 3 3 3电容式传感器 电容变化分析 变介质的介电常数 型改变极板间介质的介电常数 改变电容量的大小常用来检测容器中液位的高度或片状电介质厚度 电容液位计 3 3 3电容式传感器 3 3 3电容式传感器 电容变化分析 压电效应某些电介质 当沿着一定方向对其施力而使它变形时 内部就产生极化现象 同时在它的两个表面上便产生符号相反的电荷 当外力去掉后 又重新恢复到不带电状态 压电材料受力变形 在表面产生电荷 正压电效应压电材料通电压 材料变形 逆压电效应压电材料压电晶体压电陶瓷 3 3 4压电式传感器 石英的晶体结构为六方晶体系 化学式为SiO2 定义 x 两平行柱面内夹角等分线 垂直此轴压电效应最强 称为电轴 y 垂直于平行柱面 在电场作用下变形最大 称为机械轴 z 无压电效应 中心轴 也称光轴 3 3 4压电式传感器 压电晶体 压电晶体与压电陶瓷的比较 相同点 都是具有压电效应的压电材料 不同点 石英的优点是它的介电和压电常数的温度稳定性好 适合做工作温度范围很宽的传感器 极化后的压电陶瓷 当受外力变形后 由于电极矩的重新定位而产生电荷 压电陶瓷的压电系数是石英的几十倍甚至几百倍 但稳定性不如石英好 居里点也低 3 3 4压电式传感器 压电陶瓷 如果线圈是N匝 磁场强度是B 每匝线圈的平均长度la 线圈相对磁场运动的速度为 dx dt 则整个线圈中所产生的电动势为 3 3 5磁电式传感器 恒通式磁电传感器原理 图恒通式磁电传感器原理图 3 3 5磁电式传感器 恒通式磁电传感器原理 3 3 5磁电式传感器 式中 N为线圈在工作气隙磁场中的匝数 B为工作气隙磁感应强度 为每匝线圈平均长度 变通式磁电传感器原理 图变通式磁电传感器原理图 3 3 5磁电式传感器 霍尔传感器 3 3 5磁电式传感器 图霍尔效应 在一块导体的两侧面ab通以电流 在导体的垂直方向上施加磁感应强度为B的磁场 则在垂直于电流和磁场方向的另外两侧面cd上将产生电势 这种现象称为霍尔效应 产生的电势称为霍尔电势 3 4常见传感器 3 4 1温度传感器 按测量方法分类 3 4常见传感器 3 4 1温度传感器 按材料分类 图热电偶传感器 图热电阻传感器 3 4常见传感器 3 4 2温敏传感器 氯化锂湿敏电阻 图氯化锂湿敏电阻 3 4常见传感器 3 4 2温敏传感器 半导体陶瓷湿敏电阻 图半导体陶瓷湿敏电阻 3 4常见传感器 3 4 3光电式传感器 工作原理 3 4常见传感器 3 4 3光电式传感器 光电效应 光电效应是指一束光线照射到物质上时 物质中的电子吸收了光子的能量而发生了相应的电效应的现象 根据光电效应现象的不同特征 可将光电效应分为三类 外光电效应 在光线照射下 使电子从物体表面逸出的现象 如光电管 光电倍增管等 内光电效应 在光线照射下 使物体的电阻率发生改变的现象 如光敏电阻等 光生伏特效应 在光线照射下 使物体产生一定方向的电动势的现象 如光敏二极管 光敏三极管 光电池等 光电倍增管还是光电倍增管器 名词统一为好 3 4常见传感器 3 4 3光电式传感器 光电器件 3 4常见传感器 3 4 3光电式传感器 光纤式光电传感器 3 4常见传感器 3 4 3光电式传感器 CCD图像传感器 3 4常见传感器 3 4 4气敏传感器 3 4常见传感器 3 4 5压力传感器 3 4常见传感器 3 4 6加速度传感器 3 4常见传感器 3 4 7智能传感器 图智能传感器构成图 3 4常见传感器 3 4 7智能传感器 图模块式智能传感器 模块式智能传感器 3 4常见传感器 3 4 7智能传感器 图混合式智能传感器 混合式智能传感器 3 4常见传感器 3 4 7智能传感器 自校准功能自补偿功能自诊断功能数据处理功能双向通信功能信息存储和记忆功能数字信号输出功能 3 5本章小结 本章首先详细介绍了传感器的基本概念 相关特性和发展趋势 其次 根据传感器的工作原理将传感器分为应变式传感器 电感式传感器 电容式传感器 压电式传感器和磁电式传感器等 并对这些传统传感器的工作原理 技术特点等进行了介绍 最后 介绍了目前和我们日常工作密切相关的一些常见的传感器 例如用来测量温度 湿度 光照度等的传感器 分别介绍了传感器的工作原理 分类标准以及在相关领域的应用 通过这些内容的介绍 旨在使读者对传感器技术原理和应用特点有进一步的了解 第四章标识与定位技术 4 1条形码技术 4 3定位技术 4 4本章小结 4 2RFID技术 4 1条形码技术 4 1 1一维条形码技术 条形码 barcode 简称条码 技术是集条码理论 光电技术 计算机技术 通信技术 条码印制技术于一体的一种自动识别技术 条形码也叫条码 它是一种以光电扫描识读的信息图形标识符 条码 图条码的组成 4 1条形码技术 4 1 1一维条形码技术 字符集 字符集是指某种码制的条形码符号可以表示的字母 数字和符号的集合 如EAN UPC条形码只能表示0 9共10个数字 编码方式 代码 符号码 4 1条形码技术 4 1 1一维条形码技术 常见的一维条形码 图UPC 4 1条形码技术 4 1 1一维条形码技术 常见的一维条形码 图UPC A 4 1条形码技术 4 1 1一维条形码技术 常见的一维条形码 图UPC E 4 1条形码技术 4 1 1一维条形码技术 常见的一维条形码 图EAN 4 1条形码技术 4 1 1一维条形码技术 常见的一维条形码 图ISSN 4 1条形码技术 4 1 2二维条形码技术 图二维码的分类 4 1条形码技术 4 1 2二维条形码技术 信息容量大 编码范围广 纠错能力强 可加密 寿命长 易打印 成本低 识读方便 4 1条形码技术 4 1 3三维条形码技术 128码 93码 2 1物联网体系结构概述 2 1 1意义和功能 无线传感网 无线传感器网络的相关技术可以作为物联网开发的基础 互联网 互联网连接的是虚拟世界 而物联网则是实现物理世界的互联互通 4 2RFID技术 快速扫描 体积小 多样化 抗污染 耐久性好 可重复使用 可穿透 容量大 安全性高 4 2RFID技术 4 2 1RFID的概念及分类 RFID技术是无线电广播技术和雷达技术的结合 无线电广播技术是一种使用无线电波发射 传播和接收语音 图像 数字 符号的技术 而雷达技术是一种应用无线电波的反射理论的技术 图RFID 4 2RFID技术 4 2 1RFID的概念及分类 RFID系统包含射频标签 Tag 读写器 Reader 和数据管理系统组成 图RFID的组成 RFID的组成 4 2RFID技术 4 2 1RFID的概念及分类 ISO IEC EPCglobal UbiquitousIDCenter AIMglobal和IP X RFID的分类 RFID的标准 工作频率 标签 读写方式 藕合原理 4 2RFID技术 4 2 1RFID的概念及分类 RFID的关键问题 标准 成本 技术 安全 4 2RFID技术 4 2 2RFID的核心技术 RFID标签 图低频标签 图高频标签 4 2RFID技术 4 2 2RFID的核心技术 RFID标签 图标签分类 4 2RFID技术 4 2 2RFID的核心技术 RFID阅读器 图RFID阅读器 4 2RFID技术 4 2 2RFID的核心技术 RFID阅读器 图RFID模拟部分的发送与接受 4 2RFID技术 4 2 2RFID的核心技术 天线技术 图RFID天线分类 4 2RFID技术 4 2 2RFID的核心技术 RFID中间键 图RFID中间键的三层模型 4 2RFID技术 4 2 2RFID的核心技术 RFID中间键 图RFID系统结构 4 2RFID技术 4 2 3RFID的防碰撞技术 标签碰撞 图标签碰撞过程 4 2RFID技术 4 2 3RFID的防碰撞技术 标签碰撞 频分多址 时分多址 空分多址 码分多址 4 2RFID技术 4 2 3RFID的防碰撞技术 标签碰撞 图纯ALOHA算法 4 2RFID技术 4 2 3RFID的防碰撞技术 标签碰撞 图二进制树算法 4 2RFID技术 4 2 3RFID的防碰撞技术 阅读器防碰撞 图阅读器频率干扰 4 2RFID技术 4 2 3RFID的防碰撞技术 阅读器防碰撞 图标签干扰 4 2RFID技术 4 2 3RFID的防碰撞技术 阅读器防碰撞 图隐藏终端干扰 4 2RFID技术 4 2 3RFID的防碰撞技术 阅读器防碰撞 Colorwave算法 Q Learning算法 Pulse算法 4 3定位技术 4 3 1卫星定位技术 GPS系统的发展 GPS系统的组成 扩展导航功能 基于位置的服务 主要功能 1空间部分 2地面部分 3用户接收设备 4 3定位技术 4 3 1卫星定位技术 GPS定位原理 图4 29GPS定位原理示意图 4 3定位技术 4 3 1卫星定位技术 GPS的应用 1定位导航 2勘察测绘 3应急救援 4精确制导 4 3定位技术 4 3 2蜂窝定位技术 COO CellofOrigin 定位 图4 30COO定位原理示意图 4 3定位技术 4 3 2蜂窝定位技术 TOA TimeofArrival 定位 图4 31TOA定位原理示意图 4 3定位技术 4 3 2蜂窝定位技术 TDOA TimeDifferenceofArrival 定位 图4 32TDOA定位原理示意图 4 3定位技术 4 3 2蜂窝定位技术 AOA AngleofArrival 定位 图4 33AOA定位原理示意图 4 3定位技术 4 3 2蜂窝定位技术 A GPS AssistedGPS 定位 第五章现代通信技术 5 1近距离无线通信技术 5 3有线通信技术 5 4Internet技术 5 2远距离无线通信技术 图5 1现代通信技术 5 1近距离无线通信技术 5 1 1Wi Fi技术5 1 2蓝牙技术5 1 3ZigBee技术 5 1 1Wi Fi技术 Wi Fi采用的协议标准 IEEE802 11b标准 IEEE802 11a标准 IEEE802 11g标准 IEEE802 11n标准 5 1 1Wi Fi技术 Wi Fi特点 覆盖范围广 传输速度快 建网成本低 使用便捷 更健康 更安全 5 1 1Wi Fi技术 Wi Fi组网技术Wi Fi应用前景 Ad hoc模式 接入点模式 图5 2基于接入点模式的Wi Fi组网示意图 5 1 2蓝牙技术 蓝牙协议栈 图5 4基于802 15版本的蓝牙协议栈结构示意图 5 1 2蓝牙技术 蓝牙组网技术 图5 5蓝牙组网示意图 5 1 2蓝牙技术 蓝牙应用服务蓝牙技术应用环境 5 1 3ZigBee技术 ZigBee技术的主要特征 功耗低 较小的传输范围 时延短 网络容量大 成本低 安全性 可靠性较高 5 1 3ZigBee技术 ZigBee协议标准 图5 6ZigBee协议栈体系结构示意图 5 1 3ZigBee技术 ZigBee组网技术 a 星型 b 网状 c 树状图5 7ZigBee网络拓扑 5 2远距离无线通信技术 5 2 1卫星通信技术5 2 2移动通信技术5 2 3微波通信技术 5 2 1卫星通信技术 卫星通信技术原理 图5 8卫星通信示意图 图5 9卫星通信原理示意图 5 2 1卫星通信技术 卫星通信技术原理 卫星通信频段 5 2 1卫星通信技术 通信卫星分类 从卫星结构划分 从卫星的运行轨道角度划分 从卫星距离地面的最大高度划分 从卫星与地球上任一点的相对位置的不同划分 5 2 1卫星通信技术 卫星通信系统分类 从卫星制式划分 从通信覆盖区域的范围划分 从用户性质可分划分 从业务范围划分 从基带信号体制划分 从划多址方式划分 从运行方式划分 5 2 1卫星通信技术 卫星通信的特点 覆盖区域大 通信距离远 具有多址连接能力 频带宽 通信容量大 通信质量好 可靠性高 通信机动灵活 线路使用费用与通信距离无关 特殊需求 5 2 1卫星通信技术 卫星通信新技术 VSAT卫星通信系统 轨道 LEO 移动卫星通信系统 中轨道 MEO 移动卫星通信系统 静止轨道 GEO 移动卫星通信系统 5 2 2移动通信技术 移动通信分类 从设备的使用环境划分 从服务对象划分 从系统组成结构划分 5 2 2移动通信技术 移动通信发展 第一代 1G 模拟移动通信系统 第二代 2G 数字移动通信系统及标准 第三代 3G 移动通信系统及标准 第四代 4G 移动通信系统及标准 5 2 2移动通信技术 移动通信发展 第一代 1G 模拟移动通信系统 第二代 2G 数字移动通信系统及标准 第三代 3G 移动通信系统及标准 第四代 4G 移动通信系统及标准 5 2 2移动通信技术 移动通信系统的组成 图5 12移动通信系统示意图 5 2 3微波通信技术 图5 14频谱示意图 5 2 3微波通信技术 微波类型 5 2 3微波通信技术 微波通信方式 图5 15微波通信示意图 5 2 3微波通信技术 微波通信的用途 传送电报信号传送数据信号传送传真信号传送宽频带信号及彩色电视信号移动通信系统基站与移动业务交换中心之间的信息交换 5 2 3微波通信技术 微波通信的特点 微波频带宽 通信容量大微波中继通信抗干扰性能好 工作较稳定 可靠微波中继通信灵活性较大天线增益高 方向性强投资少 建设快 5 3有线通信技术 5 3 1双绞线5 3 2光纤5 3 3以太网 5 3 1双绞线 图5 16双绞线示意图 5 3 1双绞线 双绞线分类 一类线 CAT1 二类线 CAT2 三类线 CAT3 四类线 CAT4 五类线 CAT5 超五类线 CAT5e 六类线 CAT6 七类线 CAT7 5 3 2光纤 图5 17光纤示意图 5 3 2光纤 图5 18光纤结构示意图 光纤结构 5 3 2光纤 图5 19光传输示意图 光纤通信 5 3 2光纤 光纤通信特点 频带宽损耗低重量轻抗干扰能力强保真度高工作性能可靠成本不断下降 5 3 2光纤 光纤局域网 总线型局域网 环形局域网 5 3 3以太网 以太网分类 标准以太网及标准快速以太网及标准千兆以太网及标准万兆以太网及标准 5 3 3以太网 以太网拓扑 总线型 星型 图5 22总线型以太网 图5 23星型以太网 5 4Internet技术 5 4 1Internet通信协议5 4 2Internet接入技术5 4 3路由算法 5 4 1Internet通信协议 TCP IP协议栈TCP IP协议栈结构 图5 24TCP IP协议栈结构 5 4 1Internet通信协议 图5 25TCP IP协议应用展示 TCP IP协议栈TCP IP协议应用 5 4 1Internet通信协议 图5 26数据封装过程 TCP IP协议栈TCP IP协议数据封装 5 4 1Internet通信协议 TCP协议IP首部 图5 27IP首部格式 首部 0 4 8 16 19 24 31 版本 标志 生存时间 协议 标识 总长度 片偏移 填充 首部检验和 源地址 目的地址 可选字段 长度可变 位 首部长度 数据部分 固定部分 区分服务 5 4 1Internet通信协议 IP网际协议IP地址IP路由 图5 28IP地址格式 5 4 1Internet通信协议 TCP协议TCP首部 TCP首部 目的端口 数据偏移 检验和 选项 长度可变 源端口 序号 紧急指针 窗口 确认号 保留 FIN 32位 SYN RST PSH ACK URG 位08162431 填充 5 4 1Internet通信协议 UDP协议UDP首部 伪首部 源端口 目的端口 长度 检验和 数据 首部 UDP长度 源IP地址 目的IP地址 0 17 IP数据报 字节 4 4 1 1 2 12 2 2 2 2 字节 发送在前 数据 首部 UDP用户数据报 5 4 1Internet通信协议 IPv6协议IPv6特点IPv6头格式扩展包头IPv6地址 5 4 2Internet接入技术 Internet接入方式 电话线拨号ISDNxDSLHFC光纤宽带无线网络 5 4 2Internet接入技术 网络互联设备 网络物理层互联设备数据链路层互联设备网络层互联设备 路由器应用层互联设备 网关 中继器集线器 网桥交换机 5 4 3路由算法 图5 32路由转发示意图 5 4 3路由算法 典型路由算法 最短路径路由 图5 33最短路由示意图 5 4 3路由算法 典型路由算法 扩散法 图5 34洪泛路由示意图 5 4 3路由算法 典型路由算法 选择性扩散算法 图5 35选择性扩散路由示意图 5 4 3路由算法 常用路由分类 固定拓扑结构路由自组织路由机会路由 本章总结 本章介绍了近距离无线通信技术 远距离无线通信技术和有线通信技术 近距离无线通信技术和有线通信技术常用于局域网络构建 光纤和远距离无线通信技术实现与Internet互联 Internet可被比喻为物联网的骨干 本章介绍了其常用通信协议 接入技术和路由算法 第六章数据组织与管理 6 1物联网数据的特点 6 3海量数据存储 6 4海量数据的快速检索技术 6 2海量感知数据的挖掘与分析 6 1物联网数据的特点 数据的多态性 异构性 数据的海量性 数据的关联性及语义性 6 2海量感知数据的挖掘与分析 6 2 1海量数据的预处理 数据预处理 DataPreprocessing 是指在主要的数据处理以前进行的一些辅助处理 为提高数据应用质量和数据处理提供一个良好的基础 数据预处理技术有很多 主要包括数据清洗 DataCleaning 数据集成 DataIntegration 数据转换 DataTransformation 和数据归约 DataReduction 等 数据清洗 DataCleaning 处理 数据集成 DataIntegration 噪声数据 数据转换 DataTransformation 数据消减 DataReduction 6 2海量感知数据的挖掘与分析 6 2 2知识概述 广义知识 狭义知识 关联知识 Association 分类知识 Classification Clustering 预测型知识 Prediction 等 6 2 3信息与知识的发现与表示 6 2海量感知数据的挖掘与分析 知识发现 知识表示 KDD具体过程分为以下四步 数据集成 创建目标数据集 选择与预处理 数据清理 数据规约 选择数据挖掘函数和挖掘算法 数据挖掘 寻找有趣的数据模式 自动发现 分类 预测 解释 描述 解释与评估 分析结果 使用可视化和知识表现技术 向用户提供挖掘的知识 6 2 3知识发现与语义挖掘 6 2海量感知数据的挖掘与分析 关联分析 关联规则挖掘的过程 分类及其相关算法 数据关联是数据库中存在的一类重要的可被发现的知识 若两个或多个变量的取值之间存在某种规律性 就称为关联 关联可分为简单关联 时序关联 因果关联 关联分析的目的是找出数据库中隐藏的关联网 关联规则挖掘过程主要包含两个阶段 第一阶段必须先从资料集合中找出所有的高频项目组 FrequentItemsets 第二阶段再由这些高频项目组中产生关联规则 AssociationRules 6 2 3知识发现与语义挖掘 6 2海量感知数据的挖掘与分析 分类 聚类分析 分类是数据挖掘的一项非常重要的任务 它是在已有数据的基础上创建一个分类函数或构造一个分类模型 即通常所说的分类器 而且该函数或模型能够把数据库中的数据记录映射到给定类别中的某一个 从而可以应用于数据预测 将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类 由聚类所生成的簇是一组数据对象的集合 这些对象与同一个簇中的对象彼此相似 与其他簇中的对象相异 聚类分析内容非常丰富 有系统聚类法 有序样品聚类法 动态聚类法 模糊聚类法 图论聚类法 聚类预报法等 最大树聚类法介绍 6 2 3知识发现与语义挖掘 6 2海量感知数据的挖掘与分析 最大树聚类法是模糊聚类方法的一种 和传递闭包法一样 最大树法也要通过正规化 通过标定步骤建立起相似系数构成的相似矩阵 MapReduce是Google提出的分布式并行计算编程模型 Hadoop是MapReduce的一种开源实现 同时实现HDFS这样一种分布式文件系统 6 3 1基于文件的数据存储技术 6 3海量数据存储 HDFS分布式文件系统 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS HadoopDistributedFileSystem 是一种高度容错的分布式文件系统模型 采用Java实现 采用主从式 Master Slave 架构 有1个名称节点和若干个数据节点组成 HDFS以文件形式存储数据 6 3海量数据存储 HDFS的体系结构 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS中 名称节点作为中心服务器控制所有的文件操作 是所有HDFS元数据的管理者 数据节点提供存储块 负责本节点的存储管理 如下页图中所示 HDFS以文件形式存储数据 将存储文件分为一个或多个数据单元块 然后复制这些数据块到一组数据节点中 数据节点在名称节点的统一调度下创建 删除和复制数据块 HDFS命名空间的层次结构域现有大多数文件系统类似 用户可以创建 删除 移动和重命名文件 区别在于 HDFS不支持用户磁盘配额和访问权限控制 也不支持硬链接和软连接 HDFS的体系结构 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS中的文件被分割为64MB的单元块 文件小于单元块大小 该文件并不会占满该单元块的存储空间 HDFS大单元块的设计是为了尽量减小寻找数据块的开销 如果单元块足够大 数据块的传输时间会明显大于寸照数据块的时间 HDFS的数据组织与操作 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS的数据组织与操作 文件读取 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS的数据组织与操作 文件读取 1 客户端获取HDFS文件系统DistributedFileSystem的实例 调用open 方法 2 DistributedFileSystem通过RPC远程调用名称节点 确定文件组成单元块的位置信息 名称节点返回每个单元块及其副本的数据节点地址 这些数据节点按照相对于客户机的距离排序 DistributedFileSystem向客户端返回FSDataInputStream 而FSDataInputStream封装了管理名称节点和数据节点I O的DFSInputStream 3 客户端调用FSDataInputStream的read 方法 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS的数据组织与操作 文件读取 4 FSDataInputStream中的DFSInputStream保存前几个单元块的数据节点地址信息 然后连接存储着文件单元块的最近数据节点 重复调用read 方法读取数据 返回给客户端 5 当第一个单元块读取结束 DFSInputStream关闭与该数据节点的连接 然后寻找下一个单元块的最佳数据节点 DFSInputStream和数据节点建立连接的顺序决定了文件单元块的读取顺序 并且通知名称节点检索下一批所需单元块的数据节点地址 6 最后 客户端调用FSDataInputStream的close 方法结束文件读取操作 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS的数据组织与操作 文件写入 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS的数据组织与操作 文件写入 1 首先 客户端调用DistributedFileSystem中的create 方法创建文件 2 DistributedFileSystem通过RPC调用名称节点 在文件系统的命名空间里创建新文件 实际上此时并为给该文件分配单元块 名称节点通过检查确认该文件以前不存在 并且客户端有权创建该文件 如果检查通过 名称节点就生成新文件记录 否则文件创建失败并抛出IOException DistributedFileSystem向客户端返回FSDataOutStream开始写数据 类似于文件读取操作 FSDataOutputStream封装DFSOutputStream来处理与名称节点和数据节点的通讯 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS的数据组织与操作 文件写入 3 客户端写入数据时 DFSOutputStream把数据分成一些数据包 把这些数据包写入内部数据队列供DataStreamer使用 它还负责询问名称节点选择合适的存储副本的数据节点列表 并分配新的单元块 该数据列表组成一个管道 如图3所示 如果副本级别是3 管道中就有三个数据节点 4 FSDataOutputStream向管道的第一个数据节点传送数据 该数据节点写入完成后 管道将数据包转发给第二个数据几点 完成后再转发到第三个 或最后一个 数据节点 5 DFSOutputStream维护一个内部数据包队列 等待数据节点的应答 只有管道里所有数据节点都写入并应带 该数据包才移出应答队列 6 当客户端完成数据写入后 调用FSDataOutputStream的close 方法关闭 7 最后 DistributedFileSystem通知名称节点写文件结束 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS的数据组织与操作 副本策略 6 3 1基于文件的数据存储技术 HDFS 6 3海量数据存储 HDFS的数据组织与操作 副本策略 好的副本策略能有效改进数据的可靠性 可用性和利用率 HDFS采用机架感知 RackAwareness 策略实现副本策略 在机架感知过程中 名称节点可以获取每个数据节点所属机架的编号 HDFS的默认副本系数为3 副本1优先存放在客户端节点上 如果客户端没有运行在集群内 就选择任意机架的随机节点 副本2存放到另外一个机架的随机节点上 副本3和副本2存放在同一机架 但是不能在同一节点上 三分之一的副本在一个节点 三分之二的副本在一个机架 这样能够有效减少机架见的数据传输 既不破坏数据可靠性和读取性能 同时改进了写入性能 6 3 1基于文件的数据存储技术 HDFS Hadoop中的MapReduce计算模型将公共细节部分抽象为一个库 由公共引擎统一处理 编程者不需要过多考虑程序本身的分布式存储和并行处理细节 相应的容错处理 数据分布 负载均衡等也由公共引擎完成 6 3海量数据存储 6 3 1基于文件的数据存储技术 MapReduce 6 3海量数据存储 MapReduce计算模型 基本思想和编程模型 MapReduce主要反映了映射和规约两个概念 分别完成映射操作和规约操作 MapReduce是一种非机器依赖的并行编程模型 可给予高层的数据操作编写并行程序 MapReduce框架的运行时系统自动处理调度和负载均衡问题 MapReduce把并行任务定义为两个步骤 首先map阶段把输入数据元素划分为区块 映射生成中间结果对 在reduce阶段按照相同键值规约生成最终结果 计算利用一个输入key value对集来产生一个输出key value对集 6 3 1基于文件的数据存储技术 MapReduce 6 3海量数据存储 MapReduce计算模型 基本思想和编程模型 6 3 1基于文件的数据存储技术 MapReduce 6 3海量数据存储 MapReduce计算模型 基本思想和编程模型 Map操作是一类将输入记录集转换为中间格式记录集的独立任务 将输入键值对 key value 映射为一组中间格式的键值对 该中间格式记录集不需要与输入记录集的类型一致 一个给定的输入键值对可以映射成0个或多个输出键值对 Reduce操作将key相同的一组中间数值集规约为一个更小的数值集 通常 Reduce操作包括shuffle和排序操作 在映射规约计算模型中 认为大部分操作和映射操作相关 映射对输入记录的每个逻辑 record 进行运算 产生一组中间对 然后对具有相同key的中间执行规约操作来合并数据 6 3 1基于文件的数据存储技术 MapReduce 6 3海量数据存储 MapReduce计算模型 运行算法与流程 6 3 1基于文件的数据存储技术 MapReduce 6 3海量数据存储 MapReduce计算模型 运行算法与流程 首先 用户程序调用MapReduce引擎将输入文件分成M块 每块大概16MB到64MB 可自定义参数 主控节点负责分派任务 假设有M个映射任务和R个规约任务 选择空闲的从属节点分配这些任务 分配了映射任务的从属节点读取并处理相关的输入分片 并且解析出降至对传递给用户自定义的映射函数 映射函数生成的中间结果对暂时存在在内存中 缓冲到内存中的中间结果对周期性写入本地磁盘 这些数据通过分区 partition 函数划分为R个区块 中间结果在本地磁盘的位置信息要发送到主控节点 然后统一由主控节点传送给执行规约操作的从属节点 6 3 1基于文件的数据存储技术 MapReduce 6 3海量数据存储 MapReduce计算模型 运行算法与流程 当主控节点通知执行规约任务的从属节点中间结果对的位置信息时 该从属节点通过远程调用读取缓冲到映射任务节点本地磁盘上的中间数据 从属节点读取所有的中间数据然后按照中间key进行排序 使得key相同的value几种在一起 如果中间结果集合过大 可能需要使用外排序 执行规约任务的从属节点根据中间key来遍历所有排序后的中间结果对 并且把key和相关的中间结果集合传递给用户自定义的规约函数 由规约函数将本区块输出到一个最终输出文件 该文件存储到HDFS中 当所有的映射和规约任务完成时 主控节点通知用户程序 返回用户程序的调用点 MapReduce操作执行完毕 6 3 1基于文件的数据存储技术 MapReduc