物联网技术与应用(书号：24388)电子教案-完整ppt课件

第6章物联网业务及应用 物联网典型应用 6 1M2M业务 6 1 1M2M概述6 1 2M2M系统架构和通信协议6 1 3M2M支撑技术6 1 4M2M业务应用6 1 5M2M发展现状 6 1 1M2M概述 M2M是现阶段物联网最普遍的应用形式 是实现物联网的第一步 未来的物联网将是由无数个M2M系统构成 不同的M2M系统会负责不同的功能处理 通过中央处理单元协同运作 最终组成智能化的社会系统 概述 M2M的全称是机器对机器 Machine to Machine 提供了设备实时数据在系统之间 远程设备之间 机器与人之间建立无线连接的简单手段 实现人与机器 机器与机器之间畅通无阻 随时随地的通信 本节内容体系 先介绍M2M的系统结构 包括M2M终端 M2M管理平台和应用系统然后介绍M2M的典型通信协议 无线机器管理协议 WMMP 进而对M2M的关键支撑技术和业务应用领域进行介绍并给出了一个M2M的应用实例 基于GPRS无线网络的远程自动雨量监测网络最后分析M2M的产业和标准发展现状以及面临的问题 6 1 2M2M系统架构和通信协议 M2M业务流程涉及众多环节 其数据通信过程内部也涉及多个业务系统包括M2M终端M2M管理平台应用系统 具体系统结构 M2M终端具有的功能 接收远程M2M平台激活指令本地故障报警数据通信远程升级使用短消息 彩信 GPRS等几种接口通信协议与M2M平台进行通信 M2M终端类型 终端管理模块 终端管理模块为软件模块 可以位于TE或MT设备中 主要负责维护和管理通信及应用功能 为应用层提供安全可靠和可管理的通信服务 M2M管理平台为客户提供统一的移动行业终端管理 终端设备鉴权支持多种网络接入方式 提供标准化的接口使得数据传输简单直接提供数据路由 监控 用户鉴权 内容计费等管理功能 M2M管理平台的功能 M2M平台 按照功能划分 M2M终端获得了信息以后 本身并不处理这些信息 而是将这些信息集中到应用平台上来 由应用系统来实现业务逻辑 应用系统 应用系统的主要功能 把感知和传输来的信息进行分析和处理 做出正确的控制和决策 实现智能化的管理 应用和服务 M2M终端可通过GSM WCDMA TD SCDMA等不同的移动通信网络接入 通信方式包括短信 彩信等 为了屏蔽不同的通信网络 不同的通信方式的差异性 便于M2M终端设备快速接入M2M系统 需要对M2M终端设备与M2M管理平台之间的通信协议进行规范 通信协议 M2M的典型通信协议 中国移动提出的无线机器管理协议 WirelessMachineManagementProtocol WMMP WMMP协议 为实现行业终端与M2M平台数据通信过程而设计 属于与具体通信网络及通信接入方式无关的应用层协议 建立在UDP协议之上 WMMP协议栈结构 图6 2WMMP协议栈结构 采用UDP协议传输 由于GPRS网络带宽较窄 延迟较大 不适于采用TCP协议进行通信 采用UDP协议无连接方式传输 其优点是效率高 流量小 节省网络带宽资源 缺点是没有确认机制 有可能引起丢包 采用UDP协议传输 根据实际经验发现 通过在UDP的上层应用层协议实现类似TCP的包确认和重传机制 采用UDP方式传输 丢包率能控制在1 以下 从而提高通信效率及可靠性 WMMP协议通信方式 长连接 指在一个过程中可以连续发送多个数据包 如果没有数据包发送 需要行业终端发送心跳包以维持此连接短连接 指通信双方有数据交互时 就建立一个WMMP过程 数据发送完成后 则断开此WMMP过程 长连接和短连接的比较 WMMP协议主要实现的功能和流程 M2M终端序列号的注册和分配M2M终端登录系统M2M终端退出系统M2M连接检查终端上线失败错误状态上报M2M终端按照M2M管理平台的要求上报采集数据 告警数据或统计数据 以及向M2M管理平台请求配置数据M2M管理平台从M2M终端提取所需的数据 或向终端下发控制命令和配置信息M2M终端软件的远程升级 6 1 3M2M支撑技术 M2M系统结构中涉及5个重要的支撑技术 如图6 3所示 图6 3M2M系统的关键支撑技术 机器 Machines 实现M2M的第一步就是从机器 设备中获得数据 然后把它们通过网络发送出去 不同于传统通信网络中的终端 M2M系统中的机器应该是高度智能化的机器 机器高度智能化 即机器具有 开口说话 的能力信息感知信息加工 计算能力 无线通信能力 机器高度智能化 实现方法生产设备的时候嵌入M2M硬件对已有机器进行改装 使其具备与其他M2M终端通信 组网能力 M2M硬件 是使机器获得远程通信和联网能力的部件 在M2M系统中 M2M硬件的功能主要是进行信息的提取 从各种机器 设备那里获取数据 并传送到通信网络中 M2M硬件产品 嵌入式硬件可改装硬件调制解调器 Modem 传感器识别标识 LocationTags 通信网络 通信网络在整个M2M技术框架中处于核心地位 包括广域网 无线移动通信网络 卫星通信网络 Internet 公众电话网 局域网 以太网 WLAN Bluetooth 个域网 ZigBee 传感器网络 中间件 Middleware M2M网关数据收集 集成部件 M2M网关 是M2M系统中的 翻译员 它获取来自通信网络的数据 将数据传送给信息处理系统 主要的功能是完成不同通信协议之间的转换 数据收集 集成部件 目的是将数据变成有价值的信息 对原始数据进行不同加工和处理 并将结果呈现给需要这些信息的观察者和决策者 这些中间件包括 数据分析和商业智能部件 异常情况报告和工作流程部件 数据仓库和存储部件等 应用 在M2M系统中 应用的主要功能是通过数据融合 数据挖掘等技术把感知和传输来的信息进行分析和处理 为决策和控制提供依据 实现智能化的M2M业务应用和服务 6 1 4M2M业务应用 从狭义上说 M2M只代表机器和机器之间的通信 我们认为M2M的范围不应拘泥于此 而是应该扩展到人对机器 机器对人 移动网络对机器之间的连接与通信 M2M应用领域 现在 M2M应用遍及电力 交通 工业控制 零售 公共事业管理 医疗 水利 石油等多个行业 以及车辆防盗 安全监测 自动售货 机械维修 公共交通管理等日常生活当中 电力行业无线应用 电力抄表 GPRS数据传输 流量监测系统应用 M2M应用实例 M2M在气象监测领域的一个应用实例 基于GPRS无线网络的远程自动雨量监测网络 远程自动雨量监测网络 自动雨量站数据通信网络 有线和无线两种方式 数据中心工作站局地计算机网络 自动雨量站 作为系统的端站安装于各个观测点 无线自动雨量站传感器单元单片机系统GPRS数据终端单元有线自动雨量站传感器单元单片机系统局地微机系统 数据通信网络 无线 自动雨量采集设备有多个 它们用各自的GPRS数据终端将数据打成IP包 经GPRS空中接口接入无线GPRS网络 由移动服务商转接到Internet 最终通过各种网关和路由到达统一的数据处理中心工作站 数据通信网络 无线 GPRS终端向数据业务中心发送数据是间断性发送 可以根据需要调整发送数据的频率 这在一定程度上也降低了无线信息传输费用 无线网络设计过程中的关键问题 如何进行气象信息采集单元与GPRS终端的连接如何根据具体无线网络情况合理设置如何进行数据打包发送并在数据中心工作站实现接收 数据通信网络 有线 有线雨量站中通过单片机把传感器获得的雨量信息用串行通信的方式送到局地微型机算机 计算机首先把数据进行处理和编码 然后通过互联网把数据信息送到有固定IP的数据业务中心站 数据处理中心工作站 整个网络系统的主控部分 由一台主服务器和三台数据处理服务器组成 主服务器在公网上有固定的IP地址 三台数据服务器通过集线器与主服务器联网 6 1 5M2M发展现状 M2M产业发展现状M2M标准化现状 M2M产业发展现状 国内主要由中移动 电信和联通 应用领域涉及电力 水利 交通 金融 气象等行业国外Vodafone目前在M2M市场是全球第一 提供M2M全球服务平台以及应用业务 为企业客户的M2M智能服务部署提供托管 能够集中控制和管理许多国家推出的M2M设备 企业客户还可通过广泛的无线智能设备收集有用的客户数据 M2M标准化现状 技术标准制定主要是在 欧洲电信标准协会 EuropeanTelecommunicationStandardsInstitute ETSI 3GPP国内主要是在 中国通信标准化协会 CCSA 的泛在网技术委员会 TC10 ETSI的M2M标准化进展 ETSI专门成立了一个专项小组 M2MTC 以研究如何对快速成长的M2M技术进行标准化 ETSIM2MTC的主要研究目标 从端到端的全景角度研究机器对机器通信 并与ETSI内NGN的研究及3GPP已有的研究进行协同工作 ETSIM2MTC的职责 从利益相关方收集和制定M2M业务及运营需求 建立一个端到端的M2M高层体系架构 如果需要会制定详细的体系结构 找出现有标准不能满足需求的地方并制定相应的具体标准 将现有的组件或子系统映射到M2M体系结构中 M2M解决方案间的互操作性 制定测试标准 硬件接口标准化方面的考虑 与其他标准化组织进行交流及合作 ETSIM2MTC目前的研究工作 M2M业务需求 TS102689 定义M2M业务应用对通信系统的需求 以及M2M的典型应用场景 M2M功能架构 TS102690 定义M2M业务应用的功能架构以及相关的呼叫会话流程 智能电表 SmartMetering 的应用场景 TS102691 智能电表的应用场景和相关技术问题 电子卫生保健 eHealth 的应用场景 TS102732 电子医疗的应用场景和相关技术问题 消费者连接 ConnectedConsumers 的应用场景 TS102857 消费者连接的应用场景和相关技术问题 M2M定义 TS102725 M2M相关的定义和名词术语 3GPP的M2M标准化进展 3GPP针对M2M的研究主要从移动网络出发 研究M2M应用对网络的影响 包括网络优化技术等 3GPP在标准制定过程中 也将M2M称作机器类通信 MachineTypeCommunications MTC 在2008年5月 3GPP制定了研究项目 针对机器类通信的网络优化 NetworkImprovementforMachineTypeCommunications NIMTC 3GPP于2009年11月制定的技术报告TS22 368中定义MTC的一般需求 以及有别于人与人间通信的一些独特的业务需求 并详述了为满足MTC的业务需求 网络优化需要做的一些工作 3GPP对于M2M的研究范围 只讨论移动网的M2M通信 只定义M2M业务 不具体定义特殊的M2M应用 无线侧和网络侧的改进 不讨论跟SIM卡和 或SIM卡管理的新模型相关的内容 MTC的一般业务需求 寻址计费标识安全对MTC设备的远程管理 MTC独特的业务需求 MTC设备易被偷盗 毁坏时间控制无线网络拥塞核心网络拥塞信令网络拥塞访问控制低功耗特定位置触发漫游MTC设备的端到端安全性 CCSA的M2M标准化进展 中国通信标准化协会 CCSA 泛在网技术工作委员会 TC10 包括总体组 感知延伸组 应用组和网络组M2M应用通信协议技术要求由网络组进行研究 CCSA对M2M标准化的两个方面 M2M业务的总体技术要求 包括M2M业务定义 业务特征 应用场景和业务需求 M2M系统结构和接口 计费 认证鉴权和网络管理等方面的技术要求 CCSA对M2M标准化的两个方面 M2M应用通信协议技术要求 包括M2M终端设备与M2M平台间 M2M平台与M2M应用平台间的通信协议的协议概述 协议结构 报文定义 报文交互机制 安全机制等 M2M面临的问题 缺乏完整的标准体系商业模式不清晰 未形成共赢的 规模化的产业链窄带网络限制了M2M业务的发展以及业务信息承载方式的多样性M2M业务运营支撑系统不完善 不能完全有效地支撑M2M业务的运营M2M各行业间融合难度大 6 2云计算 6 2 1云计算介绍6 2 2云计算应用实例6 2 3物联网与云计算 主要内容 本节主要介绍一种适合大规模信息处理 管理 存储的新型计算基础设施 云计算 6 2 1云计算介绍 1 云计算定义及云参考模型 云计算的含义 云计算中的 云 主要是指能够提供无穷资源 如计算 存储 带宽等 的一种全新计算模式 通过云可以将计算能力 网络基础设施 商业处理平台 存储空间 带宽资源等按照约定的服务水平协议 ServiceLevelAgreement SLA 有偿地提供给云客户 无论你身处何处 何时使用 这种模式将计算和处理能力转移到网络中 从而减少以往个人或公司维护计算机软件 硬件 带宽 能源等资源的开销 众多的专家和学者根据各自的理解提出的云计算定义 NIST定义 美国国家标准技术研究院 NIST 的云计算定义被普遍接受 在这里主要介绍NIST关于云计算的定义 1 5种基本属性云计算的业务可以描述为5种基本属性 这5种基本属性与传统计算方式的区别和联系如下 美国国家标准技术研究院的云计算定义图 按需自助服务 On demandself service 客户可以根据需求自动地获取计算能力 例如服务器计算时间和网络存储空间 而不需要和云服务提供商进行直接谈判 广泛的网络接入 Broadnetworkaccess 计算能力可通过网络提供 并通过标准机制进行访问 使得各种客户端 例如移动电话 便携式电脑或PDA 和其他传统的或是基于云的软件平台均可以使用云计算 资源池 Resourcepooling 云计算服务提供商的各种资源被池化 并通过多租户模式为多客户提供多样服务 并根据客户的需求动态提供或重新分配物理或虚拟化的资源 快速弹性 服务规模可以快速 弹性地扩大或缩小 按量计费的服务 云系统对服务对象在一定程度上进行适当的抽象 并提供服务计量能力 2 3种服务模式 服务模式可以分为3种基本类型和其他的派生模式 这3种基本模式可以简写为 SPI模式 即分别为Software PlatformorInfrastructure asaService SoftwareasaService SaaS 云计算提供商为用户提供的业务是运行在其云基础设施上的应用程序的使用能力 这种应用程序能被各种客户端设备通过Web形式访问 例如Web浏览器 PlatformasaService PaaS 用户可以将自己拥有的或是购买的应用程序通过使用云计算提供商提供的编程语言和工具部署到云基础设施上 同样云用户也无法管理和控制底层云基础设施 包括网络 服务器 操作系统 存储 但可以控制他们部署的应用程序和应用程序的配置环境 InfrastructureasaService IaaS 云计算提供商为客户提供处理能力 存储能力 网络和其他基本计算资源 用户可以使用这些资源部署或运行他们自己的软件 3 4种部署模式 公共云公共云可以把来自许多不同客户的作业在云内的服务器 存储系统和其他基础设施上混合在一起 避免了用户临时需要大规模的计算和存储资源而部署硬件和软件资源的风险和开销 社区云云基础设施被几个组织所共享 以支持某个具有共同需求 例如任务 安全需求 策略域 的社区 社区云可以被该组织管理 也可以委托第三方管理 专用云专用云主要面向需要大规模数据处理 存储的公司 专用云是由单个客户所拥有的基础设施 该客户完全控制哪些应用程序在哪里运行 一般来说专用云的扩展性没有公共云高 混合云云基础设施由两个或两个以上相对独立的的云组成 为了保证数据和应用程序的可移植性 通过标准化的接口或是专用技术为不同的云客户提供服务 混合云提供了一种灵活的措施为云用户来决定如何在公共云和专用云上部署他们的应用 如果应用的数据量很小 但是需要很大的计算能力 那么混合云或许是一种比较好的选择 上述4种云都有一种或两种的部署方式 内部或外部 内部是指位于云拥有者的内部网络 享有和内部网络其他用户同样的网络安全策略 通常专用云一般都部署在内部 而外部是指部署在公有的网络上 公共云一般部署在外部 4 云计算参考模型这里主要介绍云安全联盟 CSA 给出的一种参考模型 如图所示 云计算参考模型 IaaS是所有云业务的基础 PaaS建立在IaaS之上 SaaS建立在PaaS之上 IaaS IaaS包括所有的基础设施资源 如云计算中的所有硬件资源 IaaS可以提供 或是不提供 对基础设施资源的抽象能力 并且为这些抽象资源提供物理或是逻辑连接的功能 PaaS PaaS在IaaS和SaaS之间提供了额外的一层 PaaS是对开发环境抽象的封装和对有效服务负载的封装 主要用于构建应用程序开发环境 中间件和其他功能 如数据库 消息功能 排队功能 SaaS SaaS位于IaaS和PaaS之上 为用户提供包括内容服务 内容呈现 商业应用和管理能力 典型SaaS是S和GoogleApps 提供基本商业服务 如电子邮件 2 云计算的发展历史 一般来说有6个阶段 第1阶段 用户通过终端共享一个大型机 那时的终端仅仅是一台显示器和一个键盘 第2阶段 出现了可以独立运行的计算机 用户不必再依靠大型机 但是这一阶段的计算机还不能联网 第3阶段 计算机网络的出现使得不同的计算机可以相互连接起来共享资源 但是这时的网络覆盖的范围还是比较有限 第4阶段 Internet的出现使得不同的计算机网络可以相互地连接起来 用户可以通过Internet来使用远程的应用和资源 第5阶段 网格技术的出现 使得计算和存储资源可以更加方便地共享 第6阶段 云计算的出现使得用户可以通过更加便利的方式利用Internet使用各种的资源 客户端 服务器 C S 模式P2P模式 两种计算模式 计算模式演进图 云计算充分利用了C S结构和P2P结构的优点 3 云计算的组成 云计算由应用程序 云客户端 基础结构 云平台 业务 存储 计算能力等部分组成 1 应用程序 云用户只需通过简单终端以Web的形式来实时地使用云计算上的应用程序 2 云客户端 云客户端也叫瘦终端 瘦主要是指云计算对客户端的要求很低 只要能够运行Web浏览器 如Firefox IE等 的终端就可以成为云客户端 3 基础结构 云计算的基础结构主要包括与计算机和网络相关的硬件以及安装这些硬件的房间等 一般来说 云计算中的计算机主要是一些便宜的且能够批量生产的服务器 4 云平台 云计算平台主要是指能够将各种云应用部署在云计算上的方式 也叫PaaS 如使用开源Web应用架构的Rails S公司的私有PaaSF GoogleAppEngine 使用Python和Mosso 5 业务 业务主要是指云客户使用云计算提供的各种服务 这些业务的共性是需要非常大的存储空间和处理能力 来为用户提供及时准确的信息 另外一种业务是需要大量的后台计算和处理能力 6 存储 扩充存储能力仍是一笔大的开销 尤其是管理众多物理存储设备 使用云存储就不会带来很大的开销 并且能够带来很高的容错能力 7 计算能力 云计算能够提供的处理能力是极大的 实际上对使用云计算的用户来说 云计算可以提供近乎无穷的资源 而不仅仅限于计算和存储能力 4 云计算的优缺点 优点 缺点 1 成本方面 1 安全问题 2 网络方面 2 控制问题 3 创新方面 3 开放性问题 4 可扩展性方面 5 环保和节能方面 1 成本方面 云计算的成本通常比传统企业数据中心的成本低得多 云计算的成本节省是建立在规模效应的基础上 即大量的用户使用云计算 从而极大地提升资源的利用率 成本的节省是云计算的核心优点 2 网络方面 云计算意味着用户可以通过无处不在的互联网使用云资源 并且互联网中还有非常多的其他资源可以和云计算一起使用 云客户可以根据应用的特点 灵活的调用互联网的众多资源 提升应用的用户体验 进而获取更多的利益 3 创新方面 云计算和云解决方案提供了一种创新的计算模式 随着技术的发展 云计算还会提供更多的别具特色的技术革新或商业革新 而使用云计算的公司 就会比使用传统企业数据中心的用户 创造出更多更新颖的应用或是商业模式 4 可扩展性方面 可扩展性主要是指云客户可以根据用户对资源需要灵活地增加或减少软硬件资源 而并不需要预先购买额外的资源 有非常灵活高效的扩展性 5 环保和节能方面 云计算是一种绿色计算模式 绿色计算主要是指云计算的资源利用率非常高 相对那些传统的企业数据中心 更加地环保和节省能源 云计算具有显著的优点 也有如下不可回避的缺点 1 安全问题 安全主要是指由于云客户并不能控制云计算的内部设施 因此具有潜在的数据被窃取的危险 虽然云计算提供了加密 用户名 密码 身份管理等安全措施 企业可能也并不愿意将机密的信息放到云上 2 控制问题 云客户并不能控制所租用的云计算资源的基础设施 物理计算机 另外用户或许会由于违反了一些规则 结果发现账户被封了 或是云计算提供商破产了等 导致用户不能继续使用云计算 或是丢失数据等 3 开放性问题 由于每个云计算提供商的平台可能并不是公开的 而云客户如果使用云计算必须按照云计算提供商提供的编程语言和API来编写应用程序 那么云客户的应用程序在不同的云计算平台间移植就会非常的困难 1 微软公司的WindowsAzure2 IBM公司的 蓝云 3 亚马逊公司的云4 谷歌公司的云 6 2 2云计算应用实例 1 微软公司的WindowsAzure WindowsAzure是微软基于云计算的操作系统 提供了 软件 服务 的计算方法 用于帮助开发者开发可以跨越云端和专业数据中心的下一代应用程序 Azure服务平台包括了以下主要组件 1 WindowsAzure用于服务托管 以及可扩展的存储 计算和网络的管理 2 MicrosoftSQLServices可以扩展MicrosoftSQLServer应用到云中的能力 3 Microsoft NETServices可以便捷地创建基于云的松耦合的应用程序 另外还包含访问控制机制 可以保卫用户的程序安全 4 LiveServices提供了一种一致性的方法处理用户数据和程序资源 使得用户可以在PC 手机 PC应用程序和Web网站上存储 共享和同步文档 照片 文件以及其他信息 5 MicrosoftSharePointServices和MicrosoftDynamicsCRMServices 用于在云端提供针对业务内容 协作和快速开发的服务 建立更强的客户关系 2 IBM公司的 蓝云 IBM在高性能并行机集群技术上有着领导性的优势 世界上最快的高性能计算机大多出自IBM IBM的 蓝云 计算平台是一套软 硬件平台 将Internet上使用的技术扩展到企业平台上 使得数据中心使用类似于互联网的计算环境 蓝云作为由IBM云计算中心开发的企业级云计算解决方案 可以对企业现有的基础架构进行整合 通过虚拟化技术和自动化技术 构建企业自己的云计算中心 实现企业硬件资源和软件资源的统一管理 统一分配 统一部署 统一监控和统一备份 3 亚马逊公司的云 Amazon的云计算主要包括AmazonS3 AmazonSimpleDB和AmazonEC2 1 AmazonS3 AmazonS3主要提供可靠的网络存储服务 S3由对象和存储桶两部分组成 对象是最基本的存储实体 存储桶是存放对象的容器 每个桶可以存放无数的对象 云平台上的应用程序可以通过REST或者SOAP接口访问S3中的数据 2 AmazonSimpleDB AmazonSimpleDB是一种支持结构化数据存储和查询操作的轻量级数据库服务 SimpleDB的存储模型分三层 域 项 属性 用户的数据按照域进行逻辑划分 SimpleDB提供两种服务访问方式 REST接口和SOAP接口 3 AmazonEC2 AmazonEC2是一种云基础设施服务 该服务基于服务器虚拟化技术 致力于为用户提供大规模可靠可伸缩的计算运营环境 AMI的运行环境是一个大规模的虚拟机运行环境 拥有庞大规模的物理机资源池和虚拟机运行平台 4 谷歌公司的云 谷歌 Google 是最大的云计算使用者 向企业开放了他们的 云 Google搜索引擎建立在分布于200多个地点 超过100万台服务器的支撑之上 云计算三大法宝 GFS MapReduce和BigTable 4 谷歌公司的云 BigTable数据模型图 云计算三大法宝 GFS MapReduce和BigTable 1 GoogleFileSystem文件系统 2 MapReduce分布式编程环境 3 分布式大规模数据库管理系统BigTable 1 GoogleFileSystem文件系统 GFS是一个可扩展的分布式文件系统 用于大型的 分布式的 对大量数据进行访问的应用 集群中的节点失效是一种常态 不是一种异常 GFS将其作为常见的情况加以处理 Google文件系统中的文件读写模式和传统的文件系统不同 大部分文件的更新是通过添加新数据完成的 而不是改变已存在的数据 在一个文件中随机的操作在实践中几乎不存在 一旦写完 文件就只可读 很多数据都有这些特性 一个GFS集群包含一个主服务器和多个块服务器 被多个客户端访问 大文件被分割成固定尺寸的块 在每个块创建的时候 服务器分配给它一个不变的 全球唯一的64位块句柄对它进行标识 GFS结构 通过服务器端和客户端的联合设计GFS客户端代码被嵌入到每个程序里 它实现了Google文件系统API 帮助应用程序与主服务器和块服务器通信 对数据进行读写 客户端跟主服务器交互进行元数据操作 但是所有的数据操作通信都是直接和块服务器进行 GFS对应用支持达到性能与可用性最优 2 MapReduce分布式编程环境 MapReduce是Google实现的一套大规模数据处理的编程规范Map Reduce系统 用于大规模数据集 大于1TB 的并行运算 Map Reduce通过 Map 映射 和 Reduce 化简 这样两个简单的概念来参加运算 用户只需要提供自己的Map函数以及Reduce函数就可以在集群上进行大规模的分布式数据处理 程序编写人员能够不用去顾虑集群的可靠性 可扩展性等问题 3 分布式大规模数据库管理系统BigTable 构建于上述两项基础之上的第三个云计算平台就是将数据库系统扩展到分布式平台上的BigTable系统 BigTable使用结构化的文件来存储数据 它不是一个关系型的数据库 它不支持关联或是类似于SQL的高级查询 取而代之的是多级映射的数据结构 BigTable数据格式 在BigTable模型中的数据模型包括行列以及相应的时间戳 所有的数据都存放在表格中的单元里 BigTable的内容按行来划分 将多个行组成一个小表 保存到某一个服务器节点中 这一个小表就被称为tablet BigTable数据格式 应用程序Docs 除了这三个部分之外 Google还建立了分布式程序的调度器 分布式的锁服务等一系列相关的云计算服务平台 Google在其云计算基础设施之上建立了一系列新型网络应用程序 其中典型的Google云计算应用程序就是Google推出的Docs网络服务程序 Docs可通过浏览器的方式访问远端大规模的存储与计算服务 GoogleDocs是一个基于Web的工具 有简单易用的文档权限管理 记录所有用户对文档所做的修改 GoogleDocs的这些功能令它非常适用于网上共享与协作编辑文档 能够替代MicroOffice相应的部分功能 GOOGLEDocs首页 6 2 3物联网与云计算 物联网是走向智能社会的一个重要步骤 物联网将逐渐融入到我们工作和生活的方方面面 提供更多智能服务 物联网的一个特点是能把周围世界的任何事物连接起来 从而形成一个巨大的网络 物联网 物联网时代可以将一切的物质进行信息化 比如说物质的位置 大小 状态等 都可以通过物联网转化为信息进行储存 人们再通过对信息的重组 挖掘等处理产生知识并用于智能控制 物联网 云计算与物联网结合 云计算的优点使物联网的各种应用都可以建立在云计算平台上 物联网的终端计算能力和存储空间有限 但却有很强的联网能力 而云计算有强大的计算能力 接近无限的存储空间 支撑各种软件和信息服务 能够与物联网很好地结合 6 3物联网典型应用 6 3 1智能物流6 3 2智能视频监控6 3 3智能家居6 3 4智能交通 6 3 1智能物流 1 智能物流系统概述智能物流是指货物从供应者向需求者的智能移动过程 为供方提供最大化的利润 为需方提供最佳的服务 最大限度地保护好生态环境 形成完备的智能社会物流管理体系 2 智能物流系统组成及特点 1 系统的组成 结构1 按物流功能划分 对物流设备进行监控的智能系统 对物流信息资源进行处理的智能系统 为客户提供服务的智能系统 对物流系统进行监控与管理的智能系统 结构2 按物流服务管理划分 前台顾客服务智能系统 作业执行智能系统 企业规划管理智能系统 2 案例 铁路物资智能配送铁路物资流通网面临的问题 与全国物资流通条块相重 纵横交错 相互竞争 网络内部相继出现了物资采购分散 储备重复 库存控制困难 流通费用过高 信息反馈速度过慢等缺陷 铁路物资智能配送的目的 运输组织的优化 如防止空载 提高满载率 人员和物流设施的效益优化 铁路物资流通网体系 对铁路物资配送设备进行监控的智能系统 对配送信息资源进行处理的智能系统 对客户进行服务的智能系统 对配送系统进行管理的智能系统 3 智能物流系统的特点 智能化 柔性化 一体化 社会化 3 智能物流主要支撑技术 智能物流系统只有在物流技术 智能技术和相关技术的支持下才能得以实现 是这些技术的有机结合 1 自动识别技术自动识别技术是以计算机 光 机 电 通信等技术的发展为基础的一种高度自动化的数据采集技术 自动识别技术在20世纪70年代初步形成规模 经过近40年的发展 已经发展成为由条码识别技术 智能识别技术 光字符识别技术 射频识别技术 生物识别技术等组成的综合技术 并正在向集成应用的方向发展 条码识别技术 目前使用最广泛的自动识别技术 它是利用光电扫描设备识读条码符号 从而实现信息自动录入 较常使用的码制有 UPC条码 128条码 交插二五条码 三九条码 库德巴条码等 生物识别技术 是利用人类自身生理或行为特征进行身份认定的一种技术 人们已经发展了虹膜识别技术 视网膜识别技术 面部识别技术 签名识别技术 声音识别技术 指纹识别技术六种生物识别技术 虹膜识别技术 射频识别 RFID 射频识别 RFID 技术是近几年发展起来的现代自动识别技术 它可以识别高速运动物体 也可以同时识读多个对象 具有抗恶劣环境 保密性强等特点 RFID标签 2 数据仓库和数据挖掘技术它是一个面向主题的 集成的 非易失的 时变的数据集合 数据仓库的目标是把来源不同的 结构相异的数据经加工后在数据仓库中存储 提取和维护 支持全面的 大量的复杂数据的分析处理和高层次的决策支持 数据挖掘是从大量的 不完全的 有噪声的 模糊的及随机的实际应用数据中 挖掘出隐含的 未知的 对决策有潜在价值的知识和规则的过程 一般分为描述型数据挖掘和预测型数据挖掘两种 3 人工智能技术人工智能是探索研究用各种机器模拟人类智能的途径 使人类的智能得以物化与延伸的一门学科 4 智能物流小结 智能物流可以优化物流管理流程 提高工作效率 降低企业运营成本 同时加快物流信息反馈速度 避免信息流中断 提高物流时效性 客户电子签名则保障了签收的安全性 提高信息录入的准确性 6 3 2智能视频监控 1 智能视频监控系统概述智能视频监控技术主要包括对视频图像序列自动地进行运动对象的提取 描述 跟踪 识别和行为分析等 应用场合 军队 银行 商店 停车场等 智能视频监控的优点 1 24 7全天可靠监控 2 提高报警精确度 3 提高响应速度 2 智能视频监控系统原理及应用 1 智能视频监控系统原理及系统流程智能视频监控以数字化 网络化视频监控为基础 但又有别于一般的网络化视频监控 它是一种更高端的视频监控应用 智能视频监控系统流程 2 应用实例 煤矿安全生产智能视频联动监控系统 视频集成控制将已有的工业电视摄像头和安全监控摄像头统一管理起来 智能视频分析系统智能视频分析系统的功能主要分为视频动态侦测 视频静态侦测 重要区域监测三类 视频联动监控系统视频联动监控系统需要管理视频监控画面和联动监控画面 3 智能视频监控系统应用领域智能视频监控系统的应用领域包括安全相关类和非安全相关类 安全类相关应用 高级视频移动侦测 物体追踪 人物面部识别 车辆识别 非法滞留 这些应用主要是协助政府或其他机构的安全部门提高室外大地域公共环境的安全防护 人物面部识别 非安全相关类应用 人数统计 人群控制 注意力控制 交通流量控制 3 智能视频监控系统的关键技术 1 移动目标提取移动目标提取运动检测是从图像序列中将变化区域从背景图像中提取出来 两种视频分析方法 背景减除法 时间差分方法 2 移动目标跟踪等价于在连续的图像帧间 创建基于位置 速度 形状 纹理 色彩等有关特征的对应匹配问题 常用的数学工具 卡尔曼滤波 Condensation算法及动态贝叶斯网络等 3 目标分类从检测到的运动区域中将特定类型物体的运动区域提取出来 例如分类场景中的人 车辆 人群等不同的目标 分为基于运动特性的分类和基于形状信息的分类两种目标分类 4 行为识别目标的行为识别是近年来被广泛关注的研究热点 它是指对目标的运动模式进行分析和识别 4 智能视频监控系统小结 从应用角度来看 当前的智能视频监控还是一种高档次应用 主要应用于一些特定场合 从产业的角度看 物联网概念的正式提出可以被看做IT产业对安防产业再度吹响融合的号角 6 3 3智能家居 1 智能家居系统概述智能家居可以定义为一个目标或一个系统 使用到的技术 计算机技术 数字技术 网络通信技术和综合布线技术 智能家居系统是为了让家居生活更加安全 舒适和高效 2 智能家居系统的组成 智能家居系统由4部分组成 智能家居控制器主机单元家庭通信网主机单元家庭设备自动化单元家庭安全防范单元 3 智能家居系统的关键技术 1 家庭内部网络的组建家庭内部组网 主要是实现各种信息家电之间的数据传输 把外部连接传入的数据传输到相应的家电上去 同时可以把内部数据传输到外部网络 2 家庭网关的设计在家庭内部提供不同类型 不同结构子网的桥接能力 在家庭外部通过Internet将各种服务商连接起来以提供实时 双向的宽带接入 同时还提供防火墙的能力 阻止外界对家庭内部设备的非法访问和攻击 3 家庭网络中应用代理技术网络家电的低成本 高质量和高可靠性是智能家居系统设计成功的重要条件 代理技术是这一方面的成功应用 4 智能家居系统小结 智能家居不仅具有传统的居住功能 还能提供舒适安全 高效节能 高度人性化的生活空间 4 智能家居系统小结 随着人们生活水平的