物联网技术与应用1ppt课件.ppt

物联网技术与应用 第四篇物联网应用技术 M2M技术无线单片机技术云计算技术数据融合技术大数据时代 M2M概述M2M Machine to MachineCommunication 机器对机器通信 M2M的核心目标就是使生活中所有的机器设备都具备联网和通信的能力 是物联网实现的基础平台 M2M不是简单的数据在机器和机器之间传输 更重要的是 它是机器和机器之间的一种智能化 交互式的通信 具有广泛的应用前景 一 M2M技术 M2M不只是人到机器设备的远程通信 而且还包括及机器与机器之间的通信和相互沟通 而反映到人的交互界面可能就只有一个结果 M2M不是一种新的技术 而是在现有的基础上的一种新的应用 M2M不只是基于移动通信技术的 无线传感器网络RFID等短距离无线通信技术甚至有线网络都可以成为连接机器的手段 M2M技术是物联网实现的关键 是无线通信和信息技术的整合 用于双向通信 适用范围较广 可以结合GSM GPRS UMTS等远距离传输技术 同样也可以结合Wi Fi UWB BlueTooth ZigBee等近距离连接技术 应用在各种领域 未来的物联网将是由无数个M2M系统构成 不同的M2M系统会负责不同的功能处理 通过中央处理单元协同运作 最终组成智能化的社会系统 M2M与物联网关系示意图 物联网是物物相连的网络 机器与机器之间的对话成为切入物联网的关键 M2M正是解决机器开口说话的关键技术 其宗旨是增强所有机器设备的通信和网络能力 机器的互连 通信方式的选择 数据的整合成为M2M技术的关键 M2M不是简单的数据在机器和机器之间的传输 更重要的是 它是机器和机器之间的一种智能化 交互式的通信 也就是说 即使人们没有实时发出信号 机器也会根据既定程序主动进行通信 并根据所得到的数据智能化地做出选择 对相关设备发出正确的指令 可以说 智能化 交互式成为了M2M有别于其他应用的典型特征 这一特征下的机器也被赋予了更多的 思想 和 智慧 工业网络化是工业化和信息化融合的大方向 工业控制需要实现智能化 远程化 实时化和自动化 M2M 未来LTE网络建设带来的无线宽带突破 为M2M服务的发展提供了更佳的承载基础 高数据传输速率 IP网络支持 泛在移动性 传统的3GPP蜂窝通信系统主要以H2H HumantoHuman 应用作为目标进行优化 并对VoIP FTP TCP HTTP 流媒体等业务应用提供QoS QualityofService 保障 M2M的业务特征和QoS要求与H2H有明显差异 主要表现在低数据传输速率 低占空比 不同的延迟要求 从终端使用场景和分布的差异来看 M2M网络部署的地理范围比传统手机网络更为广泛 在单位面积内 M2M终端可能有 海量 的存在 在当今世界上 机器的数量至少是人的数量的4倍 因此M2M具有巨大的市场潜力 未来通信的主体将是M2M通信 由于无需布线 覆盖范围广 移动网络是M2M信息承载和传送最广泛 最有市场前景的技术 在未来的3G时代 机与机 产生的数据通信流量最终将超过 人与人 和 人与机 产生的通信流量 现阶段物联网的发展还处于初级阶段 M2M由于跨越了物联网的应用层和感知层 是无线通信和信息技术的整合 它可用于双向通信 如远距离收集信息 设置参数和发送指令 因此M2M技术可以用于安全监测 远程医疗 货物跟踪 自动售货机等 M2M通信系统是目前物联网应用中一个重要的通信模式 是物联网中承上启下 融会贯通的平台 也是一种经济 可靠的组网方法 M2M对通信系统的优化需求增强网络能力在网络层 3GPP主要在M2M结构上做了改进来支持在网络中支持大规模的M2M设备部署M2M服务需求 基于MTC MachineTypeCommunication机器类型通信 设备和MTC服务器之间的端到端的应用使用的是3GPP系统提供的服务 3GPP系统提供专门针对MTC优化的传输和通信服务 包括3GPP承载服务 IMS SMS 增强接入能力研究各种MTC通信应用的典型业务流量特性 定义新的流量模型 研究针对大量低功耗 低复杂度MTC设备的优化的RAN ResidentialAccessNetwork居民接入网 资源使用 最大限度重用当前的系统设计 尽可能减少修改 以限制M2M优化带来的额外成本和复杂度 M2M模型及系统架构中国移动M2M模型及系统架构M2M系统结构图 M2M系统分为三层 应用层 网络传输层和设备终端层 应用层提供各种平台和用户界面以及数据的存储功能 应用层通过中间件与网络传输层相连 通过无线网络传输数据到设备终端 当机器设备有通信需求时 会通过通信模块和外部硬件发送数据信号 通过通信网络传输到相应的M2M网关 然后进行业务分析和处理 最终到达用户界面 人们可以对数据进行读取 也可以远程操控机器设备 应用层的业务服务器也可以实现机器之间的互相通信 来完成总体的任务 设备终端层设备终端层包括通信模块以及控制系统等 通信模块产品按照通信标准来分可分为移动通信模块 ZigBee模块 WLAN模块 RFID模块 蓝牙模块 GPS模块以及网络模块等 设备终端层的作用是通过无线通信技术发送机器设备的数据到通信网络 最终传送服务器和用户 用户可以通过通信网络传送控制指令到目标通信终端 再通过控制系统对设备进行远程控制和操作 网络传输层通信传输层即用来传输数据的通信网络 通信网络包括 广域网 无线移动通信网络 卫星通信网络 Internet 公众电话网 局域网 以太网 WLAN Bluetooth 个域网 ZigBee 传感器网络 等 应用层应用层包括中间件 业务分析 数据存储 用户界面等部分 中间件包括M2M网关 数据收集 集成部件 网关是M2M系统中的 翻译员 主要的功能是完成不同的通信协议之间的转换 数据收集 集成部件是为了将数据变成有价值的信息 对原始数据进行不同加工和处理 并将结果呈献给需要这些信息的观察者和决策者 数据存储用来临时或永久存储应用系统内部数据 业务分析面向数据和应用 提供信息处理和决策 用户界面提供用户远程监测和管理的界面 功能描述M2M业务系统结构图 M2M终端 M2M终端基于WMMP 功能 接收远程M2M平台激活指令 本地故障告警 数据通信 远程升级 数据统计以及端到端的通信交互 M2M平台 为M2M应用服务的客户提供统一的M2M终端管理 终端设备鉴权 并对目前短信网关尚未实现的接入方式进行鉴权 支持多种网络接入方式 提供标准化的接口以及数据路由 监控 用户鉴权 计费等管理功能 M2M应用业务平台 为M2M应用服务客户提供各类M2M应用服务业务 由多个M2M应用业务平台构成 主要包括个人 家庭 行业三大类M2M应用业务平台 短信网关 由行业应用网关或移动梦网网关组成 与短信中心等业务中心或业务网关连接 提供通信能力 负责短信等通信接续过程中的业务鉴权 设置黑白名单 EC SI签约关系 黑白名单导入 行业网关产生短信等通信原始使用话单 送给BOSS计费 USSDC 负责建立M2M终端与M2M平台的USSD通信 GGSN 负责建立M2M终端与M2M平台的GPRS通信 提供数据路由 地址分配及必要的网间安全机制 BOSS 与短信网关 M2M平台相连 完成客户管理 业务受理 计费结算和收费功能 对EC SI提供的业务进行数据配置和管理 支持签约关系受理功能 支持通过HTTP FTP接口与行业网关 M2M平台 EC SI进行签约关系以及黑白名单等同步的功能 行业终端监控平台 M2M平台提供FTP目录 将每月统计文件存放在FTP目录 供行业终端监控平台下载 以同步M2M平台的终端管理数据 网管系统 网管系统与平台网络管理模块通信 完成配置管理 性能管理 故障管理 安全管理及系统自身管理等功能 ETSI系统结构图ETSI 欧洲电信标准化协会 EuropeanTelecommunicationsStandardsInstitute 的M2M功能结构主要是利用IP承载的基础网络 包括3GPP TISPAN以及3GPP2系统 M2M功能结构也支持特定的非IP SMS CSD等 服务 M2M系统结构包括M2M设备域和网络与应用域 如图所示 M2M设备域由以下几部分组成 M2M设备M2M设备主要是利用M2M服务能力和网络域的功能函数来运行M2M应用 M2M设备域到M2M核心网的连接方式主要有以下两种连接方式 直接连接 M2M设备通过接入网连接到网络和应用域 M2M设备还可以让其他对于网络与应用域不可见的设备连接到自己本身 利用网关作为网络代理 M2M设备通过M2M网关连接到网络与应用域 M2M设备通过局域网的方式连接到M2M网关 M2M设备可以通过多个网关并联或者串联的方式连接到网络域 M2M局域网可通过M2M局域网让M2M设备连接到M2M网关 包括个人局域网 如 IEEE802 15x ZigBee 蓝牙 IETFROLL ISA100 11a等 局域网 如PLC M BUS WirelessMBUS和KNX M2M网关M2M网关主要作用是利用M2M服务能力来保证M2M设备连接到网络与应用域 而且M2M网关还可以运行M2M应用 M2M网络与应用域由以下几部分组成 接入网接入网允许M2M设备域与核心网通信 其主要包括 xDSL HFC PLC Satellite GERAN UTRAN eIJTRAN W LAN和WiMax 传输网允许在网络与应用域内传输数据 M2M核心由核心网和服务能力组成 核心网 以最低限度和其他潜在的连接方式进行IP连接 服务和网络控制功能 与其他网络的互联 漫游 M2M服务能力 提供M2M功能函数 这些函数可以被不同的应用共享 通过一系列的开放接口开放功能 应用核心网功能 WMMP通信协议WMMP WirelessM2MProtocol 是为实现M2M业务中M2M终端与M2M平台之间 M2M终端之间 M2M平台与M2M应用平台之间的数据通信过程而设计的应用层协议 主要作用是为了实现推进机器通信协议统一 降低运营成本的目的 其体系如图所示 WMMP 由M2M平台与M2M终端接口协议 WMMP T 和M2M平台与M2M应用接口协议 WMMP A 两部分协议组成 WMMP T完成M2M平台与M2M终端之间的数据通信 以及M2M终端之间借助M2M平台转发 路由所实现的端到端数据通信 WMMP A完成M2M平台与M2M应用之间的数据通信 以及M2M终端与M2M应用之间借助M2M平台转发 路由所实现的端到端数据通信 WMMP的功能架构 WMMP的核心是其可扩展的协议栈及报文结构 而在其外层是由WMMP核心衍生的与通信机制无关的接入方式和安全机制 在此基础之上 由内向外依次为WMMP的M2M终端管理功能和WMMP的M2M应用扩展功能 终端管理功能包括 异常警告 软件升级 连接检查 登录控制 参数配置 数据传输 状态查询 远程控制等 应用扩展功能包括 智能家居 企业安防 交通物流 金融商业 环境监测 公共管理 制造加工 电力能源等行业应用 WMMP对用户的价值体现在 满足无人值守机器终端的基本管理需求 提供电信级的终端管理能力 通过扩展协议的方式满足行业用户差异化需求 提供WebService接口 降低应用开发难度 提供了端到端通信的服务保障能力 有效提高业务质量 提供了业务快速开发和规模运营的基础 降低用户业务使用成本 M2M典型行业应用医疗保健医疗保健M2M应用方案根据应用场景和功能的不同划分为两种模式 家庭社区远程医疗监护系统和医院临床无线医疗监护系统 智能计量 自动抄表 智能家居 由来无线传感器网络节点的微控制器 不是完成某一个逻辑功能的芯片 而是把一个计算机系统集成到一个芯片上 概括地讲 一块芯片就成了一台计算机 在目前 绝大多数传感器网络节点都是采用无线单片机作为微控制器 二 无线单片机技术 无线单片机的概念近年来为了适应无线通信和无线网络节点的要求 比如 要求体积较小 低功耗及更低的价格等 无线片上系统 SOC 得到了快速发展 这种无线片上系统 即无线单片机 将中央处理器CPU 随机存取存储器RAM 只读存储器ROM 基本输入 输出 接口电路 定时器 计数器 A D转换器 以及需要的接口电路和无线数据通信收发芯片全部集成到一个非常小的芯片上 一个单独的芯片 就可以构成一个可以独立工作的具有无线通信和无线网络节点的无线片上系统 无线单片机 无线单片机的出现 为开发无线通信和无线网络 提供了新的选择 同时也使无线通信和无线网络的设计工作更加简化 更容易开发 无线单片机的主要特点简易的天线电路设计无线单片机将全部的高频部分电路全部集成到了电路内部 从无线数据通信收发芯片到天线之间 只有简单的滤波电路 系统设计者完全不必进行任何高频电路设计 特殊的高频线路设计使无线芯片 微处理器和高频线路间 实现完美的配合 数字电路对高频通信的影响减低到最小 快速的功能设计开发 无线单片机将微处理器和无线芯片设计成一体 可以轻松完成无线通信功能的设计开发 无线单片机的应用由于无线单片机具有良好的控制性能和灵活的嵌入形式 在许多领域都获得了广泛的应用 智能家庭网络工业控制精确农业环境监测医疗监护 云计算 CloudComputing 概述云计算中的 云 是指能够提供无穷资源 如计算 存储 带宽等 的一种全新计算模式 通过云可以将计算能力 网络基础设施 商业处理平台 存储空间 带宽资源等按照约定的服务水平协议 ServiceLevelAgreement SLA 有偿地提供给云客户 这种模式将计算和处理能力转移到网络中 从而减少以往个人或公司用于维护计算机软件 硬件 带宽 能源等资源的开销 三 云计算技术 云计算是一种革命性的举措 它可以使计算能力也可以作为一种商品进行流通 通过互联网进行传输 就像煤气 水电一样取用方便 在计算机流程图中 互联网常以一个云状的图案来表示 用来表示对复杂基础设施的抽象 因此 最初选择了用云来比喻 将这种计算模型叫做 云计算 通俗的理解是 云计算的 云 就是存在于互联网上的服务器集群上的资源 它包括硬件资源 服务器 存储器 CPU等 和软件资源 如应用软件 集成开发环境等 云计算客户只需要通过互联网发送一个需求信息 远端就会有成千上万的计算机为客户提供需要的资源 并将结果返回到本地计算机 这样 本地计算机几乎不需要做什么 所有的处理都在云计算提供商所提供的计算机群上来完成 到目前为止 对于云计算并没有达成统一的认识 一般认为 云计算是由一系列可以动态升级和被虚拟化系统组成 这些系统被所有云计算平台的用户共享 用户不需要掌握多少云计算的知识 只需花钱租赁云计算的资源 并且可以方便地通过网络访问 也就是说 云计算是一种超大规模 虚拟化 易扩展 廉价的服务交付和使用模式 用户通过网络可以按需获得服务 云计算是网格计算 GridComputing 分布式计算 DistributedComputing 并行计算 ParallelComputing 效用计算 UtilityComputing 网络存储 NetworkStorageTechnologies 虚拟化 Virtualization 负载均衡 LoadBalance 等传统计算机技术和网络技术融合的产物 云计算旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统 并借助SaaS PaaS IaaS等先进的商业模式把这强大的计算能力分布到终端用户手中 云计算的核心理念就是通过不断提高 云 的处理能力 进而减少用户终端的处理负担 最终使用户终端简化成单纯的输入输出设备 并能按需享受 云 的强大计算处理能力 最简单的云计算技术在网络服务中已经随处可见 例如 搜寻引擎 网络信箱等 使用者只要输入简单指令即能得到大量信息 在未来 如智能于机 GPS等行动装置都可以通过云计算技术发展出更多的应用服务 可以预见 云计算是未来几年全球范围内最值得期待的技术革命 信息爆炸和信息泛滥日益成为经济可持续发展的障碍 云计算以其资源动态分配 按需服务的设计理念 具有低成本解决海量信息处理的独特魅力 从云计算的产生和发展看 用户的使用观念也会逐渐发生变化 即从 购买产品 到 购买服务 的转变 因为他们直接面对的将不再是复杂的硬件和软件 而是最终的服务 云计算的发展动力是由市场决定的 目前云计算的市场潜力巨大 云计算产品和服务的数量将不断增长 这也是大势所趋 全球最早提出云计算概念的是亚马逊公司 2006年 亚马逊公司推出云计算的初衷是让自己闲置的IT设备变成有价值的运算能力 当时亚马逊公司已经建成了庞大的IT系统 但这个系统是按照销售高峰期的需求来建立的 所以在大多数的时候 很多资源被闲置 云计算的最早实践者是Google公司 最初 由于买不起昂贵的商用服务器来设计搜索引擎 Google公司采用众多的PC来代替 成功地把PC集群做得比商用服务器还强大 成本却远远低于商用的硬件和软件 云计算的定义维基百科 Wikipedia 云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式 美国国家标准技术研究院 NIST NationalInstituteofStandardsandTechnology 云计算是一种能够通过网络以便利的 按需的方式来访问一个共享的资源池 以获取计算资源 如网络 服务器 存储 应用和服务 的模式 这些资源可配置 并能够快速获取和释放 云模式能够提高可用性并且由5种基本属性 3种服务模式和4种部署模式组成 5种基本属性 云计算的业务 按需自助服务 On demandself service 客户可以根据需求自动地获取计算能力 例如服务器计算时间和网络存储空间 而不需要和云服务提供商进行直接谈判 广泛的网络接入 Broadnetworkaccess 计算能力通过网络提供 并通过标准机制进行访问 使得各种客户端 例如移动电话 便携式电脑或PDA 和其他传统的或是基于云的软件平台均可以使用云计算 资源池 Resourcepooling 云计算服务提供商的各种资源被池化 并通过多租户模式为多客户提供多样服务 并根据客户的需求动态提供或重新分配物理或虚拟化的资源 快速弹性 服务规模可以快速 弹性地扩大或缩小 按量计费的服务 云系统对服务对象在一定程度上进行适当的抽象 并提供服务计量能力 3种服务模式 服务模式可以分为3种基本类型和其他的派生模式 这3种基本模式可以简写为 SPI模式 即分别为Software Platform Infrastructure asaService SoftwareasaService SaaS 云计算提供商为用户提供的业务是运行在其云基础设施上的应用程序的使用能力 这种应用程序能被各种客户端设备通过Web形式访问 例如Web浏览器 PlatformasaService PaaS 用户可以将自己拥有的或是购买的应用程序通过使用云计算提供商提供的编程语言和工具部署到云基础设施上 云用户无法管理和控制底层的云基础设施 包括网络 服务器 操作系统 存储 但可以控制他们部署的应用程序和应用程序的配置环境 InfrastructureasaService IaaS 云计算提供商为客户提供处理能力 存储能力 网络和其他基本计算资源 用户可以使用这些资源部署或运行他们自己的软件 4种部署模式公共云公共云可以把来自许多不同客户的作业在云内的服务器 存储系统和其他基础设施上混合在一起 避免了用户临时需要大规模的计算和存储资源而部署硬件和软件资源的风险和开销 社区云云基础设施被几个组织所共享 以支持某个具有共同需求 例如任务 安全需求 策略域 的社区 社区云可以被该组织管理 也可委托第三方管理 专用云 私有云 专用云主要面向需要大规模数据处理以及存储的公司 专用云是由单个客户所拥有的基础设施 该客户完全控制哪些应用程序在哪里运行 一般来说专用云的扩展性没有公共云高 混合云云基础设施由两个或以上相对独立的的云组成 为了保证数据和应用程序的可移植性 通过标准化的接口或是专用技术为不同的云客户提供服务 混合云提供了一种灵活的措施为云用户来决定如何在公共云和专用云上部署他们的应用 如果应用的数据量很小 但是需要很大的计算能力 那么混合云或许是一种比较好的选择 上述4种云都有一种或两种的部署方式 内部或外部 内部是指位于云拥有者的内部网络 享有和内部网络其他用户同样的网络安全策略 通常专用云一般都部署在内部 外部是指部署在公有的网络上 公共云一般部署在外部 云计算参考模型由云安全联盟 CSA CloudSecurityAlliance 给出 IaaS是所有云业务的基础 PaaS建立在IaaS之上 SaaS建立在PaaS之上 IaaS IaaS包括所有的基础设施资源 如云计算中的所有硬件资源 IaaS可以提供 或是不提供 对基础设施资源的抽象能力 并且为这些抽象资源提供物理或是逻辑连接的功能 PaaS PaaS在IaaS和SaaS之间提供了额外一层 PaaS是对开发环境抽象的封装和对有效服务负载的封装 主要用于构建应用程序开发环境 中间件和其他功能 如数据库 消息功能 排队功能 SaaS SaaS位于IaaS和PaaS之上 为用户提供包括内容服务 内容呈现 商业应用和管理能力 典型SaaS是S和GoogleApps 提供基本商业服务 如电子邮件 云计算的组成云计算由应用程序 云客户端 基础结构 云平台 业务 存储 计算能力等部分组成 应用程序云用户只需通过简单终端以Web的形式来实时地使用云计算上的应用程序 云客户端云客户端也叫瘦终端 瘦主要是指云计算对客户端的要求很低 只要能够运行Web浏览器 如IE Firefox等 的终端就可以成为云客户端 基础结构云计算的基础结构主要包括与计算机和网络相关的硬件以及安装这些硬件的房间等 一般来说 云计算中的计算机主要是一些便宜的且能够批量生产的服务器 云平台云计算平台主要是指能够将各种云应用部署在云计算上的方式 也叫PaaS 如使用开源Web应用架构的Rails S公司的私有PaaSF GoogleAppEngine 使用Python和Mosso 业务业务主要是指云客户使用云计算提供的各种服务 这些业务的共性是需要非常大的存储空间和处理能力 来为用户提供及时准确的信息 另外一种业务是需要大量的后台计算和处理能力 存储扩充存储能力是一笔大的开销 尤其是管理众多物理存储设备 使用云存储就不会带来很大的开销 并且能够带来很高的容错能力 计算能力云计算能够提供的处理能力是极大的 实际上对使用云计算的用户来说 云计算可以提供近乎无穷的资源 而不仅仅限于计算和存储能力 云计算的优点成本方面云计算的成本通常比传统企业数据中心的成本低得多 云计算的成本节省是建立在规模效应的基础上 即大量的用户使用云计算 从而极大地提升资源的利用率 成本的节省是云计算的核心优点 云计算的基础结构主要包括与计算机和网络相关的硬件以及安装这些硬件的房间等 一般来说 云计算中的计算机主要是一些便宜的且能够批量生产的服务器 网络方面云计算意味着用户可以通过无处不在的互联网使用云资源 并且互联网中还有非常多的其他资源可以和云计算一起使用 云客户可以根据应用的特点 灵活的调用互联网的众多资源 提升应用的用户体验 进而获取更多的利益 创新方面云计算和云解决方案提供了一种创新的计算模式 随着技术的发展 云计算还会提供更多的别具特色的技术革新或商业革新 而使用云计算的公司 就会比使用传统企业数据中心的用户 创造出更多更新颖的应用或是商业模式 可扩展性方面可扩展性主要是指云客户可以根据用户对资源需要灵活地增加或减少软硬件资源 而并不需要预先购买额外的资源 有非常灵活高效的扩展性 环保和节能方面云计算是一种绿色计算模式 绿色计算主要是指云计算的资源利用率非常高 相对那些传统的企业数据中心 更加地环保和节省能源 云计算的缺点安全问题安全主要是指由于云客户并不能控制云计算的内部设施 因此具有潜在的数据被窃取的危险 虽然云计算提供了加密 用户名 密码 身份管理等安全措施 企业可能也并不愿意将机密的信息放到云上 控制问题云客户并不能控制所租用的云计算资源的基础设施 物理计算机 另外用户或许会由于违反了一些规则 结果发现账户被封了 或是云计算提供商破产了等 导致用户不能继续使用云计算 或是丢失数据等 开放性问题由于每个云计算提供商的平台可能并不是公开的 而云客户如果使用云计算必须按照云计算提供商提供的编程语言和API来编写应用程序 那么云客户的应用程序在不同的云计算平台间移植就会非常的困难 云计算的应用微软WindowsAzureWindowsAzure是微软基于云计算的操作系统 提供了 软件 服务 的计算方法 用于帮助开发者开发可以跨越云端和专业数据中心的下一代应用程序 Azure服务平台包括了以下主要组件 WindowsAzure用于服务托管 以及可扩展的存储 计算和网络的管理 MicrosoftSQLServices可以扩展MicrosoftSQLServer应用到云中的能力 Microsoft NETServices可以便捷地创建基于云的松耦合的应用程序 另外还包含访问控制机制 可以保卫用户的程序安全 LiveServices提供了一种一致性的方法处理用户数据和程序资源 使得用户可以在PC 手机 PC应用程序和Web网站上存储 共享和同步文档 照片 文件以及其他信息 MicrosoftSharePointServices和MicrosoftDynamicsCRMServices 用于在云端提供针对业务内容 协作和快速开发的服务 建立更强的客户关系 IBM 蓝云 IBM公司在高性能并行机集群技术上有着领导性的优势 世界上最快的高性能计算机大多出自IBM IBM的 蓝云 计算平台是一套软 硬件平台 将Internet上使用的技术扩展到企业平台上 使得数据中心使用类似于互联网的计算环境 蓝云 作为由IBM云计算中心开发的企业级云计算解决方案 可对企业现有的基础架构进行整合 通过虚拟化技术和自动化技术 构建企业自己的云计算中心 实现企业硬件资源和软件资源的统一管理 统一分配 统一部署 统一监控和统一备份 亚马逊公司的云Amazon的云计算主要包括AmazonS3 AmazonSimpleDB和AmazonEC2 AmazonS3AmazonS3主要提供可靠的网络存储服务 S3由对象和存储桶两部分组成 对象是最基本的存储实体 存储桶是存放对象的容器 每个桶可以存放无数对象 云平台上的应用程序可以通过REST或者SOAP接口访问S3中的数据 AmazonSimpleDBAmazonSimpleDB是一种支持结构化数据存储和查询操作的轻量级数据库服务 SimpleDB的存储模型分三层 域 项 属性 用户的数据按照域进行逻辑划分SimpleDB提供两种服务访问方式 REST接口和SOAP接口 AmazonEC2AmazonEC2是一种云基础设施服务 该服务基于服务器虚拟化技术 致力于为用户提供大规模可靠可伸缩的计算运营环境 谷歌的云谷歌 Google 是最大的云计算使用者 向企业开放了他们的 云 Google搜索引擎建立在分布于200多个地点 超过100万台服务器的支撑之上 Google云计算三大法宝 GFS MapReduce和BigTableGoogle文件系统MapReduce分布式编程环境BigTable分布式大规模数据库管理系统 云计算与物联网云计算的优点使物联网的各种应用都可以建立在云计算平台上 物联网的终端计算能力和存储空间有限 但却有很强的联网能力 云计算有强大的计算能力 接近无限的存储空间 支撑各种软件和信息服务 能够与物联网很好地结合 概述数据融合一词最早出现在20世纪70年代 它是人类模仿自身信息处理能力的结果 类似人类和其它动物对复杂问题的综合处理 数据融合技术最早用于军事领域 定义为 一个处理探测 互联 估计以及组合多源信息和数据的多层次多方面过程 以便获得准确状态和身份估计 完整而及时的战场态势和威胁估计 四 数据融合技术 信息融合 informationfusion 技术是20世纪70年代提出的 基于科学发展 特别是微电子技术 集成电路及其设计技术 计算机技术 近代信号处理技术和传感器技术的发展 信息融合技术已经发展成为一个新的学科方向和研究领域 早期对信息融合方法是针对数据处理的 所以也将信息融合称为数据融合 信息融合是针对一个系统中使用多种 多个 多类 传感器这一特定问题而展开的一种信息处理的研究方向 从这个角度上讲 数据融合又称为多传感器信息融合 或多源信息融合 多传感器数据融合的定义 充分利用不同时间与空间的多传感器数据资源 采用计算机技术对按时间序列获得的多传感器观测数据 在一定准则下进行分析 综合 支配和使用 获得对被测对象的一致性解释与描述 进而实现相应的决策和估计 使系统获得比它的各组成部分更充分的信息 数据融合定义三个要素为 数据融合是多信源 多层次的处理过程 每个层次代表信息的不同抽象程度 数据融合过程包括数据的检测 关联 估计与合并 数据融合的输出包括低层次上的状态身份估计和高层次上的总战术态势估计 信息和数据融合的意义提高信息的准确性和全面性 与一个传感器相比 多传感器数据融合处理可以获得有关周围环境更准确 全面的信息 降低信息的不确定性 一组相似的传感器采集的信息存在明显的互补性 这种互补性经过适当处理后 可以对单一传感器的不确定性和测量范围的局限性进行补偿 提高系统的可靠性 某个或某几个传感器失效时 系统仍能正常运行 增加系统的实时性 增加测量维数和置信度 提高容错功能 当一个甚至几个传感器出现故障时 系统仍可利用其他传感器获取环境信息 以维持系统的正常运行 降低信息获取的成本 信息融合提高了信息的利用效率 可以用多个较廉价的传感器获得与昂贵的单一高精度传感器同样甚至更好的效果 因此可大大降低系统的成本 改进探测性能 增加响应的有效性 降低对单个传感器的性能要求 提高信息处理的速度 扩展空间和时间的覆盖 提高空间分辨率 提高适应环境的能力 数据融合的基本原理多传感器数据融合技术可以对不同类型的数据和信息在不同层次上进行综合 它处理的不仅是数据 还可以是证据和属性等 充分利用多个传感器资源 通过对这些传感器及其观测信息的合理支配和使用 把多个传感器在空间或时间上的冗余或互补信息依据某种准则来进行组合 以获得比它的各组成部分的子集所构成的系统更优越的性能 多传感器数据融合并不是简单的信号处理 信号处理可以归属于多传感器数据融合的第一阶段 即信号预处理阶段 多传感器信息融合目标是通过数据组合而不是出现在输入信息中的任何个别元素 来推导出更多的信息 多传感器信息融合的基本原理就像人脑综合处理信息一样 充分利用多传感器资源 通过对这些传感器及其观测信息的合理利用和支配 把多个传感器上在空间和时间上的冗余依据某一种准则进行组合 智能数据分析智能数据分析是利用合适的查询和分析工具 数据挖掘工具等对数据库 数据仓库里的数据进行分析和处理 形成信息的过程 数据仓库技术 DataWarehouse DW 把分布在不同地点 不同时间的数据集成起来 经过加工转换成有规律的信息 以方便分析处理 数据挖掘 DataMining DM 从存放在数据库 数据仓库或其他信息库中的大量的 不完全的 有噪声的 模糊的 随机的实际应用数据中 提取隐含在其中的 有效的 新颖的 事先不知道的 潜在有用的信息和知识的过程 数据挖掘的由来随着计算机软硬件的飞速发展 尤其是数据库技术与应用的日益普及 积累的数据越来越多 激增的数据包含着许多重要而有用的信息 人们希望能够对其进行更高层次的分析 以便更好地利用它们 与日趋成熟的数据管理技术和软件工具相比 人们所依赖的传统的数据分析工具功能 已无法有效地为决策者提供决策支持 导致了缺乏挖掘数据知识的手段 形成了 数据爆炸但知识贫乏 的现象 为有效解决这一问题 自20世纪80年代开始 数据挖掘技术逐步发展起来 数据挖掘技术的迅速发展 得益于目前全世界所拥有的巨大数据资源及对将这些数据资源转换为信息和知识资源的巨大需求 对信息和知识的需求来自各行各业 从商业管理 生产控制 市场分析到工程设计 科学探索等 作为数据库与数据仓库研究与应用中的一个新兴的富有前途领域 数据挖掘可以从数据库或数据仓库以及其他各种数据库的大量各种类型数据中自动抽取或发现有用的模式知识 数据挖掘的概念数据挖掘又称数据库中的知识发现 KnowledgeDiscoveryinDatabases KDD 是一个多学科交叉的技术 它涉及数据库技术 人工智能 机器学习 神经网络 统计学 模式识别 知识系统 知识获取 信息检索 高性能计算及可视化计算等广泛领域 数据挖掘的步骤数据预处理 包括数据清洗 数据集成 数据转换 数据消减 数据填充 针对不完备信息系统 数据挖掘 利用智能方法挖掘数据模式或规律知识 模式评估 根据一定评估标准 从挖掘结果筛选出有意义的模式知识 知识表示 利用可视化和知识表达技术 向用户展示所挖掘出的相关知识 数据挖掘的功能概念描述关联分析分类与预测聚类分析异类分析演化分析结果评估 认识大数据时代最早提出 大数据 时代到来的是全球知名咨询公司麦肯锡 麦肯锡称 数据 已经渗透到当今每一个行业和业务职能领域 成为重要的生产因素 人们对于海量数据的挖掘和运用 预示着新一波生产率增长和消费者盈余浪潮的到来 五 大数据时代 纽约时报 2012年2月的一篇专栏中所称 大数据 时代已经降临 在商业 经济及其他领域中 决策将日益基于数据和分析作出 而并非基于经验和直觉 哈佛大学社会学教授加里 金说 这是一场革命 庞大的数据资源使得各个领域开始了量化进程 无论学术界 商界还是政府 所有领域都将开始这种进程 亚马逊前任首席科学家AndreasWeigend说 数据是新的石油 2012年3月份美国奥巴马政府发布了 大数据研究和发展倡议 投资2亿以上美元 正式启动 大数据发展计划 计划在科学研究 环境 生物医学等领域利用大数据技术进行突破 奥巴马政府的这一计划被视为美国政府继信息高速公路 InformationHighway 计划之后在信息科学领域的又一重大举措 2012年5月 联合国发表 大数据促发展 挑战与机遇 政务白皮书中 指出大数据对于联合国和各国政府来说是一个历史性的机遇 还探讨了如何利用包括社交网络在内大数据资源造福人类 联合国的大数据白皮书还建议联合国成员国建设 脉搏实验室 PulseLabs 希望利用 大数据 来促进全球经济发展 随着一系列标志性事件的发生和建立 人们越发感觉到大数据时代的力量 因此2013年被许多国外媒体和专家称为 大数据元年 当今 大社会 三分技术 七分数据 得数据者得天下 大数据时代 生活 工作与思维的大变革 如果你是一个个人 如果你拒绝的话 可能会失去生命 如果是一个国家的话 拒绝大数据时代的话 可能失去这个国家的未来 失去一代人的未来 大数据时代到来的必然性 硬件成本的降低网络带宽的提升云计算的兴起网络技术的发展智能终端的普及电子商务 社交网络 电子地图等的全面应用物联网 数据规模 小 以MB为处理单位 大 以GB TB PB为处理单位 数据类型 单一 结构化为主 繁多 结构化 半结构化 非结构化 模式和数据的关系 先有模式后有数据 先有池塘后有鱼 先有数据后有模式模式随数据增多不断演变 处理对象 数据 池塘中的鱼 鱼 通过某些 鱼 判断其他种类的 鱼 是否存在 处理工具 Onesizefitsall Nosizefitsall 数据库 database DB 到大数据 bigdata BD 池塘钓鱼 VS 大海捕鱼 鱼 是待处理的数据 数据 大数据与大数据时代概念辨析符号 事物的标志 表示一定的意象 是图形 语言 文字 手势等 消息和信息的载体 消息 关于人或事物情况的报道 承载于语言 图像 视频 文字或多媒体等载体上 它们是由符号空间中的基本元素 符号编码而成 这涉及信息的表示问题 信号 是物理的 可以是声 光 电的特定变化模式 是消息和信息的载体 数据 对可以存储 处理的实体的描述 可以是语言 文字 图形 表格 视频 多媒体等形式 是消息和信息的载体 情报 情况与消息的传递报道 多具机密性 知识 人们在社会实践中所获得的认识和经验的总和 具有已被证实 为真 并被相信的特征 智慧 辨析判断 发明创造的能力 即认知和改造世界的能力 从数据可以提取信息 信息经过加工提炼可以成为知识 但知识 智慧 知识多的人不一定都很有智慧 书读得少点的人未必智慧就少 当代人也未必就比2500多年前的孔子更有智慧些 信息科学 InformationScience 以信息的运动规律和应用方法为主要研究内容 以计算机等技术为主要研究工具 以扩展人类的信息功能为主要目标的一门新兴的综合性学科 信息科学由信息论 控制论 系统论 计算机科学 仿生学与人工智能等学科互相渗透 互相结合而形成的 信息技术 InformationTechnology 实现信息获取 存储 传输 处理以及标准化的有关技术 它具体包括包含通信 控制 计算机软硬件 电子 包括微电子和生物电子 光和量子技术等 数据计量单位 B Byte 字节 8bits 位 KB Kilobyte 千字节 103BMB Megabyte 兆字节 106BGB Gigabyte 吉字节 109BTB Terabyte 太字节 1012BPB Petabyte 拍字节 1015BEB Exabyte 艾字节 1018BZB zettabyte 泽字节 1021BYB jottabyte 佑字节 1024B 大数据 BigData 指那些超过传统数据库系统处理能力的数