物联网第10章-物联网的数据处理课件

第10章物联网的数据处理10.1数据中心10.2大数据与物联网10.3数据库系统 10.4数据挖掘10.5搜索引擎第10章物联网的数据处理--续10.6海量数据存储10.7云计算10.8普适计算10.9数据呈现10.1数据中心10.1.1数据中心的组成10.1.2数据中心的分类与分级10.1.3数据中心的建设数据中心的定义可以实现信息的集中处理、存储、传输、交换和管理等功能的基础设施计算机设备服务器网络设备通信设备存储设备《物联网概论》-韩毅刚4数据中心外部Google《物联网概论》-韩毅刚5IDC《物联网概论》-韩毅刚6数据中心内部《物联网概论》-韩毅刚7数据中心内部《物联网概论》-韩毅刚810.1.1数据中心的组成《物联网概论》-韩毅刚9物理组成逻辑组成数据中心物理组成计算机设备服务器网络设备通信设备存储设备《物联网概论》-韩毅刚10数据中心逻辑组成支撑系统计算设备业务信息系统《物联网概论》-韩毅刚11数据中心的逻辑组成示意图《物联网概论》-韩毅刚1210.1.2数据中心的分类与分级分类EDCIDC分级国标GB50174-92《物联网概论》-韩毅刚13数据中心分类EDC企业数据中心IDC互联网数据中心《物联网概论》-韩毅刚14分级国标GB50174-92A（容错型）B（冗余型）C（基本型）国际TIA-942标准TierⅠTierⅡTierⅢTierⅣ《物联网概论》-韩毅刚1510.1.3数据中心的建设建筑装修设备安装《物联网概论》-韩毅刚16数据中心部分机柜《物联网概论》-韩毅刚17数据中心部分通信设备机柜《物联网概论》-韩毅刚18走线架《物联网概论》-韩毅刚19数据中心的电源组《物联网概论》-韩毅刚20UPC供电系统《物联网概论》-韩毅刚21发电机供电《物联网概论》-韩毅刚22空调系统《物联网概论》-韩毅刚23监控系统单个机房《物联网概论》-韩毅刚24计算机网络

TCP/IP

TCP/IPAgent软件或Client软件机房环境

TCP/IPWeb软件

TCP/IP网络设备嵌入式系统消防系统原理《物联网概论》-韩毅刚25防雷接地系统《物联网概论》-韩毅刚2610.2大数据与物联网10.2.1大数据的概念10.2.2物联网与大数据的关系10.2.3物联网大数据的特点10.2.4大数据的分析与处理27《物联网概论》-韩毅刚10.2.1大数据的概念4个“V”Volume（大量）Variety（多样）Value（价值）Velocity（高速），《物联网概论》-韩毅刚2810.2.2物联网与大数据的关系物联网催生了大数据大数据丰富了物联网应用《物联网概论》-韩毅刚2910.2.3物联网大数据的特点1）数据量更大2）数据速率更高3）数据更加多样化4）物联网对数据真实性的要求更高《物联网概论》-韩毅刚3010.2.4大数据的分析与处理1）批量数据处理系统2）流式数据处理系统3）交互式数据处理系统4）图数据处理系统《物联网概论》-韩毅刚3110.3数据库系统 10.3.1数据库的类型10.3.2数据库的操作10.3.3数据库与物联网32《物联网概论》-韩毅刚10.3.1数据库的类型《物联网概论》-韩毅刚33关系数据库层次数据库网状数据库新型数据库演绎数据库面向对象数据库分布式数据库分布式实时数据库工程数据库时态数据库模糊数据库《物联网概论》-韩毅刚3410.3.2数据库的操作DBMSSQL《物联网概论》-韩毅刚35DBMS桌面数据库AccessFoxProdBase客户/服务器数据库SQLServerOracleSybase《物联网概论》-韩毅刚36SQL查询更新添加删除《物联网概论》-韩毅刚3710.3.3数据库与物联网非关系数据库系统物联网数据库特征《物联网概论》-韩毅刚38非关系数据库系统非SQL亚马逊的Dynamo脸谱的Cassandra阿帕奇的HBase《物联网概论》-韩毅刚39物联网数据库特征数据量大数据异构性强数据关联性复杂分布式存储数据实时性《物联网概论》-韩毅刚40物联网数据库举例分布式实时数据库主动数据库《物联网概论》-韩毅刚4110.4数据挖掘10.4.1数据挖掘的过程10.4.2数据挖掘的方法10.4.3物联网中的数据挖掘42《物联网概论》-韩毅刚10.4.1数据挖掘的过程《物联网概论》-韩毅刚431.数据处理2.数据挖掘3.知识评估与表示1.数据处理1）数据准备2）数据选取3）数据预处理4）数据变换《物联网概论》-韩毅刚44

2.数据挖掘1）选择算法2）数据挖掘。《物联网概论》-韩毅刚45

3.知识评估与表示模式选择知识评估结果可视化《物联网概论》-韩毅刚4610.4.2数据挖掘的方法集合论方法信息论方法仿生学方法其他方法《物联网概论》-韩毅刚47数据挖掘的具体方法1）统计分析方法2）决策树3）神经网络4）遗传算法5）粗糙集6）联机分析处理技术《物联网概论》-韩毅刚4810.4.3物联网中的数据挖掘1.异构数据的处理2.分布式数据挖掘《物联网概论》-韩毅刚491.异构数据的处理结构化数据半结构化数据非结构化数据《物联网概论》-韩毅刚502.分布式数据挖掘集中式局部式《物联网概论》-韩毅刚51

10.5搜索引擎10.5.1搜索引擎的分类10.5.2搜索引擎的组成和工作原理10.5.3面向物联网的搜索引擎52《物联网概论》-韩毅刚10.5.1搜索引擎的分类《物联网概论》-韩毅刚53全文搜索引擎目录索引类搜索引擎元搜索引擎10.5.2搜索引擎的组成和工作原理工作过程组成工作原理《物联网概论》-韩毅刚54搜索引擎工作过程搜索信息整理信息，建立索引结果排序《物联网概论》-韩毅刚55搜索引擎系统结构《物联网概论》-韩毅刚56搜索引擎的组成1.搜索器2.索引器3.检索器4.用户接口《物联网概论》-韩毅刚5710.5.3面向物联网的搜索引擎数据特征搜索引擎特征《物联网概论》-韩毅刚58搜索引擎特征1）搜索内容的时空性强2）实体搜索3）查询输入方式多样4）安全和隐私问题5）多媒体搜索《物联网概论》-韩毅刚5910.6海量数据存储10.6.1磁盘阵列10.6.2网络存储10.6.3云存储60《物联网概论》-韩毅刚10.6.1磁盘阵列《物联网概论》-韩毅刚611．RAID级别2.RAID技术特点3.RAID的实现磁盘阵列《物联网概论》-韩毅刚624盘位磁盘阵列存储器《物联网概论》-韩毅刚63机柜式磁盘阵列《物联网概论》-韩毅刚64RAID级别RAID分为0～7个级别RAID10RAID0与RAID1的组合RAID50RAID0与RAID5的组合《物联网概论》-韩毅刚65RAID优点传输速率高容错《物联网概论》-韩毅刚66RAID的具体实现软件RAID硬件RAID《物联网概论》-韩毅刚6710.6.2网络存储1.直接附加存储DAS2.网络附加存储NAS3.存储区域网SAN《物联网概论》-韩毅刚681.直接附加存储DAS直附式存储DirectAttachedStorage电缆直接相连《物联网概论》-韩毅刚69

2.网络附加存储NAS网附式存储NetworkAttachedStorage通过网络接口连接《物联网概论》-韩毅刚703.存储区域网SANSANStorageAreaNetwork《物联网概论》-韩毅刚7110.6.3云存储概念结构模型《物联网概论》-韩毅刚72云存储的概念一种服务模式云计算的延伸《物联网概论》-韩毅刚73云存储的体系结构访问层应用接口层基础管理层存储层《物联网概论》-韩毅刚7410.7云计算10.7.1云计算的概念10.7.2云计算系统的组成和结构10.7.3云计算系统实例10.7.4云计算系统的开发75《物联网概论》-韩毅刚10.7.1云计算的概念《物联网概论》-韩毅刚76定义分类延伸云计算的定义一种基于互联网的新的IT服务增加、使用和交付模式《物联网概论》-韩毅刚77云计算的服务模式基础设施即服务IaaSInfrastructureasaService平台即服务PaaSPlatformasaService软件即服务SaaSSoftwareasaService《物联网概论》-韩毅刚78云计算的类型公共云私有云企业云《物联网概论》-韩毅刚79云计算的延伸云存储云安全云电视云手机海计算框计算风计算《物联网概论》-韩毅刚8010.7.2云计算系统的组成和结构SOA层中间管理层资源池层物理资源层《物联网概论》-韩毅刚81云计算体系结构《物联网概论》-韩毅刚8210.7.3云计算系统实例1.亚马逊云计算2.微软云计算WindowsAzure《物联网概论》-韩毅刚831.亚马逊云计算弹性计算云EC2ElasticComputeCloud简单存储服务S3SimpleStorageService简单数据库服务SDBSimpleDB《物联网概论》-韩毅刚84EC2基本架构《物联网概论》-韩毅刚85S3基本数据结构《物联网概论》-韩毅刚86

2.微软云计算WindowsAzure云计算操作系统SQLAzure云计算数据库.NET服务《物联网概论》-韩毅刚87WindowsAzure主要部分《物联网概论》-韩毅刚8810.7.4云计算系统的开发1.开源云计算系统Hadoop2.开源云计算系统Spark3.云计算虚拟化技术4.云计算仿真器CloudSim《物联网概论》-韩毅刚891.开源云计算系统HadoopHDFS分布式文档系统MapReduce分布式平行计算框架Hbase分布式数据库《物联网概论》-韩毅刚90Hadoop的云计算架构《物联网概论》-韩毅刚91

2.云计算虚拟化技术全虚拟化半虚拟化硬件辅助虚拟化《物联网概论》-韩毅刚92

3.云计算仿真器CloudSim用户代码层CloudSim层GridSim层SimJava层《物联网概论》-韩毅刚93CloudSim体系结构《物联网概论》-韩毅刚9410.8普适计算10.8.1普适计算技术的特征10.8.2普适计算的组成10.8.3普适计算的体系结构10.8.4普适计算的关键技术95《物联网概论》-韩毅刚普适计算的概念《物联网概论》-韩毅刚9610.8.1普适计算技术的特征《物联网概论》-韩毅刚97信息空间与物理空间间断连接与轻量计算信息空间与物理空间的融合《物联网概论》-韩毅刚9810.8.2普适计算的组成普适计算设备普适计算网络系统软件人机交互《物联网概论》-韩毅刚99普适计算系统《物联网概论》-韩毅刚10010.8.3普适计算的体系结构层次模型见仁见智4层模型8层模型《物联网概论》-韩毅刚101应用环境中的普适计算体系结构《物联网概论》-韩毅刚10210.8.4普适计算的关键技术1.人机接口技术2.上下文感知计算3.服务的组合4.自适应技术《物联网概论》-韩毅刚1031.人机接口技术1）接口的自适应性2）不可见的用户接口《物联网概论》-韩毅刚104

2.上下文感知计算上下文信息“5何”何时、何地、何人、何事、何因5Wwhen,where,who,what,why《物联网概论》-韩毅刚1053.服务的组合组合服务的发现服务的匹配服务的选择服务协调器错误检测与修复《物联网概论》-韩毅刚1064.自适应技术对用户情境自适应对设备资源自适应对系统资源状态自适应保留系统《物联网概论》-韩毅刚10710.9数据呈现10.9.1实时推送技术10.9.2数据可视化10.9.3HTML510.9.4数据呈现开发实例108《物联网概论》-韩毅刚10.9.1