物联网概论 课件 第10、11章 物联网的数据处理、物联网的管理和安全

《物联网概论（第3版）》第10章物联网的数据处理第10章物联网的数据处理10.1数据中心10.2大数据与物联网10.3数据库系统 10.4数据挖掘10.5搜索引擎第10章物联网的数据处理--续10.6海量数据存储10.7云计算10.8普适计算10.9数据呈现10.1数据中心10.1.1数据中心的组成10.1.2数据中心的分类与分级10.1.3数据中心的建设数据中心的定义可以实现信息的集中处理、存储、传输、交换和管理等功能的基础设施计算机设备服务器网络设备通信设备存储设备《物联网概论》-韩毅刚5数据中心外部Google《物联网概论》-韩毅刚6IDC《物联网概论》-韩毅刚7数据中心内部《物联网概论》-韩毅刚8数据中心内部《物联网概论》-韩毅刚910.1.1数据中心的组成《物联网概论》-韩毅刚10物理组成逻辑组成数据中心物理组成计算机设备服务器网络设备通信设备存储设备《物联网概论》-韩毅刚11数据中心逻辑组成支撑系统计算设备业务信息系统《物联网概论》-韩毅刚12数据中心的逻辑组成示意图《物联网概论》-韩毅刚1310.1.2数据中心的分类与分级分类EDCIDC分级国标GB50174-92《物联网概论》-韩毅刚14数据中心分类EDC企业数据中心IDC互联网数据中心《物联网概论》-韩毅刚15分级国标GB50174-92A（容错型）B（冗余型）C（基本型）国际TIA-942标准TierⅠTierⅡTierⅢTierⅣ《物联网概论》-韩毅刚1610.1.3数据中心的建设建筑装修设备安装《物联网概论》-韩毅刚17数据中心部分机柜《物联网概论》-韩毅刚18数据中心部分通信设备机柜《物联网概论》-韩毅刚19走线架《物联网概论》-韩毅刚20数据中心的电源组《物联网概论》-韩毅刚21UPC供电系统《物联网概论》-韩毅刚22发电机供电《物联网概论》-韩毅刚23空调系统《物联网概论》-韩毅刚24监控系统单个机房《物联网概论》-韩毅刚25计算机网络

TCP/IP

TCP/IPAgent软件或Client软件机房环境

TCP/IPWeb软件

TCP/IP网络设备嵌入式系统消防系统原理《物联网概论》-韩毅刚26防雷接地系统《物联网概论》-韩毅刚2710.2大数据与物联网10.2.1大数据的概念10.2.2物联网与大数据的关系10.2.3物联网大数据的特点10.2.4大数据的分析与处理28《物联网概论》-韩毅刚10.2.1大数据的概念4个“V”Volume（大量）Variety（多样）Value（价值）Velocity（高速），《物联网概论》-韩毅刚2910.2.2物联网与大数据的关系物联网催生了大数据大数据丰富了物联网应用《物联网概论》-韩毅刚3010.2.3物联网大数据的特点1）数据量更大2）数据速率更高3）数据更加多样化4）物联网对数据真实性的要求更高《物联网概论》-韩毅刚3110.2.4大数据的分析与处理1）批量数据处理系统2）流式数据处理系统3）交互式数据处理系统4）图数据处理系统《物联网概论》-韩毅刚3210.3数据库系统 10.3.1数据库的类型10.3.2数据库的操作10.3.3数据库与物联网33《物联网概论》-韩毅刚10.3.1数据库的类型《物联网概论》-韩毅刚34关系数据库层次数据库网状数据库新型数据库演绎数据库面向对象数据库分布式数据库分布式实时数据库工程数据库时态数据库模糊数据库《物联网概论》-韩毅刚3510.3.2数据库的操作DBMSSQL《物联网概论》-韩毅刚36DBMS桌面数据库AccessFoxProdBase客户/服务器数据库SQLServerOracleSybase《物联网概论》-韩毅刚37SQL查询更新添加删除《物联网概论》-韩毅刚3810.3.3数据库与物联网非关系数据库系统物联网数据库特征《物联网概论》-韩毅刚39非关系数据库系统非SQL亚马逊的Dynamo脸谱的Cassandra阿帕奇的HBase《物联网概论》-韩毅刚40物联网数据库特征数据量大数据异构性强数据关联性复杂分布式存储数据实时性《物联网概论》-韩毅刚41物联网数据库举例分布式实时数据库主动数据库《物联网概论》-韩毅刚4210.4数据挖掘10.4.1数据挖掘的过程10.4.2数据挖掘的方法10.4.3物联网中的数据挖掘43《物联网概论》-韩毅刚10.4.1数据挖掘的过程《物联网概论》-韩毅刚441.数据处理2.数据挖掘3.知识评估与表示1.数据处理1）数据准备2）数据选取3）数据预处理4）数据变换《物联网概论》-韩毅刚45

2.数据挖掘1）选择算法2）数据挖掘。《物联网概论》-韩毅刚46

3.知识评估与表示模式选择知识评估结果可视化《物联网概论》-韩毅刚4710.4.2数据挖掘的方法集合论方法信息论方法仿生学方法其他方法《物联网概论》-韩毅刚48数据挖掘的具体方法1）统计分析方法2）决策树3）神经网络4）遗传算法5）粗糙集6）联机分析处理技术《物联网概论》-韩毅刚4910.4.3物联网中的数据挖掘1.异构数据的处理2.分布式数据挖掘《物联网概论》-韩毅刚501.异构数据的处理结构化数据半结构化数据非结构化数据《物联网概论》-韩毅刚512.分布式数据挖掘集中式局部式《物联网概论》-韩毅刚52

10.5搜索引擎10.5.1搜索引擎的分类10.5.2搜索引擎的组成和工作原理10.5.3面向物联网的搜索引擎53《物联网概论》-韩毅刚10.5.1搜索引擎的分类《物联网概论》-韩毅刚54全文搜索引擎目录索引类搜索引擎元搜索引擎10.5.2搜索引擎的组成和工作原理工作过程组成工作原理《物联网概论》-韩毅刚55搜索引擎工作过程搜索信息整理信息，建立索引结果排序《物联网概论》-韩毅刚56搜索引擎系统结构《物联网概论》-韩毅刚57搜索引擎的组成1.搜索器2.索引器3.检索器4.用户接口《物联网概论》-韩毅刚5810.5.3面向物联网的搜索引擎数据特征搜索引擎特征《物联网概论》-韩毅刚59搜索引擎特征1）搜索内容的时空性强2）实体搜索3）查询输入方式多样4）安全和隐私问题5）多媒体搜索《物联网概论》-韩毅刚6010.6海量数据存储10.6.1磁盘阵列10.6.2网络存储10.6.3云存储61《物联网概论》-韩毅刚10.6.1磁盘阵列《物联网概论》-韩毅刚621．RAID级别2.RAID技术特点3.RAID的实现磁盘阵列《物联网概论》-韩毅刚634盘位磁盘阵列存储器《物联网概论》-韩毅刚64机柜式磁盘阵列《物联网概论》-韩毅刚65RAID级别RAID分为0～7个级别RAID10RAID0与RAID1的组合RAID50RAID0与RAID5的组合《物联网概论》-韩毅刚66RAID优点传输速率高容错《物联网概论》-韩毅刚67RAID的具体实现软件RAID硬件RAID《物联网概论》-韩毅刚6810.6.2网络存储1.直接附加存储DAS2.网络附加存储NAS3.存储区域网SAN《物联网概论》-韩毅刚691.直接附加存储DAS直附式存储DirectAttachedStorage电缆直接相连《物联网概论》-韩毅刚70

2.网络附加存储NAS网附式存储NetworkAttachedStorage通过网络接口连接《物联网概论》-韩毅刚713.存储区域网SANSANStorageAreaNetwork《物联网概论》-韩毅刚7210.6.3云存储概念结构模型《物联网概论》-韩毅刚73云存储的概念一种服务模式云计算的延伸《物联网概论》-韩毅刚74云存储的体系结构访问层应用接口层基础管理层存储层《物联网概论》-韩毅刚7510.7云计算10.7.1云计算的概念10.7.2云计算系统的组成和结构10.7.3云计算系统实例10.7.4云计算系统的开发76《物联网概论》-韩毅刚10.7.1云计算的概念《物联网概论》-韩毅刚77定义分类延伸云计算的定义一种基于互联网的新的IT服务增加、使用和交付模式《物联网概论》-韩毅刚78云计算的服务模式基础设施即服务IaaSInfrastructureasaService平台即服务PaaSPlatformasaService软件即服务SaaSSoftwareasaService《物联网概论》-韩毅刚79云计算的类型公共云私有云企业云《物联网概论》-韩毅刚80云计算的延伸云存储云安全云电视云手机海计算框计算风计算《物联网概论》-韩毅刚8110.7.2云计算系统的组成和结构SOA层中间管理层资源池层物理资源层《物联网概论》-韩毅刚82云计算体系结构《物联网概论》-韩毅刚8310.7.3云计算系统实例1.亚马逊云计算2.微软云计算WindowsAzure《物联网概论》-韩毅刚841.亚马逊云计算弹性计算云EC2ElasticComputeCloud简单存储服务S3SimpleStorageService简单数据库服务SDBSimpleDB《物联网概论》-韩毅刚85EC2基本架构《物联网概论》-韩毅刚86S3基本数据结构《物联网概论》-韩毅刚87

2.微软云计算WindowsAzure云计算操作系统SQLAzure云计算数据库.NET服务《物联网概论》-韩毅刚88WindowsAzure主要部分《物联网概论》-韩毅刚8910.7.4云计算系统的开发1.开源云计算系统Hadoop2.开源云计算系统Spark3.云计算虚拟化技术4.云计算仿真器CloudSim《物联网概论》-韩毅刚901.开源云计算系统HadoopHDFS分布式文档系统MapReduce分布式平行计算框架Hbase分布式数据库《物联网概论》-韩毅刚91Hadoop的云计算架构《物联网概论》-韩毅刚92

2.云计算虚拟化技术全虚拟化半虚拟化硬件辅助虚拟化《物联网概论》-韩毅刚93

3.云计算仿真器CloudSim用户代码层CloudSim层GridSim层SimJava层《物联网概论》-韩毅刚94CloudSim体系结构《物联网概论》-韩毅刚9510.8普适计算10.8.1普适计算技术的特征10.8.2普适计算的组成10.8.3普适计算的体系结构10.8.4普适计算的关键技术96《物联网概论》-韩毅刚普适计算的概念《物联网概论》-韩毅刚9710.8.1普适计算技术的特征《物联网概论》-韩毅刚98信息空间与物理空间间断连接与轻量计算信息空间与物理空间的融合《物联网概论》-韩毅刚9910.8.2普适计算的组成普适计算设备普适计算网络系统软件人机交互《物联网概论》-韩毅刚100普适计算系统《物联网概论》-韩毅刚10110.8.3普适计算的体系结构层次模型见仁见智4层模型8层模型《物联网概论》-韩毅刚102应用环境中的普适计算体系结构《物联网概论》-韩毅刚10310.8.4普适计算的关键技术1.人机接口技术2.上下文感知计算3.服务的组合4.自适应技术《物联网概论》-韩毅刚1041.人机接口技术1）接口的自适应性2）不可见的用户接口《物联网概论》-韩毅刚105

2.上下文感知计算上下文信息“5何”何时、何地、何人、何事、何因5Wwhen,where,who,what,why《物联网概论》-韩毅刚1063.服务的组合组合服务的发现服务的匹配服务的选择服务协调器错误检测与修复《物联网概论》-韩毅刚1074.自适应技术对用户情境自适应对设备资源自适应对系统资源状态自适应保留系统《物联网概论》-韩毅刚10810.9数据呈现10.9.1实时推送技术10.9.2数据可视化10.9.3HTML510.9.4数据呈现开发实例109《物联网概论》-韩毅刚10.9.1实时推送技术1.拉取技术2.传统推送技术3.Web实时推送技术《物联网概论》-韩毅刚110Web实时推送技术《物联网概论》-韩毅刚11110.9.2数据可视化1.数据可视化的过程和评判指标2.数据可视化的常用技术《物联网概论》-韩毅刚112文本可视化标签云《物联网概论》-韩毅刚113网络可视化中国教育与科研计算机网可视化图《物联网概论》-韩毅刚114时空数据可视化流式地图百度迁徙数据《物联网概论》-韩毅刚11510.9.3HTML5HTML是构建以及呈现互联网内容的描述语言HTML５广义上指的是包括HTML、CSS和JavaScript在内的一套技术组合。《物联网概论》-韩毅刚11610.9.4数据呈现开发实例基于Web的前端数据可视化工具Canvas开发的基本流程《物联网概论》-韩毅刚117基于Web的前端数据可视化工具图表类eCharts、iCharts、HighCharts、GoogleCharts、D3等图谱类Arbor.js、Sigma.js、Processing.js等；三维图形PhiloGL、Three.js等地图类GoogleMap、百度地图、高德地图、PolyMap等《物联网概论》-韩毅刚118总结数据中心数据存储、组织、搜索、挖掘云计算普适计算数据可视化《物联网概论（第3版）》第11章物联网的安全与管理第11章物联网的安全与管理11.1物联网的安全架构11.2物联网的安全威胁与需求11.3物联网安全的关键技术11.4物联网的管理11.5物联网安全管理系统的设计11.1物联网的安全架构采集安全传输安全处理安全应用安全整个网络的物理安全物联网的安全架构《物联网概论》-韩毅刚12311.2物联网的安全威胁与需求11.2.1感知层的安全11.2.2传输层的安全11.2.3处理层的安全11.2.4应用层的安全124《物联网概论》-韩毅刚11.2.1感知层的安全《物联网概论》-韩毅刚1251.感知层的安全威胁2.感知层的安全需求1.感知层的安全威胁末端节点安全威胁传输威胁拒绝服务路由攻击《物联网概论》-韩毅刚126安全攻击传输威胁《物联网概论》-韩毅刚127

2.感知层的安全需求节点无人看管节点会耗尽能量节点身份认证《物联网概论》-韩毅刚12811.2.2传输层的安全《物联网概论》-韩毅刚1291.传输层的安全威胁2.传输层的安全需求1.传输层的安全威胁传输的安全问题隐私的泄漏问题网络拥塞和DoS攻击密钥问题《物联网概论》-韩毅刚130DoS攻击《物联网概论》-韩毅刚131

2.传输层的安全需求接入鉴权多媒体业务信息保护密钥协商构建虚拟专网（VPN）信息屏蔽网络病毒《物联网概论》-韩毅刚132接入鉴权《物联网概论》-韩毅刚13311.2.3处理层的安全1.处理层的安全威胁2.处理层的安全需求《物联网概论》-韩毅刚1341.处理层的安全威胁信息识别问题信令拥塞安全管理问题配置管理远程软件更新《物联网概论》-韩毅刚1352.处理层的安全需求数据库保护节点的有效跟踪和控制决策控制信息的真实性信息泄露追踪机制安全审计《物联网概论》-韩毅刚13611.2.4应用层的安全1.应用层的安全威胁2.应用层的安全需求《物联网概论》-韩毅刚1371.应用层的安全威胁隐私威胁业务滥用身份冒充抵赖和否认重放威胁信息的窃听和篡改《物联网概论》-韩毅刚138

2.应用层的安全需求用户的身份认证访问控制敏感信息的加密安全证书《物联网概论》-韩毅刚139身份认证《物联网概论》-韩毅刚140

11.3物联网安全的关键技术11.3.1密钥管理技术11.3.2虚拟专用网技术11.3.3认证技术11.3.4访问控制技术11.3.5入侵检测技术11.3.6容侵容错技术11.3.7隐私保护技术141《物联网概论》-韩毅刚11.3.1密钥管理技术《物联网概论》-韩毅刚142密钥管理问题密钥管理方式密钥管理问题多网密钥穿越传感网密钥《物联网概论》-韩毅刚143密钥明文和密文《物联网概论》-韩毅刚144对称密钥系统密钥相同《物联网概论》-韩毅刚145非对称密钥系统两种模型《物联网概论》-韩毅刚146密钥管理方式以互联网为中心的集中式管理方式以各自网络为中心的分布式管理方式《物联网概论》-韩毅刚14711.3.2虚拟专用网技术VPN概念VPN解决方案《物联网概论》-韩毅刚148VPN在公用网络上建立专用数据通信网络的技术虚拟专用网VPNVirtualPrivateNetwork互联网服务提供商ISPInternetServiceProvider，网络服务提供商NSPNetworkServicesProvider《物联网概论》-韩毅刚149VPN解决方案远程访问虚拟网AccessVPN内联网虚拟网IntranetVPN外联网虚拟网ExtranetVPN《物联网概论》-韩毅刚15011.3.3认证技术认证分类认证方法《物联网概论》-韩毅刚151认证分类身份认证消息认证《物联网概论》-韩毅刚152认证方法用户名/密码方式IC卡认证方式动态口令方式生物特征认证方式USB密钥认证方式《物联网概论》-韩毅刚15311.3.4访问控制技术访问控制对用户合法使用资源的认证和控制访问控制分类自主访问控制强制访问控制《物联网概论》-韩毅刚154访问控制技术入网访问控制网络权限控制目录级控制属性控制网络服务器的安全控制《物联网概论》-韩毅刚155基于属性的访问控制ABAC《物联网概论》-韩毅刚15611.3.5入侵检测技术入侵检测鉴别正在发生的入侵企图或已经发生的入侵活动《物联网概论》-韩毅刚157入侵检测方法收集和分析网络行为安全日志审计数据关键点信息《物联网概论》-韩毅刚158入侵检测分类异常入侵检测误用入侵检测《物联网概论》-韩毅刚159入侵检测技术基于人工免疫系统的入侵检测方法基于神经网络的入侵检测方法基于遗传的入侵检测方法基于聚类的入侵检测方法基于专家系统的入侵检测方法基于分布式协作与移动代理技术的入侵检测方法《物联网概论》-韩毅刚16011.3.6容侵容错技术容侵有入侵，网络仍正常工作容错数据错误，可恢复，网络仍连续工作《物联网概论》-韩毅刚161容侵技术网络的拓扑容侵安全路由容侵数据传输容侵《物联网概论》-韩毅刚162容错技术网络拓扑中的容错网络覆盖中的容错数据检测中的容错《物联网概论》-韩毅刚16311.3.7隐私保护技术隐私权隐私侵犯特点隐私保护方式《物联网概论》-韩毅刚164隐私侵犯的主要特点侵犯形式的多样性侵权主体的多元化侵权手段的多样化与智能化侵权后果的严重化与复杂化《物联网概论》-韩毅刚165隐私保护技术匿名技术署名技术《物联网概论》-韩毅刚166

11.4物联网的管理11.4.1物联网的自组织网络管理11.4.2物联网的分布式网络管理模型11.4.3物联网的网络管理方案167《物联网概论》-韩毅刚网络管理的功能配置管理故障管理性能管理计费管理安全管理《计算机网络技术》-韩毅刚168网络管理模型管理者-代理的网络管理模型《物联网概论》-韩毅刚16911.4.1物联网的自组织网络管理《物联网概论》-韩毅刚1701．拓扑管理2．移动管理3．功率管理4．QoS管理5．网络互联管理1．拓扑管理提高吞吐量保证网络的连通性实现功率的优化保障网络的服务质量《物联网概论》-韩毅刚171

2．移动管理分群策略分群原则《物联网概论》-韩毅刚172

3．功率管理路由协议分簇算法休眠机制《物联网概论》-韩毅刚173

4．QoS管理集成服务区分服务《物联网概论》-韩毅刚174

5．网络互联管理自组网之间的互联自组网与IP网的互联自组网与蜂窝移动网的互