物联网技术云计算PPT课件.pptx

云计算 2 CloudComputing北京邮电大学计算机学院袁燕妮 1 1 云计算与大数据2 云计算概念与特征3 云计算发展现状4 云计算关键技术5 云计算核心算法6 OpenStack与Docker7 云计算几个相关专题8 中国云计算发展前景和问题9 总结与展望 提纲 3 8 1OpenStack背景介绍 OpenStack是什么 4 8 1OpenStack背景介绍 计算资源管理 存储资源管理 网络资源管理 OpenStack可以规划并管理大量虚拟机 从而允许企业或服务提供商按需提供计算资源 OpenStack可以为云服务或云应用提供所需的对象及块存储资源 IP地址的数量 路由配置 安全规则将爆炸式增长 传统的网络管理技术无法真正高扩展 高自动化地管理下一代网络 OpenStack是什么 OpenStack的主要服务 OpenStack有三个主要的服务成员 计算服务 Nova 存储服务 Swift 镜像服务 Glance 计算服务 Nova 管理虚拟机 镜像管理组件 Glance 管理镜像 通过Glance创建和管理镜像快照 通过Swift存储快照 对象存储组件 Swift 用标准的硬件进行PB级的安全 可靠的存储 通过API调用openStack 用户 管理员 5 6 8 1OpenStack背景介绍 1 计算服务Nova 2 对象存储服务Swift 3 镜像服务Glance 4 身份认证服务keystone 5 网络管理服务Quantum 6 存储管理服务Cinder 7 仪表盘Horizon OpenStack的主要服务 7 8 4镜像服务Glance OpenStack的主要服务 Nova处理OpenStack云中实例 instances 生命周期的所有活动 这样使得Nova成为一个负责管理计算资源 网络 认证 所需可扩展性的平台 但是 Nova并不具有虚拟化能力 相反它使用LibvirtAPI来与被支持的Hypervisors交互 Nova通过一个与AmazonWebServices AWS EC2API兼容的WebServicesAPI来对外提供服务 Nova是OpenStack云中的计算组织控制器 Swift OpenStack开源云计算项目的子项目之一 可扩展的对象存储系统 比如复制和存档数据 图像或视频服务 存储次级静态数据 开发数据存储整合的新应用 存储容量难以估计的数据 为Web应用创建基于云的弹性存储 8 3对象存储服务Swift 扩展性 冗余性 持久性 8 OpenStack的主要服务 8 3对象存储服务Swift Swift特性 1 高数据持久性 数据的可靠性 是指数据存储到系统中后 到某一天数据丢失的可能性 2 完全对称的系统架构 对称 意味着Swift中各节点可以完全对等 能极大地降低系统维护成本 3 无限的可扩展性 一是数据存储容量无限可扩展 二是Swift性能 如QPS 吞吐量等 可线性提升 4 无单点故障 整个Swift集群中 也没有一个角色是单点的 并且在架构和设计上保证无单点业务是有效的 5 简单 可依赖 简单体现在实现易懂 架构优美 代码整洁 可依赖是指Swift经测试 分析之后 可以放心大胆地将Swift用于最核心的存储业务上 OpenStack的主要服务 9 10 8 4镜像服务Glance Glance提供了一个虚拟磁盘镜像的目录和存储仓库 并且可以提供对虚拟机镜像的存储和检索 这些磁盘镜像常常广泛应用于OpenStackCompute组件之中 三种形式加以配置 利用OpenStack对象存储机制来存储镜像 利用Amazon的简单存储解决方案 简称S3 直接存储信息 将S3存储与对象存储结合起来 作为S3访问的连接器 OpenStack的主要服务 11 8 4镜像服务Glance Glance的作用 Glance作为OpenStack的虚拟机的Image 镜像 服务 提供了一系列的RESTAPI 用来管理 查询虚拟机的镜像 它支持多种后端存储介质 可以看出 通过Glance Opentack的3个模块被链接成了一个整体 Glance为Nova提供镜像的查找操作 而Swift又为Glance提供实际的存储服务 Swift可以看成Glacne存储接口的一个具体实现 Glance在整个OpenStack项目中的角色定位 OpenStack的主要服务 什么是Docker Docker是一个开源的应用容器引擎 让开发者可以打包应用以及依赖包到一个可移植的容器中 然后发布到任何流行的Linux机器上Go语言实作 加入了Linux基金会 遵从Apache2 0协议 原始码在GitHub上进行维护在LXC LinuxContainer 的基础上Docker进行了进一步的封装 让使用者不需要去关心容器的管理 使得操作更为简便 使用者操作Docker的容器就像操作一个快速轻量级的虚拟机一样简单 12 Docker与VM区别 13 Docker与VM区别 容器和虚拟机的概念并不相同 容器目前还并不能完全取代虚拟机 在容器力所不能及的地方 虚拟机可以大显身手 例如 宿主机是Linux 只能通过虚拟机运行Windows Docker便无法做到 再例如 宿主机是Windows Windows并不能直接运行Docker Windows上的Docker其实是运行在VirtualBox等linux虚拟机里 Docker优点 Docker镜像 Docker镜像 Image 类似于虚拟机镜像 可以理解为面向Docker引擎的只读模板可从DockerHub下载数以千记的 由各应用官方发布的应用镜像 比如Redis Mysql nginx等Docker文件系统AUFS是一种 增量文件系统 用户所做修改以增量的方式保存 AUFS是一个层状的文件系统 包含底层只读部分和顶层可写部分 然后将二者组合起来 系统共同部分用作只读 那块是被所有容器共享 每个容器可以有自己的可写区域 Docker采用增量文件系统模式的镜像版本管理功能 使镜像创建 升级十分方便 16 Docker容器 容器是从镜像创建的应用运行实例 可以将其启动 停止 重启 删除可以将容器看做简易版的Linux系统环境 以及运行在其中的应用程序打包而成的应用盒子镜像本身是只读的 容器从镜像启动之后 Docker会在镜像的最上层创建一个可写层 而镜像本身将保持不变 17 Docker仓库 Docker集中存放镜像文件的应用仓库概念的引入 为Docker镜像文件的分发和管理提供了便捷的途径公开仓库 DockerHub DockerPool私有仓库 Dockerregistry DockerTrustedRegistry 18 Docker数据卷 挂载宿主机的目录到容器中作为数据卷目的 容器无状态数据输出 例如Mysql数据文件夹 源服务器视频文件夹利用数据卷迁移容器数据将数据文件拷贝到挂载文件夹中 即可实现文件在宿主机与容器之间的迁移数据卷IO读写能力高于Docker原生DeviceMapper 19 Docker网络 Host Docker使用了Linux的Namespaces技术来进行资源隔离 如PIDNamespace隔离进程 一个NetworkNamespace提供了一份独立的网络环境 包括网卡 路由 IPtable规则等都与其他的NetworkNamespace隔离 一个Docker容器一般会分配一个独立的NetworkNamespace host模式下 容器将不会获得一个独立的NetworkNamespace 而是和宿主机共用一个NetworkNamespace 容器将不会虚拟出自己的网卡 配置自己的IP等 而是使用宿主机的IP和端口 20 Docker未来之路 21 1 云计算与大数据2 云计算概念与特征3 云计算发展现状4 云计算关键技术5 云计算核心算法6 OpenStack与Docker7 云计算几个相关专题8 中国云计算发展前景和问题9 总结与展望 提纲 云计算相关专题之一 云计算安全问题 23 23 导致安全事件的原因 软件漏洞或缺陷 配置错误 基础设施故障 黑客攻击等原因 云计算的新安全问题 多租户 各层面的多租户的隔离风险 物理隔离 网络隔离都无法解决不同安全级别的多租户 虚拟机之间安全隔离的问题 分布式 寻找故障点更难 故障难以重演 云计算加重了传统问题 内外部攻击 能力滥用 数据泄漏 安全域划分隔离 数据特别是企业关键数据的安全问题法律法规尚不健全 丢失 泄露 停电无法访问 可以信赖的大型服务商 云计算引入的安全问题 盘点2016年的云安全十大威胁 24 从技术上看 云计算系统的安全漏洞是不可避免的由于服务网络化 数据集中化 平台共享化和参与角色多样化 云计算所面临的安全风险相对于传统信息化系统更加复杂 但是在绝大多数情况下 专业团队打造的云计算环境应比普通的计算系统更安全 更加专业和完善的访问控制 攻击防范 数据备份和安全审计等安全功能 统一的安全保障措施和策略对云端IT系统进行安全升级和加固以银行为例 钱总还是存放在银行里更安全些 很多人更关注的是隐私问题 在个人隐私保护 在线数据保护 数据跨境流动等方面的法律法规还存在很大缺失 云计算安全问题 25 单机系统时代 病毒是电脑安全的主要威胁 传播介质 磁盘等移动介质传播方式 交叉感染传播目的 破坏电脑系统互联网时代 木马是电脑安全的主要威胁 传播介质 互联网络传播方式 网格状交叉模式传播目的 非法获取财产木马侵犯用户财产的方式多种多样盗号木马 盗取虚拟财产僵尸网络 对网站等攻击 勒索肉鸡木马 在用户的电脑中弹出广告间谍木马 窃取隐私和商业机密 木马 互联网安全的主要威胁 26 基于云计算模式的安全原理 27 360云安全技术体系示意 28 28 云安全需要的核心技术 大规模分布式并行计算技术海量数据存储技术海量数据自动分析和挖掘技术未知恶意软件的自动分析识别技术未知恶意软件的行为监控和审计技术海量恶意网页自动检测海量白名单采集及自动更新高性能并发查询引擎 云端文件知识库三要素 29 360云安全系统 全球应用规模最大的云安全系统 29 云安全服务 30 30 云计算相关专题之二 云计算与物联网 31 31 云计算与物联网 物联网 舒适生活的基础与云的关系 海量数据处理需要云计算 32 32 物联网案例 全面覆盖的安全 33 物联网案例 智能园区 34 1 云计算与大数据2 云计算概念与特征3 云计算发展现状4 云计算关键技术5 云计算核心算法6 OpenStack与Docker7 云计算几个相关专题8 中国云计算发展前景和问题9 总结与展望 提纲 中国云计算发展情况 2008年 IBM先后在无锡和北京建立了两个云计算中心 阿里巴巴成立了阿里云公司 还有许多公司触云 腾讯 盛大 广达 800APP 世纪互联 2008年11月25日 中国电子学会成立云计算专家委员会 2009年至今 每年举办一届中国云计算大会 政府 许多省市开展了以云计算产业园区为主要形式的数据中心的建设 36 中国云计算发展历程预测 2010白皮书 中国云计算产业分为市场准备期 起飞期和成熟期三个阶段 当前 中国云计算产业处于大规模爆发的前夜 实际 37 纵观云计算产业链 技术应用和商业模式等各方面都趋于丰富大量行业应用 垂直应用 解决方案出现电信领域 基于云计算的海量移动通信数据分析 移动互联网应用广电领域 要实现海量媒体资源的存储和管理 提供智能的媒体资源点播服务 安防领域 为进行高清视频监控和视频内容识别 提供基于云计算的高效的数据处理机制智能交通 实时对道路和车流情况进行预警和远程控制 重点车辆自动智能对比等 医疗 文化 政务 金融 电子商务 云计算应用前景广阔 38 39 以 BAT 等为代表的互联网企业成为现阶段中国云计算服务创新发展的主导力量 后起之秀UCloud QingCloud等 也希望能够在未来的庞大的企业级市场占据领导地位 中国云计算技术 中国云计算技术 未来云计算的发展离不开以下四大发展趋势 第一 随着云计算创新水平的不断提升 产业链上中下游整合趋势更加明显 第二 国内云计算应用市场进一步发展成熟 市场空间显著扩大 第三 云计算服务发展迅速 公共云服务和大型企业 机构内部的私有云建设与运维将成为重点 第四 云计算公共化程度将进一步提升 国内云计算应用市场进一步发展与成熟 市场空间显著扩大 淘宝分布式文件系统TFS TaobaoFileSystem TFS 是一个高可扩展 高可用 高性能 面向互联网服务的分布式文件系统 主要针对海量的非结构化数据 它构建在普通的Linux机器集群上 可对外提供高可靠和高并发的存储访问 中国云计算技术 云创存储cStor分布式文件系统 中国云计算技术 总体架构 云创存储cStor分布式文件系统 中国云计算技术 存储机制 阿里巴巴OceanBase OceanBase主要是为了解决淘宝网的大规模数据而产生的 是一个支持海量数据的高性能分布式数据库系统 达到管理数千亿条记录的规模 支持在数百TB数据上跨行跨表事务并支持SQL操作 到目前为止 OceanBase支持了收藏夹 直通车报表 天猫评价等OLTP和OLAP在线业务 线上数据量已经超过千亿条记录 中国云计算技术 中国云计算技术 中国云计算技术 中国云计算技术 阿里云计算体系架构 中国云计算技术 中国云计算技术 中国云计算技术 中国云计算技术 中国云计算技术 中国云计算技术 云创存储万物云服务 中国云计算技术 云创存储万物云服务 中国云计算技术 云创存储万物云服务 中国云计算技术 终身免费的环境大数据共享平台 57 120万公里 大于200TB 上百万人同时访问 中国版谷歌街景地图 我秀中国 58 http www openrs org wiki 将海量遥感数据 复杂的遥感处理与分析方法放在远程的云计算平台中 利用云计算平台弹性的计算能力 用户无需搭建专用环境 只需要选择数据和算法后即可获取最终结果 遥感云 遥感云平台 OpenRS Cloud 武汉大学测绘遥感信息工程国家重点实验室 59 OpenRS Cloud技术体系 基于云计算平台的遥感图像处理系统OpenRS 60 OpenRS CloudWeb型的算法提交界面 可直接获取和设定位于云端的算法插件的参数信息 可直接利用远程集群进行并行处理 集成WebGIS技术查找感兴趣遥感图像 61 一个洪水淹没的计算实例 遥感云服务实例 服务链建立 服务链运行 服务查询 服务注册 运行结果 62 中国移动自2007年起开始搭建大云 BigCloud 平台建设了超过几千个节点的大规模实验室 2017年发布大云4 0 电信运营商 中国移动 63 从市场角度来看 面向中小型企业的混合云开始成为关注焦点公有云还是私有云哪个更好 市场最希望的是混合云 一部分业务上私有云 另一部分上公有云以前的公有云主要面向开发者 中小企业 私有云主要面向大企业混合云面向中小企业 中型企业 小微企业例 犀思云青云 国内云计算产业整体的发展情况 64 云计算标准化问题任重道远可信云 规范云服务商和客户之间的关系 让他们之间更加信任经过七年 做出了术语概述的统一 能够使用共同语言描述云计算 2015 10工信部印发 云计算综合标准化体系建设指南 由 云基础 云资源 云服务 和 云安全 4个部分组成云计算综合标准化体系框架 明确了29个云计算的标准研制方向 云计算发展中的问题 65 重虚拟轻管理从存储空间的共享与关键数据的隔离 从虚拟机的管理与安全到智能扩展都是管理问题 虚拟化不能解决一切 重创新轻移植今天要上云 其实更需要的是移植 如何移 要把自己的实际业务系统与IT架构完全结合起来 需要非常通晓软件和业务流程的人才投入 国内云计算发展中的问题 66 机会 资源共享 提高资源利用效率 提高对新业务的响应速度 降低底层硬件对上层应用的制约 增加高峰期的可靠性 挑战 服务器数量扩张 配置错误风险 硬件错误被放大的风险 云在部署前需要更加复杂的规划 攻击成功会造成更大的影响 云计算给IT服务管理带来机会和挑战 67 1 云计算与大数据2 云计算概念与特征3 云计算发展现状4 云计算关键技术5 云计算核心算法6 OpenStack与Docker7 云计算几个相关专题8 中国云计算发展前景和问题9 总结与展望 提纲 云计算的出现及快速发展 是互联网应用及虚拟化 分布式计算等技术发展的结果 云计算平台已经为很多用户所使用 但是云计算在行业标准 数据安全 服务质量 应用软件等方面也面临着各种问题 现有的研究大多集中于云体系结构 云存储 云数据管理 虚拟化 云安全 编程模型等技术云计算的核心 节约成本 高效并行实现计算与服务模式创新 小结 69 2015Gartner新兴技术成熟度曲线 70 2017Gartner新兴技术成熟度曲线 71 本套PPT下载地址 云计算的红宝书 书籍购买地址 微信扫描二维码 关注云计算头条 电子工业出版社 云计算 第三版 配套课件 包邮且有刘鹏教授亲笔签名 72 73 相同之处 主要的区别 整个云计算平台对外提供统一的Web接口 Google的云计算服务相对简单 没有实现多个服务的单独入口 微软的云计算不仅支持云端应用程序 还支持本地的应用程序 后台实现的细节对用户透明 1 主流商业云计算解决方案比较 体系结构 74 1 GoogleAppEngine的实现技术 分为GFS MapReduce Bigtable和Chubby四个相互独立却又紧密联系的组成部分 2 AmazonAWS的实现技术 在Dynamo基础上 Amazon设计了EC2 S3 SimpDB等计算 存储 数据库服务 并积极地引入已有的先进技术 3 微软Azure的实现技术 通过在虚拟机上运行WindowsServer2008 基于SQLServer实现SQLAzure等方式构建云计算系统 4 VMwarevCloud的实现技术 在底层 VMware开发了云操作系统vSphere 在vSphere之上 VMware又开发了vCloudServiceDirector VMware还提供了桌面虚拟化产品VMwareView 1 主流商业云计算解决方案比较 实现技术 75 12 1主流商业云计算解决方案比较 1 主流商业云计算解决方案比较 核心业务 76 12 1主流商业云计算解决方案比较 1 主流商业云计算解决方案比较 核心业务 12 1主流商业云计算解决方案