分布式计算ppt课件

高性能和分布式计算 林小拉linxl 中山大学信息科学与技术学院 内容提要 分布式计算和分布式系统P2P计算云计算和网格计算传感器网络和物联网 分布式计算和分布式系统 分布式计算是一门计算机科学 它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分 然后把这些部分分配给许多计算机进行处理 最后把这些计算结果综合起来得到最终的结果 分布式系统是这样的系统 它运行在不具有共享内存的多台机器上 但在用户的眼里却像是一台计算机 AndrewS Tanenbaum 分布式计算优点和特点 1 资源共享 可共享系统中的硬件 软件和数据等信息资源 2 分布式透明处理平台 展现给用户的是一个统一的整体系统 3 高性价比 分布式系统具有较高的性能价格比 4 应用分布性 多数应用本身就是分布式的 如ATM应用 5 高可靠性 现代分布式系统具有高度容错机制 6 可扩展性 添加几台PC等可提高系统的性能 7 高度灵活性 能够兼容不同硬件厂商的产品 兼容低配置机器和外设而获得高性能计算 若干著名高复杂性问题 需要非常巨大的计算能力才能解决的问题 这类问题一般是跨学科的 极富挑战性的 人类急待解决的科研课题 其中较为著名的是 1 解决较为复杂的数学问题 例如 GIMPS 寻找最大的梅森素数 2 研究寻找最为安全的密码系统 例如 RC 72 密码破解 3 生物病理研究 例如 Folding home 研究蛋白质折叠 误解 聚合及由此引起的相关疾病 4 各种各样疾病的药物研究 例如 UnitedDevices 寻找对抗癌症的有效的药物 5 信号处理 例如 SETI Home 在家寻找地外文明 分布式计算工作原理 分布式计算是利用互联网上的计算机的中央处理器的闲置处理能力来解决大型计算问题的一种计算科学 随着计算机的普及 越来越多的电脑处于闲置状态 即使在开机状态下中央处理器的潜力也远远不能被完全利用 互联网的出现 使得连接调用所有这些拥有限制计算资源的计算机系统成为了现实 一个非常复杂的问题往往很适合于划分为大量的更小的计算片断的问题 服务端负责将计算问题分成许多小的计算部分 然后把这些部分分配给许多联网参与计算的计算机进行并行处理 最后将这些计算结果综合起来得到最终的结果 分布式系统和分布式应用 基于分布式系统的分布式应用也非常广泛 例如多媒体应用 电子商务等 分布式系统应能联接用户与资源 具有分布式透明 开放和可伸展性等特点 通常 对用户来说 分布式系统只有一个模型或范型 在操作系统之上有一层软件中间件 middleware 负责实现这个模型 一个著名的分布式系统的例子是万维网 WorldWideWeb 分布式系统和分布式技术 主要分布式技术1 消息传递 MessagePassing 在分布式系统中 最初的通信机制是消息传递 进行通信的两个进程使用发送原语 Send 和接收原语 Receive 进行消息的发送和接收 但是 通信原语的使用使分布式应用的开发成为一项繁杂的工作 开发出的程序既容易出错而又难于分析和调试 分布式系统和分布式技术 2 远程过程调用 RemoteProcedureCall 远程过程调用 RPC 隐蔽了网络的具体细节 使得用户使用远程服务就像进行一个本地函数调用一样 但在通信过程中需要远程与本地进行频繁的交互 3 远程求值 RemoteEvaluation REV 当要调用的过程在远程节点上并不存在 远程求值允许网络中的节点向远程节点发送子程序和参数信息 远程节点启动该 子程序 一些初始请求可由该子程序发出 中间结果也由该子程序处理 子程序只是将最后的处理结果返回到源节点 分布式系统和分布式技术 4 客户机 服务器模式 Client Server C S 通信的实体双方有固定 预先定义好的角色 服务器提供服务 客户使用服务 RPC模式和REV模式都是客户机 服务器模式的一种 著名的C S模式主要有CORBA DCE RPC等 5 代码点用 Code on demand 针对C S结构中资源过于集中的缺点 Code on demand模式使用了代码移动技术 即在需要远程服务时 首先从远程获得能执行该服务的代码 典型的例子是Java中的applet 应用小程序 和servlet 服务小程序 分布式系统和分布式技术 6 移动Agent MobileAgent MA MA可以 在一定范围内 随意移动到能提供服务的目标主机上 可以连续 多次 自主地移动 典型地 Java中的applet和servlet被统一成移动Agent 7 万维网服务 Webservice 技术WebService是自包含 自描述 模块化的应用程序 可以发布 定位 通过web调用 一旦部署以后 其他WebService应用程序可以发现并调用它部署的服务 它可以使用标准的互联网协议 像超文本传输协议 HTTP 和XML 将功能纲领性地体现在互联网和企业内部网上 可将Web服务视作Web上的组件编程 分布式系统若干相关的问题和课题 命名同步复制技术和一致性容错安全性 P2P计算 目前广泛应用的客户机 服务器模式 Client Server C S 通过客户机分担工作负载 可全面改善系统效率而减少计算资源成本 然而现在社会和家庭拥有的个人计算机 客户机 只有小部分计算能力被利用 这些闲置的计算机资源和计算能力可以通过P2P系统才能得到更有效的利用 P2P Peer to Peer 对等 计算是一种网络新技术 在P2P系统中 其中任何计算机既可作为客户机也可作为服务器 用户可使用整个网络资源 从而最大化地提高整个网络的性能 而构建P2P系统门槛较低 通常不需要特别的行政安排和财政开支 P2P计算应用分类 P2P计算应用分类 通信与协作 分布式计算 互联网服务支持 数据库系统 内容分布系统 内容分布系统 数字媒体和其它数据共享的系统和体系结构 目前大多数P2P系统是内容分布系统 P2P内容分布系统构造分布式存储媒介 使系统中的有关成员能够发布 搜索和检索网络上的文件 还可具有提供安全 匿名 公平 并增加可伸展性和性能 以及资源管理和组织的能力 P2P计算若干相关的问题和课题 定位和路由內容高速缓存 复制和迁移安全和盗版问题匿名和否定功能激励机制和记帐资源管理 云计算 云计算 CloudComputing 是网格计算 分布式计算 并行计算 效用计算 网络存储 虚拟化 负载均衡等传统计算机技术和网络技术发展融合的产物 狭义云计算是指IT基础设施的交付和使用模式 指通过网络以按需 易扩展的方式获得所需的资源 广义云计算是指服务的交付和使用模式 指通过网络以按需 易扩展的方式获得所需的服务 这种服务可以是IT和软件 互联网相关的 也可以是任意其他的服务 它具有超大规模 虚拟化 可靠安全等独特功效 云计算基本原理和参考标准 云计算的基本原理 通过使计算分布在大量的分布式计算机上 而非本地计算机或远程服务器中 企业数据中心的运行将更与互联网相似 这使得企业能够将资源切换到需要的应用上 根据需求访问计算机和存储系统 云计算的参考标准 1 资源来自网络 2 伸缩能力强3 性价比优势 云计算特点 数据安全可靠 云计算提供了最可靠 最安全的数据存储中心 用户不用再担心数据丢失 病毒入侵等麻烦 客户端需求低 云计算对用户端的设备要求最低 使用起来也最方便 轻松共享数据 云计算可以轻松实现不同设备间的数据与应用共享 可能无限多 云计算为我们使用网络提供了几乎无限多的可能 云计算的核心技术 编程模型海量数据分布存储技术海量数据管理技术虚拟化技术云计算平台管理技术 云计算的几大形式 1 1 SAAS 软件即服务 这种类型的云计算通过浏览器把程序传给成千上万的用户 GoogleApps和ZohoOffice也是类似的服务2 实用计算 UtilityComputing 为IT行业创造虚拟的数据中心使得其能够把内存 I O设备 存储和计算能力集中起来成为一个虚拟的资源池来为整个网络提供服务 3 网络服务 同SAAS关系密切 网络服务提供者们能够提供API让开发者能够开发更多基于互联网的应用 而不是提供单机程序 4 平台即服务 另一种SAAS 这种形式的云计算把开发环境作为一种服务来提供 你可以使用中间商的设备来开发自己的程序并通过互联网和其服务器传到用户手中 云计算的几大形式 2 5 MSP 管理服务提供商 最古老的云计算运用之一 这种应用更多的是面向IT行业而不是终端用户 常用于邮件病毒扫描 程序监控等等 6 商业服务平台 SAAS和MSP的混合应用 该类云计算为用户和提供商之间的互动提供了一个平台 比如用户个人开支管理系统 能够根据用户的设置来管理其开支并协调其订购的各种服务 7 互联网整合 将互联网上提供类似服务的公司整合起来 以便用户能够更方便的比较和选择自己的服务供应商 云计算技术发展面临的主要问题 数据隐私问题 如何保证存放在云服务提供商的数据隐私 不被非法利用 不仅需要技术的改进 也需要法律的进一步完善 数据安全性 有些数据是企业的商业机密 数据的安全性关系到企业的生存和发展 云计算数据的安全性问题解决不了会影响云计算在企业中的应用 用户使用习惯 如何改变用户的使用习惯 使用户适应网络化的软硬件应用是长期而艰巨的挑战 网络传输问题 云计算服务依赖网络 目前网速低且不稳定 使云应用的性能不高 云计算的普及依赖网络技术的发展 网格计算与云计算 网格计算是分布式计算的一种 网格计算的实质就是组合与共享资源并确保系统安全 网格计算中一类是在分布式的计算资源支持下作为服务被提供的在线计算或存储 另一类是一个松散连接的计算机网络构成的一个虚拟超级计算机 可以用来执行大规模任务 网格计算强调资源共享 任何人都可以做为请求者使用其它节点的资源 任何人都需要贡献一定资源给其他节点 网格计算强调将工作量转移到远程的可用计算资源上 在云计算中 计算资源被转换形式去适应工作负载 它支持网格类型应用 也支持非网格环境 比如运行传统或Web2 0应用的三层网络架构 网格计算侧重并行的计算集中性需求 并且难以自动扩展 云计算侧重事务性应用 大量的单独的请求 可以实现自动或半自动的扩展 传感器网络 传感器网络是由许多在空间上分布的自动装置组成的一种计算机网络 这些装置使用传感器协作地监控不同位置的物理或环境状况 比如温度 声音 振动 压力 运动或污染物 传感器网络的每个节点除配备了一个或多个传感器之外 还装备了一个无线电收发器 一个很小的微控制器和一个能源 通常为电池 传感器节点尺寸与复杂度的限制决定了能量 存储 计算速度与频宽的受限 传感器网络主要包括三个方面 感应 通讯 计算 硬件 软件 算法 其中的关键技术主要有无线数据库技术 比如使用在无线传感器网络的查询 和用于和其它传感器通讯的网络技术 特别是多次跳跃路由协议 例如摩托罗拉使用在家庭控制系统中的ZigBee无线协议 物联网 InternetofThings 物联网的定义 通过射频识别 RFID 红外感应器 全球定位系统 激光扫描器等信息传感设备 按约定的协议 把任何物体与互联网相连接 进行信息交换和通信 以实现对物体的智能化识别 定位 跟踪 监控和管理的一种网络 物联网就是 物物相连的互联网 这有两层意思 第一 物联网的核心和基础仍然是互联网 是在互联网基础上的延伸和扩展的网络 第二 其用户端延伸和扩展到了任何物体与物体之间 进行信息交换和通信 物联网是通过智能感知 识别技术与普适计算 泛在网络的融合应用 被称为继计算机 互联网之后世界信息产业发展的第三次浪潮 与其说物联网是网络 不如说物联网是业务和应用 物联网也被视为互联网的应用拓展 物联网关键领域 1 RFID RadioFrequencyIdentification RFID射频识别是一种非接触式的自动识别技术 它通过射频信号自动识别目标对象并获取