程序设计方法-第五讲中间件技术.ppt

1,中间件技术,程序设计方法第五讲,2,参考书,1.李华飚等. java中间件技术及其应用开发. 水利水电出版社、 2007-9 2.杨放春等. 异构网络中间件与开放式api技术. 北京邮电大学出版社. 2007-3 3. 廖洪涛. 数字电视交互系统：中间件. 中国广播电视出版社 . 2005-1 4.邹国平、黄铮. 高速公路机电工程软件开发技术. 电子工业出版社, 2008-10 5.宁焕生、张彦. rfid与物联网射频、中间件、解析与服务. 电子工业出版社, 2008-4 6.成际镇、林晓勇. 计算机电信集成技术及应用. 人民邮电出版社, 2007-12,3,现代应用系统的基本特征,分布: 任务已不只是在单机上运行，而是由网络中多台计算机上的相关应用共同协作完成，需考虑网络传输、数据安全、数据一致性、同步等诸多问题； 异构: 计算机硬件、操作系统、网络协议、数据库系统以及开发工具种类繁多，需考虑数据表示、调用接口、处理方式等诸多问题； 动态协作: 参与协作的应用允许位置透明性、迁移透明性、负载平衡性等需求。,4,应用1,应用2,应用3,服务器1,服务器2,服务器3,图1 传统应用系统结构,5,应用1,应用2,应用3,服务器1,服务器2,服务器3,中间件,图2 现代应用系统结构,6,图3 系统层次关系结构,7,中间件(middleware)是一种软件，处于系统软件(操作系统和网络软件)与应用软件之间，它能使应用软件之间进行跨网络的协同工作(也就是互操作)，这时允许各应用软件之下所涉及的“系统结构、操作系统、通信协议、数据库和其它应用服务”各不相同。,中间件定义,中间件的出现使计算机软件设计真正进入如平台无关的阶段。,8,如果一个网络的各个节点上安装了ee软件，各节点上的应用软件之间就可以实现相互合作。这时允许各节点可为不同的机器和操作系统。 即ee软件使各节点下层的设备对应用软件来说变成了透明的。所以ee软件是实现可互操作功能的关键，是中间件中的主体部分。,执行环境(execution environment)软件,9,应用开发(application development)工具,应用软件要能透明地使用远程的资源，该软件中应有作出此种透明操作的相应指示。为此必定要有一组工具，它可以用来开发含“透明操作远程资源”成份的应用软件，或改造原有的无透明操作能力的应用软件。这组ad工具含有一些专用语言(如界面描述语言和界面调整语言等)和有关的编译器，使用户(特别是应用软件开发人员)更方便设计网络应用软件，所以ad工具是一个完善的中间件所必备的部分。,10,图4 具有中间件的网络系统结构,11,提供了合作对象透明设施t1：有了它，合作一方不必知道合作的另一方为谁和它在何处，只要说明自己需要怎样的服务，t1就能为其物色到一个合适的合作方。 提供了下层设备透明设施t2：有了它，合作一方不必关心合作的另一方所用的节点设备(机器和操作系统)与本节点的差异。,12,按照idc的分类方法，中间件分为：,远程过程调用中间件 分布式对象中间件 数据库访问中间件 事务处理中间件 消息中间件,中间件分类,13,本地过程调用的扩展，可透明地调用远程提供的服务。 需要解决数据表示、可靠传递、服务定位等问题 应用实例：分布式计算环境，dce,远程过程调用中间件,14,对象中间件就是用面向对象技术实现的、支持面向对象开发和集成应用的中间件。 对象技术的封装、继承及多态性提供了良好的代码重用功能，并且对象的对外透明性也符合中间件技术的要求。 面向对象的中间件技术基本思想是提供一种统一的接口使对象之间的调用和数据共享不再关心对象的位置、实现语言及所驻留的软硬件系统。 omg组织的corba、microsoft的com/dcom、sun的j2ee等,分布式对象中间件,15,数据库访问中间件,连接应用程序和数据库的软件，允许通过单一的、定义良好的接口访问网络中来自不同厂商的数据库产品。 (1)通用网关接口cgi(驻留在webserver上) (2)专用api：dll形式 nsapi(netscape)、 isapi(microsoft) (3)通用数据库接口 jdbc(sun)、odbc(microsoft),16,事务处理中间件(transaction processing middleware，tpm),tpm又称分布式事务处理中间件。专门针对联机交易处理系统而设计。 事务是对共享的系统资源所完成的一件工作，它通常是由一些列操作所组成。 事务必须具有acid(原子atomicity，一致consistency，隔离isolation和耐用durability)属性。,17,原子性(atomicity)指的是：事务要么完整地执行(即做完上述系列操作中的每一个)，要么根本不执行，而绝不会出现只执行一部分操作的情况。 一致性(consistency)指的是：一个事务执行完成，必定进入某个稳定状态；若进入的是另一个不一致的状态，则这一事务将被丢弃而不予执行。,18,隔离(isolation)指的是：一个事务与其它事务并行作用于一共享资源上时，前者的进行是与后者之间完全隔离开的。 耐用性(durability)指的是：当一个事务完成时，即使系统或者共享资源发生故障，该事务的执行结果也不会因此而丢失。,19,联机交易处理系统需要处理大量的分布式事务。 分布式事务涉及到多个数据库，且允许这些数据库异构，如在不同的银行间进行资金转账。 分布式事务需要处理大量并发进程，涉及到操作系统、文件系统、编程语言、数据通讯、数据库系统、系统管理及应用软件，是一个相当艰巨的任务。 通过事务处理中间件简化应用开发。由它来负责处理联机交易过程中分布式交易的完整性、并发控制、负载均衡以及出错恢复等。,20,x/open dtp模型包括3个组成部分： 应用程序(application program，ap)是事务的使用者，它是开始(begin)、提交(commit)和卷回(rollback)事务的发出者。它规定一个事务的界限，并给出事务所包含的操作。 资源管理器(resource manager，rm)：提供对共享资源的访问，数据库管理系统(dbms)或文件访问系统都可以成为rm。 事务管理器(transaction manager，tm)：是ap与rm之间的协调员，它给每个事务分配标示符，监视其进展，保证事务处理的顺利进行，并负责事务在失败情况下的恢复。,21,图5 tmp系统结构示意,22,分布式事务涉及到多个结点的数据的更新，任何一个结点或结点间通信的失效都可能导致分布式事务的失败。因此，为了保证事务的完整性，分布式事务通常采用两阶段提交协议(two phase commitment protocol，简称2pc)来提交。 两阶段提交协议的思路是tm向所有rm发出正式提交请求之前，先询问所有rm是否已准备好提交，仅当所有的rm都给出肯定的回答时，tm才发出提交的请求；如果其中有一个rm给出否定地回答，tm就指示所有的rm进行回卷,23,阶段1(准备阶段) tm询问所有的rm是否已准备提交。 阶段2(提交阶段) tm检查所有rm的回答，只要有一个rm给出否定的回答，tm指示所有的rm进行回滚。否则， tm指示所有的rm进行提交。,24,在两阶段提交中，一个主节点被指派为事务协调者(coordiantor)，其他节点称为事务参与者(participants)。 协调者掌握提交或撤消事务的决定权，而其它参与者则各自负责本地数据的更新，并向协调者提出撤消或提交子事务的意向。一般一个结点对应一个子事务。,25,26,事务协调者,调用接口,交易监控器,客户,转出帐户对象,转入帐户对象,1.begin(),2.调用方法debit(),3.登记资源,4.credit(),5.登记资源,6.commit(),7.prepare(),8.commit(),27,应用服务,交易监控器,资源管理1,数据库1,数据库2,客户,begin,call services,sql,sql,commit,prepare1,xa_prepare,prepare2,xa_prepare,xa_commit,commit2,xa_commit,commit1,资源管理2,28,常见的tpm产品有 bea的tuxedo microsoft的mts sun的jts omg的ots 东方通的tonglink/tongeasy,29,消息中间件(message-oriented middleware，mom),原由：rpc调用的缺点 (1)客户端与服务器端需要同时在线； (2)客户端需要知道服务器端的调用接口，若调用接口发生改变，客户端需要做相应变化，如通过odbc连接访问数据库，客户端需要知道远程数据库的类型，若类型发生改变，还需要重新装载相应的驱动程序。,30,(3)操作过程中需要一直保持与服务器端的连接，直到操作结束。因而， (a)一旦连接中断，就意味着操作失败或数据丢失； (b)通常判断连接中断的时间较长，若信道的可靠性较差，容易造成连接中断，那么应用效率将严重低下； (c)服务器端在执行操作的过程中，并不涉及网上数据传输，但连接的保持占用信道，容易造成网络堵塞。,31,这个问题可用消息中间件来解决，应用间通过传递消息来进行协作，是一种异步通信模式。 主要功能是在不同的网络协议、不同的操作系统和不同的应用程序之间提供可靠的和可恢复的(若发生意外)消息传送。这时应用系统并不需要消息即时即刻传递到达对方。,32,工作原理： 应用之间以一系列消息的方式进行通信。 在消息传递过程中，为了避免消息被丢失，消息被保存在消息队列中。 应用把消息发送到与接收者有关的队列中。消息传递机制保证将消息传送到目的地且只传送一次。 消息传递过程中，应用之间不必建立联系，发送者仅需将消息放入到与接收者有关的队列中，而不必关心接收者是否在线。 接收者仅需从自己的队列中提取消息即可。,33,队列 缓存消息并负责消息的传递，允许程序无需建立连接即可发送和接受消息。 队列具有名字，队列名队列管理器名 队列具有属性。属性包含消息的发送次序(先进先出或带优先级的先进先出)、消息访问方式(共享或独占)、队列的长度和队列触发机制等。 队列的属性由队列管理器进行管理。,34,消息 由消息头和消息体组成。 消息头是对消息结构的描述，对整条消息起控制作用，含有消息的属性及与消息相关的系统信息，如消息标志、消息类型、目的队列名、日期时间等。 消息体对应消息的应用数据，具体语义由通信双方事先约定。,35,消息类型分为3种： 请求消息(request)：除了发送数据，该消息要求对方一定要应答。 应答消息(reply)：用于请求消息的回应。 通知消息(report)：单向而不需要应答的消息。,有两种基本的mom工作模型，分别是 消息队列(message queuing) 发表和预定(publish-and-subscribe)。,36,一对一方式： 消息发送到一个目的队列里，接收方可以在任何时候查看该队列提取消息。 一对多方式： 应用对其感兴趣的主题进行登记，一旦一个主题被一个应用登记，那么该应用将会收到与该主题有关的任何消息。 发送程序只需将消息以主题的形式发送出去，由中间件来负责将消息传递给所有订阅该主题的应用。 消息发送到一个特定队列，客户机可以随时预定该队列，并从中取得消息。,37,本地应用程序,消息队列接口,消息路由和排队,消息通道代理,网络,系统管理,队列管理器,中间件,消息中间件的结构,38,队列管理器 负责创建和删除队列并控制队列的属性。 由消息路由和排队模块、消息通道代理模块和系统管理模块三部分组成。,39,消息路由和排队模块负责消息传递的方向 (1)通过消息队列接口接受消息； (2)检查消息目的队列名中的队列管理器名是否是本地的。如果是，则将该消息放入对应队列名的本地应用队列中，然后转到(5)。否则，将该消息放入对应队列管理器名的传输队列中； (3)消息通道代理模块负责将该消息传递给远程中间件系统的队列管理器； (4)远程中间件系统的队列管理器将该消息放入对应队列名的应用队列中； (5)应用程序通过消息队列接口从应用队列中获取该消息,40,消息通道代理(mca)模块 负责消息的底层传递和网络通道的故障恢复 mac使用底层网络协议(如tcp或udp等)，并采用握手方式来传送消息，即接收方的mca收到消息后向发送方的mca发应答消息进行确认 mac通过对网络通道的探测来获得网络中发生的故障，并负责故障的恢复，即发送消息失败时，mca暂时代为存储此消息。当网络连接再次建立后，mca自动重发这条消息，无需应用程序干涉。,41,系统管理模块 管理和维护中间件系统，包括： 建立和删除队列通道 生成和维护队列路由表 查询通道的状态和处理 处理各种异常情况 日志所有重要事件,42,触发机制 用于当消息的到达后激发处于休眠状态的应用程序 工作过程:,消息队列,启动队列,队列管理器,触发监控器,应用程序,1,2,3,4,5,6,43,(1)一条消息到达需被触发的应用消息队列,消息队列,启动队列,队列管理器,触发监控器,应用程序,1,2,3,4,5,6,44,(2)队列管理器根据触发类型决定是否构成一次事件触发条件,消息队列,启动队列,队列管理器,触发监控器,应用程序,1,2,3,4,5,6,45,消息队列,启