Hadoop_RPC詳細分析.doc

hadoop rpc详细分析本帖最后由 hadoopor 于 2009-12-30 15:56 编辑1. 总体结构 hadooprpc逻辑上分成三部分，如上图所示。1.1. rpc interface rpc对外接口。1.2. rpc server rpc服务端的实现。1.3. rpc client rpc客户端的实现。1.4. rpc interface rpc是对外的接口类，主要提供两个方法：getproxy和getserver。1.4.1. getserver 说明rpc服务端接口。为指定协议的实例，在指定的地址和端口上启动服务。 函数原型1 public static server getserver(2 final object instance,3 final string bindaddress,4 final int port,5 final int numhandlers,6 final boolean verbose,7 configuration conf) throws ioexception;复制代码 参数说明1) instancerpc server端对象实例，也就是rpc client调用的接口实例。2) bindaddressrpc server监听的ip地址。3) portrpc server监听的端口号。4) numhandlers处理call队列的handler线程个数。5) verbose6) conf配置项。1.4.2. getproxy 说明rpc客户端接口，创建一个指定服务端的代理。 函数原型8 public static versionedprotocol getproxy(9 class protocol,10 long clientversion,11 inetsocketaddress addr,12 usergroupinformation ticket,13 configuration conf,14 socketfactory factory) throws ioexception;复制代码 参数说明1) protocolrpc server提供rpc服务的接口。2) clientversion客户端的版本号。3) addrrpc server地址。4) ticket5) conf配置项。6) factorysocket工厂。2. rpc server2.1. rpc server结构 2.1.1. server 抽象的rpc服务，提供call队列。2.1.2. rpc.server server的实现。2.1.3. server.listener rpc服务端的监听者，用来接受rpc客户端的连接请求和数据的收发。2.1.4. server.handler rpc服务端的call处理者，和server.listener通过call队列交互。2.1.5. server.responder rpc服务端的响应者。server.handler向rpc客户端发送响应是异步非阻塞的，如果有未发送出的数据，交由server.responder来完成。2.1.6. server.connection 提供接收数据，解析数据包的功能。2.1.7. server.call 持有客户端的call信息。2.2. rpc server主要流程2.2.1. 接收call调用 接收rpc client的调用，并编码成call对象，放入到call队列中，这个过程在listener线程中完成。 步骤说明：1) listener线程循环等待rpc客户端的发送数据过来2) 当有数据可以接收时，调用connection的readandprocess方法3) connection边接收边对数据进行处理，如果接收到一个完整的call包，则构建一个call对象，并将这个call对象push到call队列中，由handler线程来处理call队列中的所有call。2.2.2. 处理call调用 处理call队列中的每个请求，在handler线程中完成。 步骤说明：1) handler线程循环监听call队列，如果call队列为空，则进入wait状态，否则按fifo规则从call队列取出call2) 将call交给rpc.server处理（调用rpc.server的call）3) 借助jdk提供的method，完成对目标方法的调用4) 返回响应。由于响应需要通过socket返回给rpc客户端，所以响应的类型必须是writable。3. rpc client3.1. rpc client结构 3.1.1. client rpc客户端的实现和入口类。3.1.2. client.connectionid 到rpc服务端对象连接的标识。3.1.3. client.call 存储call调用信息。3.1.4. client.parallelresults 存储响应。3.1.5. rpc.invoker 对invocationhandler的实现，提供invoke方法，截获rpc客户端对rpc服务端对象的调用。3.1.6. rpc.invocation 用来序列化和反序列化rpc客户端的调用信息，包括方法名和参数信息。3.2. rpc client主要流程3.2.1. call流程 客户端rpc调用的处理流程，转化为socket通信。 步骤说明：1) rpc客户端发起一个rpc调用时，java的反射机制会截获该调用，并转化为对client.call的调用2) 调用getconnection建立到rpc服务端的连接3) 通过connection将序列化后的参数发送到rpc服务端4) 等待rpc服务端返回响应。3.2.2. getconnection流程 该流程用来建立到rpc server端的连接，到一个rpc server端只会建立一个连接。 步骤说明：1) 根据rpc服务端的地址和接口从连接池中获取一个，如果取到connection则直接返回2) 否则新建一个connection，并将它放入到连接池中3) 然后通过socketfactory创建一个socket，并建立到rpc服务端的连接，如果连接不成功，则重试4) 创建和关联输入和输出流对象。4. rpc线程关系 客户端发起的rpc调用都是同步的，而服务端处理rpc调用是异步的。客户端调用线程以阻塞同步的方式发起rpc连接，及rpc调用，将参数等信息发送给listener，然后就等待connection接收完响应返回。listener负责接收rpc连接，和rpc数据，当一个call