ESB系统介绍及开发流程培训PPT课件.ppt

ESB系统介绍 1 1 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 内容介绍 2 2 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 3 3 系统的启动 系统的启动使用了Servlet的部署技术启动类 com dc frame servlet StartServlet配置文件 web xml说明 该Servlet的功能仅用于系统初始化 在应用部署到Web容器 Weblogic Tomcate等 时会调用该Servlet的init方法进行系统的初始化加载 4 4 系统的加载 系统加载入口的配置文件在app conf xml文件配置举例1 规则文件和配置文件加载 shared mode rule xml shared mode xml2 组件加载Componet 5 5 配置项的加载 系统的加载项需要一个规则文件和配置文件规则文件 处理参数的程序流程配置文件 系统所需要的参数信息举例 规则文件 mode rule xml配置文件 mode xml 6 6 组件的加载 组件的加载除了规则文件和配置文件外 还需要与组件加载相关的配置文件component xml等举例1 组件配置文件component xmlstandard Dispatcherer xmlurn conf xml2 规则文件app Dispatcherer rule xml 7 7 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 8 8 应用逻辑图 9 9 系统部署1 10 10 系统部署2 11 11 两种部署方式的比较 两种部署方式的优缺点 部署1 优点是系统具有HA 应用不存在单点故障 缺点是网络开销比较大 队列存在单点故障 部署2 优点是应用与队列在同一个机器 可以减少网络开销 缺点是应用和队列均存在单点故障 目前系统采用的是部署2的方式 并采用物理机器进行应用部署 建议在CPU和内存资源足够的情况下 可以部署多一套的应用或采用1 2 2的方式部署以减少应用的故障点 12 12 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 13 13 标准接入处理流程 14 14 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 15 15 非标准接入处理流程 16 16 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 17 17 服务调度流程 18 18 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 19 19 Processor队列监听 Processor最基本的流程队列监听读取消息识别toService属性 查找目录确认目标队列将消息送到目标队列上面的流程可知需要的配置信息有配置哪些队列需要监听服务的一个目录 确认服务的目标队列 20 20 Processor的配置文件 队列监听配置mxsd processbox xml服务目录mxsd process xml系统Properties文件mxsd process properties 21 21 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 22 22 通讯接入 Connector就是接收通讯请求的入口 其主要功能是 接受请求读请求报文传给调度器处理写响应报文上述功能也是Connector的处理流程在系统中目前主要有三中Connector 是TCPConnectorHttpConnectorJMSConnector 23 23 TCPConnector TCP的连接器使用的是Socket协议 只是习惯上称为TCPConnector该Connector主要应用于系统的非标准接入其配置信息是 tcpconnector config xmlcomponent xmlconnector xmlurn conf xmlConnector收到信息后传给调度器进行处理 24 24 HttpConnector HttpConnector采用Http协议并通过Servlet技术实现该Connector主要应用于系统的标准接入其配置信息是 httpconnector config xmlweb xmlConnector收到信息后传给调度器进行处理 25 25 JMSConnector JMSConnector通过JMS消息 主动监听发往被监听队列的消息后进行处理该Connector主要用于Provider和流水的应用其配置是 component xmlconnector xmlurn conf xmlConnector收到信息后调用服务进行处理 26 26 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 27 27 调度器的作用 调度器的作用主要 控制交易的整个处理流程目前系统用到的调度器主要有三个非标准调度标准调度器后端服务调度器 28 28 非标准调度器 调度器的作用 非标准接入的处理控制器实现类 com paic bkesb channel pierce AppDispatchImpl配置文件 app dispatcher xmlcomponent xmlurn conf xml 29 29 标准调度器 调度器的作用 标准接入的处理控制器实现类 com paic bkesb provider dispatcher StandardDispatcherImpl配置文件 component xmlstandard dispatcher xmlurn conf xml 30 30 后端服务调度器 调度器的作用 Provider端服务调度处理器实现类 com paic bkesb provider dispatcher ServiceDispatcherImpl配置文件 component xmlservice dispatcher xmlurn conf xml 31 31 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 32 32 拆包组包Converter 拆包实现了报文 byte数组 与CD的转换组包实现了CD向报文的转换包模式实现的是报文的处理 如定长报文 XML报文 Fix报文等域模式实现的是单个数据域的处理 如编码转换 掩码和格式等 包模式引用域模式进行处理 33 33 包模式接口 接口类 com dc eai conv PackageConverter实现的接口 publicvoidpack OutputPacketpacket CompositeDatadata IOConfigiocfg 组包publicvoidunpack InputPacketpacket CompositeDatadata IOConfigiocfg 拆包 34 34 包模式举例 实现的类 com paic bkesb provider conv CdtsPackageConverter配置mode xml文件 在package mode中配置如下信息 在包模式工厂中查找对象com dc eai conv PackageModeFactory 通过配置的模式名称查找 在应用程序或拆包组包的组件中可以调用 使用场景 35 35 域模式接口 接口类 com dc eai conv FieldConverter实现的接口 publicvoidunpack InputPacketinputpacket CompositeDatacompositedata FieldIOConfigfieldioconfig publicvoidpack OutputPacketoutputpacket CompositeDatacompositedata FieldIOConfigfieldioconfig 36 36 2020 2 4 37 域模式举例 实现类 com dc eai conv fieldconv StringFieldConverter配置mode xml文件 在field store mode下配置在域模式工厂中查找对象com dc eai conv FieldModeFactory 通过配置的模式名称查找 在包模式中引用域模式对单个数据域进行处理 使用场景 38 38 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 39 39 Mapping的思考 思考 为什么要进行数据映射 数据映射的功能是什么 有几种类型的数据映射 Field映射 Array映射 CD映射 映射为什么需要数据字典 映射的功能如何实现 40 40 数据映射的功能 数据映射实现的本质功能是交易接口的转换最简单的功能就是实现数据域的换名能够对请求的数据进行增删改根据作用不同可以分为请求映射 响应映射和错误映射可以实现Field Array和CompositeData的映射支持表达式和Class静态方法的调用 41 41 数据字典的作用 映射过程中离不开数据字典映射的功能完成了交易接口的转换 但是目标数据的类型和相关属性却无从得知 必须通过配置了解目标数据的相关属性可以在映射中配置域的属性 但大量域的重复配置显得映射配置非常烦琐 冗余 所以 通过一个公共的数据字典配置 这就是数据字典 42 42 数据映射的实现 ESB系统中的数据映射功能非常的强大 主要是利用了表达式的技术映射的格式是 表达式Item中间即是表达式 映射过程输入一个CD 所有的参数都在该CD中 静态方法的调用 参数的计算或内置函数的调用 都作为一个表达式进行处理 43 43 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 44 44 通讯接出 Adapter Adapter的作用是什么 在平台内部 adapter以什么样的方式加载 如何开发一个Adapter 45 45 Adapter的作用 建立与相关系统的连接 内部子系统和其他服务系统 发送请求消息 报文 对象或JMS等接受响应信息 部分的Adapter不需要等待响应 发送完毕后可以直接返回所以 Adapter的作用就是connect send和receive 拆包组包负责接口 包括编码 Adapter负责通讯 完成这两部分基本可以实现一个服务系统接入 46 46 Adapter的加载和类型 ESB系统中对Adapter的加载采用组件的方式进行加载 具备动态变更的功能Adapter的开发需要根据相关系统的通讯协议和通讯方式来确定 主要可以分为如下几种 Socket协议 如400 VIP等HTTP协议 如一户通 短信等JMS协议 如内部的队列发送等API的方式 如信用卡等其他方式 47 47 开发一个Adapter 以Http通讯协议为例 步骤1 创建类com dcfs paesb provider adapter EsbHttpAdapter 继承接口com dc eai adapter Adapter步骤2 实现Adapter接口中的方法publicObjectdoComm Objectin publicvoidsetConfig AdapterConfigconfig 完成需要的方法和属性 步骤3 配置组件需要的配置文件 组件配置文件 component xml参数配置文件 adapter xml注意 通一个类可以通过参数配置多个Adapter组件 48 48 系统的启动和加载系统的基本框架渠道标准接入渠道非标准接入Provider端服务调度Processor队列通讯接入 Connector 调度器 Dispatcher 拆包组包 Converter 数据映射 Mapping 通讯接出 Adapter 设计原则 NEXT 49 49 设计原则总结 下面是系统在设计过程中需要遵守的原则 包扩但不限此范围 高效率 尽量减少与数据库和文件的交互 可在需要时进行交互 但不能每次交易都与之交互 如渠道认证 流水号发生器等 多线程并发 且具有线程无关 系统属于多应用多线程交易处理 不能存在线程交叉影响的情况 如调度器 服务等 及时释放资源 对于数据库 socket连接等 使用完毕要及时关闭 对于内存缓存需要控制缓冲区的大小或对象的数量 并有释放机制 流水 监控采集等辅助功能的异常不能影响交易的主流程 50 50 系统设计和部署需要考虑高可用性和存在的风险 制定相应的方案和措施以范围风险 如F5隔离 多应用部署等 系统配置 参数等需要实现在线动态刷新 如组件 数据字典等尽量减少交易的执行时间 各个功能组件执行时间不遗过长 如异步流水登记 服务控制 流量控制等 少量参数的配置 尽量采用工厂 容器进行管理 如服务控制 错误码等 51 51 平安ESB配置开发流程 ESB项目组 王维斗 52 52 接入接出共4种类型 1 标准接入 ESB 标准接出2 标准接入 ESB 非标准接出3 非标准接入 ESB 标准接出4 非标准接入 ESB 非标准接出标准接入 遵循PABSD规范 XML报文结构非标准接出 非XML报文 如定长 ISO8583 53 53 标准报文接入ESB HTTP通讯协议接入 1 为新接入系统提供专用servlet 在 esb consumer WebRoot WEB INF web xml中增加配置 public consumercom paic bkesb channel connector EsbHttpScrtServletchannelnamepublic consumer3public consumer public consumer说明 http通讯协议中有两种认证方式 EsbHttpServlet采用uid password EsbHttpScrtServlet采用uid MasterKey 新接入系统使用MasterKey认证方式2 注册新渠道 esb consumer WebRoot frameworkdist channel connector httpconnector config xml public consumer管理控制台 渠道管理 新增 名称要和channel一致 54 54 HTTP通讯协议的标准接入系统使用 EsbStandardBaseServiceAfterEsbStandardBaseServiceBeforeTCP通讯协议的适配接入系统使用 EsbAppBaseServiceAfterEsbAppBaseServiceBeforeTCP通讯协议的标准接入系统使用 EsbTcpBaseServiceAfterEsbTcpBaseServiceBefore 55 55 TCP通讯协议接入 1 为新接入系统提供专用端口 esb consumer WebRoot frameworkdist channel connector tcpconnector config new xml中增加配置 bpay2 注册新渠道 方法同上 56 56 管理控制台 功能管理 系统管理 MasterKey管理 渠道UID 接入系统的英文名称 见PABSD规范 ESB PABSD 总述 VX doc 中的应用系统编码列表MasterKey 自动生成 不可编辑备注 接入系统的中文名称 见PABSD规范 ESB PABSD 总述 VX doc 中的应用系统编码列表 设置安全认证 PABSD映射文档 字段映射文档 保理业务系统 VX X X xls 服务消费者 信贷管理 服务提供者 保理业务系统参考 BESB PABSD ServiceInterfaceMapping VX X X xls 57 57 服务控制管理控制台 功能管理 系统管理 系统基本信息 新增 58 58 服务控制管理控制台 功能管理 系统维护 服务信息维护 新增 管理控制台 功能管理 系统维护 服务控制维护 新增 59 59 服务路由注册配置管理 服务管理 业务服务管理 新增 1 2 3 注意事项服务接口SERVICE CODE定义如下 XXXXXXXXXXX业务类别 性质 预留 编号例如 02005000001 即SERVICE CODE的第五位 4 60 60 服务识别管理控制台 功能管理 服务配置管理 服务识别配置 新增 标准接入 标准接出 说明事项应用位置 有两个选择consumer provider 标准到标准要provider在添加服务识别系统名称 后端服务系统的英文名称 小写 加下划线服务识别ID SERVICE CODE SERVICE SCENE服务映射ID 十个零服务名称 交易处理配置先保存再生成加载文件 效果如上文件生成的位置 esb provider config conf frameworkdist channel identify esbidentify provider identify bloan fbs xml 内容如下 61 61 SERVICE配置管理控制台 功能管理 系统管理 后端Service配置 新增 标准接入 标准接出 说明事项服务标识 由服务系统英文名称小写组成 service服务系统编码 服务系统的ID服务系统名称 服务系统的中文名称拆组包模式 standard sequence iso8583等请求编码 交易数据的编码 UTF 8 GBK CP935等响应编码 交易数据的编码 UTF 8 GBK CP935等实现类 拆包 组包 服务调度 记录交易流水等拓展属性 adapterName 负责与服务系统通讯的一组配置providerName 服务系统小写的英文名称changeErrorCode 是否改变对服务系统的错误码 在错误码前加上服务系统的ID拆组包模式的配置 在 frameworkdist shared mode xml中 62 62 SERVICE配置管理控制台 功能管理 系统管理 后端Service配置 生成XML文件 标准接入 标准接出 说明事项先生成服务配置 再加载配置 首次加载会加载成功 如果内存已经存在 则不再加载文件生成在 frameworkdist components service目录在服务标识命名的文件夹下有三个文件 component xml service xml urn conf xml 1 2 3 63 63 ADAPTER配置管理控制台 功能管理 系统管理 后端adapter配置 新增 标准接入 标准接出 说明事项Adapter标识 由服务系统英文名称小写组成 adapter实现类 ESB与服务系统通讯类HTTP通讯时使用 HTTP URL 服务系统提供的给ESB的访问入口TCP通讯时使用 Address 10 8 4 1 commport 9000 服务系统提供的IP及端口生成Adapter方法同service 生成的配置文件 frameworkdist components adapter在Adapter标识命名的目录下有 adapter xml component xml 64 64 PABSD映射文档 字段映射文档 保理业务系统 VX X X xls 服务消费者 信贷管理 服务提供者 AS400参考 BESB PABSD ServiceInterfaceMapping VX X X xls 标准接入 非标准接出 65 65 服务识别管理控制台 功能管理 服务配置管理 服务识别配置 新增 说明事项应用位置 有两个选择consumer provider 标准到标准要provider在添加服务识别系统名称 后端服务系统的英文名称 小写 加下划线服务识别ID SERVICE CODE SERVICE SCENE 特殊情况会加上版本管理码服务映射ID 和服务识别相同 唯一识别映射配服务识别 SERVIER ADAPTER的生成加载同标准接入标准接出 标准接入 非标准接出 66 66 服务映射配置管理控制台 功能管理 服务配置管理 服务映射配置 新增 说明事项应用位置 有两个选择consumer provider 标准到标准要provider在添加服务识别系统名称 后端服务系统的英文名称 小写 加下划线服务映射ID 与服务识别中配置的服务映射ID相同 特殊情况不一样 请求配置 SYS HEAD 系统头 中的PackType 交易类型 RQ R2两种SYS HEAD 系统头 中的TransCode 原交易码 SubTCode 子交易码 服务系统使用的交易 在服务系统唯一标识交易的识别码BODY 报文体 中的字段是接口文档定义的 原始接口中的字段中左边 PABSD发布的字段在右边 标准接入 非标准接出 67 67 服务映射配置管理控制台 功