支付公司核心账务系统总体设计方案v1

乐视核心账务系统总体设计方案北京市万隆然博科技有限责任公司乐视核心账务系统总体设计方案技术方案概要书杨磊2014-9-21乐视核心账务系统总体设计方案1 / 28目录1. 项目背景 12. 系统方案 12.1. 总体流程 .12.2. 系统架构 .22.3. 系统功能设计 .32.3.1. 前置子系统 .32.3.2. 核心子系统 .42.3.3. 清结算子系统 .52.3.4. 管理子系统 .113. 系统设计原则 134. 网络拓扑图 145. 系统部署 165.1. 系统运行环境 .165.2. 数据管理 .165.3. 文件系统管理 .165.3.1. 文件系统空间管理策略 .165.3.2. 文件系统归档备份策略 .175.4. 数据库管理 .175.4.1. 数据库文件系统空间管理策略 .175.4.2. 数据库存储空间估算 .185.4.3. 数据库空间管理策略 .185.4.4. 数据库备份策略 .196. 信息类别及处理原则 206.1. 业务分级处理 .206.2. 数据分级保护 .207. 7. 应用层安全设计 .217.1. 身份认证 .21乐视核心账务系统总体设计方案2 / 287.2. 访问控制 .227.3. 数据加密 .227.4. 数据完整性和不可否认性 227.5. 代码安全 .237.6. 异常监控 .237.7. 业务安全管理 .237.8. 审计跟踪 .24乐视核心账务系统总体设计方案1 / 281.项目背景本文档是乐视支付核心账务系统的设计文档，文中对系统的整体架构进行描述，对开发设计、系统测试、并行上线等阶段提供指导作用。同时，本文档划分了系统的组成结构，并定义了各组成模块的实现功能、以及采用的相关技术，指导各子模块的设计工作及开发工作。文档内容可以等价于以往项目定义文档中的软件架构 HLD 和平台环境 HLD。本文档的阅读对象是软件开发人员、业务规范设计人员、软件测试人员、系统安装人员及用户代表。核心账务系统一期只实现了全网与一家财富公司直连。2.系统方案2.1. 总体流程总体主要的流程包括开立账户、注销账户两个主要流程。 开立账户流程1） 客户与乐视签订互联网支付服务协议2） 客户提交开户材料3） 核实客户身份证明文件4） 为客户开立结算账户并通过登记的联系方式通知客户5） 客户登录系统完成客户账户初始化（修改密码、指定对应的银行结算账户）*客户在银行开立的账户称为客户银行结算账户，客户在公司开立的非银行结算账户称为客户交易账户。乐视核心账务系统总体设计方案2 / 282.2. 系统架构项目的体系结构如下图所示：图 1 体系架构整个项目的系统结构如下图所示：乐视核心账务系统总体设计方案3 / 28图 2 系统架构2.3. 系统功能设计2.3.1. 前置子系统. 综合交易前置子系统包括的功能及组件： 协议适配支持多种协议，如 HTTP，WS 等等 格式校验根据配置的校验规则检验报文的格式 格式转换对于外部的报文格式统一转为统一支付内部的统一消息模型Comment 杨杨1: modify乐视核心账务系统总体设计方案4 / 2. 文件前置子系统包括的功能及组件： 对账文件上传上传文件至网状网、银行、天猫商城等文件服务器； 获取对账文件从省移动，银行、天猫等文件服务器获取文件； 任务调度该组件用于管理并执行系统定时任务； 文件验签该组件用于文件内容进行验签；. 支付网关子系统包括的功能及组件： 用户签约用户通过该功能与银行建立签约关系； 支付扣款系统通过该功能通知银行从指定账户中扣款；2.3.2.核心子系统包括的功能及组件：. 消息收发该组件发送,监听前置发送到请求队列中的消息乐视核心账务系统总体设计方案5 / 2. 插件调度接收到的前置发送的消息后，根据业务编码调用不同的业务插件完成具体业务的处理. 消息映射该组件映射统一消息模型到数据模型. 数据持久把映射后的数据存储到数据库中. 日志处理该组件负责把日志的内容打印到不同的日志文件中. 异步流水处理该组件负责把操作流水的数据存储到数据库中2.3.3. 清结算子系统. 调度管理子系统.1.流程管理流程管理主要包括任务定义和流程编排两个模块。任务定义主要负责定义原子任务以及该任务相关的所有公共参数。流程编排主要负责按具体的业务规则编排一系列的原子任务，并设置各原子任务的执行顺序及与该任务的特殊参数。乐视核心账务系统总体设计方案6 / 2.2.任务管理任务管理主要实现监控已调度的业务流程，任务列表页面上可以查看当前任务的执行的状态，以及对出错的业务流程重做或接着异常点继续执行该流程。包含查询任务列表、重新执行该业务流、异常恢复。 查询任务列表任务列表包括当前任务的详细信息：业务流程名、提交时间、执行时间、任务状态等信息。其中任务状态包括：未启动、成功、失败、停止，对于正在执行的任务的状态页面需异步刷新；操作栏中有启动、恢复操作。 启动任务当一个运行中的任务由于业务约束或其它异常导致该任务失败后，可以在列表页中找到该任务并执行启动任务操作，该业务流程会被重新执行。 恢复任务当一个运行中的任务由于业务约束或其它异常导致该任务失败后，可以在列表页中找到该任务并执行恢复任务操作，该业务流程执行中断点之后未完成的原子任务。.3.计划任务管理计划任务主要是对某一个业务流程设置属性及业务规则，自动创建并执行该任务。该模块主要包含创建、编辑、删除、查询计划化任务。计划任务属性及业务规则：1、 计划名称：文本框，由中文、字母、数字下划线组成，长度为 64 位；2、 开始时间：时间控件，不能小于当前时间；3、 过期时间：时间控件，不能小于当前时间；4、 时间设置：单选框，枚举类型：执行一次、每几天执行、任务重复间隔。 创建计划任务管理或运维人员通过后台管理页面输入计划任务属性，新建计划。调度引乐视核心账务系统总体设计方案7 / 28擎会定时检查计划任务，如达到计划任务指定时间，则该任务启动并执行。 编写计划任务管理或运维人员可以编辑计划任务中的任一属性。 删除计划任务管理或运维人员可以删除某计划任务，非物理删除，标志删除。 查询计划任务管理或运维人员可以通过输入开始时间、结束时间和计划名称查询符合上述要求的任务。.4.计算资源管理计算资源管理（或计算节点管理）主要负责管理各个计算资源的元数据。计算资源的元数据包括该组件标识、名称、版本号、包括 IP、端口、服务地址、状态、最大任务数、当前任务数等。计算资源元数据，包括如下属性： 资源标识：资源的唯一编号 资源名称：资源的名称 版本号：资源版本号 IP 地址：组件所在服务器的 IP 地址 端口：组件所在服务器的的端口 接口地址：服务接口调用地址，如 http:/ip:port/spi/validate.do 状态：组件实时运行状态，正常或宕机； 最大任务数：组件最大并发任务数； 当前任务数：组件当前共有多少任务在运行；.5.系统管理系统管理包括操作员管理、权限管理、参数配置和操作日志管理。乐视核心账务系统总体设计方案8 / 2. 调度引擎子系统.1.计划任务调度查询缓存或后台数据库计划任务数据，当该任务预设的时间到达后，立即调度该任务。.2.计算资源管理负责集中管理并维护分布式计算节点信息，这些信息包括计算节点的状态（正常或宕机） 、当前任务数、最大任务数。 节点可分配任务的规则： 计算节点状态为正常，当前任务数小于该节点的最大任务数时，可分配任务给该节点去执行。 计算节点状态为正常，当前任务数等于或大于该节点的最大任务数时，任务将会等待，直到当前任务数小于该节点的最大任务数时，任务才可分配到该节点上去执行。 计算节点状态为宕机，该节点不可用，任务不会分配到该节点上去执行。.3.流程实例管理管理并维护正在运行的流程实例整个生命周期，监控流程的启动、停止、完成、失败等事件，并针对相应的事件做相应的处理。.4.任务实例管理管理并维护正在运行的任务实例整个生命周期，监控任务的启动、停止、完成、失败等事件，并针对相应的事件做相应的处理。乐视核心账务系统总体设计方案9 / 2.5.调度策略管理根据集群中各计算节点处理能力，合理的安排任务到计算节点中去执行.6.接口管理接口管理主要包含以下内容： 服务器端接口：1. 任务回执接口：接收任务引擎执行消息2. 流程控制接口：接收调度管理系统发送过来的请求，完成对流程的启动、停止、停止全部流程等管理控制工作 客户端端接口：1. 任务调度接口：分发任务到任务引擎执行具体任务接口2. 心跳检测接口：定时去检测任务引擎是否存活3. 任务控制接口：停止任务引擎任务. 任务引擎子系统.1.任务队列管理负责对任务执行接口以及任务控制接口的报文消息缓存管理，实现消息异步处理.2.任务线程池管理对任务采用线程一一对应方式管理，实现任务实时的启动、暂时、停止的控制.3.任务元数据管理对调度引擎发过来的流程 ID 以及任务 ID 查询任务参数表以及系统参数表，封乐视核心账务系统总体设计方案10 / 28装成 map，提供功能插件以及公共组件使用。.4.业务功能插件实现任务功能的实际业务向导处理（例如：先做那个子任务在做那个子任务） ，具体实现由公共组件完成。.5.公共组件对子任务的具体实现.6.接口管理提供对任务执行接口、任务控制接口以及心跳回执接口的实现. 银商应用组件.1.银商对账银商对账主要包括以下几个功能：A. 预处理主要负责文件检测、文件备份、文件校验（文件名校验、文件头尾记录校验、记录级校验） 、异步入库（Oracle、HDFS ） 、Hive 建表。B. 文件比对采用 Hive 进行账单文件比对，主要包括其它应用系统账单文件、财富公司账单文件、以及统一支付账单文件的三方比对，并生成差异文件。C. 差异生成对已生成的生成差异文件进行合并D. 差异处理根据差异文件更新账单流水信息乐视核心账务系统总体设计方案11 / 282.3.4. 管理子系统. 后台管理.1.我的首页 个人信息 修改密码.2.业务管理 个人账号管理 企业账号管理.3.结算管理 单笔付款申请 结算审批.4.风控管理 账号黑名单 规则管理.5.状态监控 服务状态总揽 风险监控 操作日志乐视核心账务系统总体设计方案12 / 2.6.统计报表 交易统计 转账报表 支付报表 退货报表 充值报表 提现报表.7.系统管理 系统菜单设置 系统角色设置 系统用户设置. 前台管理.1.账户管理 客户信息.2.交易管理 对账文件查询与下载 退款审核 交易明细.3.虚拟账户 虚拟账户乐视核心账务系统总体设计方案13 / 28 提现 转账 虚拟交易查询 网上充值 网上充值查询 交易明细.4.系统管理 证书安装 密码管理3.系统设计原则对支付服务平台而言，系统整体安全的重要性是不言而喻的。因此，在系统规划和设计时，在技术和产品选择时，应将安全性放在首位予以考虑，并尽量遵循国际标准、国家标准、行业标准或行业惯例。为了实现上述安全目标，在对乐视系统平台安全体系的设计中，在乐视系统平台的建设中，乐视公司投入大量的人力、物力、财力，从制定周密的信息系统安全策略开始，加强管理和监督，制定严密的灾难恢复体系和管理制度，不断进行改进和完善。乐视系统平台信息安全体系遵循如下原则。 需求、风险、代价平衡分析的原则网络系统中没有绝对的安全，需通过安全风险分析，从系统建设需求、安全风险、安全投入、收益等方面找到平衡点，来规划安全体系。在考虑安全性的同时，需要平衡安全和成本、安全和效率、安全和方便性之间的矛盾。 多重保护的原则（全局防御的原则）任何安全保护措施都不是绝对安全的，都可能被攻破。但是建立一个多重保护系统，各重保护相互补充，当一重保护被攻破时，其它重保护仍可保护信乐视核心账务系统总体设计方案14 / 28息的安全。 多层次（网络 OSI 参考模型中的逻辑层次）保护的原则安全体系的规划应贯穿 OSI 参考模型的各个层次，如在链路层和网络层实施包过滤，在表示层实施加密传送，在应用层设置专用程序代码、运行应用层审计软件，在应用层之上启动代理服务等。 网络分段的原则（物理和逻辑）网络分段是保证安全的重要措施。网络分段可分为物理分段和逻辑分段。网络可从物理上分为若干段，即通过交换器连接各段。对于 TCP/IP 可进行逻辑分段，即把网络分成若干 IP 子网，各子网通过路由器连接，并在路由器上建立可访问表，来控制各子网间的访问。 设多个安全单元的原则把整个网络的安全性赋予多个安全单元，如路由器、屏蔽子网、网关，形成了多道安全防线。 易操作、灵活性的原则（安全措施由人完成）安全措施与网络的灵活性是一对矛盾，安全体系的规划应以不影响系统的正常运转和易操作、灵活性为前提。 最小授权的原则（分散权力，降低灾难程度）特权（超级）网络要有制约措施，分散过大的集中权力，以降低灾难程度。 综合性原则（设备 技术 策略 管理）计算机网络系统的安全应从物理上、技术上、管理制度（如安全操作乃至计算机病毒的防范等）上以及安全教育上全面采取措施，相互弥补和完善，尽可能地排除安全漏洞。4.网络拓扑图系统的网络拓扑图如下所示：乐视核心账务系统总体设计方案15 / 28同城备份中心W E B 服务区应用服务区前置服务区监控专线接入区专线接入区前置服务区应用数据库服务区WEB服务区互联网接入区业务操作终端q z - s w - Bf c - s w - 0 2f c - s w - 0 1a p p - s w - Bw e b - s w - Bw e b - s w - Aa p p - s w - AI n t e r n e t用户监控操作中心数据库服务器（ H A ）应用服务器B A N K - R T - B外联机构业务系统q z - s w - A前置服务器A P P - F W - 0 1磁盘阵列光纤交换机电信A P P - F W - 0 2B A N K - R T - AM o n i t o r - f wm o n i t o r - r t - B磁带机防火墙（ 国内品牌 ）防火墙（ 国外品牌 ）防火墙（ 国外品牌 ）防火墙（ 国内品牌 ）心跳线心跳线W e b 服务器防火墙（ 国外品牌 ）心跳线b a n k - f w - A b a n k - f w - BA P P - F W - 0 3A P P - S W - 0 4SDH监控终端m o n i t o r - r t - AI N T - T E L - R T 0 1i n t e r n e t - f w - 0 1 i n t e r n e t - f w - 0 2I D S 引擎I D S 感应器审计引擎负载均衡器（ 集群 ）负载均衡器（ 集群 ）负载均衡器（ 集群 ）心跳线应用服务器审 计 系 统数 据 中 心N M S 、 I D S控 制 中 心R a 服 务 器千兆以太网交换机千兆以太网交换机千兆以太网交换机I N T - C N C - R T 0 1联通P S T N商户审 计 系 统管 理 中 心黑洞 0 1 黑洞 0 2加 密 机 控 制 中 心金融数字加密机 2金融数字加密机 1数据库服务区专 线 接 入I n t e r n e t - f wI n t e r n e t - r tI n t e r n e t图 3 网络拓扑图乐视核心账务系统总体设计方案16 / 285.系统部署5.1. 系统运行环境系统运行平台如下：操作系统： Linux数据库： Oracle 10G中间件： WebLogic主机服务器： IBM pcserver存储： 磁阵5.2. 数据管理涉及在线数据保存与历史数据备份，文件系统和数据库都通过 IBM Tivoli 软件再备份到 IBM TSM3310 磁盘库。为了提高数据库恢复的效率，备份路径都指定为硬盘，硬盘上的备份数据至少保留 7 天才能删除，即一个数据库全备的周期。5.3. 文件系统管理5.3.1. 文件系统空间管理策略文件系统随着业务处理空间使用会不断增长，需要定期清理不使用空间，为业务处理腾出空间。文件系统清理包括：1） 操作系统清理目录，包括/var 等。2） 业务系统运行临时目录。3） 业务系统运行日志目录。文件系统中与业务有关的清理，参考目前生产配置，确定空间管理策略，总体乐视核心账务系统总体设计方案17 / 28策略如下：1） 日志备份。a) 超过 200M 日志文件需要备份。b) 应用日志保存 7 天。2） 业务文件a) 上下发文件，根据不同业务保存时间 7-140 天不等。b) 其他接口文件。根据不同业务类型进行具体制定。5.3.2. 文件系统归档备份策略文件系统需要进行定期归档备份，包括操作系统备份和业务文件系统备份。1） 操作系统备份参考目前生产系统备份策略，每周就进行全备，备份归档目录包括/、/var 、/usr、home 、/opt 等。2） 业务文件系统备份参考目前生产系统备份策略，进行每周全备、每天增量备份，备份目录包括任何业务系统认为有必要备份的目录，典型的目录类型如下：(1) 应用程序目录(2) 应用配置目录(3) 归档目录(4) 业务运行的关键目录5.4. 数据库管理5.4.1. 数据库文件系统空间管理策略文件系统随着业务处理空间使用会不断增长，需要定期清理不使用空间，为业务处理腾出空间。文件系统清理包括：1） 操作系统清理目录，包括/var 等。2） 数据库 trace 文件目录，包括 oracle 和 grid 用户 ORACLE_BASE 下 diag 产生乐视核心账务系统总体设计方案18 / 28的 dump 和 trace 文件。5.4.2. 数据库存储空间估算【以每个月 5 亿笔的交易量测算以下存储的空间】交易核心数据（前线库 Oracle 保留 30 天的数据）存储空间（12288G 12T ）Oracle 数据文件 = 每个月 5 亿笔交易 * 12 条数据 * 1K（包含索引文件） = 6144GOracle 日志文件 = = 6144G清结算后线库 Oracle 数据库（2793G+3352G6T）流水数据文件 = 每个月 5 亿笔交易 * 平均每笔数据大小 500B * 3（三方流水） * 4 个月 = 2793 G结果数据文件 = 每个月 5 亿笔交易 * 平均每笔数据大小 300B * 24 个月 = 3352 G5.4.3. 数据库空间管理策略数据库在业务系统投入使用后，会随着业务数据量增长而容量进行增长。因此，在数据库的日常运维中，监控数据库的空间是一项非常重要的内容。1）分区增长，对于采用日期分区的，随着时间增长进行分区的滚动创建。2）数据库存储空间增长。需对投入使用的数据库进行空间使用率监控，在高于特定使用率时，需提前通知平台工程师进行空间扩容。具体数据库表管理策略与具体数据表数据存储周期相关，在具体业务概要设计中确定。乐视核心账务系统总体设计方案19 / 285.4.4. 数据库备份策略数据库的备份，我们使用数据库备份和数据表备份的策略进行。每周日进行数据库的全库备份，其它日期进行数据库的日志备份。为了避免日志溢出，我们在每天成功备份日志后，并确认无误后。即删除数据库服务器中对应的日志。前线库 Oracle：使用 rman 脚本定时将数据库备份到本地硬盘，备份数据库和日志归档文件，日志备份完毕删除归档，冗余策略为 2，即本地保存两个完整备份集。后线库 Oracle：为了实现数据库备份的自动化，我们可以使用 Oracle ASE 提供的 Job Schedule 工作计划功能，定制指定时间指定的备份作业，可以沿用一期备份策略。为了提高数据库恢复的效率，备份路径都指定为硬盘，硬盘上的备份数据至少保留 7 天才能删除，即一个数据库全备的周期。数据库备份成功后，通过IBM Tivoli 软件将备份结果从文件系统备份到 IBM TSM3310 磁盘库。备份类型 频率 备份时间 说明数据库全备 1 次/ 周 周日，2 点 前线库 Oracle 和后线库 Oracle 备份到本地硬盘，次日凌晨再备份到磁带库。数据库日志备份 6 次/ 周 周 1 到周 6，每天 2 点备份到本地硬盘，次日凌晨再备份到磁带库对于一些重要的数据表，使用 bcp 导出明文文件的方式，将数据以表的方式备份出来。乐视核心账务系统总体设计方案20 / 286.信息类别及处理原则6.1. 业务分级处理根据业务风险程度，把支付交易分成若干级别，采用不同的安全控制手段来控制业务的安全性。下面定义了若干级风险，风险系数依次越来越大:序号 风险度 描述0 无风险 如信息服务等交易1 普通风险 如账户查询等2 二级风险 客户内部账户转帐等3 三级风险 客户网上充值等业务4 四级风险 客户约定账户支付5 五级风险 网上支付，如 B2B 和 B2C 等6 六级风险 委托支付6.2. 数据分级保护系统中涉及商业秘密的数据具体见表。数据类别 密级 保密期限客户信息 商业机密 长期客户账户信息 商业机密 长期与客户签定的业务协议 商业机密 长期客户业务信息 商业机密 长期客户密码信息 商业绝密 长期针对这些数据我们建议采用不同的安全保护措施：1、商业机密数据，采用明文存储，密文传输，并施加数据对象级的访问控制；2、商业绝密数据，采用密文存储和密文传输。乐视核心账务系统总体设计方案21 / 287. 7.应用层安全设计应用层安全是乐视系统平台安全体系中的重要组成部分，主要包括：身份认证、访问控制、业务安全管理、业务审计、异常业务监控、数据安全以及数据完整性、不可否认性等内容。7.1. 身份认证乐视系统平台在用户登录或关键交易处理时使用一种或多种身份认证方式，包括用户名/静态口令、图形验证码、数字证书等。 静态口令认证用户名/ 静态口令是最容易被接受、也最广泛使用的身份认证手段，乐视系统平台使用用户名/静态口令进行身份认证。口令质量策略：1、口令的复杂性必须满足同时包含字母和数字；2、口令的长度必须不小于 6 位；3、首次登录强制性要求用户修改初始密码。账号锁定策略：1、一天内口令多次认证失败，自动锁定用户；2、账号锁定后，隔天自动解锁或人工解锁； 图形验证码图形验证码是防止暴力破解密码攻击的有效手段，乐视系统平台提供图形验证码的辅助用户身份认证。 数字证书认证乐视系统平台采取中国金融认证中心的数字证书，将证书存储于 USB Key，证书与用户绑定，对企业用户、内部操作员提供必要的双因子强身份认证。乐视核心账务系统总体设计方案22 / 287.2. 访问控制乐视系统平台对系统资源、应用功能、数据资源进行严格的授权管理和访问控制：1、系统提供基于角色的应用软件功能的访问控制，包括角色定义，角色的权限管理，用户的角色管理。2、系统提供基于角色和组织机构的数据对象的访问控制能力。3、用户权限的分配遵循最小特权的原则。4、提供系统资源（文件、URL）级别的访问授权控制手段供应链网络支付系统对用户进行角色管理，包括业务管理岗、业务处理岗、资金管理岗、商务岗等，不同的角色分配不同的权限。7.3. 数据加密乐视系统平台在数据的传输、存储中，采取了必要的加密措施。对商业机密数据，采用明文存储，密文传输，并施加数据对象级的访问控制；对商业绝密数据，采用密文存储和密文传输。 传输安全所有的涉密信息在公网必须以密文的形式传输。乐视系统平台使用 128 位SSL 协议或 VPN 技术，对用户与服务器之间、第三方与乐视之间的数据传递进行加密保护，使用安全控件技术对用户在客户端浏览器输入的口令进行增强加密保护。 存储安全乐视系统平台的用户身份信息使用数据库存储，静态口令作为商业绝密数据，在数据库中用单向散列算法加密存储，防止反向解密攻击。7.4. 数据完整性和不可否认性SSL 技术在保障信息加密传输的同时，提供数据完整性的保护。对关键业务操作，使用存储于 USB Key 的数字证书进行数字签名，在强身份认证的同时，乐视核心账务系统总体设计方案23 / 28实现数据完整性和不可否认性。7.5. 代码安全在登录功能上做了防止 SQL 以及 JS 注入式攻击处理，用包含特殊字符的字符串无法登录系统，防止有人