银行历史交易记录云平台整合云存储的方案建议书

南京匚创存储科技有限△司

NanjingInnovativeCloudStorageTeehnologyCo.«Ltd.

银行历史交易记录

云平台

技术方案建议书

目录

1.银行智慧云平台系统总体设计.................................................1

1.1云计算系统设计方案概述...............................................1

1.1.1系统基本功能.....................................................1

1.1.2主要设计思想和设计目标、设计原则...............................2

1.1.3银行智慧云平台的云计算解决方案..................................3

1.1.4系统的主要技术特点...............................................3

1.2银行交易记录系统基本功能与处理方案..................................4

1.2.1银行数据入库功能与处理方案......................................4

1.2.2数据存储功能与处理方案..........................................6

1.2.3查询分析功能与处理方案..........................................7

1.3银行交易记录系统互联与管理..........................................7

1.3.1组网方案.........................................................7

1.3.2网络管理.........................................................9

1.3.3系统安全........................................................10

1.4系统可靠性与扩展性..................................................11

1.4.1系统可靠性.....................................................11

1.4.2系统扩展性.....................................................13

1.5系统设计性能........................................................14

1.5.1银行数据流量处理能力...........................................14

1.5.2数据存储能力....................................................14

1.5.3查询分析计算性能................................................15

1.6定制开发方案........................................................15

2银行云处理子系统设计实施与关键技术...........................................19

2.1系统软硬件平台.....................................................19

2.2数据存储子系统......................................................19

2.2.1海量数据分布式数据存储构架....................................19

2.2.2适应应用需求的混合存储策略.....................................22

2.2.3分布式云存储数据存储...........................................22

2.2.4分布式云计算数据库数据立方数据存储............................26

2.2.5Database数据存储.............................................28

2.2.6数据存储的可靠性................................................30

2.2.7数据，玉缩........................................................31

2.3数据查询与统计分析子系统...........................................33

2.3.1数据查询与统计分析系统基本构架.................................33

2.3.2银行办公数据查询功能设计.......................................33

2.4基于云方案的银行数据查询索引与查询优化技术........................34

2.4.1基于分布式数据库的银行数据查询索引处理方案...................34

2.5银行数据处理集群的可靠性与负载均衡设计............................35

2.5.1负载均衡处理机的单点失效容错处理.............................35

2.5.2查询处理机的单点失效容错处理.................................39

2.6计算与存储集群的可靠性与负载均衡设计..............................40

2.6.1计算与存储集群Master单点失效容错处理........................40

2.6.2计算与存储集群的负载均衡处理.................................49

2.6.3分布式云存储的可靠性设计.......................................51

2.6.4分布式云计算数据库数据立方可靠性设计..........................53

2.6.5分布式云处理计算可靠性设计.....................................55

2.7查询统计计算可靠性与负裁;均衡设计...................................57

2.7.1基于Zcokeeper的单点失效和负载均衡设计........................57

2.8系统安全性设计......................................................59

2.8.1安全保障体系框架................................................59

2.8.2云计算平台的多级信任保护.......................................61

2.8.3基于多级信任保护的访问控制.....................................66

2.8.4云平台安全审计..................................................68

2.8.5云计算综合安全网关..............................................72

3银行云存储子系统介绍.........................................................75

3.1银行云存储系统架构..................................................75

3.1.1系统基本组成....................................................75

3.1.2系统功能描述....................................................77

3.2银行云存储工作机制..................................................84

3.2.1数据写入机制....................................................84

3.2.2数据读出机制....................................................85

3.3银行云存储关键技术..................................................85

3.3.1负载自动均衡技术................................................85

3.3.2高速并发访问技术................................................86

3.3.3高可靠性保证技术..............................................86

3.3.4高可用技术......................................................87

3.4云存储接口描述.....................................................87

3.4.1POSIX通用文件系统接口访问..................................87

3.4.2应用程序API接口调用............................................87

3.5云存储本地容错与诊断技术...........................................87

3.5.13.5.IcStor高可靠性...........................................87

3.5.2cStor数据完整性................................................88

3.5.3cStor快照技术..................................................88

3.6策行云存储异地容灾与恢复技术......................................89

3.6.1cStor数据备份与恢复系统功能..................................89

3.6.2cStor异地文件恢复...........................................89

3.7银行云存储部署方案.................................................90

3.8银行云存储性能指标.................................................90

3.9利用原有旧服务器资源...............................................91

4.客户案例.....................................................错误！未定义书签。

旗开得胜

1.银行智慧云平台系统总体设计

1.1云计算系统设计方案概述

当前，人类社会已经迈入“大数据”时代，信息技术高速发展。我国商业银

行基本完成数据大集中工程，建立了涵盖银行全部业务的数据仓库系统，银行的

客户资料、交易数据、管理数据等业务数据以及后台信息系统服务数据呈爆炸式

增长。尽管已经积累了大量的数据，但商业银行对数据的利用还远远不够深入，

出现“数据丰富但信息贫乏”的局面。如何利用好这些数据，从中提取出有益于

商业银行经营和决策的信息给我国银行业带来巨大的挑战。

面对银行业竞争的加剧和外资银行的威胁，国内银行在业务发展上面临巨大

的挑战s私人金融业务在银行业务中所占地位越来越重要，为银行带来丰厚的中

间业务收入。分析用户历史交易行为，挖掘用户的消费习惯，深刻和长远的影响

着银行整体客户粘性度和银行的经营水平。针对银行对海量历史交易数据数据分

析和存储方面的智能需求，提高银行客户历史存偌数据的安全，可靠，以及分析

客户历史交易数据，挖掘和分析用户行为，可以更好的给客户提供针对性更强的

消费推荐，以及推送给客户更好的业务，提高客户的忠诚度，拓展银行客户，同

时考虑银行客户的办理业务的交易记录的扫描件，音频，视频录像等各类海量存

储的需求，采用业内先进的cstor云存储系统。该系统具有可靠性，系统可扩展

性，安全性等显著优势，同时还可以通过技术手段兼容原有的服务器的存储旧设

备。

1.1.1系统基本功能

系统的基本功能和性能如下：

海量历史交易数据汇总

能够对千亿级的海量银行历史客户交易数据进行汇总处理。

海量原始交易数据上报

能够对千亿级的海量银行客户交易数据进行上报处理。

海量原始数据实长入库、生成索引

一/1

赳读万卷书行万里路

旗开得胜

能够对流量超过10000条/m的全量银行原始客户交易数据流进行实时处理。

海量数据存储、计算

能够存储千亿级别的历史客户交易数据，并完成各种复杂业务应用计算。

千亿级数据秒级查询能力

高效索引算法，智能化调度任务系统，满足秒级查询速度。

秒级实时业务响应

高效分析历史海量数据的实时数据通道，对于像实时推送等实时业务，提供

秒级响应时间。

1.1.2主要设计思想和设计目标、设计原则

设计背景：金融机构保存的客户身份资料包括记载客户身份信息、资料以及

反映金融机构开展客户身份识别工作情况的各种记录和资料。同时保存的交易

记录包括关于每笔交易的数据信息、业务凭证、账簿以及有关规定要求的反块交

易真实情况的合同、业务凭证、单据、业务函件和其他资料。

设计思想：将海量数据分解到由大量X86架构计算机构成的低成本云计算平

台上进行实时处理，依靠分布式云计算软件进行容错，从而提升银行智慧云平台

海量数据分析的实时性和性价比。

设计目标：利用大量性价比高的计算机，建立云计算平台，能够对流量超过

10000条/s的原始数据流进行实时处理，提供海量客户交易数据的存储，以及分

析挖掘、客户交易数据的智能化分析和挖掘、流量统计和分析等多种业务支持。

系统具有可动态可伸缩性、高度容错性和响应实时性，达到较之传统架构和方案

有一个数据量级的性能价格比提升。

设计原则：

（1）前瞻性技术与实际应用环境相结合

本项目是既是银行业先进技术应用示范项目，又是工程实施型项目。把握技

术正确性和先进性是前提，但是前瞻性技术实施必须在云计算平台的实际应用环

境和实际流量的基础上进行，必须结合云计算平台的实际情况进行研究和开发，

只有与实际应用环境相结合才有实际应用价值。

（2）学习借鉴国外先进技术与自主创新相结合

在云计算平台用于超大规模数据处理方面，国内外几乎是在一个起跑线上；

久2

3S'

赳读万卷书行万里路

旗开得胜

但在关键技术研究及既往的技术积累方面，国外一些大公司有着明显的优势。同

时我们将积极学习借鉴国外先进的云计算技术，同时与自主创新相结合，形成功

能强大、性能卓越的能够满足实际应用环境需求的云计算数据处理和分析平台，

结合银行对于海量历史数据存储和分析处理等方面的需求，以优异的设计方案，

建设优秀的信息处理平台，做好银行信息化技术支持工作。

1.1.3银行智慧云平台的云计算解决方案

在银行网内部，构建若干X86架构计算/存储节点，虚拟出海量云存储空间、

处理能力和数据管理能力。同时研制面向应用的分布式数据处理软件，满足数据

汇总、数据上报、数据入库、数据查询、数据计算和数据管理等应用需求。

效

据

存查

储询

图表1我行智慧云平台云计算解决方案

1.1.4系统的主要技术特点

实时性：平台在高效率并行分布式软件的支撑下，可以实时完成银行数据入

库、分析和管理工作，如数据汇总、数据上报、数据入库、数据查询、数据计算

和数据管理等。海量数据入库不会出现数据堆积现象，各类分析和查询工作基本

都在秒级完成，具有前所未有的高效性。

?读万卷书行万里路

旗开得胜

高可靠性：基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计

算平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且

不会出现丢失数据的现象。包括查询任务分配节点、计算任务分配节点、分布式

云存储元数据节点、分布式云存储数据存储节点、分布式云处理JobTracker

节点、分布式云处理Worker节点、分布式云计算数据库数据立方管理节点、分

布式云计算数据库数据立方Region节点等。

可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少

节点，平台的处理能力自动缩减。这样，可以做到与云计算平台的无对接，根

据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。

高性价比：采用X86架构廉价计算机构建云计算平台，用软件容错替代硬件

容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数

据库方案节省10倍左右的成本。

全业务支持：采用分布式数据库模式，绝大的分海量数据存放于分布式平台

并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各

种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业

智能分析业务，为银行更高效办公和吸引更多客户，增强银行的竞争力做好信息

技术支持。

1.2银行交易记录系统基本功能与处理方案

1.2.1银行数据入库功能与处理方案

银行数据入库系统总架构如图：

4

4’读万卷书行万里路

旗开得胜

应用层

应用层其他增值层

软件架构层

拓扑管理

实

时

数

据

告警管理通

道

网络管理

用户管理

图表2银行智慧云平台入库架构

银行智慧云平台通过实时数据入库系统接入采集层的银行数据，数据分配进

入负载均衡机，负载均衡机根据集群各节点负载情况，动态分配银行数据到各存

储处理机，进行报警检测、建立索引等处理，同时将银行历史交易数据存入分步

式存储系统。

负载均衡机功能

所集群机器负载情况，动态分配银行数据。所有集群机器，如果发现问题，

那么就把分配给这台机器的银行办公数据重新分配到其他机器，去除单点故障，

工,:5

》读万卷书行万里路

旗开得胜

提高系统可靠性。

负载均衡机采用Paxos算法解决一致性问题，集群在某一时刻只有一个

Master负责均衡能力，当Master宕机后，其他节点重新选举Master。保证负载

均衡机不会存在单点问题，集群机器一致性。

1.2.2数据存储功能与处理方案

教据存储处理总架如图：

应用层

CP

分rco

布

式业务层

行

并监控协调层

数

数

据

据

处eProc分布式并行计算架构

理

处

理

总

体

MapReduceZooKeeper

技

术

架

构

O«Ml«fcMot

Chukwa

虚拟资源层

图表3数据存储处理架构

数据存储系统提供如下功能：

银行数据处理：接收来自数据汇总和数据入库系统的银行数据，索引模块

实时生成索引，以提高查询速度。生成的索引存储到分布式云存储中，以供查询

银行数据使用。

专题业务分析，通过分布式云处理并行计算，同期提取业务数据，将结果分

存两路，一路存入分布式云计算数据库数据立方或日志详单存储，一路存入关

系型数据库。

6

0读万卷书行万里路

旗开得胜

1.2.3查询分析功能与处理方案

银行历史数据查询构架如图：

图表4银行数据接入云立台

当客户发起请求后，客户端把请求发向查询接口服务器，查询接口服务器

解析查询请求，后向Master任务调度机发送查询任务执行命令；Master回应执

行命令节点信息，查询服务器根据节点信息将查询命令发向查询计算模块，进行

具体查询操作，将查询结果返回给客户端，呈现给用户。

1.3银行交易记录系统互联与管理

1.3.1组网方案

组网方案如图：

7

4’读万卷书行万里路

旗开得胜

前端

云存晴机群

交换机

图表5组网方案

8

读万卷书行万里路

旗开得胜

1.3.2网络管理

服务器间网络安全检查

系统自管理通过启用网络安全检查进程(netinspect),定期检查整个系统

的网络状况，并上报各服务模块网络流量信息，在终端形成网络拓扑图，实时在

界面呈现各节点网络状态，管理员也能及时了解，各服务模块的网络流量机承载

的负荷。若出现网络故障，netinspect进程实k上报故障情况，在网络拓扑图

上以报警方式提示，或以短信的方式提示，便于管理员及时发现问题，并恢复网

络故障，确保系统在安全的网络环境下运行。

服务模块进程管理

系统自管理通过启用服务模块运行状态检查进程(proinspect),定期检查

整个系统的服务模块进程运行状况，并上报各服务模块进程的运行状态信息，在

终端将运行的进程的状态以表格形式显示，定时更新进程的运行状态信息。通过

它管理员也能及时了解，各服务模块的进程运行负荷。若在固定的时间内没有更

新，视为进程运行故障，启动主机代理自动恢复故障进程，保障各服务模块进程

持续稳定的运行的状态。

系统性能管理

系统自管理通过启用服务模块性能检查进程(serverinspcct),定期检查整

个系统的各服务器性能指标，包括CPU开销、内存占用、10峰值、网络流量、

连接数等。并上报各服务性能指标，在终端形成拓扑图，实时在界面呈现各节点

服务器性能状态，管理员也能及时了解，各服务节点处理性能及资源开销。若性

能持续高负荷，拓扑图上以报警方式提示，或以短信的方式提示，便于管理员及

时发现问题，查找问题的来源或重新评估服务器配置情况，为系统稳定运行提供

一个确实可靠的标准。

9

4’读万卷书行万里路

旗开得胜

系统日志分析处理

系统各服务模块在运行期间写日志文件，将进程的模块编号、服务器的IP、

出错页码等日志的状态(错误、告警、提示)等级别的信息保存磁盘文件，供工

程师来分析系统运行状态。同时日志分析进程(loganalyse)分析日志文件，将

重要的日志信息，进行对比、分析并汇总后，生产统一格式的日志信息，提取出

来，写入的数据库表中，终端管理通过查询界面来来显示，能及时了解到系统的

运行的状态。

系统运行状态及报警处理

系统运行报警分为以下几种：

服务器运行状态报警

服务器网络状态报警

服务模块进程报警

日志模块状态报警

1.3.3系统安全

网络安全

为保障整个系统稳定运行，首先要保障系统在网络方面是安全的。从硬件、

软件方面做相应的安全措施。

硬件：

所有的网络设备都要1+1冗余配置，涉及以下网络硬件设备冗余配置

以太网100M/1000M网卡

以太网网络交换设备

光纤网络接口FC/HBA

SAN光纤网络交换机

软件：

在整个系统上部署防火墙软件、及自产的安全管理管理软件模块来保障系统

上1。

3S'

赳读万卷书行万里路

旗开得胜

平稳运行。

数据文件安全性

见集群可靠性章节。

1.4银行历史交易系统可靠性与扩展性

1.4.1系统可靠性

分布式云存错可靠性概述：

银行业务系统对于应用的数据要求数据可靠性非常高，采用分布式云存储可

以很好的满足这一性能。分布式云存储包括元数据节点（Namenode）和数据节点

（Datanode）,Namenode是一个中心服务器，负责管理文件系统的Namespace和

客户端对文件的访问。，Datanode在集群中一般是一个节点一个，Datanode是文

件系统中真正存储数据的地方。

DataNodc所在机密挂了怎么办？

分布式云存储（分布式云计算DistributedFileSystem）默认的最基本的存

储单位是64M的数据块（block）o一个文件对应的所有BLOCK全部按照一定的

部署策略存在于DataNode上，文件的所有block为了容错都会被复制（一般为

3份），每个文件的block大小和replication因子都是可配置的。Datanode每

3分钟向Namenode发送心跳，如果10分钟datanode没有向Namenode发送心跳,

则Namenode认为该Datanode已经dead,Namenoce将取出该Datanode上对应的

block,对其进行复制。

Namenode挂了怎么办？Namenode主控服务器，为了避免主节点失效而影响

整个系统正常工作，我们采用基于分布式云存储的改进方案Avatar,同时可开

启两个Namenode,主Namenode和secondNamenode，实际工作的只有主Namenode°

±Namenode将所有关于文件和目录的操作记录着会写入日志，并定时序列化到

本地做镜像，并且保存到本地的NFS服务器，同时secondNamenode读取主

Namenode所在NFS跟务器的日志并对镜像日志做Checkpoint。故障后，

secondNamenode升级为Namenode,通过镜像数据和文件日志迅速恢复系统°数

氏11

赳读万卷书行万里路

旗开得胜

据服务器可通过分布式协同服务机制得知关于主控服务器的更迭情况，然后向新

的主控注册并继续发送心跳。

分布式云计算数据库数据立方可靠性概述：

分布式云计算数据库数据立方系统由分布式云计算数据库数据立方集群和

ZooKeeper集群组成。分布式云计算数据库数据立方的可靠性由其自身的

ZooKeeper机制保证。分布式云计算数据库数据立方包括Hregion服务器群和

Master主服务器构成。Master负责管理Hregion。物理上，一张表是被拆成多

个块，一张完整的表格是保存在多个Hregion上面的。

master挂掉怎么刃、？

由于master只维护表和region的元数据，因此master下线短时间内对整

个分布式云计算数据库数据立方集群没有影响，master保存的信息全是可以冗

余信息（都可以从系统其它地方收集到或者计算出来），因此，启动分布式云计

算数据库数据立方时可以再启动一个备用的master,实际工作的只有主master,

当主master所在节点宕机，会自动切换到备用master所在节点。

Hregionserver挂掉怎么办？

物理上，表格分为多个Region一张表是被拆成多个块，一张完整的表格是

保存在多个Hregionserver上面的。并且分布在多台Hregionserver中，物理上

所有数据存储在分布式云计算的分布式云存储上，由一些子表服务器来提供数据

服务，提供服务时，子表先查HMemcache,如果没有，再查分布式云存储上的

HStore,由分布式云存储来保证数据的可靠性。如果丢失Region的数据所在节

点的datanode宕机，分布式云存储会自动映射到其他节点，从而保证Region

数据的可靠性。

ZooKeeper挂掉怎么办？

Zookeeper分为2个部分：服务器端和客户端c启动Zookeeper服务器集群

环境后，多个Zookeeper服务器在工作前会选举出一个Leader,在接下来的工

作中这个被选举出来的Leader死了，而剩下的Zookeepcr服务器会知道这个

Leader死掉了，在活着的Zookeepcr集群中会继续选出一个Leader,选举出

leader的目的是为了可以在分布式的环境中保证数据的一致性。

分布式云处理可靠性概述：

12

艮读万卷书行万里路

旗开得胜

分布式云处理整体上可以分为这么几条执行的线索，JobTracker与

JobTracker是一个master服务，软件启动之后JobTracker接收job,负责调度

job的每一个子任务task运行于TaskTracker上，并它们，如果发现有失败的

task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。

TaskTracker是运行于多个节点上的slaver服务。TaskTracker主动与

JobTracker通信，接收作业，并负责直接执行每一个任务。TaskTracker都需要

运行在分布式云存储的DataNode上，

JobTracker。挂掉怎么办？在系统启动时同时启动备份JobTrackerl节点，

当JobTrackcrO节点宕机时，ZooKccper会在其上启动JobTracker进程替代

JobTracker。节点,虚拟IP会指向此节点,TaskTracker会注册到此节点上,未

完成的分布式云处理作业会被ZooKeeper调度到此节点上重新执行。

TaskTracker挂掉怎么办？JobTracker是一个master服务，软件启动之后

JobTracker接收job,负责调度job的每一个子任务task运行于TaskTracker

上，并它们，如果发现有失败的task就重新运行它。并且将其负责的task分配

给其他TaskTracker上。

1.4.2系统扩展性

已有的分布式云计算集群规模

分布式云计算是一个相当有弹性和扩展性的平台，它既可以在成千上万妁机

器上跑，也可以在很小规模上运行。目前最大的分布式云计算集群有四千台机器。

分布式云计算扩展优势：

与其它分布式系统相比，使用分布式云计算的好处在于它的水平的可扩展

性，在少量结点上，用分布式云计算处理有限的数据时，不能展示分布式云计算

的性能，因为开始分布式云计算程序相关的代价比较高，其它并行/分布程序方

式，比如MPI(MessagePassingInterface)可能在2台，4台或许10多台计算

机上有更好的性能，尽管在少量机器上协同工作在这种系统上也许会取得更好的

性能，但这种为性能所要付出的努力是非线性的增长。用其它分布式框架所写的

程序在从十台机器的级别到成百上千台机器需要大量的重构工作，这也许要程序

重写几次，并且其它框的基础元素会限制应用的规模大小。但是特别设计的分布

式云计算有着水平的可扩展性，一个分布式云计算程序写完后，在10个结点上

K13

3S'

赳读万卷书行万里路

旗开得胜

运行，如果迁徙到更大的集群上运行，几乎不需要做什么工作，分布式云计算

平台会管理数据和硬件资源并提供与可用资源成比例的可靠性能。

分布式云计算扩展方法：

分布式云计算数据库数据立方集群具备线性扩展功能，只需要将配置好的

regionserver节点加入到集群中。

分布式云处理集群具备线性扩展功能，只需要将配置好的TaskTracker节点

加入到集群中，JobTracker节点就会将Map或Reduce任务分配给此节点处理。

分布式云存储具备线性扩展功能，只需要将配置好的DataNode节点加入到

集群中，并且在集群空闲时执行balancer工具以平衡集群中DataNode的数据块

负载。

1.5银行历史交易系统设计性能

1.5.1银行数据流量处理能力

银行数据集群完全采用分布式实现，支持线性扩展，每节点采用低端X86PC

Server处理500条/s流量。以下是各部分处理能力统计：

•银行数据存储查询服务器

配置：8核CPUX2,主频2.0GHz,内存32G,硬盘8X2TSATA

处理能力：折合银行数据入库流量500条/s/台

•应用分析服务器

配置：8核CPUX2,主频2.0GHz,内存32G,硬盘2X300GSAS

处理能力：折合处理并发访问量500次/s/台

1.5.2数据存储能力

原始银行数据存储采用云存储平台，分布式文件系统存储服务。

性能指标：

•存储量指标

单系统应支持PB级存储容量。

•吞吐量指标

吞吐量是指在没有帧丢失的情况下，设备能够接受的最大速率。吞吐量根据

应用系统读写方式和应用系统读取存储内容大小分成四个指标。分布式文件存储

14

赳读万卷书行万里路

旗开得胜

系统按照32个节点并发500个用户计算，单节点8块2T大小的硬盘情况下，每

个节点指标具体内容如下表所示：

表8分布式文件存储系统吞吐量指标

编号读写方式存储内容大平均吞吐量指标(MBps)

小

1100%读1GB60

2100与写1GB30

3100%读100KB30

4100%写100KB15

图表6分布式文件存储系统吞吐量指标

•系统响应时间指标

千兆网络环境下，局域网客户端从分布式文件存储系统中读取4096字节存

储内容的响应时间应不高于50mso

银行数据存储采用分布式云存储性能指标，如下：

•数据读取性能：40~80MB/s•节点；

•数据规模：10PB规模；

•数据负载均衡时间：可依据流量配置而确定；

•集群重新启动时间(10PB规模)：分钟级别：

1.5.3查询分析计算性能

>对任何实时分析操作的反应时间小于10秒；

>查询、统计操作的首次响应时延小于1秒；

>并发操作终端数大于30个；

>基于银行数据的统计，记录5000万条以内，30秒可以统计完成。

1.6银行历史交易系统定制开发方案

相对于已经完成的传统方案，云计算方案还需要在以下方面进行特定开发。

(1)历史数据汇入处理平台定制开发

历史数据入库系统需要使用与计算存储集群分立的专用机器(可安装在各县

15

赳读万卷书行万里路

旗开得胜

县现有的数据服务器上）。由于数据汇入处理不需要存储任何数据，仅仅需要读

取、解析和入库数据。因此，数据汇入时对服务器的要求比较简单，不需要考虑

和使用诸如分布式云计算的大规模数据并行计算和存储系统，只需要一般的单一

的服务器即可。

（2）上报数据上报处理平台定制开发

上报数据上报系统需要使用与计算存储集群分立的专用机器（可安装在县数

据中心现有的数据服务器上）。由于数据上报处理不需要存储任何数据，仅仅需

要读取、解析和上报数据。因此，数据上报时对服务器的使用比较简单，不需要

考虑和使用诸如分布式云计算的大规模数据并行计算和存储系统，只需要一般的

单一的服务器即可。

但是由于上报的数据量比较大，而上报时间又不会很长，所以对服务器的性

能有一定要求。

（3）银行数据实时入库并创建索引程序定制开发

银行数据存储在分布式云计算系统的分布式云存储中，但由于巨大的银行数

据流量，每秒钟将有大量的银行数据产生，为了提供及时的数据查询，这些数据

文件必须得到及时的索引创建处理，否则将造成大量的银行数据积压。因此，索

引创建程序需要有较高的实时处理能力，以便能在毫秒级时间内保证处理完大量

的一秒钟的银行数据。由于分布式云处理计算任务需要较长的作业初始化时间，

银行数据索引创建程序将难以用分布式云处理程序实现，而需要基于分布式云存

储、利用分布式云存储编程接口编写和定制较为复杂的非分布式云处理程序，该

程序不能依赖任何分布式云处理的编程构架和接口，而需要自行编写程序完成全

部的数据读出、解析处理、复杂的索引计算、以及索引数据的输出（输出到分布

式云存储或者分布式云计算数据库数据立方）处理过程C

（4）查询分析接口开发

银行智慧云平台会提供以下的应用接口：电子政务，电子商务，电子监控，

行政管理、设备管理、流量统计和分析、系统管浬等。

这些应用接口都需要根据实际的应用需求再进行合理的改进过程。

\＜：16

&读万卷书行万里路

旗开得胜

（5）查询分析软件定制开发（可选）

查询分析软件将设计为基于Web的应用程序，包括客户端查询用户界面以及

服务器端查询服务程序。

客户端查询用户界面可基于通用的浏览器实现，也可设计为独立

（standalone）的客户端软件。具体的客户端界面将需要根据不同的查询功能需求

设计实现不同的查询界面。

查询服务软件将基于ApacheWeb服务器设计实现。需要特别考虑的是，大量

并发的用户查询任务符需要设计实现查询任务分发时的负载均衡处理。

（6）并行处理任务的负载均衡调度和单节点失效恢复机制的定制方案

前述的银行数据入库、建立索引、数据汇总和数据上报、数据查询等处理中

需要考虑的一个共性的重要问题是，为了对大量数据进行并行化的处理、或者大

量用户同时发出了很多查询请求时，需要考虑并行计算任务的分发调度和负载均

衡，尤其是负责分发调度的节点可能出现单节点失效而导致系统无法正常工作。

为此，将基于Zookeeper设计实现一个可防止单节点失效的并行计算任务分发调

度控制机制和程序框架。该框架中，Zookeeper将使用3台并行计算任务调度服

务器，并有Zookeeper负责选择和确定一个主服务器进行工作，但当主服务器失

效时，Zookeeper将能够自动感知并选择另一个服务器作为主服务器工作，以此

完成单节点失效的恢复处理。进而，通过Zookeeper还可以控制和均衡调度使用

大量的计算节点，从而完成并行计算任务分发调服时的负载均衡。

（7）分布式云计算计算与存储集群的可靠性设计和功能扩展

分布式云计算作为一个开源的面向大规模数据并行计算的编程框架和平台，

其可靠性和性能方面治存在不少需要改进的地方。比如，分布式云计算集群的

Master服务器虽然开用了一个备份Master服务器，但当主Master服务器失效

时，备份Master服务器并不能自动完成失效恢复和切换处理。这就无法满足银

行智慧的实时性处理需求。为此，我们需要对分布式云计算进行改进，设计实现

一个能自动完成Master服务器失效处理和切换的定制分布式云计算系统，以便

籍17

艮读万卷书行万里路

旗开得胜

为银行智慧云平台提供一个高可靠性的大规模数据并行计算和存储平台。

18

读万卷书行万里路

旗开得胜

2云处理子系统设计实施与关键技术

2.1银行历史+系统软硬件平台

系统软硬件结构如图:

监控协调层

数

据cPrcc分布方式并行计算架构

处

理t

层MapReduceZookeeper

存

储

层

Chukwa

虚拟资源层

图表7系统软硬件结构

本地银行历史交易系统的物理硬件采用x86PC服务器，操作系统采用RedHat

Linux0

2.2银行交易数据存储子系统

2.2.1海量数据分布式数据存储构架

云计算是一种超级的计算模式，可以把网络中的计算机虚拟为一个资源池,

将所有的计算资源集中起来，并用特定软件实现自动管理，使得各种计算资源可

以协同工作，这就使得处理数量巨大的数据成为了可能。

基于云计算的海量数据存储模型，是依据云『算的核心计算模式分布式云处

19

*读万卷书行万里路

旗开得胜

理，并依托实现了分布式云处理计算模式的开源分布式并行编程框架分布式云

计算，将存储模型和云计算结合在一起，实现海量数据的分布式存储。

分布式云处理是云计算的核心计算模式，是一种分布式运算技术，也是简

化的分布式编程模式，用于解决问题的程序开发模型，也是开发人员拆解问题的

方法。分布式云处理模式的主要思想是将自动分割要执行的问题，拆解成Map

（映射）和Reduce（化简）的方式。

在数据被分割后通过Map函数的程序将数据映射成不同的区块，分配给计

算机集群处理达到分布式运算的效果，在通过Reduce函数的程序将结果汇整，

从而输出开发者需要的结果。分布式云处理借鉴了函数式程序设计语言的设

计思想，其软件实现是指定一个Map函数，把键值对（key/valuc）映射成新的键

值对（key/value）,形成一系列中间结果形式的kcy/valuc对，然后把它们传给

Reduce（规约）函数，把具有相同中间形式key的value合并在一起。Map和

Reduce函数具有一定的关联性。

分布式云计算是一个实现了分布式云处理计算模型的开源分布式并行编

程框架，程序员可以借助分布式云计算编写程序，将所编写的程序运行于计算

机集群上，从而实现友海量数据的处理。此外，分布式云计算还提供一个分布

式文件系统（分布式云存储）及分布式数据库（分布式云计算数据库数据立方）

用来将数据存储或部署到各个计算节点上。借助分布式云计算框架及云计算核

心技术分布式云处理来实现数据的计算和存储，并且将分布式云存储分布式文

420

&读万卷书行万里路

旗开得胜

件系统和分布式云计算数据库数据立方分布式数据库很好的融入到云计算框架

中，从而实现云计算的分布式、并行计算和存储，并且得以实现很好的处理大规

模数据的能力。

综合分布式云处理和分布式云存储来看分布式云计算的结构:

在分布式云计算的系统中，会有一台Master,主要负责Namenode的工作以

及JobTracker的工作。JobTracker的主要职责就是启动、跟踪和调度各个Slave

的任务执行。还会有多台Slave,每一台Slave通常具有DataNode的功能并负

责TaskTracker的工作。TaskTracker根据应用要求来结合本地数据执行Map任

务以及Reduce任务。

主服务控制集群相当于控制器部分，主要负责