【word】 基于数据仓库的商业银行反洗钱系统的架构.doc

基于数据仓库的商业银行反洗钱系统的架构第10卷第4期20l1年4月v01.10no.4adr.20ll基于数据仓库的商业银行反洗钱系统的架构汪婷(上海建桥学院,上海201319)摘要:主要阐述了银行搭建统一基础数据平台的必要性和深度挖掘”客户效益”所起的作用,对构建企业级数据仓库平台及实现银行反洗钱系统按层作了的详细的设计.关键词:数据仓库;反洗钱;etl;businessintelligence中图分类号:tp309文献标识码:a文章编号:16727800(2011)040160031反洗钱系统的构建1.1构建目标构建商业银行企业级数据仓库系统的总体目标分为以下2点:构建统一的数据平台;集成现有的核心业务系统,外围业务系统,管理业务系统,前置系统等数据,并进行一致性和完整性整合处理,按主题进行数据重组和格式转换,为银行管理层提供一个真正涵盖全部业务的统一视图,从物理和逻辑上满足数据仓库的建设要求.构建统一的应用平台.通过完整的系统规划和设计,构造完善的系统体系结构和技术框架,保证系统的可扩充性和稳定性.按照用户的分析需求,使用报表,随机查询,多维分析和数据挖掘和门户集成等多种方式进行数据展现.1.2目标定位商业银行反洗钱工作的主要目标定位在:通过检查确认银行在反洗钱内部控制制度的制定,执行等各个环节存在的缺陷,促进银行加强管理,降低经营风险;通过对银行交易数据的检查,发现洗钱等金融犯罪活动的线索,联合其他监管机构对此类范围活动进行打击,以维护公众利益,保障金融安全.反洗钱系统平台作为开展反洗钱信息监控报告工作的核心,并保证反洗钱系统的稳定性,可靠性,安全性及可扩展性.具备特点如下:商业的全辖业务,反洗钱监控报告信息的etl;本外币,大额与可疑交易的统一平台;可疑交易量化模型;集中的信息数据存储;灵活的计算引擎;可扩展的规则引擎;自动化的流程引擎;完整的反洗钱工作处理过程;丰富的反洗钱监测,调查与报告功能;灵活的数据报送接口;基于j2ee体系架构的系统平台.2系统设计方案根据反洗钱系统的功能需求和上级监管机构对反洗钱工作的要求以及银行的内部反洗钱工作机制管理的需要,系统从逻辑机构上按以下5个层次进行设计开发,各层次采用灵活的接口设计进行衔接,分别实现不同层面的功能和业务需求.逻辑层次划分如下:数据采集层,数据存储层,数据处理层,信息管理层,信息报送层2.1数据采集层本系统面向银行的各数据源,提供了灵活的接口进行数据采集.此外,数据采集层提供了一整套数据采集服务,实现了自动化流程的数据采集,excel文件导入等功能.通过各种的加载策略,完成数据抽取,数据转换,数据装载等一系列过程.数据采集逻辑结构如图1所示:.数据采集台.蟾萃_;_灞i核心业务本外币支付阉际贸易结授f务后资金后台离岸历台其它业务系数据库结算数据库算数据库台数据库数据库数据库统数据库图1数据采集逻辑结构考虑数据安全性,etl过程的复杂性,合理性等方面,反洗钱系统的etl过程分为两部分:将外部数据源(数据仓库数据缓冲区或核心平台区)中的数据经过第一次etl过程,加载到反洗钱的数据缓冲区(临时区);将反洗钱数据缓冲区(临时区)中的数据,经过转换和处理,作者简介:汪婷(1982一),女,上海人,上海建桥学院助教,研究方向为电子商务.第4期汪好:基于数据仓库的商业银行反洗钱系统的架构?161?加载到反洗钱数据集市中.在上述过程中,数据在逻辑上划分为外部数据源,反洗钱缓冲区和反洗钱数据集市3个数据区域.外部数据源可以是数据仓库的数据缓冲区,也可以是其核心平台数据区,即经过数据路径1或数据路径2,但两条路径互斥.当反洗钱数据库和数据仓库在物理上是统一,外部数据源允许,且提供出错处理机制的情况下,也可以将外部数据源直接做为反洗钱的数据缓冲区,从而减少物理存储空间占用,减少etl环节,提高eti时间效率.具体处理过程如图2所示:图2反洗钱数据集市流程为了保证反洗钱系统的顺利实施,满足监管机构的监管要求,配合银行内部it建设整体规划,反洗钱系统的初次建设以数据仓库的缓冲区(类源业务系统数据模型)作为数据源,etl过程经过路径1;待数据仓库核心模型建设完成后,反洗钱系统进行改造,将数据源迁移至数据仓库核心数据区,etl过程经过路径2.2.1.1数据的抽取在将数据从数据仓库抽取出来的过程,以非实时的数据采集方式实现,主要有以下几种方式,如下图所示:第一种方式,是数据仓库将数据”推”出来(出于系统安全性,数据安全性,系统性能等因素),形成数据文件,再使用加载工具读取数据文件.多适用于数据仓库和反洗钱数据库物理上是独立的情况;第二种方式,是etl工具通过各数据库连接方式(驱动),访问数据源,读取数据;第三种方式,加载工具/应用程序通过0dbc/jdbc直接访问数据仓库,将数据直接从数据仓库中抽取出来,对于数据量不大的情况适用.考虑我行的数据环境,软硬件环境,以及效率等因素,建议采用第二种方式.2.1.2数据的转换,分布及存储作为反洗钱数据库的源数据的数据格式通常是相异于反洗钱数据模型的.因此数据在进入反洗钱数据集市之前都要经历一定的清洗和转化的过程.数据采集服务提供给用户丰富的转化程序以确保其可以满足各种对数据进行净化,重组,关联,标准化和求和的需要,从而使数据更为准确和有用.这些转换方式包括:sql函数,计算监控数据库转换程序,统计算法以及自定义函数.2.1.3数据装载数据采集服务充分利用目标数据库的快速数据装载功能,将数据装人到反洗钱数据库的目标数据库中.数据采集服务中提供的数据装载功能可以和其它数据抽取,转换功能结合在一起被统一调度执行.一般地,在反洗钱数据集市的具体构建中,可以在反洗钱数据集市中直接对数据进行加工处理.对于比较大的数据量,往往采用将数据库中表的处理结果写入硬盘,然后再利用快速数据装入功能装入数据库的方法来提高反洗钱数据库的处理速度.2.1.4流程的自动化数据采集服务的定时调度功能有效地减少了在建立反洗钱数据库以及日常的抽取数据时所需要的人为的干预工作,可以保证所有流程的自动化.数据采集服务的引擎调度对每一个采集流程支持如下流程控制:成功时:指示一个采集流程将在它前面的流程运行成功时才开始运行;完成时:指示一个采集流程将在它前面的流程运行完成后开始运行,无论前一个采集流程是否成功;失败时:指示一个采集流程将仅在它前面的流程运行失败时才开始运行.2.1.5反洗钱数据库的维护数据库所需的维护量与数据库的活动量或工作负荷量直接相关.为了提高最终用户的查询响应,在日常的维护中需要做如下的工作:创建索引,收集表的统计信息,重组表等.2.2数据存储层本系统产品的数据存储层主要以按数据流向分层保存数据.并根据不同数据应用层次的需要建立不同的数据模型.系统产品分数据层模型与应用层模型,对于数据层模型按照数据层次不同划分为不同的数据模型,对于应用层模型应用角度不同划分为不同的数据集市.数据层模型:ods数据模型:主要用于保存源系统数据,如来源于数据仓库数据.标准数据源数据模型:主要用于保存反洗钱系统用到的数据源表,如客户信息数据,账户信息数据,交易信息数据等原始数据源及手工录入数据源.应用层模型:转换规则库:主要用于存储etl采集过程中的数据转换规则以及数据计算任务.反洗钱规则模型库:主要用于存储反洗钱的监测模型以及监测规则.指标库:主要用于存储计算客户,账户,交易的各类指标数据,并将其应用于反洗钱规则的监测.上报报告库:主要用于存储根据上级监管机构的监管要求,计算产生的反洗钱报告数据.2.3数据处理层本系统产品的数据处理层主要是依据反洗钱数据集市,对本外币,大额与可疑交易提供交易数据的计算服务,洗钱行为的监测规则服务,反洗钱处理的流程服务.这些系统服务将由计算引擎,规则引擎,流程引擎构成的核心引擎服务提供.数据计算引擎:负责进行数据计算,指标计算以及复杂数学公式的计算功能.指标规则引擎:负责进行统计指标,关键指标,监测规则以及各种分析规则的制定,监测,分析过程.处理流程引擎:负责处理系统中涉及的各种信息处理流程.此外,数据处理层除了提供核心引擎服务,还将实现?162?软件导刊2o11年反洗钱的处理过程,大体如下所述:交易数据处理流程;大额交易上报处理流程;可疑交易上报处理流程.2.4信息管理层上面三层主要体现了一些采集方式,反洗钱监测规则,核心引擎等后台管理的内容,而反洗钱监测与报告系统产品的信息管理层,则通过web方式为用户提供了一个反洗钱信息处理的功能界面操作平台,对可疑的洗钱行为进行监测预警,调查分析,跟踪管理以及文件上报等反洗钱处理过程.具体功能如图3所示.,l塑塞墅塑图4反洗钱数据上报交易处理过程,针对监测到的大额和可疑交易进行筛选确定上报数据;根据您对交易处理结果生成报告文件;文件通过校验和报告审核,确定最终的上报数据;针对上报数据形成监管机构需要的接口文件;将接口文件提交给监管机构并归档;对于监管机构给出的回执,自动进行处理,提示回执与上报之间的关系,定位回执中错误的来源.修1一=!;霹二囊.次,翼姜磊鬈管,璺墨理,功能管理,任务管理,机构管理,.,:.参数謇:.妻.,.于i-i:供孚.苎竺圭功.季篓竺竺,动的桑.e:文堂墨璧兰.,翌妻!鐾曼磊.算ilu建立杀,行差,分析,案例跟踪以及报告管理等反洗:|=币筷钱处譬.一一.:钱为.量篓子=f=要.月釜菩web.72-+妻.,堡管理,调查管理,案例磊操作言:钱行为管理,统计查询,特征分析.蕃.,2.5信息报送层枷辨一一.一一abstract:thisarticlemainlyexpoundsthebankbuildunitybaseddataplatformofnecessityan