上海浦东发展银行统一数据集市生产环境架构评估.doc

上海浦东发展银行 上海浦东发展银行统一数据集市生产环境架构评估文件状态： 草稿 正在修改 正式发布文件标识：SPDB-UDM-PRODENV-EVAL当前版本：V1.0作 者：盛勇完成日期：2007-10-30版 本 历 史版本/状态作者参与者起止日期备注1.0盛勇赵志勇(总行反洗钱)艾馨强(运营内控)徐鹤(非现场审计)马玺(信用卡反洗钱)2007-10-30目 录1本文目的52项目背景53待评估的统一数据集市生产环境架构63.1初期上线建议架构63.2建议未来的扩展架构74应用数据调查74.1统一数据集市共享数据84.2总行反洗钱84.3运营内控84.4非现场审计94.5信用卡反洗钱95服务器规格101 本文目的上海浦东发展银行基于反洗钱、运营内控和非现场审计三个应用为基础建置统一数据集市，由于各应用进展情况有些差异，而前期的服务器应用采购部分都已经完成，从整合架构、合理化配置的原则出发，需要对目前整个统一数据集市涉及的应用架构包括硬件资源进行合理的规划。本文将展示针对目前具体实际情况设计待评估的统一数据集市生产环境架构，以及实际应用的数据调查，用于评估可行性和分析风险点。2 项目背景目前涉及整个架构规划的项目共有5个：统一数据集市、总行反洗钱、运营内控、非现场审计以及信用卡反洗钱。l 总行反洗钱已经进入上线阶段(生产环境已经部署)，最终需要从统一数据集市取数l 运营内控预计11月中旬上线，服务器已经到位，需要从统一数据集市取数l 非现场审计需要从统一数据集市取数l 统一数据集市现阶段没有独立的服务器3 待评估的统一数据集市生产环境架构3.1 初期上线建议架构3.1.1 集市写节点与反洗钱读节点分离式l 初期随内控项目上线时在反洗钱生产机上运行3个IQ实例，由于初期统一数据集市的数据量仅为反洗钱接口中的数据，对于反洗钱生产机的压力影响相对较小l 在反洗钱生产机上对于Multiplex架构按照单机多节点方式部署，尽可能的减少耦合，为将来的扩展迁移预留余地l 内控和审计等应用都是以通过读节点的方式只读访问统一数据集市的共享存储，而将自身的预警、衍生数据等存放在本地存储(Local Store)中注意:由于目前反洗钱生产机已经部署并投入生产，反洗钱IQ实例是以独立的方式运行，切换到这个方案架构需要进行一定工作量的迁移工作3.1.2 集市写节点与反洗钱读节点整合式l 初期随内控项目上线时在反洗钱生产机上运行2个IQ实例，将集市写节点与反洗钱读节点整合，使得反洗钱直接通过写节点访问共享存储，将反洗钱应用的数据存储于共享存储中，这样可以提高内存使用率，降低内存的征用，同时这样才上线初期不会对反洗钱应用做很多的变更动作l 内控和审计等应用都是以通过读节点的方式只读访问统一数据集市的共享存储，而将自身的预警、衍生数据等存放在本地存储(Local Store)中3.2 建议未来的扩展架构 基于原先的集市写节点与反洗钱读节点分离式部署架构，提供了便捷的扩展迁移方法l 由于Multiplex中写节点的迁移会对整体架构造成很大的影响，于是可以将反洗钱读节点和信用卡反洗钱IQ实例迁移到新的服务器上l 在新反洗钱服务器上首先建立反洗钱读节点，然后配置存储即可，不涉及数据迁移工作l 信用卡反洗钱作为独立的IQ实例，迁移工作相对更简单 基于原先的集市写节点与反洗钱读节点整合式部署架构，同样可以迁移到未来的扩展架构，但迁移过程相对复杂一些4 应用数据调查以下数据量均表示未经过压缩前的实际数据量，并不包括数据库需要的索引、临时表空间等数据存储空间。4.1 统一数据集市共享数据时间客户数账户数日交易量第一年1600万3400万230万第五年5803万12331万834万阶段临时数据基础业务数据量每日增加交易数据保留数据量第一年97G200G2G1077G第五年352725.35G7.25G4617G4.2 总行反洗钱时间客户数账户数日交易量第一年1600万3400万230万第五年5803万12331万834万时间临时数据业务数据衍生数据总计第一年55.71G136.13G118.80G310.64G第五年202.05G493.71G430.86G1126.62G备注：总行反洗钱在统一数据集市初期上线时仍保留业务数据，未来会完整的迁移到整个架构体系中。4.3 运营内控时间客户数账户数日交易量指标数第一年1600万3400万230万8000万第五年5803万12331万834万29014万时间预警衍生数据第一年66G第五年240G4.4 非现场审计时间客户数账户数日交易量第一年1600万3400万230万第五年5803万12331万834万时间衍生数据第一年162G第五年550.8G4.5 信用卡反洗钱时间信用卡量客户量（卡量*0.8)账户量(卡量*0.8)月交易量日交易量2008年底261万209万209万680万23万2011年初482万386万386万1070万35.67万2011年底600万480万480万1554万52万时间临时数据业务数据衍生数据总计2008年8.67G45.31G15.19G69.17G2011年19.89G104.69G34.56159.14G5 服务器规格服务器归属服务器型号CPU数量(已配)内存容量(已配)CPU数量(满配)内存容量(满配)总行反洗钱HP6600612G816G运