银行历史数据管理方案ppt课件

1、1甘肃银行历史数据及应用管理甘肃银行历史数据及应用管理 2016 2016年年7 7月月2目录目录1 我行历史数据应用与管理方案与架构23历史数据平台与ODS功能定位历史数据应用与管理面临的问题与挑战银行对历史数据管理的需求业务需求业务需求 直观地搜索企业直观地搜索企业95%的信息的信息 经营报表经营报表 历史查询历史查询 客户历史账单查询客户历史账单查询 Fast, easy search Align business, legal and IT needs ITIT需求需求 数据查询数据查询 数据备份数据备份 数据归档数据归档 数据仓库系统数据仓库系统数据数据法规需求法规需求 把更多的电子

2、发现工作把更多的电子发现工作留在企业内部留在企业内部 审计审计 合规检查合规检查 监管报送监管报送 实行保留策略和法律存实行保留策略和法律存(Legal Hold) 出于法规相关或特权查出于法规相关或特权查阅信息阅信息如何优化存储控制成本如何优化存储控制成本 怎样保证可靠性和性能怎样保证可靠性和性能 怎样归档管理留存信息，保证无怎样归档管理留存信息，保证无篡改，无丢失，满足未来需求的格篡改，无丢失，满足未来需求的格式式 怎样提高响应时间或者确保良好怎样提高响应时间或者确保良好的响应时间的响应时间ITIT部门需要面临的问题部门需要面临的问题如何保证完整的保留信息如何保证完整的保留信息 怎样有效灵

3、活的统计，怎样有效灵活的统计， 方便方便快速的查询快速的查询 防止信息泄露与审查方法防止信息泄露与审查方法来自业务需求的挑战来自业务需求的挑战满足银行各部门对信息风险监管的高弹性、健壮性、高性能需求？满足银行各部门对信息风险监管的高弹性、健壮性、高性能需求？合规审查合规审查保留审计保留审计各部门对数据的问题与挑战各部门对数据的问题与挑战IT部门对历史数据面临的与挑战5趋势趋势挑战挑战信息数据的海量增长信息数据的海量增长 IT 预算的紧缩预算的紧缩数据存储的需求大于数据存储的需求大于IT预算预算不断增长的数据使用需求不断增长的数据使用需求数据应用频繁数据应用频繁信息无处不在信息无处不在内部数据丢

4、失问题日益严重内部数据丢失问题日益严重数据要求严格、数据要求严格、数据存储时间长数据存储时间长严格的数据管理严格的数据管理安全的数据完整性和可用性。安全的数据完整性和可用性。信息的审计和法规遵从信息的审计和法规遵从信息难以审计信息难以审计信息统一法规遵从的挑战信息统一法规遵从的挑战6目录目录我行历史数据应用与管理方案与架构3历史数据平台与ODS功能定位历史数据应用与管理面临的问题与挑战2 21 17分析系统&业务系统区别8历史数据平台&ODS功能定位历史数据平台系统历史数据平台系统ODSODS系统系统系统定位系统定位1 1 用于交易明细查询用于交易明细查询, ,非结构化数据存储查非结构化数据存

5、储查询询 等等2 2 分流交易系统明细数据查询压力分流交易系统明细数据查询压力1 1 业务指标业务指标, ,报表展现报表展现2 2 数据交换数据交换面向用户面向用户1 柜面（柜员）柜面（柜员）2 客服中心客服中心(客服客服)3 网上银行网上银行(客户客户)4 手机银行等渠道手机银行等渠道(客户客户) 业务管理层业务管理层(报表平台报表平台) 企业管理层企业管理层(高管驾驶仓高管驾驶仓) 下游数据消费系统下游数据消费系统(数据交换数据交换平台平台)响应能力响应能力1 1 高并发高并发, ,高可用高可用 1 1 批量批量, ,独占资源独占资源保存期限保存期限长期存在长期存在,3 ,3年以上年以上1

6、 1 接口文件保存接口文件保存1313个月个月2 2 加工汇总后数据长期保存加工汇总后数据长期保存优点优点1 1 保留数据的原样性保留数据的原样性2 满足了数据的管理要求满足了数据的管理要求1 突出数据的统一性突出数据的统一性2 满足了数据的应用要求满足了数据的应用要求9OLTP&ODS数据结构对比10OLTP&OLAP系统对比比较项比较项目目OLTP( (联机事务处理) )OLAP(OLAP(联机分析处理)ODSDWDW建设目的建设目的业务操作，事务处理业务操作，事务处理事务处理，短时分析事务处理，短时分析决策支持，分析功能决策支持，分析功能服务对象服务对象生产层生产层业务管理层业务管理层企

7、业管理层企业管理层存储周期存储周期即时即时短期短期长期长期处理频率处理频率实时实时准实时准实时(T+1)非实时非实时数据容量数据容量小小小小非常大非常大功能结构功能结构分散分散相对集中相对集中集中集中数据类型数据类型明细数据明细数据明细数据明细数据明细数据明细数据, ,汇总数据汇总数据面向用户面向用户操作人员操作人员,低层管理人员低层管理人员业务管理人员业务管理人员决策人员决策人员, ,高级管理人员高级管理人员访问方式访问方式实时访问（增，删，改，实时访问（增，删，改，查）查）准实时（增，删，改，查）准实时（增，删，改，查）非实时（主要是读操非实时（主要是读操作）作）数据处理数据处理量量100

8、MB-GB100MB-GB100GB-TB100GB-TB100GB-TB100GB-TB数据数据简单的事务（简单的事务（处理的数据处理的数据量小量小）复杂的查询（复杂的查询（数据量大数据量大） 复杂的查询（复杂的查询（数据量大数据量大）归档归档备份备份归档归档储存储存生产系统生产系统（OLTPOLTP）OLTP&OLAP数据处理流程12引出的问题Q1 :数据仓库是否能够替代归档系统既突出数据的统一性，又保持数据的原样性Q2:数据备份是否能满足历史数据的可用性，能否使用自动化归档系统加以改善Q3:数据仓库和归档系统两者虽然都是针对数据进行操作的但只能分别进行部署数据冗余大资源浪费严重。13DW与归档系统相结合的综合方案思考：如果能够将数据的应用与管理进行综合规划那就既满足了数据的应用要求又满足了数据的管理要求对二者进行有机结合,是符合商业银行长远发展要求的。解决思路：1综合仓库和归档系统的优势2 解决仓库单纯横向规划系统而不能将海量数据作为归档数据使用的不足3解决归档系统单纯以数据的生命周期存储为目的不能及时为商业分析提供综合数据的不足。优势：1分流数据,减轻生产系统的压力2减轻数据仓库大量查询的压力14目录目录1我行历史数据应用与管理方