数据和生命周期管理原则和策略课件

1、数据生命周期管理的理论与实践，2012年9月1日，9.1，PPT学习与交流，内容，1。中国工商银行数据管理概况2。数据生命周期管理的理论和方法。工行数据生命周期管理实践2。PPT学习与沟通，工行数据管理的指导思想，构建合理的数据管理组织结构和数据架构体系，做好数据治理工作，促进各应用系统之间的信息高度共享。充分发挥数据价值，为业务决策提供科学依据，做好信息标准化管理，提高数据的有效性、一致性和标准化，做好数据质量管理，保证数据的准确性，做好数据生命周期管理，实现从数据生成到数据销毁全过程的标准化管理，做好信息安全管理，确保信息不泄露。构建了分层数据架构体系、数据采集层、数据集成层、指标模型层、

2、管理操作层、交易信息、客户信息、管理信息、外部信息、数据仓库、风险市场、数据索引、绩效管理系统、营销业务管理系统、信息采集、信息集成、信息处理、信息展示、信息反馈和应用等客户经理、各级经理、高级分析用户(灵活查询)(数据挖掘)、模型、统一用户界面、资金管理、操作风险管理等风险管理系统，灵活查询、 首先是工行数据管理的概况，4、PPT学习与沟通，数据采集层采集的数据主要包括客户信息、交易信息、管理信息和外部信息，其中一些是客户和内部人员。客户信息和交易信息主要来源于客户和自营业务系统，包括存贷款结算基础业务、银行卡业务、代理投资业务、金融市场业务、信用管理和单据业务、托管业务、投资银行业务等系统

3、。管理信息主要来自内部管理系统，包括信息平台、系统花园、人力资源管理、分公司管理、办公室管理等系统。外部信息主要包括监管机构提供的信息(如信用信息、风险预警信息等)。)，行业信息，外部报价信息等。1.中国工商银行数据管理概况；5.为了科学地分析和预测客户行为和业务管理，有必要建立一个整合各种业务数据的数据仓库，对各种主题进行数据统计和挖掘分析，为营销和管理决策提供科学依据。2002年数据集中完成后，工行意识到数据在银行经营管理中的重要作用，在江建清董事长等领导的关心和指导下，开始建设数据仓库。10年来，工行数据仓库建设稳步推进，已成为各种业务数据集中存储的重要载体和关键基础平台。1.中国工商银

4、行数据管理概况；6.PPT研究与交流；指标模型层主要包括指标和模型。目前，全行面向绩效的指标数据库已经建立，包括总行和分行的指标要求，支持分行定制自己的特色指标。1.中国工商银行数据管理概况；7.PPT学习和交流；指标模型层(模型部分)模型是各类常用指标的成熟计算方法，主要用于规范和统一各类指标的计算，以达到方法共享和提高数据一致性的目的。目前，实现的模型包括以下内容：客户评价模型、产品定价模型、绩效评价模型、风险度量模型和财务预算模型。1.中国工商银行数据管理概况；8.PPT研究与交流；管理运营层主要面向客户服务和内部运营管理，包括客户营销、资本管理、资产负债管理、信用风险管理、运营风险管理

5、、市场风险管理、绩效考核管理为了满足日常的操作和管理，提供了一个基于固定报表的综合报表统计平台。为了满足突发和临时查询的需要，提供了一种基于数据仓库的灵活查询功能。为了规范外部数据提交，建立了统一的外部数据提交平台。1.工商银行数据管理概况。PPT学习和交流，1。中国工商银行数据管理概况信息标准化管理中国工商银行信息标准化项目于2010年启动，目标是建立“统一定义、统一口径、统一名称、统一来源、统一参考”的中国工商银行信息标准，使各应用系统内部和之间的数据交互能够遵循相同的数据标准，从而大幅减少信息。目前，已建立了700多个基本信息标准和900多个指标标准。10，PPT学习与交流，1。中国工商

6、银行数据管理概况、信息标准化建设总体目标、总体目标：通过统一的信息标准制定、发布和使用、系统约束和系统控制，实现中国工商银行信息的完整性、有效性、一致性、标准化、开放性和共享性管理，提高中国工商银行信息化水平。11，PPT学习交流，4，来源统一，对于标准化数据，应该只有一个来源，2，口径统一，对于定量表达的信息标准，计算口径必须统一，3，名称统一，所有信息项目应统一命名和定义，同一信息项目的业务含义应与适用的业务场景一致，1，5工行标准与工行以外的各种标准应建立明确的对应关系。一、工行数据管理的总体情况，信息标准化建设的原则，信息标准化是一个“统一语言、统一计量”的过程，遵循“五个统一”的原则

7、，12。PPT学习和交流，1。工商银行数据管理概况，数据质量管理，13。PPT学习和交流，3。标准化管理，改进系统和标准化流程2。督促问题治理部署检查规则，实现问题数据发现、分发、治理、监督和评估的闭环管理，确保良好的数据质量。1、从源头治理从数据录入、内部处理、数据质量好的“入口”。1.工商银行数据管理概况，数据质量管理流程，14。为加强数据安全管理，工行制定了数据管理办法和数据管理办法实施细则，明确了各环节的数据安全管理要求，并采取了一些技术手段进行硬控制。数据安全的主要管理要求：生产数据的使用必须得到应用和批准，开发和测试环境在使用生产数据时必须变形。涉及敏感信息的生产数据传输必须加密或

8、通过专用邮箱或专用FTP服务器传输。严格授权生产用户，防止未经授权访问生产数据。建立并实施严格的生产数据备份机制。对数据存储介质进行分类和登记，并及时清理和转移。1.工商银行数据管理概况，15。PPT研究与交流，目录，1。中国工商银行数据管理概况2。数据生命周期管理的理论和方法。工商银行数据生命周期管理实践。PPT学习与交流2。数据生命周期管理的理论和方法。背景早期，银行金融产品相对较少，主要是存贷款交易，数据以省(市)为基础，另外，由于不需要集中数据分析和挖掘，日常处理对象主要是短期数据，时间跨度小，数据规模相对可控。随着各银行实施数据集中，以集中方式存储和处理的数据量急剧增加。例如，工行目

9、前的核心银行数据已经达到150吨，数据仓库中存储的数据已经达到185吨；与此同时，随着各种业务的快速发展，银行每天都在产生大量需要分析和挖掘的数据，系统资源开销和运营效率面临着越来越大的压力。为了控制在线数据的规模，保证应用系统的健康高效运行，管理数据从创建到最终销毁的整个生命周期变得越来越迫切。17、PPT学习与沟通，数据生命周期管理的目标是通过规范数据的生命周期管理来提高数据的整体管理水平。优化数据存储结构，有效控制在线数据规模，提高生产数据访问效率。提高系统资源的利用效率，确保系统安全、稳定、高效运行。做好历史数据管理，为客户服务和业务分析提供数据支持。二是数据生命周期管理的理论和方法；

10、18、PPT学习与交流；二、数据生命周期管理的理论和方法，数据生命周期的基本原理，数据访问频率和数据量随时间的迁移而反向变化；利用数据访问频率和数据量与时间积累成反比的客观规律，根据访问频率对数据值进行评估，通过低成本的数据保存方法保存大量低值信息，提高数据值。在数据的整个生命周期中，数据在不同阶段的性能、可用性和保存要求是不同的。通常，在其生命周期的开始，数据被频繁使用，因此有必要使用高速存储来确保数据的高可用性。随着时间的推移，数据的重要性会逐渐降低，使用频率也会相应降低。数据应存储在不同的级别，以提供适当的可用性和存储空间，从而降低管理成本和资源开销。最终，大部分数据将不再被使用，数据可

11、以被清理并存档以供临时使用。第二，数据生命周期管理理论与方法，20，PPT学习与交流，数据生命周期管理过程，第二，数据生命周期管理理论与方法，描述：在线归档阶段(也称为近线阶段):将访问频率低、应用需求低的数据从应用中分离出来，保存在另一个磁盘上，并提供相应的查询；离线归档阶段：将访问频率低、应用需求低的数据从应用中分离出来，并保存在磁带、光盘和低端磁盘上。脱机存档后，没有信息的联机访问界面。如果有相应的查询要求，需要特殊的查询工具或者将归档数据导入相应的系统。21.PPT学习和沟通，数据生命周期管理的管理策略，过程数据在每个生命阶段；2.数据生命周期管理理论和方法；22.PPT学习与交流，目

12、录，1。中国工商银行数据管理概况2。数据生命周期管理的理论和方法。工商银行数据生命周期管理实践。PPT研究和交流，并建立了数据生命周期管理系统。工行数据生命周期管理从组织架构、制度规范、系统工具和日常管理等方面开展相关工作。本行制定了统一的数据生命周期管理技术规范，并发布了一系列数据清理工具，按照规范制定的政策定期清理，并将清理后的数据归档到历史数据管理应用中。3。中国工商银行数据生命周期管理实务，24页。PPT学习和交流，3。工行的数据生命周期管理实践、数据生命周期管理技术规范、总体情况规范，为所有数据的有效周期管理建立了统一的具体标准、方案、指引和制度，这是数据管理的指导原则。数据管理工作

13、的统一性、系统性、全面性和科学规范性得到提高，改变了以往基于磁盘容量和技术人员经验的状况，使全行拥有了科学统一的数据管理标准，降低了因数据保存时间不当带来的应用风险，使工行各业务系统更好、更稳定地为客户提供优质服务。25，PPT学习和交流；三是工行数据生命周期管理实践，规范的主要内容是借鉴国际先进的数据模型，对工行各应用系统的数据进行提炼和分类，并在数据生命周期的各个阶段制定有效的管理策略。工行的应用系统按产品线划分(共20类)，并在此基础上确定各产品线的数据类别；规定了各产品线各类数据的数据有效期，建立了完整的数据有效期管理标准体系，确立了指导工行各项数据的基本管理原则和应具体遵循的各种方法

14、。26.PPT研究与交流；3.工行的数据生命周期管理实践和主要内容数据清理原则得到了规范。业务处理层的在线交易数据不应该被直接物理删除，而应该通过相关标志位、上次更新时间等字段进行逻辑删除。对于无法从逻辑上删除的在线交易数据，应将其重新设计为物理删除，并在此规范建立的数据生命周期内根据统一策略进行清理。清洗数据时，每个应用程序应记录清洗相关信息(包括清洗表名称、清洗时间和清洗数据量)。在清理数据时，我们应该考虑清理数据对系统的影响，如重建索引、重组等相关事宜。27，PPT学习与交流，3。工行数据生命周期管理实践，规范数据清理周期的主要内容，按照固定周期进行批量清理数据；对于保留时间在1个月以内

15、的数据，清洗周期不应超过1个月；对于保留时间小于2年的数据，清理周期不应超过保留时间的1/2；对于保留超过2年的数据，清理周期不应超过1年。28，PPT学习与交流，3。中国工商银行数据生命周期管理实践，数据生命周期规范实施中国工商银行应用系统建设从需求准备开始就注重数据生命周期管理，按照规范要求在系统设计、开发、测试和运维中有效落实数据清理工作精神。主要数据表的生命周期管理策略的制定，所有新创建和修改的表的数据生命周期管理策略的分级和修改，清洁工具和程序的编制，策略的导入和测试，数据清洁工作的实施，清洁信息的收集、分析和呈现，清洁工作的确认和检查，设计者、设计者、开发者、开发者和测试者，以及操

16、作和维护人员，技术管理人员，29，PPT研究和交流，第三部分。中国工商银行数据生命周期管理实践、数据生命周期规范执行情况(续)清理工作的确认和检查中国工商银行将定期检查和确认数据生命周期管理的相关工作。对于数据生命周期管理策略，每季度随机检查设计情况和数据生命周期管理策略填写情况，确保策略的正确性；每月清理新数据表时，将确认相关表的生命周期管理策略，以确保数据清理正确合理。30，PPT学习与交流，3。中国工商银行数据生命周期管理实践，系统工具中国工商银行开发了相关的系统和工具，确保按照标准制定的数据生命周期管理策略统一实施；工行全方位关注数据生命周期管理，不断优化工具和系统，提高数据清理工作的

17、有效性；将清理后的数据一个接一个地带入系统，实现清理后数据的在线归档，并提供有效的查询。工行计划建立集中清理管理平台，有效收集清理信息，提供分析和统计。31、PPT学习与交流、元数据和软件资源管理系统(SEAS) SEAS实现了填充数据的生命周期管理，在提交前会自动检查政策，并提醒不合逻辑的政策进行修改；SEAS在增加数据表时实现了各种信息的审批功能，并在系统控制的基础上增加了人工确认，进一步保证了信息的准确性。3。工行的数据生命周期管理实践，32页。PPT学习交流平台、电子影像文件服务平台、综合档案管理电子影像文件服务平台是工商银行各业务系统电子影像文件在活动期间和活动后的统一存储平台，提供集中存储在综合档案管理系统中的结构化数据主要是非结构化数据的查询索引服务，它与电子图像文档服务平台协同完成非结构化数据的归档、存储、查询和访问功能；综合档案馆为非结构化数据的业务处理