数据和生命周期管理原则和策略.ppt

数据生命周期管理 理论与实践 2012.9 2 目录 一、工行数据管理的总体情况 二、数据生命周期管理理论与方法 三、工行数据生命周期管理实践 3 l工行数据管理的指导思想 指导思想 l 构建合理的数据管理组织架构和数据架构体系，做好数据 治理，促进各应用系统信息高度共享，充分发挥数据价值 ，为经营决策提供科学依据 l 做好信息标准化管理，提高数据有效性、一致性和规范性 l 做好数据质量管理，确保数据的准确性 l 做好数据生命周期管理，实现数据从产生到销毁的全过程 规范化管理 l 做好信息安全管理，确保信息不被泄露 一、工行数据管理的总体情况 4 l构建了分层的数据架构体系 数据采集层数据集成层指标模型层管理操作层 交易信息 客户信息 管理信息 外部信息 数据仓库 风险集市 数据指标 绩效等经营 管理系统 营销等业务 管理系统 信息获取信息整合信息加工信息展现 信息反馈及应用 绩效考核 客户关系管理 客户经理 各级管理人员 高级分析用户 （灵活查询） （数据挖掘） 模型 用户统一操作界面 资本管理、 操作风险管 理等风险管 理系统 灵活查询 一、工行数据管理的总体情况 5 l数据采集层 p采集的数据主要包括客户信息、交易信息、管理信息和外部信 息，这些信息有些是客户和行内人员手工录入，有些是从外部 批量导入。 n 客户信息、交易信息主要从对客和自营业务系统收集，包括存贷 结算基本业务、银行卡业务、代理与投资业务、金融市场业务、 信贷管理与单证业务、托管业务、投行业务等系统。 n 管理信息主要从内部管理系统收集，包括资讯平台、制度园地、 人力资源管理、分支机构管理、办公管理等系统。 n 外部信息主要包括监管机构提供的信息（如征信信息、风险提示 信息等）、行业信息、外部报价信息等。 一、工行数据管理的总体情况 6 l数据基础层（建立数据仓库和数据集市） p为了对客户行为和业务管理进行科学分析和预测，需要建立集 合各类业务数据为一体的数据仓库，进行面向各类主题的数据 统计和挖掘分析，为市场营销和管理决策提供科学依据。 p工商银行在2002年完成数据大集中之后，就已经意识到数据对 于银行经营管理的重要作用，在姜建清董事长等行领导的关心 指导下，开始着手数据仓库建设工作。10来年，工商银行数据 仓库建设稳扎稳打，已成为各类业务数据集中存储的重要载体 和关键基础平台。 一、工行数据管理的总体情况 7 l指标模型层 p指标模型层主要包括指标和模型两部分 p指标部分目前主要建立了面向绩效的全行指标库，包含总行、分行的 指标需求，支持分行自行定制分行特色指标。 手工类手工类 衍生类衍生类 模型类模型类 科目定制类科目定制类 基础类基础类 手工类手工类 衍生类衍生类 科目定制类科目定制类 全行指标分行特色指标 全行指标库 分行定性指标、同业指标 基于总行基础指标进行衍生 基于科目定制分行指标 分行客户归属规则、网银业绩归属规则 一、工行数据管理的总体情况 8 l指标模型层（模型部分） p模型是实现各类共用指标成熟的计算方法，主要用来规范和统 一各类指标的计算，达到方法共享和提高数据一致性的目的。 p目前已经实现的模型包括如下内容： n 客户评价模型 n 产品定价模型 n 绩效评估模型 n 风险计量模型 n 财务预算模型 n 。 一、工行数据管理的总体情况 9 l管理操作层 p主要面向客户服务和内部经营管理，包括客户营销、资本管理 、资产与负债管理、信用风险管理、操作风险管理、市场风险 管理、绩效考核管理、内部审计与合规管理等。管理操作层的 基础数据主要来自各个业务系统，有些统计指标类数据是经数 据仓库加工提供。 p为满足日常经营管理，提供了以固定报表为主的综合报表统计 平台。 p为便于突发性和临时查询需要，提供了基于数据仓库的灵活查 询功能。 p为规范对外数据报送，建立了统一的对外数据报送平台。 一、工行数据管理的总体情况 10 一、工行数据管理的总体情况 l信息标准化管理 p工行信息标准化工程 n 工行从2010年开始启动工行信息标准化工程，目标是建立 “ 定义统一、口径统一、名称统一、来源统一、参照统一”的 工行信息标准，使各个应用系统内部、及系统间的数据交互 能够遵循相同的数据标准，从而显著降低信息使用成本，增 强信息的一致性、标准性、权威性和共享性。 n 目前已建立700多项基础信息标准，900多项指标标准。 11 一、工行数据管理的总体情况 l信息标准化建设总体目标 2.有效性：信息准确度高、理 解上不存在歧义。 1.完整性：涵盖客户、机构 、产品、帐户等银行全部 重要信息 3.一致性：做到“五统一” 。 5.开放性：行内标准与国家标 准、国际标准可翻译、可对 照。 4.规范性：制度规范、流程 控制、系统管理等。 6.共享性：标准化信息在工 行内共享使用。 总体目标：通过统一信息标准制定、发布使用、制度约束、 系统控制等手段，实现工行信息的完整性、有效性、一致性、规 范性、开放性和共享性管理，提高工行信息化水平。 12 4 来源统一 对于已经标准化的数据，其来源应该有且只有一个 2 口径统一 对于有数量表达的信息标准，计算口径必须要统一 3 名称统一 各信息项应该采用统一规范的命名 定义统一 同一信息项的业务含义和所适用的业务场景保持一致 1 5 参照统一 工行标准和行外各类标准的衔接应建立明确的对应关系 一、工行数据管理的总体情况 l信息标准化建设原则 p信息标准化是“统一语言、统一计量”的过程，遵循“五统一”原 则 13 数据质量管理体系 数据质量管理制度 n数据质量考核 办法及实施细 则 n数据质量管理 平台业务管理办 法 n数据质量技术 规范 数据质量考核监督 n纳入分行内控评 价体系和行长绩 效考核 n建立数据质量定 期通报机制 n操作风险管理委 员会定期审议 一、工行数据管理的总体情况 l数据质量管理 14 3、做好规范管理 完善制度、规范流程 、系统硬控制，把好 数据质量“流转关” 。 2、督促问题治理 部署检查规则，实现问题数据发现 、分发、治理、监督、考核闭环管 理，把好数据质量“治理关”。 1、从源头治理 从数据录入、内 部处理入手，把 好数据质量“入 口关”。 一、工行数据管理的总体情况 l数据质量管理流程 15 l数据安全管理 p为了加强数据安全管理，工行制定了数据管理办法和数 据管理办法实施细则，明确了各环节的数据安全管理要求， 并采取了一些技术手段进行硬控制。 p数据安全的主要管理要求： n 使用生产数据必须经过申请和审批，开发测试环境使用生产 数据必须进行数据变形。 n 涉及敏感信息的生产数据的传输必须采用加密处理或使用专 用邮箱、专用FTP服务器传输等 。 n 对生产用户进行严格授权管理，防范非授权访问生产数据 。 n 对生产数据建立和实施严格的备份机制。对数据保存介质进 行分类登记，及时进行清理和转存。 一、工行数据管理的总体情况 16 目录 一、工行数据管理的总体情况 二、数据生命周期管理理论与方法 三、工行数据生命周期管理实践 17 二、数据生命周期管理理论与方法 l背景情况 p早期银行的金融产品相对较少，主要是以存贷汇为主，且数据 是以省（市）为单位分布存放，数据量相对较少；此外由于还 还没有数据集中分析挖掘的需求，日常处理对象主要是短期之 内的数据，时间跨度小，处理的数据规模相对可控。 p随着各家银行实施了数据大集中，集中存放和处理的数据量急 剧增加，例如工行目前核心银行数据已达150T，数据仓库存放 的数据已达185T；同时随着各类业务的快速发展，银行每天都 在产生大量的数据，并需要对这些数据进行分析挖掘，系统资 源开销和运行效率都面临着越来越大的压力。 p为控制在线数据规模、保证应用系统健康高效运行，对数据从 创建到最终销毁的生命周期进行全程管理显得越来越迫切 。 18 l数据生命周期管理的目标 p通过规范数据的生命周期管理，提高数据的整体管理水平。 p优化数据存储结构，有效控制在线数据规模，提高生产数据访 问效率。 p提高系统资源使用效率，确保系统安全、稳定、高效运行。 p做好历史数据管理，为客户服务和经营分析提供数据支撑。 二、数据生命周期管理理论与方法 19 二、数据生命周期管理理论与方法 l数据生命周期的基本原理 p数据访问频度与数据量的变化会随着时间的迁移而呈反比例变 化 l 利用随时间积累，数据访问频 次变化和数据量累积变化成反 比这一客观规律，对数据根据 访问频次进行数据价值评估， 对大量低价值信息采取低成本 的数据保存手段，使数据的价 值和存储的技术和管理相匹配 ，进而大幅降低整体数据存储 成本； 20 l数据生命周期管理的总体原则 p在数据的整个生命周期中，不同阶段的数据其性能、可用性、 保存等要求也不一样。 n 通常情况下，在其生命周期初期，数据的使用频率较高，需 要使用高速存储，确保数据的高可用性。 n 随着时间的推移，数据重要性会逐渐降低，使用频率会随之 下降，应将数据进行不同级别的存储，为其提供适当的可用 性、存储空间，以降低管理成本和资源开销。 n 最终大部分数据将不再会被使用，可以将数据清理后归档保 存，以备临时需要时使用。 二、数据生命周期管理理论与方法 21 l数据生命周期管理流程 二、数据生命周期管理理论与方法 说明： 在线归档阶段（也被称为近线阶段）：将访问频度较低且应用需求不高的数 据从应用中分离出来，保存在另外的磁盘并提供相应的查询； 离线归档阶段：将访问频度较低且应用需求不高的数据从应用中分离出来， 保存在磁带、光盘及低端磁盘上。离线归档后不提供信息联机访问接口，如有 相应的查询要求，需特定的查询工具或将归档数据导入相应系统 22 l数据生命周期管理流程 p数据各生命阶段的管理策略 数据生命阶段管理策略 在线阶段 （数据产生与使用阶段） 永久保存：数据从产生开始一直在生产系统中保存， 此类数据不需要进行清理。 保存一段时间后清理：数据被标记为失效或过期后在 系统中保存一段时间后进行清理。 归档阶段 （数据备份与保存阶段） 在线归档：查询频度仍相对较高的数据，通过数据库 形式保存数据，用户仍可以通过系统在线查询；部分 数据通过在线归档一段时间后进入离线归档阶段。 离线归档：查询频度相对较低的数据，通过光盘或磁 带等介质保存数据，用户无法在线访问，需通过恢复 光盘或磁带介质。 销毁阶段 （数据被销毁至消失） 物理删除磁盘和磁带上的数据，销毁光盘介质。 二、数据生命周期管理理论与方法 23 目录 一、工行数据管理的总体情况 二、数据生命周期管理理论与方法 三、工行数据生命周期管理实践 24 l建立了数据生命周期管理体系 p工行数据生命周期管理从组织建设、制度规范、系统工具、日 常管理各方面开展相关工作。 p制定了全行统一的数据生命周期管理技术规范，并配套发 布了一系列数据清理工具，根据规范制定的策略定期进行清理 ，并将清理的数据归档到历史数据管理应用中。 三、工行数据生命周期管理实践 25 三、工行数据生命周期管理实践 l数据生命周期管理技术规范总体情况 p规范建立了统一的对所有数据的有效期管理的具体标准、 方案、指引和制度，是数据管理的指导方针，提高了数据管理 工作的统一性、系统性、全面性和科学性 p规范改变了以往根据磁盘容量和依赖于技术人员经验的状 况，使全行有了科学统一的数据管理标准，减少了因数据保留 时间不当而出现应用风险，使中国工行的各类业务系统可以更 好、更稳定地为广大客户提供优质地服务。 26 三、工行数据生命周期管理实践 l规范主要内容 p借鉴国际先进数据模型,对工行的各应用系统数据进行提炼和分 类，在数据生命周期的各个阶段制定了有效的管理策略 。 p将工行的应用系统按产品线（共20类）进行划分，并在此基础 上对各产品线的数据类别进行了确认；规定了各产品线各类数 据的数据有效期，建立了完整的数据有效期管理工作规范体系 ，确立指导工行各类数据的基本管理原则和具体应遵循执行的 各种办法 27 三、工行数据生命周期管理实践 l 规范主要内容 p 数据清理原则 n 业务处理层联机交易数据不应直接进行物理删除操作，要 通过相关标志位、最后更新时间等字段实现逻辑删除，对 于无法实现逻辑删除的联机交易数据，应重新设计以满足 逻辑删除要求；物理删除要通过本规范制定的数据生命周 期按统一策略进行清理。 n 数据进行清理时，各应用应记录清理的相关信息（包括清 理的表名、清理时间、清理数据量）。 n 数据清理时，应考虑清理数据对系统的影响，比如考虑重 建索引、重组等相关事项。 28 三、工行数据生命周期管理实践 l 规范主要内容 p 数据清理周期 n 对于进行批量清理的数据，按固定周期进行清理； n 对保留时间在1月以内的数据，清理周期不宜超过1月； n 对于保留时间在2年以内的数据，清理周期不应超过保留时 间的1/2； n 对于保留时间在2年以上的数据，清理周期不应超过1年。 29 三、工行数据生命周期管理实践 l数据生命周期规范的执行 p工行应用系统的建设从需求编制开始就关注数据生命周期的管 理，在系统设计、开发、测试、运维各个始终按照规范要求， 有效贯彻数据清理工作的精神。 主要数据表 的生命周期 管理策略制 定 所有新建和修改 表的数据生命周 期管理策略的等 级和修改 清理工具和 程序的编制 、策略的导 入以及测试 数据清理工 作的执行、 清理信息的 收集、分析 和展现 清理工作的确认和检查 设计人员设计、开发人员 开发、测试人员运维人员 清理后数据 的查询、展 现和导出。 技术管理人员 30 三、工行数据生命周期管理实践 l数据生命周期规范的执行（续） p 清理工作的确认和检查 n 工行会定期对数据生命周期管理相关工作进行检查、确认。 n 对于数据生命周期管理策略，每季度会对设计情况、数据生 命周期管理策略填写情况进行抽查，确保策略的正确性； n 每月在进行新的数据表的清理工作时，会对涉及的表的生命 周期管理策略进行确认，以确保数据清理的正确、合理。 31 三、工行数据生命周期管理实践 l系统工具 p工行开发了相关系统和工具，确保可以根据规范制定的数据生 命周期管理策略进行统一执行； p工行在各个环节注重数据生命周期管理，并对工具和系统不断 进行优化，提升数据清理工作成效； p对清理后的数据陆续纳入系统，实现清理数据的在线归档，并 提供有效查询。 p工行拟建立清理集中管理平台，实现清理信息的有效收集，提 供分析和统计。 32 l元数据及软件资源管理系统（SEAS） pSEAS实现了填写的数据生命周期管理在提交前会自动进行策略 校验，对于不符合逻辑的策略会进行提醒要求修改； pSEAS实现了数据表新增时各项信息的审批功能，在系统控制的 基础上再增加人工确认，进一步确保信息的准确性。 三、工行数据生命周期管理实践 33 l电子影像及文档服务平台及综合档案管理 p电子影像及文档服务平台是工行各类事中、事后类业务系统电 子影像档案的统一存储平台，并为各类业务产生的各种非结构