业务数据全生命周期管理工作思路.ppt

业务数据全生命周期管理工作思路 目录 数据管理背景及目标 数据全生命周期管理 数据管理工作流程 1 1数据管理的外因 金融行业监管的相关要求 银行的数据保存周期策略 最常用的经验法则是13个月规则和7年规则 1 1数据管理的外因 国际会计准则等业务管理需求 1 2数据管理的内因 监管审计和经营分析和数据查询需求 降低成本 按业务与技术分析要求 控制生产在线数据容量 降低高端存储的容量成本提升性能 通过迁移并清理历史数据 重新回收数据库的存储资源 提升应用系统交易与批量性能有效处置 将生产数据库容量控制在较小的范围内 在发生数据库等故障的情况下 便于快速处置 归档瘦身 6 1 2数据管理的内因 解决关键系统数据库容量管理问题 目录 数据管理背景及目标 数据全生命周期管理 数据管理工作流程 2 1数据的全生命周期管理 定义 数据全生命周期管理 是指根据数据价值随时间推移的演化关系 提供高效 低成本 安全 访问便捷的管理架构 数据全生命周期管理贯穿于数据产生 开发设计 投产变更 数据使用 采集 修改 存储 调阅 数据保管 备份 恢复 测试 数据销毁等各个环节 2 1数据的全生命周期管理 目标 数据是我行的重要资产之一 健立健全数据管理体制 满足监管要求 提升数据管理能力 充分发挥数据价值 为经营决策提供有力支撑 已成为当前科技工作的主要任务 DB DB 在线访问 专门工具访问 专门工具访问 在线访问 专门工具访问 恢复后访问 恢复后访问 实现历史数据的 管 控 查 2 1数据的全生命周期管理 方案 2 1数据的全生命周期管理 理论与方法 在数据的整个生命周期中 不同阶段的数据其性能 可用性 保存等要求也不一样 通常情况下 在其生命周期初期 数据的使用频率较高 需要使用高速存储 确保数据的高可用性 随着时间的推移 数据重要性逐渐降低 使用频率会随之下降 应将数据进行不同级别的存储 为其提供适当的可用性 存储空间 最终大部分数据将不再会被使用 可以将数据清理后归档保存 以备临时需要时使用 在线归档阶段 也被称为近线阶段 将访问频度较低且应用需求不高的数据从应用中分离出来 保存在另外的磁盘并提供相应的查询 离线归档阶段 将访问频度较低且应用需求不高的数据从应用中分离出来 保存在磁带 光盘及低端磁盘上 离线归档后不提供信息联机查询入口 如有相应的查询要求 需特定的查询工具或将归档数据导入相应系统 数据生命周期管理流程 目录 数据管理背景及目标 数据全生命周期管理 数据管理工作流程 3 1数据管理工作流程 各阶段的主要管理内容 1 5 4 2 3 设计 开发 阶段 结构化数据支持读写分离 非结构化数据支持按时间和业务部门进行分离 充分考虑数据清理机制 投产变更阶段 评审 数据管理服务协议 确认协议中的备份策略 清理策略的合理性 修改维护阶段 根据通过审批流程的 哈尔滨银行应用系统生产数据维护申请书 进行数据维护 并记录相关信息 数据调阅阶段 业务部门提交经主管业务部门审批通过的 哈尔滨银行应用系统生产数据调用申请书 经科技部审批通过后 运维中心提取数据并漂白后反馈业务部门 数据备份阶段 根据已签订的 数据管理服务协议 建立备份策略 并制定恢复测试计划 验证备份数据的可用性 6 数据销毁阶段 对超过保管期限的生产数据提交拟销毁数据清单和申请 经科技发展部审批通过后 在办公室和安保部全程监督下实施销毁 3 2数据管理工作流程 数据管理服务协议 数据管理服务协议是为保证各应用系统环境及业务数据的安全 确保在生产系统发生故障 事故或者灾难时能够快速和完整的恢复生产环境数据 满足相关业务部门 稽核 审计以及监控部门对数据的调阅和检查要求而制定的协议文档 数据管理服务协议是明确系统环境数据和业务数据的备份内容 备份方式 在线 近线 离线 数据保存周期 数据清理规则等内容 运维经理 研发经理 业务经理 签订 数据管理服务协议 建立数据备份及清理策略 按协议执行备份及清理任务 检查数据备份情况并测试数据有效性 3 3数据管理工作流程 数据调阅流程 3 3数据管理工作流程 数据调阅流程 银行计算机系统生产数据调用申请书 申请书要点 1 对数据调用目的进行细分 2 区别数据使用环境 测试环境 生产环境 3 明确数据提交周期 一次性 每月定期 其他 4 明确要求描述数据屏蔽需求 为数据脱敏处理提供依据 3 4数据管理工作流程 数据备份流程 岗位职责表 数据备份策略表 3 4数据管理工作流程 数据备份流程 系统操作员 数据归档及管理的工作与目标 业务数据管理与归档相关工作 配套制度与细则 以应用系统为对象的业务数据管理协议 业务数据归档与全生命周期管理整体工作规划 目前的数据管理 是从数据已经创建并生成开始 规划对其存储 归档 使用 销毁等 但缺少了关键的数据规划阶段 也就是以目标为导向 确定具体业务场景所应管理的数据内容 分布 标准 控制方式等要素 并按照各个业务场景 形成有针对性的数据管理协议 例如 三方渠道类业务数据管理协议 并将数据管理协议落实到对应的管理工具中 调度相关人员与工具 实现业务数据的全生命周期控制 整体管理工作流程图示如下 业务数据归档与管理当前需要解决的问题 管理与审计衔接问题 与信息安全管理 数据治理等内部管理制度与工作 以及内审外审的衔接配合问题 制度 流程 任务 介质 数据视图连续性问题 缺少按业务数据使用场景 进行应用系统的数据结构映射与连续性控制手段 尤其是应用系统换代后的业务数据视图数据结构连续性问题 已下线核心贷款数据调阅问题 业务数据完整归档问题 缺少针对手工数据管理协议的动态更新控制手段 与投产关联 并且实现数据库正文抽取 去重 防篡改 防丢失等 卡前置日志审计调用问题 4月介质丢失 关键系统数据减负问题 新核心及外围系统在实施阶段 规划在线数据保存周期 但需配置可靠的迁移 抽取 归档 查询 提供长期明细数据的查询数据源 分7天 3个月 长期模式 数据可靠调用与清理问题 缺少可靠的明细与场景数据调用源 尤其是非结构化数据 安全可靠的数据清理手段 存储介质集中控制使用问题 对于已有的在线 近线 归档存储资源 存储 SDS SVC 离线介质的统一登记与控制 离线介质的在线备份 业务数据归档与管理项目实施目标 日常工作规划 1 业务数据归档全程控制登记 以要求 需求为基准 针对应用系统 建立线上业务数据管理协议 包括视图 规则 字典 对象 任务 介质 周期 条件 帐前 时点 等关键要素 工作输入 监管审计 数据治理 数据事件 工作输出 运维任务 介质调度 数据服务 映射 以业务数据视图为基准 建立应用系统数据结构映射关系及历史版本信息表 同时实现登记数据结构与生产数据结构的比对 确保业务数据视图的连续性 工作输入 数据治理 投产变更 工作输出 数据调用 调度 针对在线数据的抽取 备份 归档 映射 清理 调用 回灌 漂泊 测试 销毁的全过程 与相关管理平台 如ITIL 加工工具 如NBU 等集成 实现全过程控制 避免遗漏 工作输入 事件 审计 工作输出 检查 调用 交易场景数据完整归档视图维护 根据监管 审计 分析 内控 巴三等要求 建立并维护业务数据视图 一个业务数据视图对应N个应用系统的部分表结构 工作输入 数据管理 投产变更 工作输出 数据治理 运维任务 数据重构 针对近线 离线的结构化数据 非结构化数据 如信贷全流程的交易明细与影像文件 执行数据重构任务 内置 集成 并登记重构结果 提供查询界面 工作输入 运维任务 监管审计 工作输出 数据调用 审计检查 业务数据归档与管理项目实施目标 日常工作规划 2 业务数据对象安全处理补充工具 可靠抽取 安全删除 去重压缩 归档映射 加密防篡改等数据对象管理工具 已有集成 数据漂白 非结构化数据迁移 数据库克隆 NBU等 调用控制 周期性程序数据调用 提供API 数据等接口 临时性任务调用 授权 漂白 水印 销毁等 存量业务数据归档处理梳理存量业务归档数据 确认缺漏数据及补救方案 数据库正文导出及归档 介质登记 数据查询等存储资源统一管理调度在线控制 根据数据管理协议 执行线上数据的抽取 备份与清理 控制容量 近线查询 将线上数据抽取到近线 中端存储 XIV GPFS 大数据等 提供程序查询接口 归档调阅 抽取数据正文 按业务场景重构 映射 归档 低端存储 SVC GFS等 提供数据回灌 回复测试 调阅漂白等功能 离线管理 按数据管理协议备份离线数据 并做介质保管登记 同时按对象登记 做离线数据线上备份控制 低端存储资源 去重 压缩处理 业务数据归档与管理工具使用场景 数据需求视图管理 以监管 管会 审计 经营分析 风控等要求为基准 建立业务数据需求视图 老核心数据归档 按业务数据需求视图要求 建立视图与老核心以及外围系统的数据映射字典 并抽取相关库表数据进行归档处理 新核心数据归档 按业务数据需求视图要求 建立视图与新核心以及外围系统的数据映射字典 并抽取相关库表数据进行归档处理 形成日常业务数据的备份 归档 清理 调用 销毁操作技术流程 数据管理架构设计 自上而下 建立业务需求视图管控 数据操作工具 归档介质容器三层数据管理架构体系 配置相关系统资源 新核心整体系统架构规划设计 数据迁移与管理维度 新老核心切换 应用系统下线的主要工作 下线申报 相关签报 业务 技术 监管审计材料报备等 还需关注第三方合作机构的协调 备份规划 系统环境 业务数据 相关数据 尤其是外部数据 的整体备份协议 数据映射 新老系统交替后的业务场景映射变化 尤其是老系统的数据字典最终版本 资源回收 老系统下线后资源回收计划 尤其是专用设备资源的回收等 适应创新业务的数据管理要求 影像平台架构图 EMCNAS ES索引数据库 5 标准影像应用 3 非标准影像应用 2 负载 负载 负载 SSDNAS 低速存储 高速存储 网络设备 全流程和相关渠道 其他外围系统 生产区域 DMZ区域 互联网 三方上传平台 4 负载 互联网业务数据需要流经三方上传平台处理后可流转到后方影像平台 数据流向标准和非标准处理 灾备 GFS存储平台 非结构数据存储平台 EMCNAS SSDNAS 低速存储 高速存储 网络设备 GFS存储平台 非结构数据存储平台 存储间数据同步 负载 标准影像应用 2 非标准影像应用 2 负载 ES索引数据库 4 负载 分布式数据库实时和半实时同步 三方数据 结构 非结构 的传输控制与归档管理 DMZ区域 互联网 三方上传平台 4 负载 互联网业务数据需要流经三方上传平台处理后可流转到后方影像平台 数据流向标准和非标准处理 生产环境影像UCP平台 由于业务系统对第三方上传影像的需求日益增多 由于对外接入平台无法满足影像流的上传压力 并且大部分对外链接系统不具备过滤和控制以及安全方面的相关处理工作 所以计划在DMZ区域建立第三方上传平台来支撑业务流转 当前已知需求 话时贷 大数金融 车贷 分期乐等等需求后续传统的线下销售会逐步到线上销售