金融级数据研发 DataOps 落地实践-廖晓格

金融级数据研发Data平安银行数据及AI平台团队负责人/廖晓格廖晓格长期大数据平台、AI平台建设经验二、数据研发DataOps实践如何保证数据共享重升降保数据研发平台问题和挑战如何保证数据共享重升降保如何减少数据事如何减少数据事故，保证数据交付如何提高数据交付如何提高数据交付效率和批量数据时如何有效赋能业如何有效赋能业台成本？>>必须有数据研发工程师+后端开发工程师参与完整的业务需求批流程也要小时到天不等，影响一些分析场景的效能；理理A提升数据加工效率改善数据质量D控制数据风险赋能管理决策数据成本越来越高，理理A提升数据加工效率改善数据质量D控制数据风险赋能管理决策数据安全隐患0不可靠决策理急需一套工程体系支撑数据研发急需一套工程体系支撑数据研发，DataOps是一种面向数据全生命周期，以价值最大化为目标的最佳实践。聚焦于协同从数据需求输入到交付物输出的全过程。构建集开发、治理、运营于一体的自动化数据流水线，不断提高数据产品交付效率与质量，实现高质量数字化发展。数据研发平台DataOps目标•统一数据研发平台核心目标将DataOps的数据管理方法论融入数据开发，以及一些自动化测试，部署等技术,构建标准数据研发生产流水线。支研发流程标数据安全保精细化数据提升数据时效工具化运营夯实平台稳定保障数据研发质量；沉淀高价值数据资产深入湖仓一体架构提高数据研发效率；提供高可用的数据服务扩大实时数据使用场二、数据研发DataOps实践数据运营推动数据监督数据基础底座数据安全保护伞生成测试一体化统一调度统一权限数据研发平台DataOps数据运营推动数据监督数据基础底座数据安全保护伞生成测试一体化统一调度统一权限建立以价值最大化为目标的数据全生命周期管理最佳实践建立以价值最大化为目标的数据全生命周期管理最佳实践仓表字段业务标签/特征数据模型服务API湖/仓表数据源作业成本价值作业成本价值ROI质量运营异常诊断资产盘点事前治理项事前治理项事故复盘管理字段相似度相似作业识别相似加工链路数据质量DQ资源监控作业大屏高保作业发布规范质量规范架构规范数据标准安全规范事中治理事后治理数据加工测试发布运维监控数据集成数据服务指标加工数据源重降升保Oneservice指标定义指标发布数据数据数据采集数据模型应用管理数据准备项目注册服务配置并发布服务交付数据集定义数据研发流程规范数据运营规范数据安全规范数据研发平台DataOneservice指标定义指标发布数据数据数据采集数据模型应用管理数据准备项目注册服务配置并发布服务交付数据集定义数据研发流程规范数据运营规范数据安全规范•基于《数据研发流程基线细则》和《务等)，引入CI/CT/CD方法融入并标准化数据研发流程，降低统一数据研发平台数据研发的全生命周期流程数据数据一采集方式数据源一采集方式数据源数据定义合规检查表注册模型管理建模定义数据源选择定义数据源选择检查数据数据运营语法UAT定义采集频率采集频率加解密数据架构规范数据架构规范核心能力Dataops全研发流程：融合数产定义开发、Oneservice数据服务配置全流程；将治理规范融入数据研发流服务和数据指标驱动数据研据血缘/元数据管理/规范检实现线上数据的自动检核运营AI建模前端业务监管报送(starlink)数据服务OneService数据血缘数据质量业务图谱权限审批作业血缘链路治理任务成本运(精品/kpi)全链路监控诊断跑批规范数据质量检测统一资源管理Yarn实时计算引擎Flink运营AI建模前端业务监管报送(starlink)数据服务OneService数据血缘数据质量业务图谱权限审批作业血缘链路治理任务成本运(精品/kpi)全链路监控诊断跑批规范数据质量检测统一资源管理Yarn实时计算引擎Flink统一智能调度运行规范登记评审分发API开发API市场资源隔离服务计量服务编排数据集成实时采集Flinkcdc离线采集waterdrop流批采集Flinkcdc->Spark测试/发布数据源注册数据源管理File数据源DB数据源数据加工批任务Spark流任务Flink流转批Flink->Spark指标加工数据建模维度/指标定义设计即研发指标物化指标上下架数据服务化分布式文件系统数据研发平台DICloud统一SQL语义层引擎Nosql存储湖仓一体Mpp存储•建设目标:研发层面，基于湖仓一体存储，面向全行提供流批数据一体化的研发平台，覆盖从需求阶段-研发阶段-运行阶段-运营阶段，支持业架构治理服务编排服务编排•全行统一大数据作业调度平台，支持离线数据研发，血缘自动计算，生产测试一体，作业线上发布，作业运营等数据研发的生命周期过程，标准监控运营监控运营治理全景治理全景生命周期运营生命周期运营统一研发统一研发IDE离线数据研发元数据离线数据研发元数据管理架构治理检查数据脱敏数据发布依赖调度依赖调度周期调度周期调度重跑调度重跑调度(级联/批量重跑)组件优先级优先级多源异构多源异构数据集成SparkSpark执行器HiveHive执行器数据出仓数据出仓执行器组件资源隔离SparkSpark/HiveSqoopDataxEs-sparkJdbc数据研发平台DataOps-质量治理能力•数据质量已经成为银行数据治理的核心组成部分，从治理视角而言，建立完整全流程的数据质量体系，及时发现质量问题->实时预警属主修复->事后复盘增强测试发布环节检测、提升银行数据整体质量，事后-异常质量问题追踪复盘事后-异常质量问题追踪复盘实时质量异常阻断(依据血缘依赖阻断下游自动调度)基于过程质量问题，工单追踪异常整改实时质量异常阻断(依据血缘依赖阻断下游自动调度)2)字段粒度规则监控效率优化对接系统聚合报告分析缺陷标注结果大盘用户&权限一键UM登录数据权限自动识别场景自适应数据模型（待建）基础数据规则场景建模数据研发平台效率优化对接系统聚合报告分析缺陷标注结果大盘用户&权限一键UM登录数据权限自动识别场景自适应数据模型（待建）基础数据规则场景建模数据研发平台脱敏系统ROUTER权限系统Jira需求管理DQM数据监控基础集市…信用卡集市质量门槛UAT/业务程理•为解决大数据数据质量测试痛点，在测试环境无法完全复现生产问题，生产数据脱敏到测试环境仍有安全隐患，因此需要构建数据研发测试一体证全流程质量闭环心能据备事后监控审计：基于规则引擎建立数据访事后监控审计：基于规则引擎建立数据访可能的异常访问；权限，返回用户对应的脱敏数据。调度平台调度平台SQL/Job统一SQL引擎Router权限管理大数据SQL计算引擎SparkSQL大数据平台安全决策引擎Kyligence客户端AI算法平台元数据管理脱敏引擎Presto血缘分析JupyterAdhocHIVEDMDM对公DMDMDWDW对公DWDWMIDMIDMIDMID贴源层RAW数据研发平台DataOps-数仓分层加密处理过程DMDM对公DMDMDWDW对公DWDWMIDMIDMIDMID贴源层RAW•ODS贴源层(raw)：敏感字段识别，利用正则+算法+人工，识别出贴源数据表的敏感字段。•ODS加密层(mid)：高敏感字段加密，将银行卡号，手机号，证件号进行加密储存。•数仓、集市等层：利用字段级血缘关系，标识出每张表敏感字段。•数据查询访问：应用端查询数据时，对统一查询中心(router)，根据访问的敏感字段及敏感脱敏类型进行脱敏处理。规则库数据表B12数据自动√字段血缘分析√√√√^[a-规则库数据表B12数据自动√字段血缘分析√√√√^[a-zA-Z0-9_-]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$34人工•源生产系统数据集成过程中，无论实时或者离线采集，开发治理一体化平台基于数据规则自动实现敏感数据发现；采集表A采集表A数据表A数据表ACert_noeEmailCHILD_C人工人工标识识别说明识别环节1，数据识别：依据预定义规则库+命名实体算法服务自动识别识别说明识别环节2，血缘分析：依据上游字段的安全标记，下游字段自动继承；识别环节3，人工复核：开放白名单数据环境，数据标准由人工进行复核确认；原则场景可有效解决类似数据融合、公私联动融合分析等数据类场景Aicloud数据分析Adhoc即席查询析平台A模型A结果B模型B结果权限申请NoSql存储 Hbase/MongoDB/ES统一脱敏B模型结果√C模型结果A模型结果最小化申请原则场景可有效解决类似数据融合、公私联动融合分析等数据类场景Aicloud数据分析Adhoc即席查询析平台A模型A结果B模型B结果权限申请NoSql存储 Hbase/MongoDB/ES统一脱敏B模型结果√C模型结果A模型结果最小化申请√x校验通过校验不通过校验通过统一脱敏x统一SQL语义引擎沙箱YARN生产YARNHDFS/Iceberg沙箱HDFS原则•基于沙箱数据只进不出和分析应用相互隔离两大原则构建数据沙箱环境，差异化数据融合模式，确保安全可控要求下，提升训练和探索环节效1一号写入沙箱库外部沙箱应用数据源沙箱作业数据源外部生产应用生产作业2 生产库沙箱库1分析用户脱敏/采样/大数据SQL引擎图判断算法平台生产环境 脱敏引擎/采样引擎数仓层!阻断规则2血缘分析KAFKA消息队列安全决策引擎元数据管理1一号写入沙箱库外部沙箱应用数据源沙箱作业数据源外部生产应用生产作业2 生产库沙箱库1分析用户脱敏/采样/大数据SQL引擎图判断算法平台生产环境 脱敏引擎/采样引擎数仓层!阻断规则2血缘分析KAFKA消息队列安全决策引擎元数据管理敏感字段原始层采集团队资源单价对应资源的使用单价：数据研发平台Data资源单价对应资源的使用单价：•平台层面深化数据价值评估体系探索，实现数据成本与价值的多维度可量化分析，基于成本/价值实现数据资产的ROI分析以及成本治理。 价值量化分析PV/UVPV/UVPrestoHIVE 基础平台从存储和计算两个维度，计算每一份数据资源用量资源用量•存储使用单价：•计算使用单价：0.0000093（元/vcoreseconds）数据使用成本数据使用成本存储成本+计算成本；存储成本=存储用量*存储单价计算成本=计算用量*计算单价不代表实际情况资产目录运营资产自动挂载资产查找服务资产链路地图数据分类识别数据盘点指标加工数据研发平台DataOps-数据资产沉淀资产目录运营资产自动挂载资产查找服务资产链路地图数据分类识别数据盘点指标加工数据资产平台开发治理一体化平台元数据检查质量检查血缘链路核验开发治理一体化平台数据资产平台开发治理一体化平台元数据检查质量检查血缘链路核验开发治理一体化平台业务属主定义资产认定定义资产业务属主(2).认责定义;：基于推送的数资产自动打标(表类型/是否敏感)资产信息盘点资产信息变更资产生命周期运营资产自动打标(表类型/是否敏感)资产信息盘点资产信息变更资产生命周期运营数仓目录管理资产目录挂载资产全景地图资产目录导航资产场景搜索打通资产场景(5).资产化应用：数据资产治理之API服务加工二、数据研发DataOps实践构建面向用户和下游应用消费的逻辑数仓层，构建面向用户和下游应用消费的逻辑数仓层，将逻辑表与物理表隔离，将物理表交给系统层优化透明数据ETL逻辑和物理存储介质，由逻辑层用户行为和需求触发，实现数据生产链路的智能编排和调度，针对重复、相似计算进行自动合并，下线或降权无效、低频、低价值数据生产基于用户查询行为实现自适应的查询Cube/索引逻辑层基于业务需求快速调整，物理层自适应上层调整，识别数据核心资产元•逻辑数仓以用户视角出发，以最大化数据价值和最优成本管控为目标，更敏捷响应用户需求，弱化繁琐的数据流ETL加工链路，让ETL工程师更专注企业通用模型设计，节约存储成