中国农业银行数据中台建设与应用实践

演讲人：孙琳周易曰：周易曰：“易穷则变，变则通，通则久”。现代企业在近30年经历三次重大企业级转型，从信息化、互联网向数字化。随着第四次工业革命的来临，数字化生产已经成为普通的商业模为生产工具，以软件为载体，以服务为目的的生产过程。大数据、云计算、区块链、移动互联、人工智能、物联网等新信息化系统建设实施是个业务问题；传统的IT治数字化是通过数字技术改变商业模式，提供新的营的升级和重构；对产业链重塑，企业自身的业务能1990s2000s数字化理念是转型内涵基础企业级业务架构指导中台建设，解决跨领域复用和基础功能重复企业级业务架构指导中台建设，解决跨领域复用和基础功能重复建设问题。中台建设迭代输出，满足急用先行需要，又可实现领域内共享复用，支持产品快速创新。中台建设分领域突破，工程实施复杂度降低，过程相对可控。业务需求技术实施构建设流通闭环，提升用户赋能1、以”采、建、管、用“的主线，建设数据流通闭环。2、以”三库一市“为依托，加速数据资产建设，推进资产标准化。台，提供全方位数据服务。企业级数据仓库完成建设，形成“1主库+8大集市”数仓架构。得《中国人民银行2019年夯实数据底座，建立运营体系，全面开放赋能大数据平台获得《中国人民数据数据数据驱动扩展开放高效协同产品创新产品创新99通过客户征信、中征码等数据，结合企业在行外的非结构流程再造流程再造原本需要数天时间的贷款审批流程，现在线上1分钟左脑：改变思维模式(从经验驱动=>数据驱动)左脑：改变思维模式(从经验驱动=>数据驱动)采集各类源数据，夯实底层数据基础拿准用户建将遇到的问题进行量化，评估对业务影响大小是多少，确定解决优先级排序。收集需要解决这个业务问题所需要的全部数据，并进行数据清洗。结合人工经验和数据分析方法找到问题的根源，确定影响因子都有哪采用合适的方法，如AB量每个改动对结果的全面影用数据说话，让决策变得透明、实践要点漏斗用户行为步骤以及各步骤之间的路径3.确定需要优化的节点根据客户的交易1.计算客户交易间隔(R)、交易频度(F)、交易金额(M)行用户分层团队具体的、可落地、可度量的行为上1.定义问题的目标(O)后期执行穷尽分析问题1.确定目标2.分步骤梳理问题3.代入数据量化黑客以数据为指引，以实验的方式在阶段，寻找性价比最高的机会，到增长目标1.搭建跨职能的增长团队2.打造好产品，找到产品的核心价值(问卷、留存率)总行为外部分行非结构化主题数据主题数据整合数据数据目录服务目录算法模型目录数据与服务地图搜搜索与推荐数据获取特征工程模型构建图谱/NLP数数据微服务灵活查询看看板多策略投冠军挑战后评价闭环以用户为中心构建数据产以用户为中心构建数据产·数据仓库支持多源结构化数据·数据规模增长、低并发、大批·流计算解决高时效性要求，存准确性和时效性要求更高能力体系应用程序和数据管理数据分析能力数据标准化数据服务能数据模型开发能力数据产品开发导入数据流水线数据流水线数据智能数据湖&交互式数据智能可数据湖&交互式引擎引擎引擎引擎引擎引擎Mesh的数据生态和平台，支撑面向领域的Data统一流程管理权限管理智能化数据服务的四种模式山山信息洞察表等多维度标准化数据资产，以统计分析数据呈现业务现状。诊断预测由单体建模到联合建模，由细分领域到多模态多维度融合，通过Al感知能力、思维决策支持通过量化、实时化决策技术为业务决策实施提供方案参考，由人工经验决策转向智将智能决策工程化，融合多模态数据，通和后评价等技术，不断迭代优化决策方案。标准化定义自助式探查指标沉淀赋能原标准化定义自助式探查指标沉淀赋能原子指标属性标签定义标签沉淀标签应用赋能数据装载维度定义查询分析赋能可视化组件市业务系统展示层展示层逻辑层服务层度量复合指复合指标10大领域标签数据缓存处理客客户险销明细查面趋势一览占比分析组件赋能明细查面趋势一览占比分析组件赋能即席查询即席查询要指标、关键数据一目了然。户贷款等500余项指标、多维诊断是根据事物过去与当前的表现，分析其发生的原因；预测诊断是根据事物过去与当前的表现，分析其发生的原因；预测是依据发展趋势和变化规律，对未来的趋势或状态进行推断。诊断与预测是在信息洞察的基础上进行的更进一步的分析挖掘，提供感知建模、思维建模等高阶的建模能力，还可通过数据探查指标库…凭证分类票据识别现金计数印章检测知识图谱知识图谱属性抽取知知识存储链路管理决策树加密模型训练加密模型训练加密文件对齐加密文件对齐1文件文件文件数据标注数据标注数据探查特征工程模型训练模型验证模型预测结果下发联机推理服务批量模型服务模型后评价服务智智能评分时序预测模型评估趋势预测数据探查查询模型开发创建时序模型指标预测指标预测数值预测建模能力感知能力思维能力决策支持能力是指通过智能决策模型对已有的数据进行分析拟合，对外来的趋势进行预测，并将预测结论输出决策支持能力是指通过智能决策模型对已有的数据进行分析拟合，对外来的趋势进行预测，并将预测结论输出至业务人员或下游系统，达到辅助决策的目的，例如智能推荐支持产品选择决策、智能投顾支持资产配置决策等。同时，实时数据处理能实时汇总实时汇总→可视化实时数据作业实时弹性加实时分析实时探查实时指标实时标签实时模型基金画像实时训练实时特征(反馈)实时训练实时实时预测实时特征(样本)实时预测多模数据融合多模数据融合运用NLP、图像处理等技术，在模型完成分析任务时处理不同形式的数据，抽取特征，通过特征融合、模型融合、决策融合，为模型决策提供更多信息，从而提升决策总体结果的准确应用A/Btest技术进行变量控制和选取优化方向，通过试验比对来选择效果最优的决策。A/Btest通常包括确定目标、提出假设、设计试验方案、分配流量测试、采集埋点数据、试验后分析数据、改进方案继续测试，形成一个不断迭代优化的闭环。在线学习在线学习将模型的预测结果展现给用户，然后根据用户线上的反馈数据，实时快速地进行模型再训练，及时反映线上变化，形成闭环，实现线上预测的准基于一次决策行动后，在数据平台体系内自动化收集决策变化带来的业务数据变化情况，分析影响因素并制定改进目标，进一步重复并迭代整个决策产生流程，形成决策行动循环优化的闭环流