实时流计算技术在保险资管合规风控领域的应用探索

“十四五”规划提出“加快数字化发展建设数字中国”，并就加强关键数字技术创新应用作出战略部署。信息技术日新月异，以人工智能、大数据、云计算、区块链等为代表的新兴技术已成为赋能资本市场高质量发展的重要动力，正在全面深入赋能金融机构数字化转型升级。新华资产管理股份有限公司(以下简称“新华资产”)全面贯彻落实“稳妥发展金融科技，加快金融机构数字化转型”的战略，积极探索数字化、智能化的金融科技创新应用。与此同时，投资领域的不断拓展对金融机构投研一体化水平要求越来越高，而且在涉及境外资产、另类投资等产品时缺乏统一的合规风控解决方案。近年来，大数据实时流计算技术发展迅猛，在各行业广泛应用。为进一步防范化解金融风险，实现全面风险管理，本文主要探讨在统一风控中心系统设计中，应用实时流计算技术进行合规风控检查的实现路径。一、实时合规风控方案设计在核心设计上，新华资产将实时合规风控检查工作划分为规则映射、规则鉴别、鉴别结果归集等一系列分布式实时流计算任务，通过分布式消息队列串联各计算任务的输入和输出结果，主要任务及数据交互关系如图1所示。图1实时合规风控检查主要任务及数据交互关系1.规则映射任务在资管公司的投资业务中，任一投资行为都需要检查该操作是否符合法律法规、监管制度、投资指引、合同条款、内控制度等要求。这些合规检查规则项少则数十条，多则可能有几百条甚至上千条。新华资产把投资指令的风控检查分解成检查各具体规则项的过程，称之为“合规检查的规则映射”(简称“规则映射”)。为了加快后续系统处理速度，充分利用分布式计算带来的算力优势，新华资产将规则映射得到的待检查项写入消息队列，供后续进行异步化、并行化计算。在实际进行系统实现时，除了要考虑投资行为本身触发的合规风控检查，实际成交回报数据、市场行情等因素也可能对后续检查结果产生影响，需要一并考虑。以交易所证券投资为例，投资指令信息首先写入消息队列中，系统以事件驱动方式将投资指令映射为待检查合规项(如证券集中度不能高于某个比例、买入证券不能是禁投品种、投资该证券后大类资产比例必须在某一范围内等)。成交回报和实时行情的处理也与之类似，只是对应的映射规则项不同。收到交易所的成交数据后写入消息队列，系统会更新实时头寸，并触发后续投资指令实施相关合规检查。另外，系统接入交易所行情网关，将实时行情写入消息队列，实时行情变化也会触发持仓比例等相关风控指标的合规检查。2.规则鉴别任务针对规则映射的结果进行的计算称为“规则鉴别”。合规检查规则项按计算类型归类为区间鉴别、等值鉴别、离散鉴别、头寸鉴别等，并支持自定义扩展。各规则鉴别任务彼此独立运行，互不影响。规则鉴别任务订阅的消息队列中的合规检查规则项，根据各任务类型的判别规则和阈值进行计算和鉴别，并将鉴别结果写入消息队列。鉴别结果包含等级(合规、违规、预警、人工检查等)、计算的风控指标值、对应计算过程说明和过程值等。3.鉴别结果归集任务同一投资指令映射得到的多个合规检查规则经过鉴别后，要进行结果的归集，生成投资指令的最终合规检查结果。鉴别结果归集任务订阅消息队列中的合规检查规则项的鉴别结果，进行归集汇总后，将结果写入消息队列。结果汇总归集时，充分利用组合条件(AND、OR、NOT)树状结构进行优化。例如，某一条投资指令触发了一系列AND条件关系的合规检查规则项，当某一条鉴别结果为违规时，不必等待收集全部结果，直接将违规结果作为最终结果写入消息队列。对于合规的投资指令，进行后续交易执行；对于不合规的投资指令，进行违规预警。合规风控监控大屏实时显示所有投资指令的合规检查结果，包括映射的每一条合规检查规则项的鉴别结果。在实际系统设计上要重点考虑以下几点：一是任务并行化执行。每个任务各司其职，拥有独立的输入和输出流，任务间松耦合，彼此独立。同一条投资指令映射的不同合规检查规则项在不同任务中并行处理。二是数据分区处理。每个任务划分不同数据分区，处理不同数据。不同产品的投资指令，在各自对应分区下并行处理；相同产品下相同证券的连续多条投资指令，在相同数据分区下串行化处理，特别是头寸冻结、流动性资产等带有状态的阈值鉴别场景。三是事件驱动。基于投资指令、成交回报、实时行情等实时数据流，驱动实时合规风控检查，实时性较强。计算时不再拉取数据，当触发计算时，数据已经到来，计算的延迟更低。四是增量计算。除特殊情况和特殊规则要求外，不进行全量数据计算。例如，对映射规则进行缓存化和状态化处理。基于最新状态进行增量计算，而非每次拉取外部数据，进一步提升计算速度。在实际系统实现中，可以根据风控指标的不同粒度，划分为证券级状态、产品级状态、全局级状态、无状态等计算任务，充分利用各自的状态进行增量计算，提升合规检查鉴别速度。此外，鉴于投资指令的实效性和合规检查的实时性要求，也要充分考虑计算超时和部分节点失败自动重算等问题。二、实时合规风控应用探索实践近年来，大数据实时流计算技术迅猛发展。新华资产在进行技术选型时，充分考虑各框架技术特点和系统设计时的关键要点，最终选择Flink实时流计算框架和Kafka分布式消息队列等实时流计算技术进行实时合规风控。Spark内存计算框架异军突起，强于离线批处理计算，逐步取代MapReduce而处于霸主地位；但SparkStreaming流式处理数据方式基于微型批处理方式，而不是真正意义上的实时流计算，计算延迟较高、吞吐量较低。Storm较早地开启了流计算时代，但其自问世以来存在诸多问题：未能有效融入大数据生态圈，上下游大数据组件匮乏，缺少分布式资源调度框架(如Yarn)的支持，在大数据环境中的资源分配、调度、管理不灵活；不支持原生的精确一次(ExactlyOnce)语义，不支持流批一体架构模式；社区活跃度低，系统演进和问题修复速度慢。Flink充分参考了Spark和Storm的优势和不足，自设计之初定位便是实时流计算。支持事件驱动开发模式，降低了流计算开发门槛；提供ExactlyOnce的一致性保障，既不丢失数据，也不重复消费数据；拥有精密的状态管理机制，可进行增量计算，支持超大状态；通过高效的检查点(Checkpoint)和存储点(Savepoint)实现高效的容错与故障恢复机制，有效容忍节点宕机、硬件故障、网络闪断等不可抗因素，保障高可用；支持流批一体架构，不需要开发维护两套代码；具有强大的水平扩展能力，通过对数据流进行有效的算子级别的数据分区和计算，实现高吞吐和低延迟；支持Yarn、Kubernetes等分布式资源调度框架，集群环境统一管理，运行方式灵活；拥有活跃的社区支持，架构演进、问题修复、版本迭代较快；拥有丰富的大数据生态圈资源，支持绝大多数主流大数据组件接入。Kafka分布式消息队列现已成为贯穿各实时流计算任务上下游、衔接实时流计算任务与应用系统的管道与媒介，同样具有水平扩展、数据分区、高吞吐、低延迟、高可用、容错等特点。Flink结合Kafka实现实时流式计算任务，可提供端到端的ExactlyOnce一致性保障。基于Flink实现合规检查规则映射、规则鉴别、鉴别结果归集等一系列分布式实时流计算任务；通过Kafka串联各计算任务的输入输出，串联投资指令、成交回报、实时行情等数据流供下游任务计算，串联合规风控检查结果供各应用使用。此方式实现了任务并行化执行、数据分区处理、事件驱动、增量计算等设计之初重点考虑的要点。实时合规风控检查总体架构如图2所示。图2实时合规风控检查总体架构考虑到Flink生产环境级别分布式资源调度框架成熟度，新华资产选择了更为成熟的HadoopYarn，将各实时流计算任务部署运行于其上，由Yarn负责各FlinkJob的资源分配与容错调度，并采用FlinkPer-Job模式进行有效地资源隔离，HDFS存储FlinkJob的检查点和存储点；采用Zookeeper协调各分布式组件，均实现高可用部署。应用层面，各应用采用分布式微服务架构，单独部署于Kubernetes容器云平台；物理架构上，使用