基于大数据分析的实时风控体系解决方案(风控大数据)

基于大数据的风控系统解决方案ontents1234我们的挑战Aegis系统架构核心模块介绍风控模型和策略我们的挑战1Part业务类型和数据量增长需要更加自动化和智能化用好设备和行为数据跨海外网络的数据延迟金融风险分类与概述金融企业的本质就是经营风险互联网金融本质上仍然是金融

互联网金融天生具有互联网行业特性从风险的本质上认知互联网金融金融风险分类与概述操作风险由于内部程序、人员、系统的不完善或失误、或外部事件造成直接或间接损失的风险信用风险指受信方拒绝或无力按时,全额支付所欠债务时,给信用提供方带来的潜在损失市场风险因市场价格包括利率,汇率,股票价格和商品价格等的不利变动而使银行表内和表外业务发生损失的风险操作风险-有规律的分布信用风险-转化概率矩阵年初信用等级年底时的信用评级转换概率（%）AAAAAABBBBBBCCC违约AAA90.818.330.680.060.12000AA0.790.657.790.640.060.140.020A0.092.2791.055.520.740.260.010.06BBB0.020.335.9586.935.361.170.120.18BB0.030.140.677.7380.538.8411.06B00.110.240.436.4883.464.075.2CCC0.2200.221.32.3811.2464.8619.79市场约束金融风险分类与概述金融风险防范：巴塞尔协议III（2010）

三大支柱最低资本充足率监管部门检查金融风险分类与概述最低资本充足率要求（8%~12%）根据平台发展战略，客观规划风险准备金（核心资本）根据风险准备金规模，合理控制业务发展采取合理的管理方法降低风险发生概率，可有效降低风险敞口风险缓释机制和工具的使用，可有效降低风险敞口压力测试有助于提前准备好防范措施，专家智库、系统与模型，能有效风险预警金融风险分类与概述监管部门检查业务开展、产品开发的合规性风控体系建设的合理性----包括组织结构、人员构成与职责主管部门检查的可行性和完备性风险报告机制建立，主动性与监管部门沟通，有助于全面风险控制持续性风险监测、流动性监测、建立风险损失库金融风险分类与概述市场约束信息披露的政策、内容信息披露数据集市信息披露报告模板信息披露流程管理信息披露反馈的处理与响应面临的业务风险信用风险恶意逾期、骗贷、虚假身份、中介代办、跨平台借贷账户风险恶意注册、账户盗用、拖库撞库、暴力破解、账户攻击交易风险盗卡盗刷、刷单、套现、虚假交易、洗钱风险我们的挑战1Part风控面临的挑战风控挑战终端平台多系统环境复杂网络环境复杂环境风险防控战线长防控节点多模型频繁调整规则复杂防控风险特征多变欺诈手段多变技术手段多样性风险我们的挑战1Part大数据驱动风控体系模型四大模型系统风控大脑数据用户信息、行为数据、事件数据安全客户端安全链路安全服务端安全Aegis运行框架2Part风控系统架构风险决策平台规则决策模型决策实时决策引擎实时计算指标中心流计算图计算机器学习训练准实时策略训练场监控平台数据统计分析平台数据报告平台风险数据洞察风险运营平台安全设备指纹设备识别设备证书虚拟机识别代理检测运营审核平台案件处理平台统一搜索平台准实时训练数据大盘运营安全检测风控大数据平台数据仓库平台ETL平台批处理计算平台机器学习平台数据爬虫BI平台Aegis运行框架2Part2PartAegis

运行框架四大模型-司南“司南”－风险控制模型体系，囊括了申请评分模型、欺诈评分模型、套现识别模型、交易监测模型、催收评分模型等十几个模型，每一个模型都还将持续进行优化和迭代，帮助识别和管理金融业务的风险；申请评分模型套现识别模型欺诈评分模型风险控制模型虚拟交易识别模型催收评分模型风险控制模型体系风险行为识别用户行为风控决策首页浏览商品评论搜索比对购物车登录下单支付首页搜索购物车登录下单支付修改密码实时收集点击流实时计算风控指标实时风控模型决策异常行为日处理点击流50TB数千个指标毫秒计算几百个模型毫秒级决策手机号正常行为四大模型-火药“火药”－量化运营模型体系，从价格敏感度、用户活跃度、消费购买力到信贷需求潜力等多个方面，构成了最具爆发力的运营推广、收益定价等核心竞争力；敏感度模型价格模型活跃度模型购买力模型风险定价—地址模型地址模型用户收货地址企业政府银行企业排名企业资产企业市值员工收入水平别墅高档社区普通小区……房价区间租金区间规模区间全国住宅地址价值库全国企事业单位地址价值库……用户地址风险定价系数四大模型-活字“活字”－用户洞察模型体系，通过这套体系可以实现识别、发掘、认识用户，从个人资产评估、身份特征画像、履约历史的评估、用户行为偏好甚至用户关系网络的构建，支撑起对用户的画像和社交关系构建，帮助提升精准识别、社群管理等用户运营效率。行为偏好履约历史评估关系网络社交关系身份特征画像资产评估用户身份特征画像朋友家人亲戚摄影爱好者有车一族单身白领……日常购买商品日常浏览记录收货地址收货人信息购买商品评论……四大模型-造纸“造纸”－大数据征信模型体系，XX也透露了其打造信用评分产品“白热度”，依托大数据征信，目前已经完成了超过一亿的用户评分，未来白热度将从身份特征画像、个人用户评估、履约历史评价、关系网络评估、网络行为偏好及信用风险预测六个维度刻画用户，为用户进行风险评估时提供更多有价值的参考，也增强了风险管理模式的有效性和可控性。白热度履约历史评价关系网络网络行为偏好信用风险预测身份特征画像个人用户评估2PartAegis

系统架构图业务数据仓库风控引擎审核中心案件中心外部客户数据合作伙伴数据社交数据外部账户数据数据贴源层实时数据流ETL基础数据采集外部数据采集数据采集层数据计算层实时数据计算平台离线数据集市元数据中心数据健康度管理数据使用层规则引擎决策模型变量工场运营平台数据产品数据质量/数据监控/数据建模/数据优化/数据调度服务能力千台集群P级存储上万变量99.9%稳定性Aegis2Part数据采集框架Aegis

—笔支付请求的背后黑白名单数据预处理/变量衍生～1000-2000个执行规则～400条+执行模型～5-10个结果计算及后处理实时异步……Aegis

性能和稳定性日亿级交易处理能力支付风控平均处理时长小于150ms，99.9%线600ms支持DR灾备，数据分级存储，7×24H监控&预警通用性强：支持支付风控、业务风控、外部合作伙伴风控支持Aegis核心服务和模块3Part规则引擎模型执行器变量服务设备指纹实时流量用户画像行为分析$Aegis

规则引擎RuleEngine规则分布式并行执行支持按业务分组支持动态调整分组和扩容基于Java，高吞吐量、低延迟使用gRPC互联Aegis

模型执行引擎特性：使用Java完全自主实现的dot模型执行器，执行耗时只有Python版本的10%拥有完善的模型运行监控和熔断机制PythonJPMML自主研发特点标准、开源，兼容性好标准、开源，兼容性好。使用Java解析并执行.dot模型文件，支持随即森林和逻辑回归算法，算法可扩展性能10-100ms，因需要独立部署，有网络开销性能和Python执行.dot接近，只是可以嵌入式运行，所以稳定性比Python高0-10ms，嵌入式执行，性能高，稳定性高Aegis

审核自动提示Aegis

实时流量服务Counter日查询量超100亿次支持分钟、小时、日、月等多级精度，支持动态配置支持3个月以上的超大时间窗口流量数据实时推送，1秒级延迟适用于限额限次、Velocity变量和Ratio变量的实时计算Aegis

设备指纹Aegis

实时用户行为分析Aegis

交易关联排查订单/交易账号设备卡人数据用于规则、模型、和人工案件排查基于HBase自主实现的Graph存储，50亿+交易数据，1秒级返回关联结果Graph基于交易、人、设备、卡、账号等多个维度的大数据关联分析，确定关联交易。Aegis

交易关联排查模型规则风控模型和策略4PartOR模型规则化规则模型化BigData姓名国籍酒店机票设备指纹邮箱异常批量注册设备指纹声纹识别MachineLearningDeepLearning风控模型和策略4PartXman账户位置电话电子邮箱IP支付账户卡信息衍生方法刻画pattern基础衍生高金额、快速起飞/入住等冲突变量信息不一致，例如发卡国和Ip国Recency账户年龄，最近一次交易velocity（单、双主体）频繁交易\换卡等过滤条件velocity频繁高危行为ratio高危行为占比，短期交易集中个体异常个体行为发生变化/异常群体异常行为相对于同地域人群异常躲闪行为行为有躲避风控规则的嫌疑跳跃行为小额试卡的行为risktable历史案件信息的利用多维度关联刻画用户行为设备指纹风控模型和策略

海量交易数据信号衍生下单和起飞时间之间的天数手机和ID与ADcity是否冲突保费，订单金额单人游常旅客卡订单金额往返航班家庭游航班类型国内国外游好友游持卡人非出行人是否同省情侣游20.1%3%2.2%11.2%5.0%56.9%国内因公单人游家庭游风控模型和策略

特征工程文本处理文本分词去字尾词性标注过滤N元组语义分析NLP/文本分析技术词汇库开发词/词组库，并关联到相关主题和目标考虑同义/下位词使用:对特定目标识别问题焦点为模型特征工程做预备实体识别识别特殊实体类别，如人名，地点，时间，问题类别，关键名词使用:识别特定种类实体对特定实体对相关词组分组基于文本模型统计分析对特定目标字词的相关性根据标签的可用性应用业界最新的无监督或有监督算法使用:−模型特征库萃取语音识别声波数据预处理音频采样分解频带傅立叶变换创建识别码RNN识别音频片段字符文本数据对深度学习发音预测矫正:风控模型和策略

文本信号挖掘建模数据数据去重traindata提取特征值测试数据数据去重提取特征值变量注释 变量名26个字母+10个数字+特殊字符频率freq_域名欺诈率名字模式欺诈率正常名字模式生成可能概率名字复杂度名字长度生成概率（数字转移数字概率不为1）domain_degreename_degreename_probabilitynum_changelengthprob_prefix_num_no_1生成概率（数字转移数字概率为1）prob_prefix_num_1生成概率（只有字母）prob_prefix_alp原始数据原始数据风控模型和策略

字母生成概率数据管理和集成信号侦测&预测分析应用变量衍生和特征工程深度学习及机器学习算法处理非结构化数据项目状态传统数据库+NoSQL保证ETL速度使用携程独创Ageis系统高效获取和存储建模所需数据多重数据仓库集成密切监测模型运行情况支持快速开发定制特定算法线上自适应调整模型参数快速部署支持数亿交易量的业务自动生成各产线模型报警实时/离线模型表现业务监控报表实时查看模型变量和模型评分分布项目状态项目状态项目状态项目状态初始中间完工评估基本原理风控模型和策略模型工厂数据源获取 平台加工生产系统数据仓库ETL其它数据源模型部署模型监控模型调整衍生变量抽样建模数据奇异值分析分箱变形转换稀疏格式转换模型训练模型评估模型开发数据准备数据集成模型优化风控模型和策略

模型生命周期欺诈特征Velocity–E.g.2连续交易发生在很多时间内Distancetohome–E.g持卡人地理位置和常用地址距离很大CompromiseDistributedHomeTransTransactiontime–E.g.发生在临晨的交易欺诈率高Etc模型&评分利用传统模型方法如逻辑回归，神经网络，矩阵因子分解，K最近邻法等–MatrixFactorization–RandomForest–KNNHighRiskLowRisk风控模型和策略基于统计分析&机器学习的欺诈策略欺诈交易识别分二步:1.欺诈特征生成；2.机器学习模式识别风险识别卡交易位置关系自学习规则部署将贝叶斯模型部署携程云平台，根据欺诈形势自动更新相关特征变量，第一时间对欺