富登风险智能决策系统POC测试说明(风控)v1.0(引擎功能)

./富登风险智能决策系统POC测试说明2019年3月18日文档说明文档名称《富登风险智能决策系统POC测试说明》容描述对富登授信决策系统POC的测试目标、容、计划、方案等进行总体规划和约束。修订说明日期版本修订者修订说明评审1.0一枫建立、完善测试说明文档目录一.测试背景4二.测试容4三.名词与缩略语6四.测试规划64.1测试地点64.2配合测试人员〔厂商反馈64.3测试计划64.4软硬件环境信息〔厂商反馈74.5要求84.6功能测试分级8五.授信决策系统产品功能模块检验说明145.1.1数据平台145.1.2规则配置145.1.3反欺诈配置155.1.4评分卡配置155.1.5决策流配置155.1.6挑战者模式175.1.7监控窗口175.1.8技术服务及支持175.1.9系统175.1.10服务与技术支持175.1.11中间件支持185.1.12数据库支持193列队和高速缓存144服务145服务器部署14富登风险智能决策系统POC测试说明测试背景近年监管追求信贷行业的稳发展及可控,政策日渐驱严,国众多小贷公司授信决策引擎体系已转向更为成熟智能化的本地化建设,为符合监管要求、解决存在的问题、同时实现全渠道风险防和提升实时交易效率,现急需引进第三方授信决策引擎系统进行本地化改造部署。通过功能测试考察各厂商系统的系统能力,比较各家公司对给定决策引擎规则支持能力,评估系统的适用性和先进性。测试容智能决策系统相关功能,包括数据平台、规则配置、反欺诈配置、评分卡配置、决策流配置、挑战者模式、监控窗口等,是否可运行。功能间交互,是否顺畅；流处理引擎性能测试、系统、中间件支持、数据库支持、数据库支持、队列和高速缓存、服务、服务器部署等相关系统性能是否满足我司要求。三．名词与缩略语〔供参考表SEQ表\*ARABIC1名词解释与缩略语序号名词或术语中文解释123ARTAverageRespondtime,平均响应时间交易响应时间是指完成一笔业务交易所需的时间。传统上是指统计"端到端"的交易完成时间。4TPSTransactionpersecond,每秒完成事务数是估算应用系统性能的重要依据,其意义是应用系统每秒钟处理完成的事务数量。一般评价系统性能均以每秒钟完成的交易的数量来衡量。5资源使用率是指在系统负载运行期间,数据库服务器、应用服务器、Web服务器的CPU、存、硬盘,外置存储,网络带宽的使用率。一般来说：低于20%的使用率为资源空闲；20%-60%的使用率为资源使用稳定；60%-80%的使用率表示资源使用饱和；超过80%使用率的资源使用率必须尽快进行资源调整和优化。四．测试规划4.1 测试地点省市4.2 配合测试人员〔厂商反馈厂商名称实施人员备注待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加4.3 测试计划软件、硬件、待验证策略〔测试数据由我方准备；厂商入场,搭建环境；厂商根据现有环境,给出产品部署方案；厂商现场讲解方案,展示产品功能,进行POC测试；我方相关人员对各家实施商的POC情况进行评审并打分。4.4 软硬件环境信息〔厂商反馈服务器功能机器说明机器配置决策引擎功能策略设计、运行的服务器待添加数据平台功能数据清洗、管理、抽取服务器待添加行方提供POC环境和测试数据如有其他软件要求,厂商提出要求并提供介质。4.5 要求POC测试期间不得以任何形式〔包括电子、即时聊天工具、U盘和工作人员笔记本电脑等将我司相关信息、文件或数据泄露,并在离场前由我方人员监督销毁。POC测试结束后,参与POC各实施商必须将我司的相关信息、文件或数据从测试设备及测试人员工作设备<包括电脑、移动介质和网盘等>中全部清除。4.6功能测试分级I、基础功能演示：根据业务人员要求,典型业务场景功能演示,包括规则配置、规则部署、版本管理〔包括版本比对和比对结果的导出、权限管理、版本发布、策略模拟、新策略测试等功能；基础功能列表：模块细项具体说明数据平台对接三方库〔界面配置使用参数模板配置接口,快速对接和配置三方数据数据平台对接部库〔界面配置通过IP、用户名、密码等基本配置连接数据库数据平台解析三方对接入的三方数据进行字段配置和解析,提供如json等常见格式的解析数据平台数据清洗〔界面配置对脏数据进行第一次清洗的操作,提供算子级逻辑操作方法,具体参考Kettle等ETL软件数据平台数据聚合将三方查回数据和本地业务数据进行多种字段的整合规则配置规则包配置定义规则为最小的决策分类,规则包为多个规则的集合满足规则配置可视化配置通过界面可视化配置规则和规则包满足规则配置分产品配置在规则包的基础上增加产品维度满足规则配置商户管理配置对用户群体集合定义为商户,对商户进行对应管理定制化规则配置触发策略配置按照产品和规则包配置触发策略满足规则配置授信额度管理对计算所得的额度分产品进行管理和配置定制化反欺诈配置反欺诈规则可配置反欺诈规则并提供常见的反欺诈模板满足决策流配置标准流程提供标准的流程配置模板满足监控窗口通过拒绝情况对模型的通过拒绝比例进行监控满足监控窗口模型评分对模型评分进行统计满足监控窗口规则命中率单个规则和规则包的命中情况统计满足监控窗口决策报告根据所计算的各种维度和数据生成最终报告满足技术支持本地化团队供应商是否有本地技术团队满足系统响应时长系统对用户输入或请求的平均响应时间满足系统吞吐量系统每秒处理请求或输入的事务数量满足系统并发数系统同时处理请求或输入的事务数量满足系统一键发布对部署系统可进行一键发布满足系统权限管理按角色分模块管理,可配置权限满足系统版本控制提供各版本的切换、回滚和存储导入功能〔系统和规则满足系统本地化部署整套系统可以进行本地化部署满足数据库支持Oracle支持Oracle不支持数据库支持Mysql支持Mysql满足数据库支持Hbase支持Hbase满足数据库支持Hive支持Hive满足服务升级供应商可提供升级服务满足服务维护供应商可提供维护服务满足服务培训供应商可提供培训服务满足服务系统调试供应商可提供系统调试和试运行满足服务上线协助供应商可提供上线阶段的技术支持满足服务买断模式供应商支持对本地化产品的一次性买断满足数据平台数据入库可指定数据从数据库A抽取至数据库B,参考Kettle数据平台加工指标入库清洗过程中的数据可通过配置本地数据库的方式将中间计算结果存储在指定数据库决策流配置串行计算可配置多个流程串行计算逻辑满足决策流配置并行计算可配置多个流程并行计算逻辑满足数据平台解析PBOC对PBOC人行征信报告进行字段配置和解析,提供如json等常见格式的解析数据平台可扩展数据平台可拓展和可二次开发规则配置单例测试可对单个样例进行模型和流程的测试满足评分卡配置权重配置对评分卡中使用到的变量进行自定义权重的设置满足评分卡配置专家打分卡根据专家意见提供变量选择和权重配置的意见满足评分卡配置线性打分卡通过对多个变量的分析和表现配置线性打分卡评分卡配置评分卡测试对所配置的评分卡进行评分测试满足决策流配置混合计算可按照业务需求配置多个流程串行和并行的计算逻辑满足决策流配置决策树按照决策树逻辑配置决策流满足II、亮点功能演示：在《基础功能列表》的围,依据业务人员要求,开展场景功能演示；模块细项具体说明数据平台外部接口开关〔界面配置对指定数据源进行开关控制无数据平台可加密敏感数据交互可通过对称或非对称加密满足规则配置批量测试可对批量导入的样例进行模型和流程的测试满足规则配置导出支持规则导出功能新版本〔3月底满足规则配置导入支持规则导入功能新版本〔3月底满足决策流配置二维通过两个维度的变量对结果进行矩阵分析如何验证决策流配置多维通过多个维度的变量对结果进行矩阵分析如何验证挑战者模式固定比例设定固定样本比例的挑战者模式满足挑战者模式自定义比例自定义样本比例的挑战者模式满足监控窗口风险大盘监控整个业务情况重要指标满足监控窗口固定按照业务专题的固定报表格式定制化监控窗口贷后监控通过规则和模型对客户贷后情况进行定期管理,可设置监控预警阈值满足监控窗口集群监控管理对集群综合性能指标进行监控和管理技术支持运维托管供应商是否有能力提供大数据运维托管系统消息推送系统通过对接将风险信息和预警信息推送到其他业务平台、微信平台、短信平台、客服平台、报备平台、系统等支持业务、,可定制化系统分布式存储系统支持分布式存储技术满足系统负载均衡通过负载均衡保证系统效率满足系统组件可替换系统中使用的例如MQ、Flume之类的组件可支持替换满足系统日志中心对系统日志和操作日志、业务日志进行存储和导出满足队列和高速缓存Memcache支持Memcache满足队列和高速缓存RabitMQ支持RabitMQ满足队列和高速缓存Kafka支持Kafka满足数据平台费用统计按照API接口统计查询数和查询结果定制化监控窗口可定制按照具体业务需求定制开发报表格式III、全功能演示：在《亮点功能列表》的围,依据业务人员要求,开展场景功能演示；模块细项具体说明系统分区技术〔分库管理保证数据实时性和有效性的前提下,划分实时生产数据和业务分析数据分区满足系统多层B/S分布处理采用B/S模式的分布式处理方式,支持横向拓展满足系统J2EE架构应用J2EE开发架构开发满足系统标准化系统集成标准化产品的多系统集成〔规则引擎、数据平台、机器学习平台等满足数据平台多种接口是否支持http、https、socket、api、RPC、RMI等常见接口满足技术支持联合建模供应商可提供联合建模技术支持满足中间件支持WebLogic支持Weblogic支持数据库支持SQLServer支持SQLServer支持数据库支持MongoDB支持MongoDB支持数据库支持ElasticSearch支持ES支持队列和高速缓存Redis支持Redis支持技术支持地址模糊匹配供应商可提供地址模糊匹配技术支持接口支持技术支持数据采集供应商可提供数据采集技术支持支持技术支持关系图谱供应商可提供关系图谱技术支持支持技术支持虚假手机识别供应商可提供虚假手机设备识别技术支持接口支持技术支持反欺诈预警供应商可提供反欺诈预警技术支持可配置策略技术支持黑产预警服务供应商可提供黑产预警技术支持技术支持代理识别供应商可提供代理识别技术支持可配置策略技术支持设备指纹供应商可提供设备指纹技术支持支持技术支持模拟器识别供应商可提供模拟器识别技术支持支持技术支持设备标签供应商可提供设备标签技术支持支持技术支持互联网标签供应商可提供用户互联网行为标签技术支持支持系统机器学习平台提供算子级封装的流程可配置机器学习平台建模平台中间件支持WebSphere支持WebSphere数据库支持Solr支持Solr数据平台前置预筛选实时数据流可以通过前置简单规则、自定义进行预筛选,减少规则引擎调用数据平台数据本地缓存将存量查询结果存至本地数据库,发起新查询请求时可设置先查询本地数据库,未查得再调用外部数据数据平台数据源过期时间可设置数据源端过期时间,通过设定参数决定使用缓存数据还是查询三方数据数据平台智能路由设置主要和备份数据源接口,在接口异常的情况下,自动切换至备份数据源数据平台超时机制通过设置最大处理时间,处理时间一旦超过阀值,自动返回默认参数,保证系统正常运行数据平台接口降级系统负载饱和的前提下,将实时接口降级为准实时接口,以保证接口的实时性服务器部署静态数据服务器供应商可提供静态数据服务器的实施技术支持支持服务器部署动态数据服务器供应商可提供动态数据服务器的实施技术支持支持服务器部署API服务器供应商可提供API服务器的实施技术支持支持服务器部署控制中心供应商可提供控制中心〔管理系统服务器的实施技术支持支持服务器部署Nginx服务器供应商可提供Nginx服务器的实施技术支持支持系统案件分配对业务案件进行自动和手工分配系统案件本地导入支持对标准化格式的案件进行导入各厂商依据实际产品能力,进行POC测试。五. 授信决策系统产品功能模块检验说明数据平台数据平台主要提供数据接口管理、数据解析、清洗、聚合、指标入库及相关的数据策略管理机制。其中,接口管理涉及接口的对接及兼容性问题。数据解析则要求提供如JSON等常见格式解析。规则配置规则配置提供规则部署、规则测试、规则导入导出。其中,规则部署编辑要实现基于业务复杂度的可多维度配置规则,如商户、触发、授信、产品等。配置过程通过可视化托拉拽完成。反欺诈配置可配置反欺诈规则并提供常见的反欺诈模板评分卡配置评分卡配置至少需要包含但不限于含权重、专家打分、线形打分功能。决策流配置决策流配置中,自定义流程可实现串行、并行、混合计算。同时,提供决策