富登风险智能决策系统POC测试说明(风控)v1.0(引擎功能)

富登风险智能决策系统 POC 测试说明 20192019 年年 3 3 月月 1818 日日 精选文档 2 文档说明文档说明 文档名称文档名称 富登风险智能决策系统 POC 测试说明 内容描述内容描述 对富登授信决策系统 POC 的测试目标、内容、计划、方案等进行总体规划 和约束。 修订说明修订说明 日期日期版本版本修订者修订者 修订说明修订说明评审评审 20 陈一枫建立、完善测试说明文档 精选文档 3 目目 录录 一一. . 测试背景测试背景.4 4 二二. . 测试内容测试内容.4 4 三三. . 名词与缩略语名词与缩略语.6 6 四四. . 测试规划测试规划.6 6 4.1 测试地点.6 4.2 配合测试人员（厂商反馈）.6 4.3 测试计划.6 4.4 软硬件环境信息（厂商反馈）.7 4.5 保密要求.8 4.6 功能测试分级.8 五五. . 授信决策系统产品功能模块检验说明授信决策系统产品功能模块检验说明.1414 5.1.1 数据平台 .14 5.1.2 规则配置 .14 5.1.3 反欺诈配置 .15 5.1.4 评分卡配置 .15 5.1.5 决策流配置 .15 5.1.6 挑战者模式 .17 5.1.7 监控窗口 .17 5.1.8 技术服务及支持.17 5.1.9 系统.17 5.1.10 服务与技术支持.17 5.1.11 中间件支持.18 5.1.12 数据库支持.19 5.1.13 列队和高速缓存.14 5.1.14 服务.14 5.1.15 服务器部署.14 精选文档 4 富登风险智能决策系统 POC 测试说明 一.测试背景 近年监管追求信贷行业的稳发展及可控，政策日渐驱严，国内众多小贷 公司授信决策引擎体系已转向更为成熟智能化的本地化建设，为符合监管 要求、解决存在的问题、同时实现全渠道风险防范和提升实时交易效率， 现急需引进第三方授信决策引擎系统进行本地化改造部署。通过功能测试 考察各厂商系统的系统能力，比较各家公司对给定决策引擎规则支持能力， 评估系统的适用性和先进性。 二.测试内容 1、智能决策系统相关功能，包括数据平台、规则配置、反欺诈配置、评分 卡配置、决策流配置、挑战者模式、监控窗口等，是否可运行。功能间 交互，是否顺畅； 2、流处理引擎性能测试、系统、中间件支持、数据库支持、数据库支持、 队列和高速缓存、服务、服务器部署等相关系统性能是否满足我司要求。 三名词与缩略语（供参考） 表 1 名词解释与缩略语 序序 号号 名词或术名词或术 语语 中文解释中文解释 精选文档 5 1 2 3ARTART Average Respond time, 平均响应时间 交易响应时间是指完 成一笔业务交易所需的时间。传统上是指统计“端到端”的交易 完成时间。 4TPSTPS Transaction per second, 每秒完成事务数是估算应用系统 性能的重要依据，其意义是应用系统每秒钟处理完成的事务数量。 一般评价系统性能均以每秒钟完成的交易的数量来衡量。 5 资源使用资源使用 率率 是指在系统负载运行期间，数据库服务器、应用服务器、Web 服务器的CPU、内存、硬盘，外置存储，网络带宽的使用率。一 般来说： 低于20%的使用率为资源空闲； 20%-60%的使用率为资源使用稳定； 60%-80%的使用率表示资源使用饱和； 超过80%使用率的资源使用率必须尽快进行资源调整和优化。 四测试规划 4.1 测试地点 四川省成都市 4.2 配合测试人员（厂商反馈） 厂商名称厂商名称实施人员实施人员电话电话邮件邮件备注备注 待添加待添加待添加待添加待添加 待添加待添加待添加待添加待添加 待添加待添加待添加待添加待添加 待添加待添加待添加待添加待添加 4.3 测试计划 1. 软件、硬件、待验证策略（测试数据由我方准备） ； 2. 厂商入场，搭建环境； 3. 厂商根据现有环境，给出产品部署方案； 4. 厂商现场讲解方案，展示产品功能，进行 POC 测试； 精选文档 6 5. 我方相关人员对各家实施商的 POC 情况进行评审并打分。 4.4 软硬件环境信息（厂商反馈） 服务器功能服务器功能机器说明机器说明机器配置机器配置 决策引擎功能策略设计、运行的服务器待添加 数据平台功能数据清洗、管理、抽取服务器待添加 （1） 行方提供 POC 环境和测试数据 （2） 如有其他软件要求，厂商提出要求并提供介质。 4.5 保密要求 6. POC 测试期间不得以任何形式（包括电子邮件、即时聊天工具、U 盘和工作人员笔记本电脑等）将我司相关信息、文件或数据泄露, 并在离场前由我方人员监督销毁。 7. POC 测试结束后，参与 POC 各实施商必须将我司的相关信息、文件 或数据从测试设备及测试人员工作设备(包括电脑、移动介质和网 盘等)中全部清除。 4.6 功能测试分级 I、基础功能演示：根据业务人员要求，典型业务场景功能演示，包括规则配置、规则 部署、版本管理（包括版本比对和比对结果的导出） 、权限管理、版本发布、策略模拟、新 策略测试等功能； 基础功能列表： 模块细项具体说明 数据平台对接三方库 （界面配置）使用参数模板配置接口，快速对接和配 置三方数据 数据平台对接内部库 （界面配置）通过 IP、用户名、密码等基本配置连 接数据库 数据平台解析三方 对接入的三方数据进行字段配置和解析，提供如 json 等常见格式的解析 数据平台数据清洗 （界面配置）对脏数据进行第一次清洗的操作，提供 算子级逻辑操作方法，具体参考 Kettle 等 ETL 软件 数据平台数据聚合将三方查回数据和本地业务数据进行多种字段的整合 规则配置规则包配置 定义规则为最小的决策分类，规则包为多个规则的集 合 满足 规则配置可视化配置通过界面可视化配置规则和规则包满足 精选文档 7 规则配置分产品配置在规则包的基础上增加产品维度满足 规则配置商户管理配置对用户群体集合定义为商户，对商户进行对应管理定制化 规则配置触发策略配置按照产品和规则包配置触发策略满足 规则配置授信额度管理对计算所得的额度分产品进行管理和配置定制化 反欺诈配置反欺诈规则可配置反欺诈规则并提供常见的反欺诈模板满足 决策流配置标准流程提供标准的流程配置模板满足 监控窗口通过拒绝情况对模型的通过拒绝比例进行监控满足 监控窗口模型评分对模型评分进行统计满足 监控窗口规则命中率单个规则和规则包的命中情况统计满足 监控窗口决策报告根据所计算的各种维度和数据生成最终报告满足 技术支持本地化团队供应商是否有本地技术团队满足 系统响应时长系统对用户输入或请求的平均响应时间满足 系统吞吐量系统每秒处理请求或输入的事务数量满足 系统并发数系统同时处理请求或输入的事务数量满足 系统一键发布对部署系统可进行一键发布满足 系统权限管理按角色分模块管理，可配置权限满足 系统版本控制 提供各版本的切换、回滚和存储导入功能（系统和规 则） 满足 系统本地化部署整套系统可以进行本地化部署满足 数据库支持 Oracle 支持 Oracle不支持 数据库支持 Mysql 支持 Mysql满足 数据库支持 Hbase 支持 Hbase满足 数据库支持 Hive 支持 Hive满足 服务升级供应商可提供升级服务满足 服务维护供应商可提供维护服务满足 服务培训供应商可提供培训服务满足 服务系统调试供应商可提供系统调试和试运行满足 服务上线协助供应商可提供上线阶段的技术支持满足 服务买断模式供应商支持对本地化产品的一次性买断满足 数据平台数据入库可指定数据从数据库 A 抽取至数据库 B，参考 Kettle 数据平台加工指标入库 清洗过程中的数据可通过配置本地数据库的方式将中 间计算结果存储在指定数据库 决策流配置串行计算可配置多个流程串行计算逻辑满足 决策流配置并行计算可配置多个流程并行计算逻辑满足 数据平台解析 PBOC 对 PBOC 人行征信报告进行字段配置和解析，提供 如 json 等常见格式的解析 数据平台可扩展数据平台可拓展和可二次开发 规则配置单例测试可对单个样例进行模型和流程的测试满足 评分卡配置权重配置对评分卡中使用到的变量进行自定义权重的设置满足 评分卡配置专家打分卡根据专家意见提供变量选择和权重配置的意见满足 评分卡配置线性打分卡通过对多个变量的分析和表现配置线性打分卡 精选文档 8 评分卡配置评分卡测试对所配置的评分卡进行评分测试满足 决策流配置混合计算可按照业务需求配置多个流程串行和并行的计算逻辑满足 决策流配置决策树按照决策树逻辑配置决策流满足 II、亮点功能演示：在基础功能列表的范围内，依据业务人员要求，开展场景功 能演示； 模块细项具体说明 数据平台外部接口开关（界面配置）对指定数据源进行开关控制无 数据平台可加密敏感数据交互可通过对称或非对称加密满足 规则配置批量测试可对批量导入的样例进行模型和流程的测试满足 规则配置导出支持规则导出功能 新版 本 （3 月底） 满足 规则配置导入支持规则导入功能 新版 本 （3 月底） 满足 决策流配置二维通过两个维度的变量对结果进行矩阵分析 如何 验证 决策流配置多维通过多个维度的变量对结果进行矩阵分析 如何 验证 挑战者模式固定比例设定固定样本比例的挑战者模式满足 挑战者模式自定义比例自定义样本比例的挑战者模式满足 监控窗口风险大盘监控整个业务情况重要指标满足 监控窗口固定按照业务专题的固定报表格式 定制 化 监控窗口贷后监控 通过规则和模型对客户贷后情况进行定期管 理，可设置监控预警阈值 满足 监控窗口集群监控管理对集群综合性能指标进行监控和管理 技术支持运维托管供应商是否有能力提供大数据运维托管 系统消息推送 系统通过对接将风险信息和预警信息推送到 其他业务平台、微信平台、短信平台、客服 平台、报备平台、邮件系统等 支持 业务、 邮件， 可定 制化 系统分布式存储系统支持分布式存储技术满足 系统负载均衡通过负载均衡保证系统效率满足 系统组件可替换系统中使用的例如 MQ、Flume 之类的组件满足 精选文档 9 可支持替换 系统日志中心 对系统日志和操作日志、业务日志进行存储 和导出 满足 队列和高速缓存 Memcache 支持 Memcache满足 队列和高速缓存 RabitMQ 支持 RabitMQ满足 队列和高速缓存 Kafka 支持 Kafka满足 数据平台费用统计按照 API 接口统计查询数和查询结果 定制 化 监控窗口可定制按照具体业务需求定制开发报表格式 III、全功能演示：在亮点功能列表的范围内，依据业务人员要求，开展场景功能 演示； 模块细项具体说明 系统分区技术（分库管理） 保证数据实时性和有效性的前提下，划分实 时生产数据和业务分析数据分区 满足 系统多层 B/S 分布处理 采用 B/S 模式的分布式处理方式，支持横 向拓展 满足 系统J2EE 架构应用 J2EE 开发架构开发满足 系统标准化系统集成 标准化产品的多系统集成（规则引擎、数据 平台、机器学习平台等） 满足 数据平台多种接口 是否支持 http、https、socket、api、RPC、RMI 等常见接口 满足 技术支持联合建模供应商可提供联合建模技术支持满足 中间件支持 WebLogic 支持 Weblogic支持 数据库支持 SQLServer 支持 SQLServer支持 数据库支持 MongoDB 支持 MongoDB支持 数据库支持 ElasticSearch 支持 ES支持 队列和高速缓存 Redis 支持 Redis支持 技术支持地址模糊匹配供应商可提供地址模糊匹配技术支持 接口支 持 技术支持数据采集供应商可提供数据采集技术支持支持 技术支持关系图谱供应商可提供关系图谱技术支持支持 技术支持虚假手机识别供应商可提供虚假手机设备识别技术支持 接口支 持 技术支持反欺诈预警供应商可提供反欺诈预警技术支持 可配置 策略 技术支持黑产预警服务供应商可提供黑产预警技术支持 技术支持代理识别供应商可提供代理识别技术支持 可配置 策略 技术支持设备指纹供应商可提供设备指纹技术支持支持 技术支持模拟器识别供应商可提供模拟器识别技术支持支持 精选文档 10 技术支持设备标签供应商可提供设备标签技术支持支持 技术支持互联网标签供应商可提供用户互联网行为标签技术支持支持 系统机器学习平台提供算子级封装的流程可配置机器学习平台 建模平 台 中间件支持 WebSphere 支持 WebSphere 数据库支持 Solr 支持 Solr 数据平台前置预筛选 实时数据流可以通过前置简单规则、自定义 名单进行预筛选，减少规则引擎调用 数据平台数据本地缓存 将存量查询结果存至本地数据库，发起新查 询请求时可设置先查询本地数据库，未查得 再调用外部数据 数据平台数据源过期时间 可设置数据源端过期时间，通过设定参数决 定使用缓存数据还是查询三方数据 数据平台智能路由 设置主要和备份数据源接口，在接口异常的 情况下，自动切换至备份数据源 数据平台超时机制 通过设置最大处理时间，处理时间一旦超过 阀值，自动返回默认参数，保证系统正常运 行 数据平台接口降级 系统负载饱和的前提下，将实时接口降级为 准实时接口，以保证接口的实时性 服务器部署静态数据服务器 供应商可提供静态数据服务器的实施技术支 持 支持 服务器部署动态数据服务器 供应商可提供动态数据服务器的实施技术支 持 支持 服务器部署API 服务器供应商可提供 API 服务器的实施技术支持支持 服务器部署控制中心 供应商可提供控制中心（管理系统）服务器 的实施技术支持 支持 服务器部署Nginx 服务器 供应商可提供 Nginx 服务器的实施技术支 持 支持 系统案件分配对业务案件进行自动和手工分配 系统案件本地导入支持对标准化格式的案件进行导入 各厂商依据实际产品能力，进行 POC 测试。 五.授信决策系统产品功能模块检验说明 1、数据平台