富登风险智能决策系统POC检验说明

1、富登风险智能决策系统 POC测试说明2019年3月18日文档说明文档名称富登风险智能决策系统 POC测试说明内容描述对富登授信决策系统 POC的测试目标、内容、计划、方案等进行总体规划 和约束。修订说明日期版本修订者修订说明评审20陈一枫建立、完善测试说明文档一. 测试背景二. 测试内容.三. 名词与缩略语四. 测试规划.错误!未定义书签 错误!未定义书签 错误!未定义书签 错误!未定义书签4.1测试地点错误!未定义书签4.2配合测试人员（厂商反馈） .错误!未定义书签4.3测试计划错误!未定义书签4.4软硬件环境信息（厂商反馈） .错误!未定义书签4.5保密要求错误!未定

2、义书签4.6功能测试分级错误!未定义书签五.授信决策系统产品功能模块检验说明 错误!未定义书签5.1.1数据平台 错误!未定义书签5.1.2规则配置 错误!未定义书签5.1.3反欺诈配置5.1.4评分卡配置5.1.5决策流配置5.1.6挑战者模式.错误!未定义书签.错误!未定义书签.错误!未定义书签.错误!未定义书签5.1.7监控窗口 5.1.8技术服务及支持5.1.9系统错误!未定义书签错误!未定义书签.错误!未定义书签5.1.10服务与技术支持5.1.11中间件支持.5.1.12数据库支持.5.1.13列队和高速缓存错误!未定义书签 错误!未定义书签 错误!未定义书签 错误!未定义书签5.

3、1.14服务错误!未定义书签5.1.15服务器部署错误!未定义书签富登风险智能决策系统 POC测试说明一. 测试背景近年监管追求信贷行业的稳发展及可控，政策日渐驱严，国内众多小贷公司授信决策引擎体系已转向更为成熟智能化的本地化建设，为符合监管要求、解决存在的问题、同时实现全渠道风险防范和提升实时交易效率，现急 需引进第三方授信决策引擎系统进行本地化改造部署。通过功能测试考察各厂商系统的系统能力，比较各家公司对给定决策引擎规则支持能力，评估系 统的适用性和先进性。二. 测试内容1、智能决策系统相关功能，包括数据平台、规则配置、反欺诈配置、评分卡 配置、决策流配置、挑战者模式、监控窗口等，是否可运

4、行。功能间交互， 是否顺畅；2、流处理引擎性能测试、系统、中间件支持、数据库支持、数据库支持、队 列和高速缓存、服务、服务器部署等相关系统性能是否满足我司要求。三. 名词与缩略语（供参考）表1名词解释与缩略语序号名词或术语中文解释1234ARTAverage Respo nd time,平均响应时间 交易响应时间是指元成一笔业务交易所需的时间。传统上是指统计“端到端”的交易完 成时间。TPSTran saction per seco nd,每秒完成事务数是估算应用系统性能的重要依据，其意义是应用系统每秒钟处理完成的事务数量。一般评价系统性能均以每秒钟完成的交易的数量来衡量。5资源使用率是指在系

5、统负载运行期间，数据库服务器、应用服务器、Web服务器的CPU、内存、硬盘，外置存储，网络带宽的使用率。一般 来说：低于20%的使用率为资源空闲；20%-60%的使用率为资源使用稳定；60%-80%的使用率表示资源使用饱和；超过80%使用率的资源使用率必须尽快进行资源调整和优化。四. 测试规划4.1测试地点四川省成都市4.2配合测试人员（厂商反馈）厂商名称实施人员电话邮件备注待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加待添加4.3测试计划1. 软件、硬件、待验证策略（测试数据由我方准备）；2. 厂商入场，搭建环境；3. 厂商

6、根据现有环境，给出产品部署方案；4. 厂商现场讲解方案，展示产品功能，进行 POC测试；5. 我方相关人员对各家实施商的 POC情况进行评审并打分4.4软硬件环境信息（厂商反馈）服务器功能机器说明机器配置决策引擎功能策略设计、运行的服务器待添加数据平台功能数据清洗、管理、抽取服务器待添加（1）行方提供POC环境和测试数据（2）如有其他软件要求，厂商提出要求并提供介质。4.5保密要求6. POC测试期间不得以任何形式（包括电子邮件、即时聊天工具、U盘和工作人员笔记本电脑等）将我司相关信息、文件或数据泄露，并 在离场前由我方人员监督销毁。7. POC测试结束后，参与POC各实施商必须将我司的相关信

7、息、文 件或数据从测试设备及测试人员工作设备（包括电脑、移动介质和网 盘等）中全部清除。4.6功能测试分级I、基础功能演示：根据业务人员要求， 典型业务场景功能演示， 包括规则配置、规则部署、版本管理（包括版本比对和比对结果的导出）、权限管理、版本发布、策略模拟、新策略测试等功能；基础功能列表:模块细项具体说明数据平台对接三方库（界面配置）使用参数模板配置接口，快速对接和配 置三方数据数据平台对接内部库（界面配置）通过IP、用户名、密码等基本配置连 接数据库数据平台解析三方对接入的三方数据进行字段配置和解析，提供如 json等常见格式的解析数据平台数据清洗（界面配置）对脏数据进行第一次清洗的操

8、作，提供 算子级逻辑操作方法，具体参考Kettle等ETL软件数据平台数据聚合将三方查回数据和本地业务数据进行多种字段的整合规则配置规则包配置定义规则为最小的决策分类，规则包为多个规则的集合满足规则配置可视化配置通过界面可视化配置规则和规则包满足规则配置分产品配置在规则包的基础上增加产品维度满足规则配置商户管理配置对用户群体集合定义为商户，对商户进行对应管理定制化规则配置触发策略配置按照产品和规则包配置触发策略满足规则配置授信额度管理对计算所得的额度分产品进行管理和配置定制化反欺诈配置反欺诈规则可配置反欺诈规则并提供常见的反欺诈模板满足决策流配置标准流程提供标准的流程配置模板满足监控窗口通过拒

9、绝情况对模型的通过拒绝比例进行监控满足监控窗口模型评分对模型评分进行统计满足监控窗口规则命中率单个规则和规则包的命中情况统计满足监控窗口决策报告根据所计算的各种维度和数据生成最终报告满足技术支持本地化团队供应商是否有本地技术团队满足系统响应时长系统对用户输入或请求的平均响应时间满足系统吞吐量系统每秒处理请求或输入的事务数量满足系统并发数系统同时处理请求或输入的事务数量满足系统一键发布对部署系统可进行一键发布满足系统权限管理按角色分模块管理，可配置权限满足系统版本控制提供各版本的切换、回滚和存储导入功能（系统和规则）满足系统本地化部署整套系统可以进行本地化部署满足数据库支持Oracle支持Ora

10、cle不支持数据库支持Mysql支持Mysql满足数据库支持Hbase支持Hbase满足数据库支持Hive支持Hive满足服务升级供应商可提供升级服务满足服务维护供应商可提供维护服务满足服务培训供应商可提供培训服务满足服务系统调试供应商可提供系统调试和试运行满足服务上线协助供应商可提供上线阶段的技术支持满足服务买断模式供应商支持对本地化产品的一次性买断满足数据平台数据入库可指定数据从数据库A抽取至数据库B,参考Kettle数据平台加工指标入库清洗过程中的数据可通过配置本地数据库的方式将中 间计算结果存储在指定数据库决策流配置串行计算可配置多个流程串行计算逻辑满足决策流配置并行计算可配置多个流程

11、并行计算逻辑满足数据平台解析PBOC对PBOC人行征信报告进行字段配置和解析，提供 如json等常见格式的解析数据平台可扩展数据平台可拓展和可二次开发规则配置单例测试可对单个样例进行模型和流程的测试满足评分卡配置权重配置对评分卡中使用到的变量进行自定义权重的设置满足评分卡配置专家打分卡根据专家意见提供变量选择和权重配置的意见满足评分卡配置线性打分卡通过对多个变量的分析和表现配置线性打分卡评分卡配置评分卡测试对所配置的评分卡进行评分测试满足决策流配置混合计算可按照业务需求配置多个流程串行和并行的计算逻辑满足决策流配置决策树按照决策树逻辑配置决策流满足II、亮点功能演示：在基础功能列表的范围内，依

12、据业务人员要求，开展场景功能演示;模块细项具体说明数据平台外部接口开关（界面配置）对指定数据源进行开关控制无数据平台可加密敏感数据交互可通过对称或非对称加密满足规则配置批量测试可对批量导入的样例进行模型和流程的测试满足规则配置导岀支持规则导岀功能新版 本（3 月 底） 满足规则配置导入支持规则导入功能新版本（3月底）满足决策流配置二维通过两个维度的变量对结果进行矩阵分析如何验证决策流配置多维通过多个维度的变量对结果进行矩阵分析如何验证挑战者模式固定比例设定固定样本比例的挑战者模式满足挑战者模式自定义比例自定义样本比例的挑战者模式满足监控窗口风险大盘监控整个业务情况重要指标满足监控窗口固定按照业

13、务专题的固定报表格式定制化监控窗口贷后监控通过规则和模型对客户贷后情况进行定期管 理，可设置监控预警阈值满足监控窗口集群监控管理对集群综合性能指标进行监控和管理技术支持运维托管供应商是否有能力提供大数据运维托管系统消息推送系统通过对接将风险信息和预警信息推送到 其他业务平台、微信平台、短信平台、客服 平台、报备平台、邮件系统等支持业 务、 邮 件， 可定 制化系统分布式存储系统支持分布式存储技术满足系统负载均衡通过负载均衡保证系统效率满足系统组件可替换系统中使用的例如 MQ、Flume之类的组件可支持替换满足系统日志中心对系统日志和操作日志、业务日志进行存储和导岀满足队列和高速缓存Memcac

14、he支持 Memcache满足队列和高速缓存RabitMQ支持 RabitMQ满足队列和高速缓存Kafka支持Kafka满足数据平台费用统计按照API接口统计查询数和查询结果定制化监控窗口可定制按照具体业务需求定制开发报表格式III、全功能演示：在亮点功能列表的范围内，依据业务人员要求，开展场景功能演示;模块细项具体说明系统分区技术（分库管理）保证数据实时性和有效性的前提下，戈卩分实 时生产数据和业务分析数据分区满足系统多层B/S分布处理采用B/S模式的分布式处理方式，支持横 向拓展满足系统J2EE架构应用J2EE开发架构开发满足系统标准化系统集成标准化产品的多系统集成（规则引擎、数据 平台、

15、机器学习平台等）满足数据平台多种接口是否支持 http、https、socket、api、RPC、RMI等常见接口满足技术支持联合建模供应商可提供联合建模技术支持满足中间件支持WebLogic支持 Weblogic支持数据库支持SQLServer支持 SQLServer支持数据库支持MongoDB支持 MongoDB支持数据库支持ElasticSearch支持ES支持队列和高速缓存Redis支持Redis支持技术支持地址模糊匹配供应商可提供地址模糊匹配技术支持接口支持技术支持数据采集供应商可提供数据采集技术支持支持技术支持关系图谱供应商可提供关系图谱技术支持支持技术支持虚假手机识别供应商可提供

16、虚假手机设备识别技术支持接口支持技术支持反欺诈预警供应商可提供反欺诈预警技术支持可配置策略技术支持黑产预警服务供应商可提供黑产预警技术支持技术支持代理识别供应商可提供代理识别技术支持可配置策略技术支持设备指纹供应商可提供设备指纹技术支持支持技术支持模拟器识别供应商可提供模拟器识别技术支持支持技术支持设备标签供应商可提供设备标签技术支持支持技术支持互联网标签供应商可提供用户互联网行为标签技术支持支持系统机器学习平台提供算子级封装的流程可配置机器学习平台建模平台中间件支持WebSphere支持 WebSphere数据库支持Solr支持Solr数据平台前置预筛选实时数据流可以通过前置简单规则、自定义

17、 名单进行预筛选，减少规则引擎调用数据平台数据本地缓存将存量查询结果存至本地数据库，发起新查 询请求时可设置先查询本地数据库，未查得 再调用外部数据数据平台数据源过期时间可设置数据源端过期时间，通过设定参数决定使用缓存数据还是查询三方数据数据平台智能路由设置主要和备份数据源接口，在接口异常的情况下，自动切换至备份数据源数据平台超时机制通过设置最大处理时间，处理时间一旦超过 阀值，自动返回默认参数，保证系统正常运 行数据平台接口降级系统负载饱和的前提下，将实时接口降级为准实时接口，以保证接口的实时性服务器部署静态数据服务器供应商可提供静态数据服务器的实施技术支持支持服务器部署动态数据服务器供应商

18、可提供动态数据服务器的实施技术支持支持服务器部署API服务器供应商可提供API服务器的实施技术支持支持服务器部署控制中心供应商可提供控制中心（管理系统）服务器 的实施技术支持支持服务器部署Nginx服务器供应商可提供Nginx服务器的实施技术支 持支持系统案件分配对业务案件进行自动和手工分配系统案件本地导入支持对标准化格式的案件进行导入各厂商依据实际产品能力，进行POC测试。五. 授信决策系统产品功能模块检验说明1、数据平台数据平台主要提供数据接口管理、 数据解析、清洗、聚合、指标入库及相 关的数据策略管理机制。其中，接口管理涉及接口的对接及兼容性问题。数据解析则要求提供如JSON等常见格式解析。2、规则配置规则配置提供规则部署、规则测试、规则导入导出。其中，规则部署编辑 要实现基于业务复杂度的可多维度配置规则， 如商户、触发、授信、产品 等。配置过程通过可视化托拉拽完成。3、反欺诈配置可配置反欺诈规则并提供常见的反欺诈模板4、评分卡配置评分卡配置至少需要包含但不限于含权重、专家打分、线形打分功能。5、决策流配置决策流配置中，自定义流程可实现串行、并行、混合计算。同时，提供决 策树、决策矩阵的决策流配置6