【《基于神经网络的支付交易数据异常检测技术构建案例分析》7700字】

PAGEPAGE2基于神经网络的支付交易数据异常检测技术构建案例分析目录TOC\o"1-3"\h\u10594基于神经网络的支付交易数据异常检测技术构建案例分析 1137611.1系统整体总体架构 1180121.2支付交易数据抽取过程 393001.3交易数据的预处理 1321131.4基于BP算法的人工神经网络风险分析 1470231.1.1BP算法特点 14152851.1.2BP神经网络的应用 15187913.1.3数据可用性的检验及说明 1584331.1.4神经网络的模型构建及数据模拟 15296671.5模型结果验证 171.1系统整体总体架构图4SEQ图\*ARABIC\s11总体架构图整体数据类别分为4个模式:基础、数据库、任何特定的时间段内发生的数据的可调度性、结果展示业务系统。2)基础数据主要来源于对其数据的处理方式中得出的数据类别，对其交易以及用户数据进行系统排查。3)在基础数据的基础上，通过一定的时效的数据配置管理工具对其构思进行现实化，将数据抽取到仓库数据结论当中，根据基础的数据在不同内容下的数据变动。后再按照最终需要呈现的分析结果进行相应的数据汇总统计得出主题数据。4)最后将结果以报表的形式进行展现，是需要数据进行数据的查询来告诉副部的具体操作。5)上图的数据分析进行风险规避的数据改变。根据实际情况确定数据的风险调整给固化的学习类别，最后在通过业务系统展示。下面卡种交易主题交易数据信息要素进行分析:图4SEQ图\*ARABIC\s12卡种交易主题交易数据信息要素图1)市场提出对需要对数据进行分析2)开发结合市场的需求确定分析的主题3)结合主题进行主题执行任务的开发以及报表模板的开发4)将主题任务添加到定时任务系统5）最后通过发布报表模板对主题数据进行展示1.2支付交易数据抽取过程图4SEQ图\*ARABIC\s13数据库架构使用Oracle数据库实现，从以下几个点进行分析:1)OWB为根据用户的数据提供一定的数据便的形式的变化「16]2)存储数据规模大，数据读过于平凡以及复杂的元素，系统提供数据安全保障和磁盘的读取速度。3)容灾通过对数据进行备份，对数据进行更改变动，使其一定的容灾能力变强，保障数据安全发布以达到一定的容灾能力，选择DG同步保证数据安全。4)索引策略索引策略的选择，D数索引，位图索引，保证查询精准，快速。5)并行处理多节点多内存。6)设计规则保障根据设计的元素进行信息二的数据该换原则。7)数据库命名规则:a)实体(表)的命名基础信息表，前缀"INFO”，表示根据同义词进行转化，以名词性代名词进行更改，单词缩写表示，每个单词间以“_”分隔。历史表，后缀“_111S"，是哪个表的历史，则直接在表名后加上后缀。主题数据表，前缀“FACT_"。需要能够直观的检测到数据的数据信息并分析出其中的内涵意义，表字段的命名需要指定比较详细的设计规则。每一个表都需要对其进行精确的数据分类，根据不同的型号或者个性化标志对其进行整改，分类将相同类比以此排序，都以状态，创建人，创建时间，修改人，修改时间等要素。所有属性加上对其特别的数据后缀或者，将会造成一定的无法分辨的现象，如果还需要其它的后缀，都放在类型后缀之前。视图的命名:视图以“V”作为前缀，其他命名规则和表的命名类似;命名应尽量体现各视图的功能。触发器的命名:触发器以“TR”作为前缀，触发器名为相应的表名加上后缀，Insert触发器加“_I"，Delete触发器加“_D"，Update触发器加“_U"，如:TRMer_I，TR_Mer_D，TR_Mer_U。存储过程名:存储过程应以“UP”开头，和系统的存储过程区分;后续部分主要以动宾格式构成，各个组成部分使用下划线分割，如增加客户的事实数据提取的存储过程为UP_Info_Mero。变量名:变量名小写，若出现一定的说一句词组的变化分配，将可在旗下标注特殊符合，如设计的原则是:既需要保证数据的特定下晦对其进行有效的数据分类谷类，节省时间;在某种结果下进行减少或消除任何信息丢失。命名中其他注意事项命名不超过30个字符，变量名的长度表达大小需要对其进行一定的限制性的数据类别的分子，变量的命名统一使用英文字符，不允许使用中文，且不可在对象名的字符中间留空格。1.2.1.1客户信息.表名:客户信息要素.表更新周期:每天更新.表更新范围:每日备份到历史表重新提取数据..表的分区设计:客户量就几十万.表的索引设计:.表的唯一约束:表的用途:存储从业务系统获取的客户基础数据.表设计如下:表4SEQ表\*ARABIC\s11客户信息要素字段名字段类型是否可为空默认值描述MER-NOVARCHAR2(15)N客户编号BUSI-CODEVARCHAR2(8)N业务类型MER-NAMEVARCHAR2(200)N客户名称MER-ADDRVARCHAR2(200)Y客户地址REC-STATVARCHAR2(1)Y客户状态，0-正常，1-停用CRE-UIDVARCHAR2(50)Y创建人CRE-DTMDATEY创建时间MOD-UIDVARCHR2(50)Y修改人MOD-MTDDATEY修改时间MACCVARCHR2(6)YMCC-NAMEVARCHR2(100)YMCC名称PBCBANKVARCHR2(8)Y行别COUNTRY-CODINGVARCHR2(8)Y收款人常驻国家编码SFZIDVARCHR2(30)Y身份证编号SFZID-BEGIN-DATEDATEY法人身份证有效期SFZID-END-DATEDATEY法人身份证有效期LEGALREPVARCHR2(50)Y法人代表YYZZIDVARCHR2(40)Y营业执照编号LEGALREPVARCHR2(20)Y联系人YYZZIDVARCHR2(26)Y联系人电话LINK-MANDATEY入网时间LINK-MAN-TELVARCHR2(15)Y行业编号TRAND-NAMEVARCHR2(100)Y行业名称BANK-PROVINCEVARCHR2(20)Y开户行省BANKPCODEVARCHR2(6)Y开户行省编号BANK-CITYVARCHR2(30)Y开户行市BANK-CCODEVARCHR2(6)Y开户行市编号BANK-AREAVARCHR2(30)Y开户行区BANK-CCODEVARCHR2(6)Y开户行市编号BANKCODEVARCHR2(12)Y电子联行号BANKNAMEVARCHR2(200)Y开户银行ACCNAMEVARCHR2(50)Y账户名称BANK-ACCNOVARCHR2(30)Y银行账号ACCOUNT-ATTRIBUTECHAR（1）Y账户属性SALEMANNAMEVARCHR2(20)Y拓展人INPUT-DTMDATEY导入时间1.2.1.2终端信息.表名:终端信息要素.表更新周期:每天更新.表更新范围:每日备份到历史表并重新提取数据.表的分区设计:.表的索引设计.表的主键:Key.表的用途:.存储从业务系统获取的终端基础数据.表设计如下:表4SEQ表\*ARABIC\s12终端信息要素字段名字段类型是否可为空默认值描述REC-IDVARCHAR2（50）N记录IDMER-NOVARCHAR2（20）N客户编号TERM-NOVARCHAR2（15）N终端编号BUSI-CODEVARCHAR2（8）N业务类型TERM-ADDRVARCHAR2（200）Y装机地址FIR-INS-DTMDATEY首次装机时间LAS-INS-DTMDATEY最后装机时间LAS-STP-DTMDATEY最后暂停用时间END-DTMDATEY撤机时间MAC-NOVARCHAR2（20）Y机身号MAC-MODELVARCHAR2（20）Y机具型号MAC-BRANDVARCHAR2（20）Y机具品牌ORG-IDVARCHAR2（8）Y维护机构REC-STATVARCHAR2（1）Y终端状态，0-启用，1-停用，3-暂停用CRE-UIDVARCHAR2（50）Y创建人CRE-DTMDATEY创建时间MOD-UIDVARCHAR2（1）Y修改人MOD-DTMDATEY修改时间DEVICE-TYPEVARCHAR2（2）Y设备类型：01-有线POS：02-无线POS（GPRS）；03-无线POS（CDMA）：04-无线POS（WIFI）：05-网络POS11自助终端：12-自助终端（3G）：13-自助终端（CDMA）：14-自助终端（GRRS），15-自助终端（网络）；21-农行PSAMEND-REASONVARCHAR2（200）Y撤机原因明细STREETVARCHAR2（50）Y街道LINK-MAN1VARCHAR2（20）Y联系人1LINK-MANI-TEL1VARCHAR2（30）Y联系人电话1LINK-MAN2VARCHAR2（20）Y联系人2LINK-MANI-TEL2VARCHAR2（30）Y联系人电话21.2.1.3银行信息.表名:银行信息要素.表更新周期:每天更新.表更新范围:删除后重新提取.表的分区设计:无需分区.表的索引设计:.表的唯一约束:.表的用途:存储从业务系统获取.表设计如下:表4SEQ表\*ARABIC\s13银行信息要素字段名字段类型是否可为空默认值描述BANK-CODEVARCHAR2（8）N银行代码BANK-NAMEVARCHAR2（255）N银行名称DSCRVARCHAR2（255）Y备注1.2.1.4MCC信息.表名:信息要素.表更新周期:每天更新.表更新范围:.表的分区设计:无.表的索引设计:.表的唯一约束:.表的用途:记录着行业的分类信息.表设计如下:表4SEQ表\*ARABIC\s14MCC信息要素字段名字段类型是否可为空默认值描述MCCVARCHAR2（4）NMCC代码NAMEVARCHAR2（100）NMCC名称MCC-TYPEVARCHAR2（2）NMCC类别MCC-TYPE-NAMEVARCHAR2（100）YMCC类别名称STD-MCC-TYPEVARCHAR2（1）Y银联标准行业大类1.2.1.5业务信息.表名:业务信息要素表更新周期:每天更新表更新范围:表的分区设计:表的索引设计:表的唯一:表的用途:表设计如下:表4SEQ表\*ARABIC\s15业务信息要素字段名字段类型是否可为空默认值描述BUSI-TYPE-IDVARCHAR2（8）N业务类型IDBUSI-TYPE-NAMEVARCHAR2（100）N业务类型名称DSCRVARCHAR2（255）Y备注1.2.1.6交易明细表名:trx_avp_detail表更新范围:叠加表的分区设计:按月分区表的索引设计:MER_NO,PA_YesMER_NO;SETT_REC_ID;MER_NO,SETT_DATE;SETT_DATE,DATA_SOURCE_ID;SETT_DATE,REC_ID;表的唯一:sett_date,rec_id表的用途:存储从清算系统获取每日清算数据，用于进行统计表设计如下:表更新周期:每天表4SEQ表\*ARABIC\s16交易明细信息要素字段名字段类型是否可为空默认值描述SETT-DATEVARCHAR2（8）N清算日期REC-IDVARCHAR2（32）N记录IDSYS-TRA-NOVARCHAR2（6）N系统跟踪号RESP-CD4VARCHAR2（2）N应答码TRX-CODEVARCHAR2（4）N银联交易代码TRX-AMTVARCHAR2（12，2）N交易金额MESSAGE-TYPEVARCHAR2（4）N消息类型LOC-TRANDS-DT-TMVARCHAR2（20）N本地交易日期时间：格式：YYYYMMDDhhmmssMCCVARCHAR2（4）N客户类型（MCC码）RETRI-REF-NOVARCHAR2（12）N检索参考号PRI-ACCT-NOVARCHAR2（21）N主账号BINVARCHAR2（14）Y卡BINCARD-ATTRVARCHAR2（2）Y卡性质，01：贷记卡02：准贷记卡03：借记卡：（二期新增）99：其他CARD-MEDIAVARCHAR2（1）Y卡介质，1：磁条2：pbocic卡3：emvic卡：（二期新增）4：无卡5：FallbackTERM-NOVARCHAR2（8）Y受卡机终端标识码（终端编号）MER-NOVARCHAR2（20）N受卡方标识代码（客户编号）CARD-ACCPTR-NM-LOCVARCHAR2（40）N受卡方名称地址（客户简称）ACQ-INS-ID-CDVARCHAR2（13）N受理机构标识码FWD-INS-ID-CDVARCHAR2（13）Y转发机构标识码RCV-INS-ID-CDVARCHAR2（13）Y接受机构标识码ISS-INS-ID-CDVARCHAR2（13）Y发卡机构标识码ORIG-SYS-TRA-NOVARCHAR2（6）Y原始系统跟踪号ORIG-TRANSMSN-DT-TMVARCHAR2（20）Y原始系统日期时间：格式：YYYYMMDDDhhmmssRSN-CDVARCHAR2（4）Y原因码AUTH-DTVARCHAR2（4）Y授权日期AUTH-ID-RESP-CDVARCHAR2（7）Y授权标识应答码POS-ENTRY-MD-CDVARCHAR2（3）Y服务点输入方式POS-COND-CDVARCHAR2（2）Y服务点条件代码PROC-CDVARCHAR2（6）N交易处理码SUBINST-CODEVARCHAR2（12，2）N交易所属分支机构：默认为100400ORIG-TRANS-ATVARCHAR2（32）N原始交易金额LOCAL-REC-IDN本地增值流水ID，用来追溯本地增值流水记录BUSI-CODEVARCHAR2（8）N业务类型代码PROD-CODEVARCHAR2（4）N产品类型代码：默认为业务类型代码前四位UMS-UN-BUSI-CODEVARCHAR2（2）Y银商统一后业务类型，应为“产品编码”后两位PRE-PCHNLVARCHAR2（3）N前置渠道PAL-PCHNLVARCHAR2（3）N支付渠道ACQ-MER-NOVARCHAR2（15）N受理端客户编号ACQ-TRERM-NOVARCHAR2（8）N受理点终端编号SRTT-REC-IDVARCHAR2（128）Y清分流水IDSRTT-AMTVARCHAR2（15，2）Y清分交易金额MER-FEEVARCHAR2（15，2）Y清分手续费金额ISS-FEEVARCHAR2（15，2）Y发行卡交易金额RCV-FEEVARCHAR2（15，2）Y转接方受益金额ACQ-FEEVARCHAR2（15，2）Y收单受益金额BRAND-FEEVARCHAR2（15，2）Y品牌服务费ERROR-ENTER-AMTVARCHAR2（15，2）Y差错应收金额ERROR-OUT-AMTVARCHAR2（15，2）Y差错应付金额TERM-TYPEVARCHAR2（15，2）N终端类型，00：其他：01：自动柜员机：03：POS终端：05：多媒体终端：06：银行柜台和柜面：07：个人电脑：08：手机设备：09：Ⅰ型固定电话：10：基于PBOC电子钱包/存折标准的交易终端：11：移动POS：16：数字机顶盒：17：Ⅱ型固定电话RESV1VARCHAR2（255）Y保留域1RESV2VARCHAR2（255）Y保留域2：对多路由数据=D1文件RESV3VARCHAR2（255）Y保留域3：对多路由数据=D1文件RESV4VARCHAR2（255）Y保留域4：对多路由数据=D1文件RESV5VARCHAR2（255）Y保留域5：对多路由数据=D1文件CRE-DTMDATEY创建时间DATA-SOURCE-IDVARCHAR2（2）N数据源：定义参见表AVP-TRX-CODEVARCHAR2（4）Y增值交易代码UNS-BUSI-CODEVARCHAR2（6）Y银商业务类型代码UNS-PROD-CODEVARCHAR2（4）Y银商产品类型代码MER-INST-CODEVARCHAR2（8）Y客户所属机构SETT-MER-NOVARCHAR2（20）Y清算客户号PCHNL-MER-NOVARCHAR2（20）Y渠道客户号PCHNL-TERM-NOVARCHAR2（8）Y渠道终端号1.3交易数据的预处理本文通过对历史交易数据的推测概况出其新的数据的发展趋势并对其进行模型的数据检测，其中的风险已将采用一定的数据分析法将其降到最低，实现其数据的重要性，并将其数据信息进行重新编辑整改。由于是本次采集的交易数据，基本不存在特征值缺失的情况，本实验处理不进行缺失值补全等过程。相对于数据的多样性以及其相关性，其中存在的联系需要对数据进行多次的数据分析，采用一定的科学方式，使之更加切身体会其中的利与弊。一种是基于时间范围的变量衍生方法，另一种为基于事件频率的变量衍生方法，两种完全不同的数据分析的概况性使之做成最好的数据类别进行讨论研究。本文采用的衍生的的变量有过去1天、7天、14天、30天、90天、180天是否发生交易。账户余额相关的衍生变量有过去1天的余额、过去7天的日均余额、过去14天的日均余额、过去30天的日均余额、过去90天的日均余额、过去180天的日均余额，对其余额进行一定的数据计算，发现其中的数字规律变化。2.变量离散化数据标准化的数据处理进行相互的转换，对用户的基础信息进行更加深层次的数据刨析，并进行有效的转换。主要针对交易金额、账户余额、年龄、账龄等连续性变量。本实验采用对数据的离子变化进行处理，使之数据更加清晰明了，更加确定其中的规律编谎话，确定其分组数量和组距，通过调整分组后计算分组后的事件率相等找出最优分组。1.4基于BP算法的人工神经网络风险分析应用决策树模型，根据上文提及的数据分析法对数据模型进行更改，网络节点和支付性质的理解更加透彻，识别为正常交易账号和异常交易账号，并对生产的决策树进行了较大的改进，使之更加完善更容易被大众化所接受，在保证足够信息量的前提下减少离散化的区间数目，进而简化生成的决策树模型结构。最后利用生成的决策树模型完成识别大量交易数据中的异常交易账号工作。1.1.1BP算法特点自学习特点，神经网络根据输入的数据值进行对比预判，形成一个新的数据节点，对其数据节点进行深层次的刨析通过不断地训练，使之更加精确无误，进行适当的预判，确定其发展的趋势，改变其中的数据关系，使之更加简单容易理解。然后皆可以对相差不多的其他数据信息进行评估。高速寻找优化解的能力。神经网能够高效无误的对数据进行结算，提高其算法进度节省更多的时间得到一个模型的最优解情况。不确定性信息处理能力。神经网络中包含许多神经元，需要对其刨析，解决其中的数据网络结构化，于之前的数据对比需要对其更加完善截个图，使之便系更加负责。而且其每个神经元之间形成的网络结构，让数据间的关系联系更加复杂和密切，即使有一个或者一些数据缺失或者模糊，甚至数据错误的情况下，BP神经网络都能够利用强大的网络关系，找出最佳的输出结果。抗压性，神经网络通过一定的学习和训练，即使在某些神经元失效的情况下，仍能够正常有效的预测。1.1.2BP神经网络的应用本文采用神经网络的方式对其数据进行有效的分析辩证，从原始数据开始到二层次的分类聚类，进行数据的预判，进行分析展示。首先以其风险进行输入辩证，对其可发生的因素进行分析，216份有效问卷共有216对输入和输出数据作为样本，模拟得出底层权重及变量间关系，通过学习，再根据具体风险因素作为输入项，可以输出一组预测的“感知风险维度”数据，用此结论数据进行风险的有效输出，进行新的模型数据，分析其重要性。经过上述流程，第一层的预测值又作为第二层的输入值进行模拟，数据从底层至顶层能够完全连通。1.3数据可用性的检验及说明针对于数据的采集样本，应当建立数据节点的分配，对数据的风险性进行检测，以此感知其风险指标进行数据分析。以“感知经济风险”为例，可以看出样本数据的大致分布，以及特征指标量，例如最大值、最小值、峰度偏度等。除此之外，还具有图文并茂的特点，用一张图几乎说明了数据源各种质量问题。据此可以看出，样本数量十分完整，仅有少量极值出现，不影响后续的模型训练和预测，属于数据质量可控的范围内。由此我们可以得出结论，样本符合数据可用性的前提，下面将利用上述样本进行各部分的神经网络模拟。1.1.4神经网络的模型构建及数据模拟在拥有“感知时间风险”、‘感知技术风险”、“感知隐私风险”、“感知社会风险，以及“感知信誉风险”各项风险度的标注之下，其构建的模型存在一定的数据差异性，需要构建新型的神经网络模型，采用该软件需要设置一些基础参数。由于本课题采用的是含有一层隐含层的B-P神经网络，因而还需要确定隐藏层神经元个数，本文将以神经网络的模拟估计精度为标准，确定在该指标体系中隐藏层神经元个数。随着模型不断拟合，该精度值最终会稳定在某一位置，称为“模拟估计精度”。此处，本文在对比调整藏层神经元个数的过程中，观察模拟估计精度的变化情况，最终确定感知经济风险体系指标的隐藏层神经元个数为15个。除此之外，关于B-P神经网络的具体训练方法，经过课题组多次实验，最终确定采用“快速训练法”的“专家模式”进行模拟，同时在模拟过程中还需要设置其他相关参数如下，其中Eta表示的是学习率，即神经网络每次模拟移动的距离，Alpha表示冲量项，在反向传播中，引入冲量项的目的是加快学习速度。表4SEQ表\*ARABIC\s17神经网络其他相关参数Alpha初始Eta高EtaEta衰减低Eta0.90.30.1300.01在确定上述因素条件后，构建不同的神经网络系统对其感知风险进行调研，以此为数据研发的一种方向进行有效的划分，进行讨论研究。如图4-7所示，从“分区”节点开始向右延伸共有5条分支，第一条“分区，，—“感知经济风险”表示采用100%的样本数据进行感知经济风险指标体系的神经网络模拟过程，第二条“分区’~‘选择，七一一一‘‘感知经济风险”表示采用70%的样本数据进行神经网络模拟，第三条“分区”一‘选择，一‘70%感知经济风险”模型一‘表”表示针对70%样本输入指标进行预测输出，第四条“分区”“选择，一‘100%感知经济风险”模型“表”表示针对全部样本输入指标进行预测输出，第五条“分区”一“表”仅用来查看输入系统的数据，以“表”的形式呈现。、模拟过程中存在的问题对其处理的解决方式在模拟过程中，采用多种百分比不同的数据元素进行采集模拟，用不同的数据进行检测，分析其中的风险度，对一种或者一类进行数据预判，以分区的方式进行处理，检测其中的样本普遍性，预测结果与输出原值的误差浮动在30%左右。在本文研究当中，不难看出在其过程中存在一定的局限性，需要打破其局限然后对其进行一定的摒弃，对于样本采集不完全的现象忽略掉部分信息，进行部分检测推测规律。因此本文最终采用100%样本数据进行模拟，随后根据样本信息进行模拟测试，将数据进行预判，对其风险度控制在一定限度内，提高其准确性。3)、数据模拟在成果关键的数据类别当中，确定数据的样本数量，对其进行感知风险体表的预测，以“感知经济风险”的指标体系模拟过程为例。1.5模型结果验证本次模型采用newff，函数构建模型，对于新版本的newff函数，可将其数据研究的过程提前进行一定的总结，防止其出现重复现象，通过少数迭代。模型的构建中，利用默认值设置隐含层节点数、传递函数。模型中的训练函数具体代码如下:%创建BP网络net=newff(trainx,trainy);%设置最大训练次数net.trainParam.epochs=1500;%目标误差net.trainParam.goal=1e-13;%显示级别net.trainParam.snov}l;%训练net=train(net,trainx,trainy);为了达到数据有效性的数据样本带来的偏差对其造成的数据影响，在其研究过程中适当选择相同的训练和样本测试，一直重复运算分别统计其正确的概率，最终得到平均正确率为87.27%，最低正确率为81.42%，迭代次数为6。在训练及拟合完成后，针对上述建立的支付交易风险度量模型，利用Sim函数引入新的数据对其进行训练，检验这个经过训练的、学习到规则的模型。t_final=sim(net,p_test)根据调查问卷进行