【《支付交易系统中异常行为检测需求分析案例概述》9500字】

支付交易系统中异常行为检测需求分析案例概述目录TOC\o"1-3"\h\u29876支付交易系统中异常行为检测需求分析案例概述 1211671.1客户的交易行为分析 1301671.1.1客户交易行为分析 1149201.1.1交易行为分析的目的 3296101.2交易支付需求描述 3169181.2.1客户资源分析 6314941.2.2交易数据分析 7265741.3数据处理及分析 836191.1.1基础数据的来源 9314341.1.2基础数据的筛选 9258091.1.3基础数据的提取 9271311.1.4基础数据的存储 12223181.1.5主题数据处理 1315791.3支付交易数特征提取方法优化 1339383.1.1机器学习的特征提取 138651.1.2基于余弦相似度特征提取方法 141.1客户的交易行为分析用户在进行支付交易的过程中产生的不同寻常的行为即被称为支付交易中的异常行为。随着互联网的日益普遍，基于互联网环境的支付交易也日益普及，支付交易过程的异常行为对支付交易的有序的负面也日益凸显。因此，发现并检测出支付交易系统中出现的各种异常行为成为维护互联网支付交易的重要环节，开发出具有异常检测能力的支付交易系统对保障支付交易系统用户的利益具有重要意义。1.1.1客户交易行为分析本文中所指的交易行为分析，区别于证券交易行为，特指商业银行的客户在使用银行账户办理各类金融业务中呈现出的交易行为，其概念上类似于各种网站、APP、客户端的后台数据库所采集、整理、统计的用户交易信息，交易分析即可以通过对某类数据的分析进行交易行为的概况，对其进行论证，并结合用户的特殊属性进行评估概况的行为[54]。对商业银行客户使用银行账户发生的资金转入、转出的金额、笔数、对手进行统计、分析，获取客户使用或持有的金融产品的信息，统计客户的资产、负债，跟踪客户发生银行柜面、自助机具、线上业务的渠道偏好情况，大部分与客户的基本属性交易进行分析论证以组成一部分。通过对这些行为的特征、规律进行总结，可在一定程度上“认识”、“认清”、“认定”客户交易背后所反映出的深层次原因。将这种分析用于客户营销方面，属于运用大数据进行的精准营销，而用于风险管理方面，则是对客户风险行为的识别。客户对于资源的选择也存在多种选择方式对企业进行选材，是所有的企业的部分收益根源。支付行业圈内人，大家都知道收益是来之于对客户的服务而产生的费用。而服务费用是什么呢?服务是替客户进行资金的清算，清算需要支付手续费，手续费就是收单机构的收益来源。所以要产生收益，首先必须有客户，有了客户才有交易，然后才能对客户资金进行清算，才可能通过清算服务进行手续费的收取，所以客户是基础。根据上段描述可知，影响收益的要素不仅是客户的数量，如果只是有客户，但是客户不进行交易，自然也不会产生清算服务，没有清算服务当然也不会产生服务费用。那么，影响收益的要素有哪些呢?其实包含了很多方面。比如，最基础的是客户数量，毕竟量变才能有质变，客户数量比较直接的体现了公司的基础资源，数量基数越大，其交易增长的速度不断更新发展。为什么说客户的交易数量会影响到收益呢?这又得说说清算服务费的收取规则了。最常见的就是按照原本的数据交易金额以及交易方式以及金额进行部分的收取，不用的收益结果进行不同的分类，根据自身的不同进行不同的手绘规则，当然前提是满足人行的规则之下，再进行各自的规则设置，这样正是收单机构的利润之所在。所以交易的数量也决定了收益。然而客户的交易金额的大小也会随着各公司制定的服务费规则进行收取。这些等都直接代表收益的效益结构划分，所以客户的资源支付成为其企业的基础。站在公司的角度，经营中很重要的一点就是收益，结合上述对客户资源的描述，其对于公司的发展有着重要的意义。针对于公司的划分进行有规律的划分，对资源进行分类聚类，其结构也是非常重要的。1.1.1交易行为分析的目的对于商业银行而言，行为分析的对象可以是客户、员工等，其目的是服务于发展和经营。以往根据客户分布的“二八原则”很难适应经济“新常态”下的竞争趋势，银行必须尽可能多的抓住“长尾客户”，这些客户的管理如果依然按照以往的员工逐一认领维护，很难做到广泛而精准的产品覆盖或风险管控，而基于大数据、基于交易行为分析的客户管理模式提供解决这一问题的可能。以个人信贷业务而言，交易行为分析的目的是对日渐庞大的个人信贷客户群体有宏观的认识和细节的判断，更深层次的挖掘客户的发展状况，发现优质客户的趋势，以及识别客户的风险[55]。根据上面描述客户资源时说到收单机构的收益主要来源于清算服务费，那么如何理解交易数据的价值呢?前文中提到影响收益的多方面，除了客户资源外，还有客户的交易数量，和交易金额也会直接影响着服务费的多少，那么交易数量和交易金额如何得来呢?这些信息记录来在交易数据中，通过交易数据可知道客户的交易金额，并且可通过交易数据按照客户进行汇总，得出客户的交易数量。另外，通过客户的交易数量和交易金额可对客户的经营规模以及经营情况进行分析，这些信息可以提供给市场针对客户制订不同的支付产品，以及营销活动。此外，对这些交易数据进行不同维度的分析，还能对客户交易进行风险监控，以及反洗钱等不法行为等监控。所以对这些数据的分析，对公司的各方面都起着很重要的作用，也体现了对这些数据分析的价值和意义。1.2交易支付需求描述首先对公司的结构进行数据的基础划分，包含客户的数据类别，中级信息，以及交易信息。行业相关的关联信息有:行业信息、业务信息、渠道信息等。这些信息之间的关系如下图:图3SEQ图\*ARABIC\s11数据机构图机构发展客户、客户决定了所属行业、行业决定相关费率信息、客户根据情况分配终端，终端设定业务、终端发起交易、交易选择渠道，渠道完成后形成交易信息。下面分别对基础信息进行详细描述，如下:【客户】:客户的数据编号、客户的网站地址、联系方式、状态分析、所属的数据机构，行业、法人信息的数据编辑、身份证编号、身份证有效期、营业执照、营业执照有效期等)、账户信息(银行卡账号，银行卡户名、开户行银行、开户银行编码)、开展业务、入网时间、下单币种、境内/外标志、结算方式(日结、月结、T+0等)、拓展人【终端】:客户编号、终端编号、终端地址、状态、开展业务、装机时间、机型、品牌、机身号、维护人员、撤机时间、最后停用时间等【交易】:清算日期、应答码、银联交易代码、交易金额、消息类型、本地交易日期时间、客户类型(MCC码)、检索参考号、主帐号、卡BIN、卡性质(O1一贷记卡;02一准贷记卡;03一借记卡;99一其他)、卡介质(1一磁条;2-pbocis卡;3-emvis卡;4一无卡;5-Fallback、受理卡机终端标识码(终端编号)、受理卡方标识代码(客户编号)、受理卡方名称地址(客户简称)、受理机构标识码、转发机构标识码、接收机构标识码、发卡机构标识码、原始系统跟踪号、原始系统日期时间;格式:YYYYMMDDhhmmss,原因码、授权日期、授权标识应答码、服务点输入方式、服务点条件代码、交易处理码、交易所属分支机构;原本交易数据金额结果、当地的数据增值数量、业务范围内的管控代码、产品分类代码依据;默认为业务类型代码前四位、前置渠道、支付通道、受理端客户编号、受理点终端编号、清分流水ID、清分交易金额、清分手续费金额、发卡行收益金额、转接方收益金额、收单收益金额、品牌服务费、差错应收金额、终端类型(00:其它;O1:自动柜员机;03:POS终端;0_5:多媒体终端;06:银行柜台和柜面;07:个人电脑;08:手机设备;09:I型固定电话;10:基于PBOC电子钱包/存折标准的交易终端;11:移动POS;16:数字机顶盒;17:II型固定电话)、创建时间、客户所属机构、清算客户号、渠道客户号、渠道终端号、原本消息的数据类别、支付方式的消费渠道、接收服务所产生的费用、清理计算的服务费用、公司年度收入总类别;客户手续费一渠道成本、总部收益、渠道编号、清算批次号、接入机构代码、转接机构代码、增值接入客户号、交易信息类型、接受整理的流水账号的流动趋势、增长数值在网络平台上的盈利方式、响应代码、交易所处的消费等状态类别、客户的流动账号、接收流动范围的渠道方式、支付渠道流水号、订单金额、订单币种、订单汇率、清算币种、记录状态(0二未处理、卜己处理)、业务收益盈余、原检索参考号、原订单号、原清算日期、原客户流水号、原受理流水号、客户手续费一渠道成本一第三方合作机构收益、入账币种、入账汇率、商家编号、完税标记(0一未完税、1一己完税)、订单日期时间、订单日期、订单时间、交易日期时间、交易日期、交易时间、原订单日期时间、原订单日期、原订单时间、结算周期。[机构]:机构ID、机构名称【渠道】:渠道信息、渠道成本【业务】:业务ID、业务名称、结算方式、业务费率【行业】:行业编号、行业名称、行业费率通过上述基础信息中的要素，下面对如何利用这些数据进行分析:客户资源信息的分析:(1)客户资源对公司收益有何影响?客户的交易情况如何影响公司收益?(2)客户资源对公司的服务有什么引导作用?客户的投诉如何影响公司的服务成本?客户资源对公司资源有何影响?客户的非法操作或者肆意浪费、破坏公司资源如何影响公司资源?(3)客户资源对风险控制有何影响?客户行业不符合实际情况是否对公司存在风险影响?(4)如何对客户资源进行分类?如何对客户服务进行不同层次的对待?如何降低公司可能出现的风险?2.交易数据的分析思路如下:(1)如何对交易数据进行不同维度的汇总?如何针对交易数据的汇总进行公司收益情况表示?(2)如何利用交易数据进行业务层面的分析?如何针对交易数据进行业务的发展情况?(3)如何利用交易数据对客户进行分析?如何利用交易数据定义客户分类?如何利用交易数据进行客户服务?(4)如何利用交易数据发现风险?(5)如何针对交易数据进行公司资源的使用情况分析?(6)如何针对交易数据进行预测发展趋势?1.交易风险的分析思路如下:(1)如何结合公司基础数据，以及实际场景进行风险分析?(2)如何利用己有的数据进行风险范围的确立?(3)如何发现风险?如何预测风险?如何防范风险?(4)如何将风险根据交易数据进行结合处理?1.2.1客户资源分析公司的收益虽依赖客户，但也可能被客户制约，比如，一个客户一两个月才有几笔交易，且交易额度很低，这种情况下，该客户对于公司来说要耗费POS终端及其折旧成本，还需要耗费人力进行巡查，但却没什么收益，这种客户对于公司来时是低效甚至是无用客户[56]。再者，客户虽然有很多的交易但是交易大部分都是不成功，比如持卡人余额不足等情况，这种客户是在消耗公司的资源，占用交易线路，造成系统繁忙，系统压力增大等情况。这些客户对于公司也是无用客户，甚至是劣质客户。另外，还有一些客户总是触犯银联或公司的交易规则的，比如以一个渠道限额5W但总是交易产生大于5W交易额，导致交易失败，这种客户是明显的触犯交易规则的，这些客户也可能存在潜在的风险。还有，客户申请开通交易，是有行业限制，不同行业的客户申请，不同的行业有相对明显的交易时间，交易额度的范围，比如教育行业的客户，总是在半夜凌晨发生，这种客户可能是存在风险。对于上述的一些描述，大部分是客户对公司没什么收益，或者存在风险的情况描述。总而言之公司在盈利状态下为了达到所需要的预期范围内，达到其成本最小化利益最大化、那么对于风险的规避性则更加严密、使之风险的可控制性达到最大利益所得的目的状态。可对客户资源进行不同的级别的定义，并定期更新客户级别信息，以便公司的各项决策能得以全面的推行。客户的级别，可以简单详细的定义，这很大程度取决于公司的规模，公司的抗风险能力等各个方面。所以这个级别的定义可设计为可变化的，可针对不同的情况作出不同的调整。相比之下可以根据一定的数据没事进行划分，将其分为高质量用户、中等普通用户、低效率营销用户、劣质用户、风险分等级不同的用户分类等。当然也可根据公司的实际情况进行细分，比如优质客户有分级别，优质客户级别1，2,3··…客户级别的界定，那就更是依赖于公司的实际情况来进行决定了。比如可以按照该客户对公司的产生的收益，交易成功率，触犯交易规则多少，触犯风险规则多少等等来进行界定。客户的级别的定义，可以准备的定位对客户提供的服务程度，以及对可能存在的风险进行预测和预防，还可以及时的发现公司的资源是否被浪费等等。1.2.2交易数据分析风险数据对客户资源的分析存在着很大作用，同时交易数据还能体现很多很多方面。通过对数据的研究分类可将大数据状态下的信息进行不同层次的划分分析。下面从几个方面来进行描述。（1）卡种和发卡行的交易趋势支付数据中一定会有卡号信息，卡号信息包含有卡所属的银行，卡的种类。卡所属的银行我们一般称为发卡行;支付交易卡的类别包含借记卡、贷记卡、预支支付卡等。根据发卡行进行的交易数据的分析，进行交易金额的汇总，进行交易笔数等的汇总，能分析出各发卡行的一些使用拓展情况。当然根据卡种类的进行汇总统计，能得出当前各种卡的使用情况。支付数据中除了卡信息外，还可以根据交易的渠道进行汇总，还有根据业务进行汇总等，根据汇总分析业务的开展情况，为后续的业务产品定位做一定指导作用。（2）业务开展情况的分析通过从业务层面进行每个业务的交易金额，笔数汇总，以及收益情况的汇总，进行业务的发展情况进行分析。可通过汇总的结果进行业务的推广策略调整，比如一个业务刚开展几天，但是交易笔数很大，那么这种情况下说明该业务很受欢迎，可以适当的加大推广力度，与此同时也要考虑交易系统是否能支持相应的大量交易情况等方案的调整等。（3）客户交易收益分析结合客户的交易笔数，交易金额，渠道手续费等方面的汇总进行分析。1.3数据处理及分析结合上文中对业务需求的分析，下面从技术的角度出发，分析该满足上述的业务需求描述:y首先，分析业务需求要做什么?总的概括来说，业务需求就是想要通过对公司己有的基础数据进行汇总，统计等分析方式，从而得出一系列结果结论数据，可以根据用户的数据策划得出揭露从而在数据库中得出一定量的数据来源依据，从而得到数据支持。通过对业务需求的分析可以清晰的知道需要分析的主题「15」。2)知道了要做什么，要怎么做?既然，业务需求要做的就是从过往积累的历史数据中，通过从不同维度对数据进行汇总，统计。那就要考虑几个问题:.数据从何而来?.如何得到数据?.得到数据如何存储?.如何对数据进行统计，汇总?.如何将汇总结果展现给用户?数据仓库的组成部分包含有:数据大规模的库存、数据开放式集市模型、数据选择性的选择工具、元数据模型类别、对于数据库的管理控制、信息系统后台操控管制、用户针对于某个网站的访问方式统计工具。本文主要针对数据有选择性的选择筛选、数据大规模库存、数据开放式的具体分析具体研究，元数据，数据仓库管理，以及信息发布系统、访问工具在实际开发过程中可参见比较成熟的数据仓库的设计。1.1.1基础数据的来源首先，从公司的各个系统中寻找潜在的基础数据，客户数据存在于业务系统(业务系统专门用户管理客户入网，业务开通);交易数据需要区分交易信息和清算信息，交易数据存在于交易系统(所有交易发生的必经之路)，而清算信息存在于清算系统，然而结合需求来看，只需要清算数据即可。除了这些历史基础数据外，还有一点就是风险监控需要使用到的风险规则，风险规则也是通过业务系统进行添加。如下表:表3SEQ表\*ARABIC\s11基础数据来源信息基础数据所属系统客户数据业务系统风险规则业务系统交易数据-清算信息清算系统1.1.2基础数据的筛选各个系统中的数据很多，需要从众多的数据中找到对需求有用或者可能有用的数据，通过分析主题，将对主题分析有用的要素进行提取。1.1.3基础数据的提取上述所有的系统都是内部系统，所以数据的提取，可直接从各业务系统的数据库中使用存储过程获取数据(存储过程:执行操作具有高效性、数据多层次的双重可用性、数据之间可相互转换移植的性能、数据对于风险的可维护性能、提高数据的严密性的安全性能「9]，也可通过文件的多种形式进行互相传播进行相互研究。然而，这些基础数据时刻在发生变化，如交易数据。在进行各项主题汇总统计时需保证我们统计的数据是全量的，因此我们需要指定一些规则来进行数据的提取。对于数据的统计都是基于对历史数据的分析，数据的时效性不需要实时更新，统计的范围都是限于按天，按月，甚至按年「19]，所以数据的提取都按天进行。如下表:表3SEQ表\*ARABIC\s12基础数据提取规则基础数据提取规则描述分析客户数据每天提取全量提取客户信息可以新增，修改；风险规则每天提取全量提取风险规则可新增，修改交易数据-清算信息每天提取增量提取清算数据只会增加，不会修改为了保证数据能每天都能进行提取，需要通过设置定时任务按照一定的策略将任务按照彼此间的依赖关系，先后调度执行任务「10]，每类数据的提取需要为其配置一个相应的定时任务进行处理，并对其处理结果完成情况进行监控。如果对数据没有完成正常数据的划分，则需要话费更多的时间进行一定的调节。上述的按时效的数据管理模块则包含以下三种部分：1)任务管理模块:用于对大数据的生产技术管理进行数据支持的执行管理任务，可对任务做新增、删减、修改、查询操作。运维角色用户运维角色用户修改任务删除任务查询任务新增任务图3SEQ图\*ARABIC\s12定时任务系统任务管理模块用例图a)通过对任务设置相应的属性来控制任务的执行计划，控制计划的属性包含有:周期类型(日、月、年、指定日期)，周期参数，生效日期，失效日期，状态，执行窗口(cron表达式配置)，超时控制，超时警告控制，通知方式等。b)通过配置任务的明细来添加具体执行的逻辑，可以是存储过程，Java代码，润乾(生成报表的第三方服务)。c)通过配置任务的依赖关系，来确定当前任务是否需要收到其他任务的影响，一定需在其他任务执行完成后才能触发该任务，定义为前驱依赖任务;另外当成数据更改的一部分数据元素，形成递增的执行模式，从上而下执行的顺序更改，可重新定义为后驱依赖任务。2)执行记录:有了任务，就根据任务的执行计划，创建需要执行任务计划，定时任务就通过执行一条一条的计划任务来达到目的。图3SEQ图\*ARABIC\s13定时任务系统执行记录模块用例图A）执行记录任务两部分，一是有系统自动根据任务的配置的属性生成的执行计划;二是可手工添加任务的执行计划。B）执行计划可删除，删除该条计划后，就不会再执行该条计划任务。C）执行计划任务可修改，修改执行的状态，触发开始，中止等。3）任务执行监控:此模块是用于管理任务的执行情况，初始化任务创建执行记录，触发执行计划的执行，中止执行计划的执行，还可查看执行额日志信息等。图3SEQ图\*ARABIC\s14定时任务系统任务执行监控模板用例图a)初始化执行计划任务，是用于将添加的任务按照对任务的执行配置参数进行执行计划的记录信息添加;b)检查执行计划任务，是用于检查任务状态，是否超时，是否需要提醒;c)查询计划处理情况，是用于获取到当前线程的执行情况信息，可在下面看到当前线程的执行计划信息，和执行的日志信息;d)中断对于数据的执行更改方式，是将数据在其工程中进行必要的拦截避免造成误差;e)执行计划之外的数据执行任务，是将触发另一种备注方案的执行操作。1.1.4基础数据的存储所有的数据都需要每日更新，对于客户信息和风险规则信息是可以在原数据上进行修改，如果只保留每日最新的信息，是无法体现每天的变化的，所以这两类信息需要存储两份，一份是历史，一份是最新的。然而交易数据，却只是每日增加，因此交易数据只需要保存一份，每日添加。对于交易数据每天都在不断的新增，然而日积月累，对于数据库的存储空间需求很高，结合业务主题的分析，几乎不会需要用到多年前的数据，另外数据量非常庞大，因此每天都需要对数据进行更改，增加或者减少数据的必要与之不必要，所以此处定义的数据属于间断性，因此只需要对当前的数据进行时效三年的过程数据。1.1.5主题数据处理在有了基础数据后，如何通过基础数据汇总出业务需要的结果，此处设计使用存储过程对基础进行各维度的汇总统计。存储过程中也需要对数据进行二次筛选划分，也需要对其进行特定的执行模式，生成对比明显的数据主题安排。任务执行失败，也能人工参与重新执行，以确保每天的主题数据都有变更。对于数据的处理从以下三个方面进行考虑:1）变化数据的维度分析表，在数据库中发现其存在误差需要及时对其进行更改，事实表对其基本维度的表达有一定的描述，用于存放对数据用具的划分避免出现混乱，以储存大量业务范围内的事实数据的整理，而维度表则是事实表的入口，通过对维度的属性的重新编辑可以对数据进行有规律的分割以此来进行分析。2）渐变维度的处理，在大规模数据库当中需要对其进行分类，需要根据类别进行讨论研究，而其关键在于关键字的互相对应从而建立起一定的数据间的联系。3)快变维度的处理，对于变化频率较快的数据处理方式来看，如果仍然采用与之前相同类别的研究可能出现误差，则数据的处理维度则会发现改变，这将导致数据的某种类别出现增长过快的现象，带来许多的嘈杂程序，冗余存储，特别是对于某类重要大规模的数据的维度换分表，过度膨胀将会直接影响到其历史分析数据以及效率图的变化更改。1.3支付交易数特征提取方法优化支付交易数据相比普通的数据更复杂，普通分类问题一般针对正负样本比例相关不大，而银行交易数据面对的是大量的特征的问题，对于降维有不少优化方法，但需要根据不同问题区别对待。本论文根据银行交易数据的特点出发，重点选择机器学习的算法进行。1.1机器学习的特征提取机器学习特征提取t-SN[23]是通过仿射变换将数据点的相关性映射成概率分布，t-SNE算法是将高空数据的样本进行距离感的部分数据的概况分析其所处的类别进行无条件的转换概率，同时计算低维空间内样本点的条件概率，采