【《基于联邦学习的个人信用评估模型分析案例》4000字】

第第页基于联邦学习的个人信用评估模型分析案例目录TOC\o"1-3"\h\u16045基于联邦学习的个人信用评估模型分析案例 1223621.1横向联邦学习架构 141351.1.1 本地客户端 2169481.1.2中央服务器 2102131.2模型的详细设计 440241.2.1联邦个人信用评估模型设计思路 4102981.2.2本地客户端设计 5242411.2.3中央服务器设计 6111381.2.4联邦个人信用评估模型详细设计 7随着互联网金融和大数据时代的来临，金融数据在近几年呈指数级爆发增长，本文改进的PSO-BP神经网络模型在收敛速度和模型精度上相较于标准PSO-BP模型有所提高。但是常规各家金融机构的数据不共享，会导致在训练模型时训练数据不足、数据质量差等进而导致模型预测效果不佳。联邦学习的特点是可以联合多家金融机构在数据不出本地的前提下进行共同建模，解决数据不足带来的建模不准确的问题。因此本文将改进的PSO-BP模型与联邦学习结合构建个人信用评估模型，本模型在不共享私有数据集的情况下联合多地金融机构数据集共同训练建模，打破数据孤岛问题同时保证数据的安全。1.1横向联邦学习架构联邦学习是一种分布式机器学习框架，使用联邦学习的进行建模就可以保证多家金融机构数据在安全不泄露隐私的前提下进行共同建模。联邦学习分为横向联邦学习、纵向联邦学习以及联邦迁移学习三种类型[35]。横向联邦学习所支持的数据是特征分布相同、ID不同的数据，适合于不同地区具有相同贷款业务的两所银行；纵向联邦学习所针对的数据是同一批ID，但特征不同的多个数据集，如不同银行的同一批用户，在不同业务中，他们有不同的特征，因此纵向联邦学习可以将同一用户的不同特征集合起来，训练出效果更好的模型；而联邦迁移学习，是一家金融机构由于自身数据标签不足等原因无法建模，但可以使用其他金融机构相似的业务数据进行迁移学习，最后达到模型通用的目的。目前，纵向联邦学习和联邦迁移学习由于业务场景和算法的限制导致应用的场景较少。相比较之下，横向联邦学习架构较为简单清晰，有更广的应用场景，通过提高模型的数据量，解决当前多数金融机构存在的数据量少、数据质量差而导致难以建模的问题。横向联邦学习架构分为两部分，本地客户端和中央服务器。1.1.1 本地客户端本地客户端是整个横向联邦学习架构的基础，在每家金融机构的本地客户端上都维护着一个本地模型，它在训练的过程中将本地模型参数发给中央服务器，利用中央服务器对各个本地的参数进行聚合计算，其结果作为全局参数返回到各个客户端用于继续更新模型。完成训练后每一个本地模型相当于通过训练所有数据所得到的模型。1.1.2中央服务器对于不同的应用场景，横向联邦学习架构分为两种方式对本地客户端进行协调，分别是有中央服务器和无中央服务器两种方式。如图4.1所示，这是一种使用中央服务器的横向联邦学习架构[36]，称为客户-服务器架构。也是本文所采用的架构。在此架构下，中央服务器初始化模型参数发送给各个客户端，模型各自训练本地数据然后将模型参数发回中央服务器进行聚合计算，其结果作为全局参数返回到各个客户端进行本地模型的更新。例如在文献[25]中，中央服务器使用梯度平均算法对所有客户端上传的梯度求平均值然后作为全局参数下发。不断重复这一过程，直到模型收敛或达到最大迭代次数。这种训练方法使得中央服务器只起到参数聚合计算的作用，并不会直接参与建模，保护了数据隐私和安全。这种架构的优点是结构清晰，参与的客户端相互完全不可见，保证各个金融机构的隐私性。缺点是必须要保证参与建模的中央服务器是安全可靠的、其间的通信是可靠的。图4.SEQ图4.\*ARABIC1横向联邦学习客户-服务器架构图[36]Figure4.1Diagramoffederatedlearningframework横向联邦学习另一种应用场景是各个客户端被设计为对等网络的架构[42]，如图4.2所示，即不需要中央服务器对多个参与方进行协调，将各自的训练的模型保存在本地，直接加密交换对方的参数然后在本地进行聚合计算求出全局参数用于更新本地模型。将中央服务器实现的功能通过加密的方式放到了每个客户端本地。这样的架构优点是提高了安全性，不存在第三方泄露参数等风险。但是缺点是需要更多的计算资源来对参数进行加密解密，每家客户端需要与其他客户端进行通讯，暴露了隐私。图4.SEQ图4.\*ARABIC2横向联邦学习对等网络架构[42]Figure4.2Diagramofhorizontalfederatedlearningpeer-to-peernetworkarchitecture由上述可知，两种架构各自存在优缺点，由于客户-服务器架构结构清晰，隐私的保护性好，同时本文使用的改进PSO-BP神经网络模型与联邦学习结合时需要独立的中央服务器，因此本文采用客户-服务器架构，模型设计将在下一节详细讲解。1.2模型的详细设计本节介绍了联邦个人信用评估模型的设计过程，具体给出了将联邦学习和改进的PSO-BP神经网络模型相结合的详细设计思路，联邦个人信用评估模型的架构，以及具体算法执行过程。1.2.1联邦个人信用评估模型设计思路在本文中，假设所有参数方都是诚实的，且通信过程是理想且安全保密的。在个人信用评估的场景中，使用本文提出的改进PSO-BP神经网络模型可以提高模型的预测精度，提高模型收敛速度。横向联邦学习可以通过联合多家金融机构共同建模以提高训练模型的数据量，解决数据少、数据质量差的问题，而且PSO-BP模型本身具有支持并行计算的特点，通过与横向联邦学习进行结合，提高了模型本身的计算效率，解决了个人信用评估上存在的预测精度低以及数据质量差的问题。改进的PSO-BP神经网络模型的训练可以分为两部分，第一部分是改进的PSO寻优算法，通过把BP神经网络的所有参数转换成一个粒子，通过在解空间中寻找最优粒子从而实现寻找BP神经网络的最优参数。另一个部分是适应度函数的计算，本文设计的适应度函数如式(3-4)所示，具体的计算方法是将粒子中包含的参数映射为BP神经网络的连接权重和阈值，再通过本地数据集计算出误差，因此每一个粒子计算得到的总误差值就是该粒子的适应度值。计算适应度值需要具体的粒子位置参数、BP神经网络结构以及本地数据。因此，本文将适应度的计算部署到本地客户端，而PSO寻优过程只需要每个粒子的适应度值即可，因此将PSO寻优算法部署到中央服务器。中央服务器和本地客户端之间通过传输每个粒子适应度值即可完成模型的整个训练过程。1.2.2本地客户端设计本地客户端部署在每个金融机构的本地服务器中，计算本地数据的适应度值并发给中央服务器用于计算全局适应度。保证了计算数据不出本地，同时分布在多地的客户端并行计算适应度值，在不考虑通讯情况的前提下，通过多个本地客户端的并行计算，提高了适应度计算的效率。各个客户端的本地个人信用评估模型所使用的算法是BP神经网络所建立的模型，具体结构如图4.3所示。本文所使用的BP神经网络模型由三层组成。个人信用模型的第一层也就是输入层由原始数据经过数据预处理后的数据特征维度组成，输入层的个数和处理数据的特征维度一样多，将隐藏层输出通过激活函数处理进入输出层，由于是分类问题，模型最后将输出的结果通过sigmoid处理，将输出结果o映射到0或者1。图4.SEQ图4.\*ARABIC3本地个人信用评估模型结构图Figure4.3Structurediagramoflocalpersonalcreditscoringmodel1.2.3中央服务器设计 中央服务器是联邦学习中的协调中心，连接所有客户端。在本文中，中央服务器的作用如下：（1）中央服务器首先需要初始化模型，包括改进的PSO优化算法的初始参数，也包括BP神经网络模型的初始连接权重和阈值。（2）中央服务器需要协调各个客户端完成数据的归一化工作，设每维特征为Xi，数据集共n维特征，i=1,2,3,……,n。Xi中最大值为Ximax，最小值为Ximin。第k家金融机构的特征为Xi(k)，具体过程是客户端k，参与方共m个，k=1,2,……,m。将每家金融机构的本地数据的特征的最大值XX客户端通过全局数据的最大值Ximax、Xif（3）各个客户端在训练模型过程中将适应度值上传到中央服务器，中央服务器对其进行计算。其次，将PSO优化算法部署在中央服务器，将之前得到的适应度值计算结果用于联邦个人信用评估模型的更新。1.2.4联邦个人信用评估模型详细设计联邦个人信用评估模型的更新迭代过程中需要计算每个粒子的适应度，适应度值的计算分为两个步骤，首先各个客户端通过本地的数据和参数得到每个粒子的本地适应度值。将所有本地适应度值上传到中央服务器中，然后中央服务器将每个粒子的各个本地适应度值汇总求和计算得到每个粒子的全局适应度，计算得到每个粒子的总适应度，从而更新粒子的速度和位置。如图4.3所示，中央服务器向各个客户端发送粒子的位置参数，各个客户端通过粒子的位置参数和本地数据集去计算该粒子的适应度值，然后返回给中央服务器用于粒子寻优，更新模型。图4.SEQ图4.\*ARABIC4联邦个人信用评估模型架构图Figure4.4ArchitectureofFederalPersonalCreditScoringModel设粒子数量为m个，其中i=1,2,……,m。金融客户端共有K个，其中c=1,2,……,K。具体联邦个人信用评估模型的训练步骤如下：（1）中央服务器初始化PSO模型及其参数；（2）各个参与的客户端初始化BP神经网络；（3）通过中央服务器使全局数据归一化；（4）将中央服务器的粒子i的位置参数Wi下发到各个客户端。每个客户端计算对应粒子i的适应度FF其中，Dc表示金融机构c（5）将各个客户端对应粒子i的适应度相加得