金融业隐私计算联合建模技术与应用研究 2023

3一、发展综述 1（一）联合建模概念探讨 1（二）技术发展历程及驱动力 6二、国内外实践情况 13（一）国外应用情况 13（二）国内应用情况 21三、支撑联合建模应用的隐私计算技术体系 42（一）隐私计算技术体系简述 43（二）隐私安全技术当前面临的主要问题及参考解决方案 56（三）主要建模技术对比分析 61四、联合建模通用技术平台参考框架 65（一）联合建模通用技术平台建设的目的与意义 65（二）联合建模通用技术平台的技术架构参考 66（三）联合建模通用技术平台非功能指标与设计参考 79（四）联合建模通用技术平台关键机制 91五、联合建模应用分析 100（一）联合建模应用场景分类与特征细分 100（二）联合建模的应用场景的其他分类方式 119六、发展与建议 122（一）当前技术与平台挑战 122（二）未来技术与平台的发展趋势 125（三）未来应用场景展望与建议 127参考文献 1291一、发展综述（一）联合建模概念探讨1.联合建模的含义近年来，“联合建模”伴随“数据要素化”“隐私安全”、多方计算等热点领域的研究与应用，不断涌现在各类媒体和大众面前，然而，“联合建模”作为一个专业词汇至今尚无一致的、明确的标准定义。从字面观其内涵，“联合建模”由“联合”和“建模”两个关键词有机组合而成。“多方参与”既表示“多方数据”的参与，又表示“建模”过程有不同角色的多个构建方（包括：数据供给方、数据加工方、数方数据”的参与是“联合建模”的前提约束，是“联合建模”的核心要素。如果没有“多方数据”的参与，即使存在多个构建实施方，也多是为了解决资源缺口、专业能力缺口、效率不足与合作伙伴契约关系等项目实施与管理过程问题而采取的分工协作方式。这里的“多方数据”是指“建模”过程的数据集必须由属于多个不同“数据所有权”的数据集组成。同一数据所有权范围内的不同领域数据的集成与加工，应纳入常规“大数据应用”或“机器学习建模”范畴讨论，非本报告主要的研究和论述对象。2（注：文中如不特别指出，“多方数据”均指多方不同数据所有权的数据）“建模”意指构建“模型”的行为，是数据“联合”的目的和价值体现。其中，模型泛指对于某个实际问题或客观事物、规达主要包括“数学模型”“程序模型”“数据模型”和“系统模型”等。通常构建上述“模型”的行为都属于“建模”过程。据所有权的数据集合，由一家或多家数据模型构建方联合构建模型的过程。同时强调：（1）强调“建模”所需数据必须由多方提供的所有权数据组成，而不强调“建模”过程是否一定存在多家构建方。例如，多家数据供给方将所有权数据（加密或未加密）交付给某个数据的过程同样属于联合建模。（2）强调“模型”的广义范畴，而非特指机器学习或深度都可以算作“联合建模”的模型对象。（3）强调数据和加工的联合，而未限制必须符合“隐私安全要求”或必须采用某项隐私计算技术。从不加限定的基本概念3业务目标，所有实现“联合建模”的技术手段均可选择。但是，当前联合建模的应用市场一方面要求数据要素加快实现“共享”与“流通”，而另一方面又面临“数据无限复制”以监管”等难题，因此，在明确多方数据“责权利”的基础上，专注研究面向“隐私安全”的联合建模的关键技术、基础设施平和多方价值“流通”，更有价值和意义。本报告的研究范围将主要聚焦于面向“隐私安全”的联合建模场景。在展开相关论述之前，下面先就基于“多方数据隐私安全”下的联合建模与“传统”的联合建模作简要对比分析。2.隐私安全联合建模与传统联合建模的对比分析传统的联合建模方式是将所有数据汇聚到一处进行建模，并汇聚式的联合建模和传统的单方集中数据建模，在技术上并没有本质上的区别。目前主流的联合建模是通过隐私计算技术，在保证各方数据隐私安全的基础上进行模型训练。也就是说，基于隐私计算技术的联合建模与传统方式的本质区别在于强调了各方数据的隐私安全，具体通过多方协同计算来实现，在数据对齐、特征工程、模型训练等过程中需要多方之间交互必要的、受隐私保护的数据。4多种隐私计算技术，如同态加密、多方安全计算、差分隐私等。建模过程一般分为数据对齐、特征工程、模型训练和模型推理四个部分，以下分别从这四个建模流程来对传统联合建模和隐私保护方式下的联合建模进行对比分析。（1）数据对齐：在传统的联合建模模式下，模型需求方和数据提供方约定好共同的ID加密方式后将双方加密后的ID汇集到一起进行样本匹配，从而得到双方可用于建模的共有样本集。在这种模式下，由于目前已经有“彩虹表”密码破解器的存在，此在样本ID传输过程中存在着合法合规、隐私泄露的风险。在隐私保护的方式下，针对样本ID对齐场景，可基于密码学、多Intersection-PSI)技术得到双方的样本交集，双方样本ID的原始数据不出各自私域，且各建模参与方无法获取对方除交集以外的样本ID。针对特征对齐的场景，各个参与方只需要把特征名称（2）特征工程：在传统的联合建模模式下，确定双方共有有样本的特征数据，双方将所有的建模数据归集到一起进行特征预处理、特征筛选、特征衍生等工作。在隐私保护的联合建模模5特征相关性分析、特征IV值计算等需要多方数据交互计算的步程中各参与方的原始数据始终不出私域。（3）模型训练：在传统的联合建模模式下，所有的建模数据全部归集到一起进行模型训练，训练速度更快。在隐私保护的联合建模模式下，利用联邦学习、多方安全计算等技术进行模型训练，训练过程中各参与方的原始数据在各自私域内进行计算，而这些密态信息或中间计算结果需要通过加密或隐私保护方法如同态加密、差分隐私等方式进行交互与传输。（4）模型推理：在传统的联合建模模式下，训练完成的模型是一个整体，进行模型推理时直接调用模型即可得到推理结果。在隐私保护的方式下，模型一般分布在各参与方，各参与方部的是局部模型，进行模型推理时需要多个参与方共同参与计算、进行交互，但在整个模型应用过程中，各参与方原始数据均不出6模1.主流技术的演进历史联合建模主流技术的发展历程是以现代密码学为核心，协同计算机体系结构、计算复杂性理论、信息论、统计学、抽象代数及数论等理论发展的渐进过程。由最初的理论研究为主逐渐发展为理论指导实践的实验室应用初创，直至近几年的规模化发展。态加密、秘密分享、不经意传输、多方安全计算等计算理论思想在该阶段先后提出。香农于1948年发表的《通信的数学理论》一文确立了现代信息论的研究开端，内容涉及信息量化、存储和公钥密码学，拓宽了密码学的研究范围。7公开密钥密码体制使用不同的加密密钥与解密密钥，由已知加密密钥推导出解密密钥在计算上不可行。紧接着，Rivest本人于1978年提出同态加密思想，从抽象代数角度保持了同态性，即对密文直接处理和对明文处理后加密得到的结果相同。Shamir和Blakley于1979年提出秘密分享思想。该思想基分解为n个秘密并分发给持有者，其中任意不少于k个秘密均能恢复密文，而任意少于k个秘密均无法得到密文的任何信息。MichaelO.Rabin于1981年提出不经意传输理论。在不经的概率接收到信息，在结束后Alice并不知道Bob是否接收到了图灵奖得主姚期智于1982年提出多方安全计算协议。该协议主要研究针对无可信第三方情况下安全计算约定函数的问题。该协议最早应用于匿名竞拍和电子投票，近年来在密钥管理解决布式协同计算领域有实践应用。明、隐私检索、半同态加密等协议和算法在该阶段相继提出。继MPC之后，姚期智于1986年提出混淆电路概念，混淆电路通过布尔电路的观点构造安全函数计算，参与者可以针对某个数值来计算答案，而无需知道计算式中输入的具体数字。8Goldreich于1987年提出基于秘密分享的MPC，即可以计算任意函数的计算意义下安全的多方安全计算协议。Goldwasser、不向验证者提供任何有用信息的情况下，使验证者相信某个论断是正确的。务器上的数据库提交查询请求时，可以在用户查询隐私信息不被这是一种满足加法同态的公钥加密算法，即密文相乘等于明文相隐私、全同态加密等概念在该阶段纷纷提出。可信执行环境是软硬件结合的信息安全技术，支持对隐私数据的安全存储隔离、传输、计算和删除。ARM于2006年提出硬件虚拟化技术TrustZone及硬件实现方案；2011年，智能卡国际标准化组织GlobalPlatform开始起草TEE规范标准，并联合相关公司开发基于GPTEE标准的可信操作系统。私泄露问题，通过对原始数据进行转换或对统计结果添加噪声来实现隐私保护。谷歌和苹果在Chrome和iOS系统中使用该技术能够同时满足加法和乘法同态的公钥加密算法。9第四阶段为2013年至今的发展期，随着人工智能技术的发展，机器学习技术和密码学技术进入了深度融合，此时也相继出现了联邦学习和隐私保护机器学习的概念。2013年，各类面向通用计算的零知识证明系统开始涌现，主要应用于安全认证、身份保障用户关键代码和数据的机密性和完整性不受恶意软件破坏。团队提出了分布式隐私保护在线机器学习的概念，并将技术应用是一种可扩展的隐私保护机器学习系统，首次将秘密分享引入到了纵向联邦学习和联邦迁移学习。2.驱动力分析（1）技术驱动隐私保护的联合建模作为新兴的人工智能基础技术，主要是大数据广泛应用、算力提升，以及算法技术发展等多方面因素的联合技术驱动的结果。首先，大数据近年来的快速发展与应用，使合起来加以利用。这就促使了必须寻找新的技术手段来实现跨机构间的联合建模，同时需要满足隐私保护的需求。算等技术的提出已经有几十年的历史，在学术领域也已经较为成熟，但由于这些安全计算技术依赖于密码学算法以及多方的交互，计算性能是制约这些技术实际落地应用的重要因素，而近十年来得益于算力的提升，这些安全计算技术真正开始成为“现象级”话题，开始在实际场景中落地应用。而与这些安全计算技术紧密融合的隐私保护的联合建模技术，同样由于算力的提升得到技术的驱动而实现在短短几年时间内的快速发展。最后，算法技术的发展也是基于隐私保护的联合建模技术的发展的一个重要的技术驱动力。大数据与人工智能发展的一个重也是目前机器学习最热门的研究领域之一。很多机器学习的模型，矩阵分解等模型，他们的训练算法都可以被抽象成一个迭代收敛过程。而分布式机器学习，将模型计算分布式地部署在多台、多器学习的重要解决方法。而隐私保护的联合建模技术在本质上也是一种分布式的机器学习算法，借鉴于分布式机器学习技术的发为联合建模的一个重要技术。（2）业务价值驱动求克服数据孤岛壁垒、挖掘和拓展数据应用场景、保护数据隐私不敢、不能”分享数据的现象普遍，导致不同系统、不同组织之限。解决数据流转障碍，促进各行业内和行业间数据融合运用，是行业数字化面临的核心问题和价值所在。销、信用管理和风险管控等业务领域的深入变革，在完成自身数据标准化、企业级数据整合以及完善内部数据应用的基础上，进一步以点带面挖掘跨机构跨行业的要素资源（特别是数据要素）的业务发展动能。掘、侵犯客户数据隐私、越权数据共享等带来的信息滥用风险和数据质量引发的决策风险等。围绕数据的黑客攻击、违规交易等融合运用过程中的安全可信挑战，满足国家及监管的政策要求，实现数据主体合法的数据所有权保护价值。（3）宏观政策驱动随着数字经济时代的到来，数据要素将成为经济发展的新引擎。习近平总书记指出，要“发挥数据的基础资源作用和创新引擎作用”，“要构建以数据为关键要素的数字经济”。党的十九届四中全会首次明确数据可作为生产要素按贡献参与分配，提出“健全劳动、资本、土地、知识、技术、管理、数据等生产要素央、国务院发布了《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》，强调完善要素市场化配置是建设统一开放、竞争有序市场体系的内在要求，是坚持和完善社会主义基本经济制度、加快完善社会主义市场经济体制的重要内容。意见还明确提出“加快培育数据要素市场”，并在“推进政府数据开放共享”“提升社会数据资源价值”“加强数据资源整合和安全保护”等方面作出了部署。不同于传统生产要素，数据要素本身作为生产要素既有生产要素的一般性特征，又具有独特的生产成本结构，即初始生产的固定成本高、此后以复制和优化为主要直接决定了只有解决数据安全和隐私保护问题，才能充分挖掘数据要素价值，规范建立数据要素市场。断完善数据安全相关制度和规则，保障个人数据和重要数据安全的同时充分发挥数据的经济价值，并不断推动数据安全协同治理军工科研生产等数据保护。之后，各地也陆续出台了大数据或政务数据安全方面的条例、办法和细则等文件。2016年《网络安全法》首次提出了重要数据的概念，并在第三十七条规定了关键信息基础设施运营者掌握的重要数据境内存储及出境应进行安全二、国内外实践情况（一）国外应用情况1.国外相关产品和产业家和地区也发展非常迅速，涌现了一批相关的技术和应用的公司。欧洲方面，欧盟牵头了一个名为“机器学习分类帐编排的药物发现”（MachineLearningLedgerOrchestrationforDrugDiscovery，以下简称MELLODDY）的项目。该项目是欧盟创新药计划和欧洲制药工业协会联合会的支持。该项目的主要内容是由10家顶级药企在内的共17家合作伙伴构建了一个建模平台，在业的海量数据集，证明了技术的可行性。除了欧盟牵头的大型项目外，欧洲也出现不少专注于联邦学习的初创公司。例如：参与了MELLODDY计划的Owkin公司，其该公司提供基于联邦学习的边缘AI训练框架，其框架可以在任何配备CPU、GPU或NPU（神经处理单元）的设备，包括MRI机器、联网汽车、结账通道和移动设备上运行。Edgify允许任何行业的公司直接在自己的边缘设备上训练完整的深度学习和机器班牙毕尔巴鄂的初创公司，Sherpa构建面向企业客户的基于联邦学习的AI平台，目前该平台已经帮助西班牙公共卫生服务在COVID-19疫情期间预测全国急诊室的需求和容量。此外Sherpa还试图将联邦学习与其原有的智能助理服务相结合，构建隐私保护的提供预测服务的智能助理。目前Sherpa已经为其业务转型募集了850万美元的资金。Sherpa的转型之路也可以看出，联邦学习产业在未来具备的市场潜力。Sharemind是爱沙尼亚cybernetica旗下用于安全处理机密数据信息的数据分析系统，产品使用多方安全计算技术，可以比标准数据库更好地保护数据，允许企业与合作伙伴共享记录，而不会失去控制权，Sharemind入选欧盟地平线2020研究和创新计划。Partisia是一家丹麦公司，成立于2008年，由丹麦战略研究委员会资助的创新性科研计算，实现数据可用不可见。在美国方面，谷歌早在2017年就将联邦学习运用于自家的输入法中，通过横向联邦学习改进输入法的下一词预测。此外，谷歌还运用联邦学习在自家手机上推出了闻曲知音功能，使得手机可以随时随地自动识别附近正在播放的歌曲。该功能是通过设备本地的歌曲指纹数据库来实现的，而提高设备的本地数据库质量则是通过联邦学习来实现的，在这个过程中收集收听到的歌曲信息并不会离开本机。类似的，苹果也将联邦学习运用在自家虚拟助理Siri中，其通过联邦学习提高了Siri在识别用户唤醒时的准确率而不会暴露用户的声音信息。而英伟达除了作为著名的人工智能硬件公司，还于2018年发布了NVIDIAClara人工智能（AI）平台。目前，该平台已经包含13个最先进的分类和分割AI，以及为放射科医生构建的软件工具。而在2019年的北美放射学会年会（RSNA）上，NVIDIA又推出了NVIDIAClara联邦学习，能够将患者数据保存在医疗服务机构内部。NVIDIA与20家医院合作构建了AI模型，可以预测患者的氧气需求，以更好地对COVID-19患者进行分类。美国放射学会、麻省总医院、布莱根妇女医院的临床数据科学中心、加州大学洛杉矶分校健康中心和伦敦国王学院都在使用Clara联邦学习技术。而英伟达除了推出自己的联邦学习产品外还在自己的初创加速计划(NVIDIAInceptionProgram)中扶持了多家涉及联邦学习业务的公司。例如：RhinoHealth是一家位于麻省剑桥的初创公司，其使用Clara构建了自己的联邦学习平台，为跨医院数据使用提供了解决方案。Doc.ai是一家位于硅谷的创业公司，其目前产品已经有利用联邦学习构建的对重症肌无力的预测模型，帮助癫痫患者寻找最佳药物的模型以及血液检测新冠病毒的模型。除此之外也有越来越多的初创公司在美国涌现，例如：司和K2Integrity公司合作成立，该公司已经发布了利用联邦学习创建的反洗钱及打击恐怖主义融资（AML/CFT）系统Dozer。行实验中成功验证了其系统的可行性。SECUREAILABS（SAIL）是来自MIT团队的初创公司。其目前主要产品是为医院提供患者数据的管理平台，一方面通过安全技术保证医院数据安全，另一方面通过联邦学习在本地训练模型协助医护人员研究患者的相关数据。最近，SAIL和美国肾癌协会合作(KCA)达成了合作，为KCA的数据联盟提供联邦学习和数据安全技术。KCA将利用SAIL的平台利用来自全国各地医院的关键医疗数据，同时保护患者隐私。大量数据的使用可能使得该研究在肾癌治疗和护理方面取得而在世界其他地方也相继涌现出基于联邦学习的初创公司，比如：澳大利亚的Presagen公司，其致力于连接全球的医疗数据，目前该公司已推出第一款产品LifeWhispere。该产品通过AI算法来帮助筛选试管婴儿的胚胎。以色列的初创公司Lynx.MD则试图构建一个不会泄露隐私的临床数据共享平台。行研机构Gartner预测，到2024年，隐私驱动的数据保护和法规遵从性技术支出将在全球突破150亿美元，这还将是一个很大的市场。2.国外相关政策欧盟：于2016年发布了《通用数据保护条例》（广泛最全面的数据隐私保护条例，从此开启了隐私保护方面立法的浪潮。在GDPR之后，越来越多的国家开始推出本国的数据安全法，这也意味着能够让科技公司躲避GDPR的避风港将越来越其中提到个人数据只能从欧盟/欧洲经济区输出至被认为能够提供充分数据保护的国家---即通过了“充分性决议”的国家。而欧盟委员会有权通过签发充分性决议，认定任何欧盟/欧洲经济区以外的指定国家，或该第三国的某一区域或一个或多个特定分性决议的共有十二家，分别是：安道尔、阿根廷、加拿大（商新西兰、瑞士和乌拉圭。而目前还有许多国家为获取该“充分性决议”而修订该国的数据保护法。英国：在2016年公投脱欧后便于2018年推出了该国最新的以取代其原有的《1998年数据保护法》。该最新法案在相应法规已经通过了两项关于将个人数据传输到英国的充分性决议，英国目前已经很接近获得GDPR的“充分性决议”。而在CCPA通过以来，其他州以及联邦层面都有提出过类似的法案和提案。其中，弗吉尼亚州于2021年3月2日通过了《消费者数据隐私保护法》（CDPA），科罗拉多州于2021年7月7日通过了《科罗拉多州隐私法》（CPA）。就目前形势来看，在美国，更多隐私保护法律的出现将丝毫不令人意外。其后为了适应信息技术的快速发展，该法案于2015年进行了大欧盟于2019年1月通过了一项数据共享协议，该协议是《欧盟与日本经济伙伴关系协定》的补充协议。欧盟执委会认为日本法律能够对个人数据提供严格的保护，并对日本数据保护相关法规得出“充分性决议”认证。该协议的通过，使约6亿人口的数据实现互通，形成了“全球最大安全数据流动区域”。人信息保护法》（PIPA）。到了2020年，韩国一年内对该法案不够完善，曾两次中断了审查程序。而韩国的一系列努力也确实也收到了成效，2021年3月30日，欧盟认可了韩国最新的《个人信息保护法》以及韩国个人信息保护委员会权力的加强。按照标准流程，韩国目前已经十分接近获得该“充分性决议”认证。 其他国家：印度以GDPR为蓝本提出了《个人数据保护法案》（PDPB该法案于2019年12月提交给了议会，有可能于今年通过。相较于GDPR，印度中央政府将有更多自由裁量权来决定如何执行及何时可以例外。加拿大于2020年11月17日提出了《2020年数字宪章实施法案》来修改其之前的数据隐私政策，其球收入5%的罚款，该比例高于GDPR的4%。瑞士于2020年9月案将于2022年生效。本次修订的重点在于如何保护个人数据处理过程中的隐私权，相关规定较之前将变得更为严格。泰国于2019年2月通过了《个人数据保护法》（PDPA因新影响，将于2022年6月1日起正式生效。虽然目前PDPA并未规定的标准来制定个人数据安全措施。PDPA相较于GDPR，处罚更为复杂，包括有行政罚款和惩罚性赔偿，此外还有可能受到最某些豁免，POPIA适用于所有规模的公司；而在有些方面POPIA则更为宽松，例如GDPR对管理数据可移植性有相关要求，但2020年6月通过了其1993年隐私法的新修正案。尽管新西兰通要求；关于离岸数据的限制对于云服务器不适用，这制实际作用有限，因为大多数云服务器都位于新西兰境外。（二）国内应用情况1.政策环境联合建模主要用于解决数据孤岛，以及数据流通中的数据安全保护两大难题。联合建模的产业环境不可避免地受到国家宏观政策、金融管理，以及行业协会相关政策、规范的约束和影响。在国家政策方面，随着信息技术和人类生产生活场景的深度融合，数字化与促进数据流通成为国民经济中重要的一环，国家中全会上，中央提出“健全劳动、资本、土地、知识、技术、管理和数据等生产要素按贡献参与分配的机制”，数据作为生产要共中央、国务院发布了《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》，数据要素将在推动数字经济发展的过程中扮演重要角色，培育数据流通市场，提出要加强数据信息安全，制定数据隐私保护制度和安全审查制度，加快了重视大力发展数字经济”，加强科技创新。党的十九届五中全会进一步提出推进数据要素市场化改革、加快数字化发展，建立完善网数据安全保障能力，促进数字经济高质量发展。2021年日，十三届全国人大常委会第三十次会议表决通过《中华人民共信息在数据的有序流通中得到有效保护。在金融管理方面，中国人民银行多次发文论述数据流通及数障个人隐私、商业秘密与敏感数据前提下，强化金融与社保、工商、税务、海关、电力、电信等行业的数据资源融合应用”“构全与便捷的多元化身份认证体系，不断丰富金融交易验证手段，保障移动互联环境下金融交易安全，提升金融服务的可得性、满识别、隐私计算、数据标签、模式识别等技术，利用专用口令、'无感'活体检测等实现交易验证”，率先提出金融行业中对金融融科技创新试点项目，发布的试点项目中就有不少是隐+私计算方安全计算金融应用规范》，作为金融行业第一个隐私计算相关科技司副司长李兴峰在北京国际服贸会期间举办的2021中国国更要应用多方安全计算、联邦学习、联盟链等“新方法”实现数据可用不可见、数据不动价值动”。中国人民银行有关领导曾在最小必要、专事专用原则，探索应用多方安全计算、联邦学习等技术，在保障原始数据不出域前提下规范开展数据共享”。与此同时，金融行业组织也在积极开展相关研究。2020年11月，中国互联网金融协会发布《金融业数据要素融合应用研合规前提下实现融合应用创新，在促进金融业数字化转型、提升数字普惠金融水平、落实金融消费者保护要求、提升金融穿透式监管效能等方面具有重要意义”。近几年，北京金融科技产业联盟也在为数据安全保护与隐私计算技术相关的标准孵化，研究报的研制工作，并开展了多个场次的企业关于隐私计算技术的企业2.行业应用概况（1）技术产品市场内市场将达到空前规模，三年后技术服务营收有望触达100-200亿人民币空间，甚至将撬动千亿级数据平台运营收入空间。自上占三分之一，则软件市场约为70亿美元。若AI软件平台占比软件平台2018-2024年复合增长率为39%，则到2024年其规模国隐私计算软件平台市场规模约为12-15亿美元。考虑TEE技术带来的芯片硬件支出，总规模可突破百亿人民币。另据gartner报告指出，到2025年，60%的大型组织将在分析、商业智能或云计算中使用一种或多种隐私增强的计算技术，且在这一周期中，“联邦学习”将发挥主流作用，引领商业化大潮。（2）金融行业应用市场由于多行业均存在数据合规流通和基于共享数据挖掘更大数据价值的需求，以数据联合为核心基础的联合建模应用场景也必然分布于各行各业。政务、金融、能源、运营商、互联网、医行业构建数据合作生态，开展有效合规的联合建模的需求和实践更为迫切。金融业中，银行是联合建模的主要客户，其IT投入占金融业80%，目前应用场景以风险管理和反欺诈为主。根据亿欧智库和智研咨询研究，我国智能风控规模在2024年预计将达到203来将成为智能风控的主要技术模块，预计其在金融业的潜在市场根据Gartner发布的2021隐私相关的技术成熟度曲线显示，术还需要5-10年才能达到稳定的成熟应用阶段。“技术成熟度不足”“数据隐私保护监管趋严”“金融业风险厌恶偏好”“数据要素应用创新”等综合因素决定了金融行业联合建模应用实践整体仍处于起步、试点及标准规范健全的阶金融行业作为信息技术应用、数据价值最大化最早的行业，在数据采集、生产、挖掘中有着丰富的经验，尤其是依托本机构值挖掘驱动业务创新业已成为各家金融机构数字化转型的主要多头借贷、反洗钱反欺诈、信用风险控制、商业秘密保护等数据应用场景，往往需要更为广泛的客户行为数据、非本机构的金融交易数据和非金融场景数据来增强模型精度和评估准确性，进一步优化业务模式、提升综合经营效益。这些数据源分散在其他金融机构都会“审慎”采取传统数据联合建模方式或基于隐私安全的联合建模方式，与各家合作机构或数据源公司展开合作。目前，各家金融机构基于隐私安全技术的联合建模应用主要体现在风控联合建模上，其次是以隐私求交等技术联合外部数据券违约风险预测模型”，突破了工行集团内部不同法人主体之间的数据壁垒，模型AUC指标超过了0.8，违约升7%，前11%召回率提升13%；光大银行在隐私计算领域有多项据、通话标签数据，利用纵向联邦分析技术训练个人消费贷智能风控评分卡模型，AUC提高了约10%；中国银行成立技术创新研究团队，开展基于开源Fate框架的中小规模数据集的原型验证先在与集团综合经营子公司联合建模的业务场景进行试点；招商银行与政务部门合作，利用行内数据与政府数据开展联合建模，实现对中小微企业的拓客，与平安集团合作，利用隐私求交技术实现黑名单数据的安全共享。同时考虑到以下几种因素，在金融场景下基于隐私安全技术、跨多个数据所有权的联合建模应用仍处于试水阶段，达到普遍成熟推广的程度尚需时日：1）隐私保护的宏观政策与监管力度趋严，跨数据所有权下数据共享的“灰色地带”逐渐收窄；2）联也难以让业务人员“显性理解”，如果现阶段大面积推广，与金融业普遍的“低风险偏好”相违背；3）联合建模所依赖的技术栈和平台，尚无统一的业界标准，在“多方”技术平台不统一的情况下，多方集成存在“互联互通”的技术难度和高适配成本；4）个别场景适合采取“一家为主体构建模型并共享成果”的模式。如果延续“各自为政”的建设方式，事实式上的“价值孤岛”，同时从整体上也浪费了社会资源。业有专攻”，隐私安全技术专业性很强，需要融业务模型+联合建模隐私技术+金融应用系统”三方持久、互信的合作机制与配套的技术平台与运营平台，避免“昙花一现”式的高成本“试错”。6）要真正寻找“跨数据所有权”的应用场（3）其他行业的联合建模应用政务是联合建模的重要行业之一，当数据成为生产要素之一，将政务大数据赋能于新基建下的各行各业也成为一个重要课题。政务大数据具体包括司法数据、社保数据、公积金数据、税务数人联合风控，其中需要横向打通的数据包括交通出行数据、水电燃气数据、公安数据、征信数据等，需要打通各个委办局，这是一个复杂、错综、协助、共创的业务生态，包括信用、安保、能源、交通、规划、环保、文旅等各个领域，业务数据涉及跨部门医疗科研与病情推断具有重要的价值。然而单个医疗机构的数据样本不足以支撑大规模的模型训练，传统的做法是将病例数据汇采用多方安全计算的方式，可以保证各家医疗机构数据不出库，加密计算，最终得到统计结果。像运营商、SDK厂商、支付厂商等机构，在开展业务的同时会积累大量的用户数据。通常会成立一个大数据子公司来做数据增值业务。传统的API直接调用和线下联合建模的方式已经不满足数据安全的相关要求。联合建模技术也可服务于数据公司的对外服务平台，成为数据合规合法输出价值的一种解决方案。3.主流技术平台介绍（1）蚂蚁集团隐语平台蚂蚁集团通过自研隐私计算框架隐语帮助不同机构在满足用户隐私保护、数据安全和政府法规的要求下进行数据联合使用和建模。该框架希望通过构建一套统一的技术框架，支撑不同的的密态计算图；发送到下层的PPU(PrivacyPreservingUnit)分布式计算节点，由PPU完成具体的计算任务。通过编译器和（1）一体化的编程体验：可以像使用常用机器学习框架，或使用SQL类似的方式来使用该框架，用类明文计算的开发方式仍然获得密态联合计算的效果。一方面可以使用户获得平缓的学训练建模的全流程，为用户提供一致的编程体验。（3）隐私保护能力：框架支持包括可信安全、可度量安全和可证安全在内的多种隐私计算能力，可以适用不同场景的需要。（4）计算性能：整个系统框架针对隐私计算的特点，在计译层和PPU的双层设计，在编译层可以借助现有的很多优来提升性能，在PPU层，通过IR的抽象屏蔽掉底层协议的差异JAXPytorchJAXPytorchSQL+性，在不同运行环境下可以选择最适合的协议来提升性能，如图TensorFlowTensorFlowXLADAG->PPXLADAG->PPUDAGSQLQuery->PPUExecutionPlanPPPPUMeasurablePrivacyEnginePPUMeasurablePrivacyEngine…DelegatedPrivacyEngineMeasurablePrivacyEngineMeasurablePrivacyEngineDelegatedPrivacyEngine（2）华控清交产品华控清交多方计算平台通过吸收、转化清华大学的科研成果据可用不可见、用途可控可计量”。主要技术特点有：装了常用Python密文基础函数库和人工智能算法密文函数库，兼容Numpy和Pytorch，提供易于开发调试的编程环境，让不懂基础算法和密码学的普通程序员能够直接调用基于密文的计算函数和分析工具，就像在明文环境里一样开发隐私计算应用，大大降低了技术使用门槛。支持通过明密文混合计算框架来支持联（2）性能：通过对密码学基础理论、底层协议、分布式计算、系统、变异、算法等全方位的持续优化和创新，把多方计算的性能耗费从明文的5-6个数量级降低到了目前的几十倍，并创造了明文和密文的混合运算，大幅提高计算性能和应用的灵活性。数量等动态扩展。（5）平台允许多角色接入，可以根据不同应用场景进行按需调整。具体如图3所示。（3）腾讯云隐私安全计算平台腾讯云隐私安全计算是腾讯云推出的以联邦学习（FL）、安全多方计算（MPC）、可信执行环境（TEE）等隐私数据保护技术为基础的隐私计算平台，产品针对机器学习算法进行定制化的隐持安全多方PSI（隐私保护集合求交技术）、安全隐私查询、安全统计分析，提供基于硬件的TEE可信执行环境。通过腾讯云算主要使用AngelPowerFL框架，其基于腾讯自研的多数据源联合计算技术，提供安全、易用、稳定、高性能的联邦机器学习、测打分；算法丰富：支持LR、XGBoost、PCA、用户自定义神经性能卓越：基于腾讯开源Angel分布式机器学习框架，异步并数据的XGBoost模型训练，十分钟左右可以完成千万级数据的联合和可视化操作。如图4所示。（4）洞见数智联邦平台InsightOne洞见数智联邦平台InsightOne是基于多方安全计算、联邦学习和区块链技术独立创新自研的“MPC+FML”双计算引擎的金融级隐私保护计算平台产品，涵盖了从资源管理到计算引擎再到应用服务的三层架构，具有“高安全、高性能、高兼容”三大特中的第三方可信风险问题；推出快速联邦学习技术，相比开源算法有数十倍的速度提升，解决联合建模中的性能问题；通过“MPC+FL”的双计算引擎，适配不同计算场景，并在一定标准内支持异构计算框架之间的互联互通。业有数十个应用落地案例。INSIGHTONE平台是国内唯一通过工信部中国信通院多方安全计算、联邦学习、隐私计算+区块链全系列评测的隐私计算产品。（5）富数科技阿凡达平台Avatar(阿凡达)平台是富数科技自主研发的一站式企业级多方安全计算平台、集成多方安全计算、联邦学习、匿踪查询等合建模、匿踪查询等跨机构间可信数据协作能力。在此基础上，用户可以结合实际场景以及自身实际需求，增加相关模块(包括定制联盟区块链模块、安全策略模块Al计算模块等)对标准平台进行补充以实现更多功能。Avatar可应用于金融风控、精准营销、医疗科研、政务数据开放共享、可溯源供应链等场景。具有（1）安全技术与权威认证：首批通过中国信通院多方安全计算标准认证，拥有公安部等保等多项权威安全认证。领先的自组网。独有的安全可视化模块，让复杂的多方安全技术黑盒透明化，工程安全可解释。（2）私有化部署：支持纯软件私有化部署或软硬一体机等多种形式进行交付机构可灵活投入硬件与计算资源。（3）开箱即用：通过图形化建模，算法流程化编排等技术（4）开放互联：底层算子开放架构，可以热插拔的算法组服务方和场景需求方提供互联通道，客户可一站式接入金融风控、智能营销，政府医疗等关键数据与模型。（6）百度点石数据开放平台百度点石数据安全开放平台，是一整套数据安全开放解决方案，根据客户实际需求和业务场景提供针对性的产品形态。主要包括数据安全隔离域、联邦学习、MesaTEE三个产品。台，通过数据脱敏、数据置换、数据抽样、用户权限和数据权限试环境对样本数据进行数据分析、模型构建，然后将模型部署至运行环境进行训练，最后只输出运行结果。（2）联邦学习平台：基于数据安全和隐私保护技术，在数据不出本地的情况下和多个参与方之间通过共享加密数据的参赋能金融、汽车、教育、互联网等行业客户，解决风险控制、精准营销等场景的业务需求，打破数据孤岛，实现数据价值的充分能”的芯片级数据安全计算解决方案。通过私有化或云服务帮助金融、政务、互联网等行业在联合建模、联合营销、联合风控等场景下一站式完成数据联合计算，实现“数据可用不可见”的安全体验。如图5所示。（7）数牍Tusita隐私计算平台数牍科技开发的基于隐私计算的多方安全数据协作平台，包如图所示。底层加密协议使用各种国际通用和国家密码局发布的加密架构提供安全的任务调度、调用、传输等功能。协调多个参与方（企业，政府机关及其他组织）进行ID融合、AI建模、统计分件下得到查询结果；多方联合AI建模可以支持海量数据的复杂模型建模；多方联合数据统计可以在目标数据及原始数据不暴露的前提下获取汇总统计结果；实时线上模型服务可以支持实时预测。平台提供全流程的数据科学解决方案，包括数据打通、联邦分析、联邦建模、联邦预测等功能，以支持实际落地业务场景，（8）融数联智善数平台融数联智公司自主知识产权的“善数”隐私计算平台具备安全求交、安全求和、匿踪查询、安全建模等系列产品。“善数”平台提供了端到端的全流程可视化操作环境，让用户无需编写代码即可如顶尖专家一样深入进行各项隐私计算工作。平台致力于从软件算法优化、硬件芯片/板卡以及网络等多个层面持续进行隐私计算的效率和效果提升。平台具有高扩展和高开放性，可以和开源的第三方系统实现对接和算子互通。目前，平台已经通过应用场景计算产品案应用场景计算产品案数据接入服务隐私计算培训精准营销咨询数据化运营咨询风控建模咨询GPU加速方案CPU加速方案FPGA板卡隐私计算芯片了工信部信通院的评测，获得了国家软件质量监督认证中心的认证证书，已经服务于近百家客户，覆盖金融、医疗、政府、零售等多个领域，如图7所示。联合征信联合征信反洗钱反电诈精准营销画像补全安全建模平台隐私计算能力开放平台安全求交集（合数）安全求并集（叠数）隐秘查询（匿踪）（9）平安蜂巢联邦智能隐私计算平台蜂巢联邦智能隐私计算平台是数据隐私保护的一站式解决方案，为金融业务提供全方位数据安全合作服务。蜂巢联邦智能隐私计算平台包含数据生态、联邦计算、联邦心化联邦及去中心化联邦两种方案，覆盖各个业务场景中从数据等多种加密方式。系统配备的可视化客户端与监管管理平台，具备“易用性”“安全性”“高效性”。蜂巢平台当前已广泛应用于跨机构数据合作、金融风控、交叉营销等场景，有效降低模型训练成本，提升训练效率。平台的联邦图谱技术，可以在不泄露构平台互联互通建模案例，在信贷风险管理场景中完成落地应用。（10）建信金科数易联隐私计算平台基于建设企业级隐私保护计算平台的总体目标，建信金科设计并开发了基于区块链的存证审计系统，进而完成了“数易联”本平台使用了中心化管理与分布式计算相结合的系统架构，含联合查询、联合运算、联邦学习在内的多种功能范式。基于区块链的存证审计系统可以对参与方的恶意攻击行为进行有效追台”支持数据和模型市场，支持多种源数据类型，支持账户和权行内外部的隐私计算业务需求。三、支撑联合建模应用的隐私计算技术体系类技术（如云平台环境、大数据平台环境、边缘计算环境、可信安全基础环境等）、基础中间件技术（如分布式数据库、分布式文件系统、微服务框架、通信中间件等）、基础算法组件库（如机器学习算法、传统密码学、分布式一致性算法等）以及隐私保护计算（Private-PreservingComputation）等多领域、跨学科主要简述隐私保护计算（Private-PreservingComputation）有关隐私计算过程的相关技术要点。（有关隐私保护计算的详细解读推荐阅读中国信通院于2021年发布的《隐私保护计算与合规应用研究报告（2021年）》）。隐私保护计算按照《UNHandbookonPrivacy-Preserving实现数据价值挖掘的技术体系。隐私保护技术是包括通用数据科学、传统密码学、硬件可信技术、人工智能等众多领域交叉融合安全查询、数据脱敏、匿名算法、代理重加密、零知识证明等技（一）隐私计算技术体系简述1.联邦学习联邦学习是一种分布式机器学习技术，包括两个或多个参与方，这些参与方通过同态加密等安全的算法协议进行联合机器学理与预测服务。在联邦学习框架下，各参与方只交换密文形式的中间计算结方安全计算的一种应用场景，常常通过同态加密、秘密共享等多方安全计算工具提高数据协作过程中的安全性。联邦学习根据训练数据在不同数据方之间的特征空间和样本空间的分布情况，分为横向联邦学习、纵向联邦学习和联邦迁移学习。其与传统分布式学习的区别主要表现在数据属主的绝对掌控、参与方不稳定、负载不均衡（短板效应）、数据非独立同分布、通讯代价高以及由梯度、隐私求交和半同态加密引起的安联邦分析的主要关键机制如下：（1）隐私求交隐私求交指在多机构联合计算时，允许得到各参与方持有数据集合的交集部分，而不暴露任何交集外数据。保证隐私数据安全的前提下，解决了单一机构数据量有限和数据维度不高的局限，促进了数据价值的深层次挖掘。常见的基于Blind-RSA算法的隐私求交为，合作双方首先对求交，得到双方数据的交集部分，而不暴露双方数据交集外的其隐私求交是整个联邦学习过程的第一步，是联邦特征工程和联邦学习的前置过程。（2）联邦特征工程金融中常用到的联邦特征工程为IV和WOE值的计算。其中程，将数据按照设定的规则进行划分。此操作可将连续变量优分箱的时候，最终计算的IV值越高，表示此分箱的预测能力联邦特征工程在此过程中，利用同态加密保护标签信息。根据加法同态性质，Enc(a)+Enc(b)=Enc(a+b)，正负样本标签的“明文的和”与正负样本标签的“密文的和”解密后相等。此过程保护数据中的标签Y不被泄露，同时得到每一个分箱的样本分布，从而计算出WOE和IV。联邦特征工程往往是联邦学习的前置过程，对原始特征进行加工后供联邦学习算法使用。（3）模型训练1)联邦逻辑回归（FederatedLogisticsRegression）逻辑回归(LogisticsRegression)是一种“二分类”的算法模型，其基本形式是使用Logistic函数来对二元(binary)因变此算法综合使用了秘密分享和同态加密等方法，使训练模型的梯度下降算法在计算中同使用上分置于多方的标签数据和特交互过程中被其他方所得知。图9详细介绍了联邦逻辑回归的具体算法供参考。联邦逻辑回归往往在风控场景用于评分卡模型的建立，通过联合多方数据，联邦逻辑回归能具有比单方数据更强的区分度，从而更好地识别坏用户。2)联邦提升树模型（SecuredBoostingTree）联邦提升树模型是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型，所以他是将许多树模型集成在一起，形成一个很强的分类器。而所用到的树模型则是CART回归树模此算法使用同态加密技术，在中间数据交互的过程中保护原始数据不泄漏或被反推。具体来说由于一阶梯度g和二阶梯度h加密保护明文后传送给Host方。Host方利用同态加密的加法同态性质，即Enc(a)+Enc(b)=Enc(a+b)，计算节点两侧的和。由于Guest方需要保护标签信息，签无法进行决策树节点筛选，所以Host方需要计算每个可能的分割点左右两侧的密文和，并发送给Guest方计算出最优的分割联邦提升树模型同样能通过联合多方数据提升模型的区分解释性较差，常常用于反欺诈等领域。3)联邦神经网络（FederatedDeepNeuralNetwork）神经网络具有大规模并行、分布式处理、自组织、自学习等优处理、语音识别、计算机视觉、推荐系统等领域具有非常广泛的应用。在多方联合建模的场景下需要使用联邦模式下的深度学习2.多方安全计算多方安全计算意图解决一组互不信任的参与方之间保护隐私的协同计算问题，其目的在于参与方获得正确的计算结果的同方安全计算本质上是解决上述问题的一种协议统称，在整个计算协议执行过程中，用户对个人数据始终拥有控制权，只有计算逻辑是公开的。计算参与方无需依赖第三方就能完成数据计算，并且各参与方拿到计算结果后也无法推断出其他原始数据。该协议的形式化表达为：在一个多方参与的分布式网络中，n个互不信任的参与方｛P1,P2,...Pn每个参与方Pi利用自身的秘密输入数据Xi，->(Y1,Y2,...Yn)，(Y1,Y2,...Yn)为计算完成的输出结果，个参与方Pi除了自身的Xi和Yi外，得不到任何其他参与方的输入信息。该协议目前主要包括三类解决方案和一个主要技术工具：基于同态加密(HomomorphicEncryption)的解决方案、基于混淆电路(GarbledCircuits)的解决方案、基于秘密共享(SecretSharing)的解决方案，以及不经意传输(ObliviousTransfer)。基于这些技术的组合产生了隐匿查询、联邦学习等应用技术。同态加密是指对其加密数据进行处理得到一个输出，将此输出进行解密，其结果与用同一方法处理未加密原始数据得到的结果相同。同态加密算法提供了一种对加密数据进行处理的功能。也就是说，其他人可以对加密数据进行处理，但是处理过程不会泄露任何原始内容。同时，拥有密钥的用户对处理过的数据进行同态加密也是联邦特征工程和联邦学习算法的核心底层技（2）混淆电路混淆电路作为一种通用化的SMPC解决方案，将计算过程表实现电路的正常输出但又不泄露参与计算的双方的私有数据。evaluator。Garbler根据算法逻辑生成混淆电路，由若干XOR、AND基本电路组成。每个基本电路就是一个加密混淆的真值表，机数表示，称为标签，分别对应输入或输出取值为0和1的情各输入电线上指定的输入标签，解密混淆电路，得到输出标签，并发送给garbler。Garbler根据对应关系获得最终的电路输出。混淆电路是一种通用化的多方安全计算解决方案，将计算过比特0ZZ比特1Xox1yoY1（3）秘密分享秘密分享的思想是将秘密以适当的方式拆分，拆分后的每一有若干个参与者一同协作才能恢复秘密消息。更重要的是，当其中任何相应范围内参与者出问题时，秘密仍可以完整恢复。秘密分享在联邦学习、联邦分析等场景均有应用，是一项重（4）不经意传输持有方只允许数据需求方知道其选择的k个数据而对其他n-k个不经意传输主要用于隐匿查询、隐私求交等场景，是这两项技术的底层基础技术。3.差分隐私差分隐私可以通过向聚合查询结果添加随机化“噪声”来实证分析者能获取的个人数据几乎和他们从没有这个人记录的数据集中能获取的相差无几。差分隐私是当下比较主流的隐私保护技术之一，主要用于横技术从Safari浏览器中收集用户数据，如图13所示。4.可信执行环境境中且与操作系统并行。CPU确保TEE中代码和数据的机密性和完整性都得到保护。通过同时使用硬件和软件来保护数据和代码，TEE比操作系统更加安全。在TEE中运行的受信任应用程序可以访问设备主处理器和内存的全部功能，而硬件隔离保护这些组件不受主操作系统中运行的用户安装应用程序的影响。这种技术能完成多方安全计算、联邦学习当中常见的任务，并且能完成的任务类型更广，一切单机能完成的计算任务理论上均可以在TEE中完成。但是其缺点为依赖特殊硬件和单一可信5.安全查询安全查询是联合建模技术体系中的一项重要技术，多个参与机构之间通过联邦学习等联合建模技术建立模型并部署上线后，需通过安全查询技术进行模型预测结果的查询。安全查询，又称为匿踪查询或隐匿查询，主要是通过隐私信息检索技术(Private询方隐匿被查询的对象关键词或查询ID信息，数据服务方提供匹配的查询结果却无法获知具体对应哪个查询对象。匿踪查询技术目前主要是基于不经意传输的思想和加密混查询功能来确保查询ID不泄露给数据提供方，但可以获得自己希望得到的查询结果。也就是查询参数经过了加密，服务方能提供服务却无法得知查询目标，从而达到了“匿踪”的效果。对比无法得到额外信心，同时保护了查询方和服务方的信息安全。6.其他主要传统隐私计算技术（1）数据脱敏数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，环境中安全地使用脱敏后的真实数据集。在不违反系统规则条件屏蔽、审核处理，在完成安全测试之后提供给需求方使用。数据脱敏技术发展成熟，应用范围最为广泛。该技术常用于企业内部保护企业敏感数据，使可接触原始数据的人员最少化，其他人员仅能使用脱敏后的数据。业界常见的脱敏规则有，替换、重排、加密、截断、掩码。匿名算法是指根据具体情况有条件地发布部分数据，或者数据的部分属性内容。匿名化算法既能做到在数据发布环境下用户隐私信息不被泄露，又能保持发布数据的真实性，在大数据安全等领域受到广泛关注。常见的例子有K-匿名算法（K-Anonymity该技术可以保证存储在发布数据集中的每条个体记录对于敏感属性不能与其他的K-1个个体相区分，即K-匿名机制要求同一个准标识符至少要有K条记录，因此观察者无法通过准标识符连接记录，例如将年龄泛化为年龄段、将手机号只保留后4位等。该技术主要用于发布数据集使数据仅能用于统计分析而无法精确关联到具体个人从而保护用户隐私。（3）代理重加密通常数据拥有方倾向于假设存储系统是不可信的，因此通过代理重加密方案将加密后的数据存储于服务端。当出现需要使用该数据的用户时，数据拥有方以存储服务端作为代理，使用代理重加密算法将数据密文转换成数据使用方可解密的密文，并进行授权分发，以此确保数据只在密文状态下进行存储和转发。代理重加密主要是针对需要把数据分享给多方的场景，需要依靠代理的算力来转换成仅有一方能解密的数据，而免去了算力较弱的客户端需要重复进行加密运算耗费大量时间。（4）零知识证明(ZeroKnowledgeProof)零知识证明指证明者向验证者证明事件的合法性，而无需透等业务环节中具有很大应用价值。该技术常用于区块链当中，在隐藏发送方、接受方以及交易金额等其他细节的情况下，保证交易有效。（二）隐私安全技术当前面临的主要问题及参考解决方案1.大数据量下的隐私求交性能优化基于RSA公钥体系的安全求交涉及大量的通讯以及RSA公钥私钥的加解密。为保障数据的安全通常使用1024位的长度的耗大量时间，并且计算和通信复杂度随着集合大小线性增长。此基于不经意传输扩展协议(OTExtension)的PSI可有效降低计算成本。不经意传输协议扩展的出现使得OT协议的性能有率。基于不经意传输扩展协议的PSI可以并行化计算，因为底层的OT扩展协议是可以并行化处理的。协议并行化能力的主要差距体现在将集合中元素映射到相应的数据结构的方法，如哈希于哈希的步骤。但是由于在这一协议中哈希是作为预处理步骤进行的，无需和另一方交互，因此在应用场景下这一计算开销可以均摊到多次协议的实例上，从而实现安全求交的提速优化。2.隐私求交ID泄露在纵向FL的标准范式中，参与方依次执行加密实体对齐(encryptedentityalignment)和加密模型训练(encryptedmodeltraining)两个过程。在联邦学习协议的执行过程中，各参与方的隐私数据集的特征和标签隐私被重点关注和保护。当双方ID数量级相当的情形，被认为是一种强强联手的平衡知识分布。联邦学习的标准范式通过加密实体对齐保证了样本ID非交集部分内容的隐私安全，通过加密模型训练保证了两方数据特征与标签的隐私安全。然而，他却允成为必向各方公开的信息，使弱势方珍贵的客户清单被暴露。非对称联邦学习范式是一种潜在的解决方案，主要是通过对原有的两个环节“加密实体对齐和加密模型训练”进行针对性的非对称协议改造，以实现对弱势方隐私数据的全面保护。例如：腾讯云隐私计算平台提出的Genuine-with-Dummy方法，其主要思路为在数据输入到非对称联邦计算系统后，对数据样本进行非对称版本的加密实体对齐，使得弱势方获得真实交集样本邦允许真实部分交集直接被弱势数据方得到。但由于在强势方侧，真实交集部分的获取将对弱势方的ID造成严重的信息泄露，因法明确知晓“真实样本”。3.不同隐私平台互联互通问题隐私计算跨平台互联互通的目的是实现基于不同设计原理和功能的隐私计算平台间协同完成某一项隐私计算任务的能力，具体指不同隐私计算平台间通过统一规范的系统接口、算法协议、操作流程等实现数据资源和计算能力的交互与协同，解决使用不同隐私计算平台的数据提供方和数据应用方之间的协作问题，实现资源与价值的跨平台互联互通。从隐私计算平台的系统架构视角由上到下，从技术落地的视角由易到难，隐私计算平台互联互通的实现方式分为两个层次：第一层次为“管理面互联互通”，指不同的隐私计算平台可理等，实现在不同的平台间业务层的互联互通。第二层次为“算法协议面互联互通”，不同的隐私计算平台对算法的基本信息、输入、输出规范定义，使算法可以通过“算法插件”的形式由不同的技术服务厂商发布，在满足安全认证和构化的算法插件之间的互联互通。在计算原语上，按照具体的计算协议，将不同隐私计算平台的算法或协议进行最小粒度的计算之间对计算原语进行各自的实现，在原语层实现互联互通，继而隐私计算跨平台互联互通以求同存异为原则，关注跨平台协同能力基础环节的标准化，也保留个性化和可扩展性。对于通信协议、资源管理、任务调度、算法协同等互联互通的基础环节形台个性化服务功能等不同平台间的差异化设计支持自定义扩展。4.联邦学习中的数据异构问题传统联邦学习要求多方协作训练共享的全局模型，无需分享各自本地数据，由中央服务器协调完成多轮联邦学习以得到最终的全局模型，但是存在一些异构问题：（2）各个客户机本地数据的非独立同分布所导致的难以收敛、通信迭代次数过多问题；（3）各个客户机根据其应用场景所需要的模型异构性问题与方有一部分的模型）。但在现实场景中，各参与方拥有的特征很可能差异较大（比如一方是图片，一方是文字经典的纵向联邦学习算法将不再适用。各参与方的交集样本少或者有标签的各个参与者的数据特征重叠较多，而用户重叠较少，共同训练一个全局模型。但在现实场景中，各参与方拥有的数据分布很可能差异较大（即数据非独立同分布，non-IID），通过朴素的联邦没有考虑参与方在数据结构和数据分布上的差异，对各参与方本地模型进行聚合得到的全局模型往往效果不佳。习（PersonalizedFederatedLearning）是一个主要手段。个性化联邦学习的目标是基于数据差异进行个性化建模，即采用元学习和多任务学习的方法，在各参与方的本地训练独立但相关的知识蒸馏、基本层和个性化层、混合全局和局部模型等多种个性外传输）逐渐拟合Extractor（代表真实数据），而不泄露真实生成模型融合成公共的知识。（三）主要建模技术对比分析的应用场景中根据实际情况进行具体分析后选择最合适的技术多方安全计算：多方安全计算是基于严格密码学的为解决一组互不信任的参与方之间在保护隐私信息以及没有可信第三方的前提下进行协同计算的理论框架。多方安全计算在原则上能保障输入的隐私性和计算的正确性。基于多方安全计算本身的定义，其安全性是可以保障的，但是通常需要巨大的计算和通讯能力，一般用来进行两方或多方的联合计算。联邦学习：联邦学习是一种可以在隐私数据不离本地的情况下，只通过传输中间结果（例如模型梯度），进行多方联合建模的一种技术。有效地打破了数据孤岛现象，在保障数据安全合规值得注意的是，在联邦学习中我们需要利用差分隐私、同态加密等隐私安全技术防止中间结果被反向推导出隐私信息。系统并行运行。运行在可信执行环境中的代码和数据是保密且不于中心化，需要信任硬件提供方，有被侧信道攻击的风险。同态加密：同态加密是一种支持密文运算的加密方式。同态加密中的明文与密文满足了同态性，因此同态加密实现了数据方与计算方的分离，即在不暴露明文的情况下，利用密文运算获得数据计算结果。同态加密允许公司将加密数据发送给不信任的一方，利用密文协同计算。差分隐私：差分隐私是一种对抗差分攻击的技术。其原理是通过加入一定的噪声，使恶意方无法通过多次访问而通过每次收到的不同结果进行隐私信息的推理。所以差分隐私可以应用于统计查询中，既能保证统计结果的最大准确性，还能抵御差分攻击带来的隐私泄露。“准确性”“高效性”“通用性”“自主可控性”“适用场景”等维度的对比如表2所示。方否否否高高高中高高高高低低中高低高高中高中低高高低中高四、联合建模通用技术平台参考框架（一）联合建模通用技术平台建设的目的与意义业的最终落地，整体解决方案不仅是第三章介绍的各类核心隐私计算技术，还涉及底层的基础设施、运维管理等各方面的内容，故需要构建一个通用的联合建模平台框架，以实现各种技术栈灵活、高效的协同工作，并达成以下目标：1.整体技术架构能满足金融行业多样化场景需求。在不同应用场景面临的问题难点不同，对技术的选择和要求也不同，如海量数据对计算性能的要求、企业级数据中心对通用性的要求、高敏感性数据融合应用对安全性与可监管性的要求等。很多场景都架应既包括基础的核心设施机制以支撑平台的底层核心能力与公共基础服务能力，又必须包括高阶的组件与适配机制以针对客户需求、场景特征进行灵活的个性化适配。2.易用性设计。虽然平台集成了多种隐私计算技术，甚至很多是密码学技术，但平台的对外接口应该能够面向已知的业务逻辑，如提供面向普通开发人员的编程接口，而不是让开发人员直接基于密码技术上进行开发。拆装，动态装配，保障技术应用的灵活性。平台对于整个金融行业的意义是在“数据安全保护”的前提下，实现金融数据在跨机构、跨行业、跨区域的共享应用。平台既能够面向企业级数据流通，也能够通过互联互通接口与其他平据利用能力。吸收前沿的架构设计理论及技术发展成果，持续迭代优化和演进，合收益”最大化。（二）联合建模通用技术平台的技术架构参考1.逻辑架构参考联合建模平台由多个模块组件构成，其逻辑架构如图14。联合建模平台逻辑架构主要包括：平台组件、算法库、调度框架、计算引擎、基础协议/算法、基础支撑、对外显示、互联功能组件和算法库中的各类算法进行相应的任务操作；调度框架根据任务的内容，进行任务拆分、资源调度并选择适配的隐私计则为执行联合建模任务提供了安全、稳定的环境，互联互通模块提供了跨平台的可扩展能力。（1）平台组件平台组件包括资源管理、任务管理和任务执行三部分。资源管理包括算力资源管理、数据资源管理、算法模型资源注销、发布和撤销算力资源，并对任务所使用的算力资源进行计量计费。数据提供方通过数据资源管理注册、注销、发布和撤销数据资源，并对任务所使用的数据资源进行计量计费。算法模型并对任务所使用的算法模型进行计量计费。任务管理包括计算合约管理、任务调度和任务监控。数据需求方创建计算合约，包括数据集、算法模型、数据使用次数等信度模块。任务调度模块根据计算合约中的任务内容生成任务配置，并通过通知系统下发任务配置到各参与方数据接入节点和计算节点。整个计算合约的执行流程中，所有的数据流转和状态变更任务执行包括样本对齐、特征工程、数据探查、模型训练、模型预测和效果评估。对参与联合建模的几方进行虚拟数据融合时，通常包括样本对齐和特征对齐，其中样本对齐是向每一方，输出各方的交集ID上的样本数据集，而特征对齐是向每一方，即对样本的某个特征或所有特征进行统计分析，包括统计直方图（例如平均数、中位数、最大值、最小值、方差等）、特征WOE和IV、特征相关性分析等，结合数据探查结果，选择所需的样本、特征，并对特征进行归一化、标准化、分箱和编码；确定样本和特征后，在样本数据集上进行训练模型；模型训练完成后，可对模型的效果进行评估，评估指标包括Auc，f1,ks,recall的精确度一致或控制在合理的范围内；算法模型训练的结果按不同的场景和版本保存到本地，包括模型训练的时间、准确率、模算法库包括机器学习算法库、特征工程函数库、科学计算函文计算引擎。（3）调度框架：调度框架的主要作用是，根据上层算法逻辑触发联合建模的据量等因素）对任务流程进行规划、分解、编排，并选择合适的技术类型。计算任务流程规划主要是统筹目前系统的资源（主要是算力资源）、决策当前任务的排队以及优先级执行情况。任务分解是对整体任务执行所涉及的明密文计算部分、不同技术环节等进行拆分，最后在任务编排环节进行统筹执行，如并发执行等。目前联合建模的主流的技术类型包含多方安全计算、联邦学习和TEE三种，根据上层调度进行触发并调用底层的算法组件。（4）计算引擎：（1）明文计算引擎用以支撑基于差分隐私的联邦学习、本地明文计算以及可信执行环境（TEE）计算。（2）密文计算引擎通过底层密码技术实现。（3）明密文混合计算将以上两种方式混合，如本地明文计算和外部代理的密文计算混合。（4）解释器/编译器将上层算法逻辑转化成密码学可识别的可进一步在复杂运算上扩展来提升计算性能。（5）数据类型接入、数据格式转换将外部输入的多种类型（5）基础协议/算法：主要指各类密码学协议和算法，包括多方安全计算领域的不经意传输、秘密分享、混淆电路等，TEE等硬件密码技术，以及（6）基础支撑：支持云计算服务、容器、分布式存储等技术。对外显示一般包括资源操作、任务操作、任务流程监控、算法IDE、异常显示与处理等。资源操作一般是指参与方的资源节点在部署好后在平台进任务操作是基于参与双方或多方特定业务合作的需要，进行任务流程监控包括对联合建模过程情况和结果统计的检测，算法IDE为开发人员提供业务逻辑编程界面，支持高级语言编程（如python编程）。平台提供样例数据，使应用开发者可以在线调试。算法IDE和平台编译器为业务开发者屏蔽了基于密码学编程的复杂性。异常显示与处理为平台提供网络异常、资源（如数据资源）不在线等的异常情况显示，辅助操作者进行进一步动作。（8）互联互通：跨平台互联互通模块为实现与不同系统架构的异构联合建模平台间的互联互通提供基础支撑，使得使用不同技术平台可以共同完成同一个联合建模任务。跨平台互联互通模块包含资源同步、安全管理和跨平台计算分为算法接入、数据接入与格式转换和跨平台协同计算三部分，算法接入又包括了对算法可编程、算法热插拔的支持。（9）系统运维：升级维护、存证和审计等。身份认证为系统各种不同角色提供身份管理功能，包括注册、登陆与身份鉴别等。数据使用授权是数据提供方特有的功能，该模块一般部署在数据提供方本地。数据提供方在联合建模任务发起时对其他方使用自身数据的情况进行授权，保证没有经过授权的数据无法参与联合建模过程中。模块的部署情况与平台的物理架构直接相关，一般由部署人员将平台组件以可拆卸、组装的方式部署到联合建模的各个参与方中。模块部署后在一段时间后可能面临升级维护，但需保证各个模块之间的接口和互通。根据实际应用和安全性需求，存证组件可分为行为记录存证与计算过程存证两个子组件，行为记录存证组件实现了对各方操作和行为记录存证功能，计算过程存证实现了对于联合建模计算全流程的过程数据存证。行为记录存证组件记录用户登录、数据可使用区块链等技术存储存证信息，实现行为记录的存证功能。计算过程存证组件记录联合建模计算任务中的随机数、秘密分片、密文、梯度数据和模型参数等计算过程数据，可使用基于哈希函数的Merkle树等确保存证的隐私性，使用区块链等技术保障存证的不可篡改。根据安全性和审计需求，审计组件可分为行为记录审计和计算过程审计，分别对应行为记录存证和计算过程存证组件，能够实现审计方对于用户操作行为的审计，以及对于联合建模计算过程的审计功能。行为记录审计组件对于已经完成的平台操作记录进行审计，用于查看相关用户的行为是否合规。计算过程审计组件对于计算任务的过程进行审计，通过调用计算引擎进行计算任中是否存在异常或恶意操作，如图15所示。以上组件相互协作共同完成一次联合建模任务。如一个联合建模的应用开发者通过算法IDE提交了一个联合建模任务，通过平台组件启动该任务，平台将应用算法进一步分解为各类算法函数，并通过调度框架触发不同的隐私计算技术的计算引擎（以多 方安全计算引擎为例）。编译器将算法编译成可在密码学上执行个计算过程中需要使用数据提供方的训练数据，需要其进行授权，平台需要对数据的使用情况、计算的