【案例】金融领域AI大模型和AGENT实践解决方案

杨强微众银行首席人工智能官（CAIO）加拿大工程院与皇家学院院士杨强

202307weBank AIAgent是大模型面向应用端发展的下一阶段

联邦学习与联邦大模型WeBankAIAgent目录22.通用大模型不具备专业知识通用大模型如直接用于各行各业，模型表现得专业知识不足，并不能满足业务要求；需要利用本地数据训练垂类行业大模型，大幅度提升模型性能•

大模型生成的回复违背了用户输

入中的任务指示或者任务输入；•

大模型生成的回复出现了自我矛

盾；•

大模型生成的回复与公认的事实

知识出现了冲突。•需要不断增加高质量的标注数据，优化模型加以解决3.保护数据要素隐私训练垂类行业模型时，面临保护各类本地数据隐私的问题。包括，训练数据，本地模型，提示词等。多个数据源联合训练一个大模型时极有可能会暴露每个数据源的用户隐私和影响信息安全。例子：问：请总结以下新能源车的介绍，并突出说明其优点。答：总体上看，这款最新的XXX

车性能优异，尤其是其续航里程达到了2千公里。机器学习模型实现2%数据标注25%数据整合10%数据清洗25%通用大模型不能直接应用对数据相关的处理过程可占据超过80%的时间，其中数据标注环节的耗时占比可达25%1.通用大模型存在幻觉问题机器学习项目中不同环节耗费时间结构比重机器学习模型训练10%数据识别5%机器学习模型调参5%机器学习算法开发3%数据增强15%3AI

Agent如何解决通用大模型短板知识库检索增强生（RAG）办法：1.

收集整理垂类相关

的领域数据/企业

数据/专业数据；2.

构建垂直行业领域

的知识库。效果：1.知识库反馈的信息，

保证事实正确，避

免了幻觉；2.

实时查询，避免了

信息滞后。4大模型微调（

Finetune)方案

：1.

收集整理垂类相关的领域数据/企业数据/专业数据；2.

利用这些数据修正（微调）大模型；效果

：1.

微调后的大模型，更理解垂类应用要求，性能更优；2.

微调后的大模型，事实性更准确，避免了幻觉。人工审核Prompt优化、反面案例、COT构建模型微调性能评估原始训练集审核后训练集专用训练集微调后模型模型上线AI

Agent如何解决生成式大模型短板Embedding模型通用大模型垂直领域文档5大模型微调(思维链CoT)方案

：1.微调数据中包括领域知识及解题步骤（思维链）；2.利用这些数据修正（微调）大模型；效果

：1.微调后的大模型，更理解垂类应用要求，性能更优；2.微调后的大模型，事实性更准确，避免了幻觉。AI

Agent如何解决生成式大模型短板微调数据（思维链）微调效果：6联邦大模型方案

：1.构建联邦大模型新范式，解决数据稀缺/标注不足问题；2.利用联邦学习技术，在保护数据隐私的前提下，合规合法地利用手机、汽车等终端设备上的私域数据；效果

：1.联邦大模型，整体性能更优；2.联邦大模型，有效保护了私域数据的隐私和机密。3.本地的联邦模型，无需高性能计算资源，降低了使用门槛，提升了能源效率。AI

Agent如何解决原生大模型短板7专利场景：撰写技术交底书AI

Agent是大模型面向应用端发展的下一阶段AIAgent

：面向某一特定任务/场景，提供解决方案的智能助手大模型能力特定任务/场景的数据AIAgentAIAgent专利助手撰写文章能力示例8AI

Agent的特点•

基于大模型的通用能力•

结合领域知识，适应不同的场景需求AI

Agent与大模型的关系•

大模型只是一种通用能力•

AIAgent是在大模型通用能力上定制化的落地解决方案，和业务直接对接比尔·盖茨（微软联合创始人）Agent更加智能。

它们是主动的，能够在你提出请求之前就提供建议；能够跨应用程序执行任务；能够随着时间推移而改进。李彦宏（百度创始人、董事长兼首席执行官）大模型时代，真正最大的机会既不在基础服务，也不在行业服务，我觉得恰恰是在应用。马克·扎克伯格（

Meta

CEO）AI助手（Agent）可以帮助人们创造内容来更好地表达其想法，或者成为给用户建议和鼓励的AI教练。Lilian

Weng（OpenAI

Safety团队负责人）AI

Agent可以让LLM从“超级大脑”进化为人类的“全能助手”

，这意味着基于LLM的Agent助手以后将会服务更多的人与组织。AI

Agent是大模型面向应用端发展的下一阶段9 AIAgent是大模型面向应用端发展的下一阶段

联邦学习与联邦大模型WeBankAIAgent目录10风控与反欺诈合规/消保Agent兰

查（eKYC

）

合规/消保Agent 知识产权（专利）Agent企金语义大模型AgentAgent人像核

自然语言引擎

WeLLM

(LLM

MOE)

+联邦学习Federated

LearningAIAgent技术底座WeBank

AI

Agent（WeAIA）智能语音机器人

Agent用户画像标签生成Agent相似问题生成Agent

客服合规/消保Agent用户画像标签生成Agent

用户端中后台

摘要生成Agent营销Agent

知识图谱

语音引擎

视觉引擎营销11文生图文本:一只猫在草莓树下。文本→图片→视频营销:智能营销Agent——大模型高效生成丰富营销素材12应用层

以平台层为支撑基础的各种产品应用平台层

以We大模型为代表的AI技术服务平台（生态）认知层

大模型NLU知识图谱用户画像感知层

语音

图像视频AR/VR基础层

大数据

算法

算力WeBank

AI

技术栈架构AI技术栈整体架构13 AIAgent是大模型面向应用端发展的下一阶段

联邦学习与联邦大模型WeBankAIAgent目录14本地模型

本地数据大模型联邦大模型FATE-LLM问题：如何能够让大模型落地到本地小模型，同时保护隐私安全？本地模型

本地数据…15传统方法：将草从各地集中到一起喂羊，并不合规，隐私和数据安全保护的要求使得获取数据成为障碍联邦学习新思路：让羊群在各地移动，而草不出本地，主人无法知道它吃了

哪些草联邦学习核心思想数据不动模型动，数据可用不可见16领衔联邦学习相关研究与应用FATE：联邦学习开源框架热度全球第二全球联邦学习领域高被引学者数量top10中国联邦学习论文被引用量最高17发布全球第一个联邦学习国际标准，2021.3IEEE

P3652.1《IEEEGuideforArchitectural

Frameworkand

Applicationof

Federated

Machine

Learning》发布可解释人工智能国际标准，2024.3IEEE

P2894《GuideforanArchitectural

Frameworkfor

ExplainableArtificial

Intelligence》制定中的国际标准（2024）：•聚焦联邦学习的可信赖、可解释、可优化、可监管的可信联邦学习标准IEEE

P3187《Guidefor

FrameworkforTrustworthy

FederatedMachine

Learning》•联邦学习的隐私和安全架构的标准IEEE

P2986《Recommended

Practicefor

Privacyand

Securityfor

Federated

Machine

Learning》•中国电信和微众银行联合发起关于语义信息智能体的联邦学习标准IEEEP3427《Standardfor

Federated

Machine

LearningofSemanticInformationAgents》•联邦学习贡献度评估标准IEEE

P3338《Guide

for

Framework

for

DataContribution

Evaluation

in

Federated

Machine

Learning》

•牵头《人工智能联邦学习技术规范》国家标准的制定，2023年12月1日国标委发【2023】

58号文件公布了该标准的正式立项•信通院标准《基于多方安全计算的数据流通产品技术要求与测试方法》和《联邦学习技术与应用》•金融行业标准：央行金融标准化委员会《多方安全计算金融应用技术规划》；《联邦学习金融应用与互联互通标准规范》；•通信行业标准：《联邦学习的安全评测技术要求及测试方法》（CCSA-TC1/TF1)；《联邦学习跨框架互操作技术要求》•团体标准：《联邦学习跨平台互联互通标准》（CCSA-T601）领衔行业标准制定

（2018-2024)【国际标准】

【国内标准】27FATE开源社区是由联邦学习技术开发者、行研方、产业方及生态伙伴共同组建与治理的协作创新平台，是全球领先的联邦学习开源社区，拥有工业级联邦学习开源框架FATE。社区以“开源开放，共力创新”为愿景，汇聚了4000+社区用户参与社区共建，覆盖金融、医疗、科研、人工智能等多个领域与场景，是可信数据流通领域最具影响力的社区之一。1300+家企业机构，500+所高校5600

GitHub

Star

2021.03

●•联邦学习首个国际标准发布IEEE

P3652.1《GuideforArchitectural

FrameworkandApplicationofFederated

MachineLearning(联邦学习基础架构与应用)》全球领先的隐私计算联邦学习开源社区

2022.09

.•联合开放群岛、百度、京东、腾讯云启动隐私计算开源协同计划•加入LFAI

&

Data基金会，作为新孵化项目共同推动联邦学习生态建设

2020.04

●•联邦学习首本中

英文著作《FederatedLearning》《联邦学习》

2023.04

●•推出首个开源联邦大模型FATE-LLM

功能模块，FATEv1.11正式上线发布

2023.12

.•

FATE2.0版本正式推出，实现四个层面的互联互通Federated

Al

TechnologyEnabler口L

FAI&DATA

2023.02

.•

FATEv2.0Alpha版本重磅发布

2021.04

●•

首次实现异构联邦学习平台互联互通社区愿景：开源开放，共力创新

2019.06

●•

FATE捐赠

给

LinuxFoundation2019.02●•

FATEV0.1版本正式发布

ZTE中兴

Tencent腾讯么腾讯云ICT、互联网企业高校、科研院所泛金融19微调后大模型私有数据服务器端联邦大模型场景:训练和推理过程领衔联邦学习相关前沿研究：联邦迁移大模型