2025年蚂蚁集团：大模型应用可信框架助力企业构建可信AI体系报告-

厂商概况生成式人工智能（GenAI）技术的浪潮正以前所未有的速度席卷千行百业，在催生新质生产力、重塑业务流程的同时，也彻底改写了企业安全风险的版图。尤其是当大模型及其驱动的智能体从实验室走向规模化产业应用时，其内生复杂性使得企业的运营管理难度与安全暴露面快速扩大。在企业级终端用户部署过程中，诸如模型幻觉、内容安全、数据安全构建端到端的可信AI体系是破局的核心。可信A划设计，并与业务目标深度融合的系统性工程。企业需将安全、治理左移，结合企风险评估，把安全、数据治理与合规放到首医疗聊天机器人的基座模型可能会由于意图判断失误、专家知识不足等原因提供过时甚至错误的信息给到用户，导致延误治疗等严重后果。在网络安全领域，攻击者会利用大模型的幻觉特性构建虚假信息网络，诱导大模型做出危险判断和动作等。因此，最终用户在落地大模型时，模型幻觉、可信推理、可信执行、访问安全、内容安全等均是其亟需解决的大模型训练、推理、反馈全流程的可信是最终用户用好大模型和智能体的根本（见图1）。请问.以下哪—项是贵司部署大模型和智能体时最为关注的安全风险?80.0%70.0%60.0%40.0%30.0%20.0%10.0%0.0%69.3%36.9%37.6%0.0%2.0%0.0%模型幻觉IP泄露越狱提示词注入其他无回复实来自哪里"，会出现混淆信息来源、提供失效链接等问题。更令人担忧的是，随着模型规全球各国也已经关注到了大模型应用可信问题的重要性，美国国家标准与技术研究院提出了要求，明确了管理者需对其做到尽职关心。上述法律法规共同指向一个核心：企业架对于大模型执行过程中的可信问题给出了具体的应对思路和方法，尤其在处理模型幻觉蚂蚁集团起步于2004年诞生的支付宝，经过多年发展，已成为世台。蚂蚁集团通过科技创新，助力合作伙伴，为消费者和小微企业提供普惠便捷的数字生活及数字金融服务。其持续开放产品与技术，助力企业的数字化升级与协作，同时在全球广泛合作，服务当地商家和消费者实现"全球收""全球付"和"全球汇"。蚂蚁集团的业务板块包括数字支付、数字互联、数字金融、数字科技及全球化。蚂蚁集团全栈布局大模型，百灵大模型已完成备案，万卡异构集群，千亿规模参数和万亿级语料，处于中国大模型第一大模型在行业里首次实现了"人造智力引擎"，但如同智能车仅靠引擎无法完整落地，智能行业大模型安全可信，从而助力大模型应用变革，推动越来越多的专业行业迎来智力革命。大模型应用领域的挑战决策支持或知识服务时，由于其基于概率的生成模式导致答推理核验缺失：推理残差指模型在执行推理任务时预测输出与真实结果之间的偏差。推理核验指模型可以主动识别出给定信息不足，或意识到模型本身的能力不足以做出正确决策。网络安全等专业领域决策过程要求严格的论证基础，因此大模型应当具备推理核验能力，以免决策结果出现预期外幻想。但当前大模型及其应用不具备推理核验能力，在决策中容易因为缺少足够的给定信息而产生幻觉。例如，大模型在进行医疗诊断辅助时，可能会在给定病历信息不完整或症状描述模糊的情况下，仍然输出一些看似有理有据但实际不够准确的诊断建议。DKCF框架针对大模型面临的推理核验挑战设计专门的核验模块，主动验证大模型给出的决策结论是否依据知识工程不足：专业知识是指在专业领域、行业或学科中积累的系统化知识和技能，这些知识通常包括该领域的基础理论、研究方法、实践经验、专业术语等。仅当大模型具备专业知识时，它才能在专业领域做出正确的回答或者决策。但通用大模型的语言能力来自于对广泛的基础知识学习，对专业领域的知识掌握不足，导致当大模型遇到专业问题时难以用基础知识给出专业的决策。因此大模型对"专业概念"精准掌握并给出区分于"砖家"的正确决策结论，是大模型在专业领域获得成功应用的数据工程不足：大模型应用的决策依赖充足的数据，在数据不足的时候无法做出正确的决策。例如，在网络安全等专业领域，大模型在判断员工使用查看公司代码库这种行为是否属于正常行为时，由于缺少员工身份信息、代码库类别信息、员工使用的浏览器类型等信息，无法做出正确的决策。针对此类大模型做威胁检测时数据不足的情况，DKCF引入切面按需采集检测所需数据。切面可以实时下发数据采集反馈循环低效：反馈是现代控制系统的核心机制。大模型架构默认基于增强训练的的一个严重问题。针对反馈循环遇到挑战，DKCF这些问题的根源在于缺乏一个全面考虑大模型应用特性的DKCF大模型可信应用框架定义DKCF大模型可信应用框架，是针对大模型在金融、医疗、安全等专业领域应用提出的一种集充足数据（data，D专业知识（knowledge，K能力协同（collaboration，C高效反馈（feedback，F）为一体的大模型源，确保大模型依赖充分的数据给出决策结果，解决大模型面临推理核验方面的挑战；K表示高质量行业知识库，解决大模型面临的领域知识不足导致决策错误的问题；C表示通过精细规划将复杂任务解构为更易操控和解决的子任务，解决专业领域复杂任务决策导致幻觉的问题；F指通过构建一个闭环的业务流程使推理结果有效指导大模型决策，解决大模型在反馈循环上面临的低效问题。总体来说，DKCF框架通过整合不确定性量化机制，使大模型能够自我评估其输出的确定性水平，以此来减少无依据的决策。此外，借助于专新颖的任务融合描述与执行的语言，它结合了编程语言的精确执行能力与自然语言的知识DKCF大模型可信应用框架核心内容反馈Feedback数据采集数据源数据采集数据源结果数据决策式生成式调用链(chainofAgents)能力组件capabiity能力组件capabiity领域工具专业模型大模型知识know知识knowedge领域知识通用知识场景知识可信框架(C)能力协同充足数据：大模型给出正确的决策需要依赖充分的数据，当缺乏充分、及时的数据时，大模型可能会胡说八道（输出错误结果因此需要确保数据链路通畅，关键数据能够按需获得。DKCF框架采用了平行切面灵活的切点植入技术，可以按需灵专业知识：大模型给出概念的准确与否，是区分大模型"专家"和"砖家"的基本界限。大模型在专业领域发挥专家的作用给出精确的概念描述需要专业的知识供给。家知识汇聚成领域知识图谱，保障它的准确性、完备性和可计算性，并做相关的验能力协同：面对不同专业领域中的复杂任务场景时其领域特定知识局限、掌握技能单一而渐显其局限性。多有不同能力的单智能体之间进行交互，允许多个单智能体作，可以有效处理不同专业领域中复杂任务。任务规划石，大模型实现任务规划不仅需要高度的智杂任务解构为更易操控和解决的子任务，并借此发挥多智能体高效反馈：当前多数大模型应用在未经充分核验的前提下执行专业领域的多级推理任务时，导致错误率显著（据统计，该错误率高于30%这凸显了机制的迫切性。但当前大模型在整合反馈信息方面不如人意，无论是通过有监督微调还是基于人类反馈的强化学习等迭代策略都无法有效整合信息。特别是在对即时响应高度敏感的应用场景中，现有反馈机制的局限性被进一步放大。DKCF引入基于DKCF的可信推理DKCF框架中的充足数据模块解决了大模型面临推理核验方面的挑战，它提供了丰富的数据源确保大模型依赖充分的数据给出决策结果，以免决策结果出现幻觉；专业知识模块解决了大模型面临的专业知识工程方面的挑战，它设计了专家知识供给模块建立高质量行业知识库，并且会自动将专家知识汇聚成领域知识图谱，保障它的准确性、完备性和可计算性，并做相关的验证；能力协同模块解决了大模型在复杂任务方面的挑战，能力协同借助精细规划将复杂任务解构为更易操控和解决的子任务，协同多智能体做出有效决策；高效反馈构建一个闭环的业务流程，使得推理结果能有效驱动并指导数据的进一步收集和供给，在网络安全威胁检测中，告警研判是一个对专业知识要求较高且极其耗费人工的过程。当构建了风险研判助手，大大降低了人力的投入，同时有效切面数据预处理模块：从切面数据中获取更加丰富的场景数据，提取有效的概念与行为主体。概念用来构建研判所需要的知识，充足的概念可以防止大模型在研判的过程中产生幻觉，保证大模型研判结果的可信。行为主体用于研判工具进行线索拓知识模块：研判过程中所需要的知识，主要包括日志字段语义、研判积累的经验、业务知识以及安全领域常用知识。这里知识以外挂知识库的形式供研判助手使用来Agent模块：整个研判过程的核心，其中LLM是基础。研判过程是个复杂的处理过程，需要研判助手有应对复杂问题的规划能力，这里需要是研判过程特定的规划器。线索模块：智能研判助手的主要功能模块，用于对提取的行为主体进行线索拓展，获取更多有效信息。由于线索拓展获取的信息量较大，一些无效信息对最终研判的结论有较强的误导性，因此需要线索编排模块对获取的信息进行一个优先级排序，从而降低无效信息对研判结论的影响。线索归纳是把线索拓展的信息整理成有效的自然语言的形式，方便安全运营人员阅读。结论推导是基于获取的线索给出最终的反馈循环模块：上层应用将研判结论反馈到平台，安全运营人整个智能研判的过程从切面数据处理到最终的安全运营人员的知识水平的要求大大降低，同时也避免了安全运营人员因能力©2025IDC"支付宝双飞轮"发展：一方面持续提升支付业务，重构、新的价值创造；另一方面顺应全行业全链条坚定"AI优先"战略：深耕前沿核心技术，共赢的全球数字普惠生态。通过技术连接世界，助力当地的大部分大模型和智能体在行业用户的落地过程中都存在"水土不服"的问题，如何处理模型的幻觉问题、确保大模型在训练、调优、推理、执行过程中的安全可信是解决上述问题的核心，这对于数据、知识、流程、反馈机制等都提出了更高的要求。从大模型自身安全管控的整体框架来看，最终用户还需要关注模型的合规、内容安全、访问安全、数据安全等外部影响法律法规标准、指南和原则外部影响法律法规标准、指南和原则社会与伦理考虑安全与安全与韧性公平与无偏见可解释性与可靠性用合作来构建安全可信生态，最终实现在安全可信的基础上用对、用好大模型和智能体的目标。具体来说，在评估阶段，需要用各类先进的评测技术如幻觉评测、注入攻击、越狱外部影响.法律法规.标准,指南与原则.社会与伦理考虑.可持续性高效反馈高效反馈战略与监督套由目标、指南、政策及流程构成的战略框架,旨在保障人工智能系统的伦理合规、负责任且安全可靠的研发与部署,并辅以监督机制提供支撑。组织与文化合理的资源配置、以及培育契合企业价值观与行为准则的人工智能文化。治理流程对人工智能系统进行清单化响评估.为必要防护措施的决策提供依据。实施风险管理控制、流程和资源配置.以应对已映射的人工智能风险.并确保符合组织的风险容忍度。针对AI系统的可信和安全问题.应当将DKCF框架应用于AI系统.以确保系统的结果可信。持续衡量人工智能治理绩效是否符合防护措施关键绩效指标(KPI)和人工智能战略目标的过程。充足数据专业知识能力充足数据专业知识能力协同负责任的负责任的AI●法律合规.隐私保护●安全性●透