2025工业大模型体系架构、关键技术与典型应用

:目录1 32 53 74 85 126 157 17 随着新一代人工智能的发展,大模型(如GPT-4o等)凭借大规模训练数据、网络参数和算力涌现出强大的生成能力、泛化能力和自然交互能力,展现出改变工业世界的巨大潜力.尽管大模型已在自然语言等多个领域取得突破性进展,但其在工业应用中的探索仍处于初级阶段,当前工业大模型的系统性研究仍属空白.工业应用中特有的异质数据模态、复杂多样的专业化场景、长流程的关联性决策、以及对于可信性实时性的高要求,使得通用大模型无法直接用于解决复杂的工业问题,亟需开体系架构、构建方法、关键技术与典型应用.从5个挑战问题的分析出发,提出了工业大模型的全新定义和体系架构;同时,提出了工业大模型的四阶段构建方法,阐述了工业大模型核心关键技术;然后,基于所提出的工业大模型6种核心应用能力,探讨了面向产品全生命周期的工业大模型典型应用场景,并给出了“基石”工业大模型原型系统在生成式人工智能方面的应用实例;最后,探讨和展望了工业大模型未来的研究方向和开放性问题.本文将为工业大模型这一全新研究方向的开辟与发展,提供 工业大模型,工业基础模型,生成式人工智能,具身智能,工业智能体,智能制,),引用格式引用格式:任磊,王海腾,董家宝,等.工业大模型:体系架构、关键技术与典型应用.中国科学:信息科学,2024,54:2606–2622,doi:10.1360/SSI-2024-0185RenL,WangHT,DongJB,etal.Industrialfoundationmodel:architecture,keytechnologies,andtypicalapplications(inChinese).SciSinInform,2024,54:2606–2622,doi:10.1360/SSI-2024-0185等任务中展现了令人惊叹的能力.在自然语言处理领域[2]大模型能够生成高质量的文本并完成复杂的对话任务;在计算机视觉领域[3],大模型能够实现精准的图像识别并生成高保真的图像或视频.此外大模型还在医学[4][5等专业领域展现出巨大的应用潜力,通过对领域数据的学习,提供准确的问答、诊断、预测和决策支持.大模型已成为迈向通用人工智能的里程碑技术[4,6].工业制造业是立国之本和强国之基建设制造强国是我国的重大战略决策.在新一代信息通信技术的推动下制造业正从数字化网络化迈向智能化的全新发展阶段[7].如何推进人工智能赋能新型工业化,培育面向工业领域的大模型,推动人工智能与实体经济深度融合,成为当前重要的国家创新战略欧美发达国家已开始探索大模型在工业领域的应用.例如,ChatGPT来自动生成可编(PLC)代码[8]OpenAI采用多模态大模型操控机器人并尝试在宝马制造车间从事简单的抓取工作1),英伟达正在基于大模型打造通用人形机器人平台[9].当前国内外的研究主要是利用已有的通用大模型尤其是大语言模型,尝试解决工业制造业的具体问题.学术界和产业界对于工业大模型的巨大发展潜力抱有极高的期待.然而,工业制造业的复杂性使得工业大模型的发展面临以下严峻网等公开数据获取渠道CAX模型、传题,例如不同类型的传感数据有不同的采样率和数据格式,存在信息冗余和语义不一致性,大模型难态数据特性的深刻理解,使其在跨模态数据协同处理上能力有限.挑战二:工业高可信输出难.通用大模型对于输出的精准性可靠性没有统一的严格要求,能够容.有大模型建立在概率预测的基础上,输出结果不确定性高,难以满足工业任务的高精度要求.导致这一问题的原因是大模型的概率特性和非目标驱动特性,使其难以学习到任务背后的工业机理和规律.此外,多任务优化与单任务的冲突使得模型在处理高精度任务时可能出现信息冲突和遗忘,降低了单挑战三:工业多场景泛化难.通用大模型当前常见的文本或图像内容生成、知识问答等应用场景具有较为统一的底层逻辑,并且大多可基于对话界面完成场景任务.而工业领域产品全生命周期涵盖多类不同的应用场景不同行业不同场景任务需求各异,且生产任务需要机器设备执行才能完成,大模型难以适应复杂多变的工业场景.导致这一问题交互任务,使当前大模型主流应用范式无法适应复杂的工业场景.挑战四:工业多流程关联难.通用大模型应用场景涉及的多流程关联逻辑性任务较少.而工业制造业应用则离不开具有内在关联的多流程业务,各个流程任务之间的关联和依赖关系往往非常复杂,是一个重要挑战.对于复杂的工业流程语境和任务间的动态关系,大模型难以全面理解和认知.导致挑战五:工业高实时推理难.通用大模型对于应用的实时性没有统一的高要求.而工业现场应用),实时应用中面临资源受限的挑战.现有轻量化方法如模型剪枝、量化等,虽然在压缩率和加速效果方面取得了一定进展但仍然无法满足工业边缘轻量实时应用的高要求.导致这一问题的原因是大模型从上述挑战分析可见,当前通用大模型无法直接用于解决复杂的工业问题,工业大模型并不是通当前国内外关于工业大模型的系统性研究仍属空白.本文提出了工业大模型的全新定义提出了工业阶段构建方法,阐述了工业大模型核心关键技术;6种核心应用能力,探讨了面向工业制造业全生命周期的大模型典型应用场景,“基石”工业大模型原型系统在生成式人工智能方面的应用实例;最后,探讨和展望了工业大模型未来的研究方向和开放性问题.定义.工业大模型是面向工业产品全生命周期应用的、具有大规模参数的深度学习模型体系,包-,,基础设施层指构建工业大模型所需要的基础资源包括工业数据、算力、知识等.工业数据涵盖CAX文件、工业时序数据、机器指令、工业文档以及多模态数据如图像、视频和音频等,这些数据是模型训练和操作的基础.计算资源则包括用于大模型训练和推理的云边端算力、存储以及专为AI运算设计的芯片工业知识包括工业通用知识和企业私有知识涵盖了行业规范、操作文档、机器3类核心技术的工业基座大模型.其中,预训练通过与下游任务无关的工业多模态数据的初始训练,使工业大模型具备理解和处理工业场景中多模态数据的通用能力.微调涉及在较小、特定数据集上进一步训练预训练模型,以提高模型在特定任务上的性能和泛化未见过任务的硬件加速、工业检索增强生成等方法.工业基座大模型是大模型的底座,具备工业任务的通用解决能力,为更精细的模型适配及场景应用提供了基础.模型层是工业大模型的主干部分,面向不同的工业任务和行业领域进行适配,形成任务导向大模型和行业领域大模型.其中工业任务适配是指以工业基座大模型为基础,经过多任务指令微调,在保,,1Figure1Thearchitectureofindustrialfoundation,操作人员和经营管理人员等,在制造过程中承担着不同的任务目标;智能体集成工业大模型的几项基动感知和控制工业环境的能力,能够自发记忆、观测和影响外界环境;赛博物理系统则包含物理系统((应用层是工业大模型在服务端的表现形式.工业大模型涵盖智能问答、场景认知、过程决策、终6大能力.这些能力使得工业大模型不仅能完成复杂专业的问答,还能理解和分析复杂的工业环境,作出科学的过程决策,直接控制工业设备,以及自动生成技术文档和仿真设计基于这种能力面向工业制造业全生命周期运维服务5个工业环节进行支撑应用.2Figure2Theconstructionprocessofindustrialfoundation4个阶段:工业数据制备,工业基座模型训练,工业任务/行业模型适配,工业场景交互应用,2所示.工业数据制备.在数据制备阶段,与传统的视觉领域或者自然语言领域的数据不同,工业数据具有更多模态,如传感器的时序数据[10][11]、CAD数据[12][13]等.因此,工业的复杂模态数据的制备方式也更加多样化,主要包括数据收集、预处理、仿真及生成三个流程.首先,可以通过使用公开或企业自有数据集、数据爬取和联邦学习等多种方式获取数据.接着,为了确保模型训练的效度和可靠性,必须进行一系列数据清洗和预处理措施.数据清洗包括质量过滤、敏感内容过滤以及数据去重等步骤.针对不同模态的数据,还需要进行数据标准化等预处理操作,例如对于传感时序数据,需要将数据缩放到一个统一的尺度,以保证训练过程的统一性.此外,为了应对大模型对大量数据的需求,可以通过仿真系统生成和生成式模型两种方法增加数据量[14,15].生成的数据需要经过工业仿真系统的筛选与过滤,剔除不可信的样本,确保数据的可信性,方可用于后续的工业基座模型训练.3个任务工业自监督预训练、跨模态注意力对齐以及工业机理内嵌微调.首先,自监督预训练旨在使大模型获取对工业领域复杂数据集进行特征提[16].接着,模型需要进行多模态对齐以调整不同模态数据的向量表征,确保它们在同一语义空间内的一致性.在工业场景中,还需要针对工业特殊模态数据的特点,在冻结原有参数的同时有针对性地重点训练对应的输入和输出映射器,从而在保留预训练过程中获得的能力的同时将工业特殊数据与原有模态对齐.完成注意力对齐后大模型已经具备了感知工业多模态数据的能力但是仍需要进行工业机理内嵌微调以补齐工业领域的专业知识.需要从多种来源收集相关的工业知识将这些工业知识转换为可用于训练的嵌入向量特征[17]然后通过]调.对于工业机理方程,则可以将机理信息表征为神经网络可识别的特征信息嵌入至模型中[19],或者添加符合物理规律的后处理模块实现工业机理内嵌[20],提高模型输出的合理性.工业任务/行业模型适配.完成工业大模型的训练过程后,基于工业基座大模型,需要通过模型适配以获得适用于具体工业任务的模型和行业领域模型从而充分发挥其应用能力.模型适配过程可以分为针对任务模型的任务适配微调以及针对领域模型的行业知识内化.首先在任务适配微调过程中,对不同的任务准备不同的任务指令集,在任务指令集上对模型进行指令微调,提高模型在专精任务上的表现.在针对不同工业任务完成任务模型微调之后为了使模型应用于各个行业时具有更强的适配性,还需要进行适配器微调.通过添加小规模适配层而不改变预训练模型参数,在减少训练成本的同时保留预训练模型的泛化能力,提高在行业特定的数据集上的性能.工业场景交互应用.在工业场景交互应用中,“--工业赛博物理系统”交互体.其中,智能体以工业大模型的能力为内核,并增加其与应用环境的交互功能,例如主动感知、情景根据多变的工业任务目标与协作同时在模型推理的过程中,(RAG)技术进行推理效果增强.在预先将息,并将其与模型当前处理的内容结合起来,以增强模型的知识理解和回答能力.检索增强生成技术特别适用于存在大量动态变化因素的工业环境场景.在推理效果增强的同时对于端侧算力不足的情况可以使用工业轻量端侧部署加速推理技术实现高效实时推理.轻量化技术主要是通过对模型进行在工业生产中存在大量多模态数据,如图像数据,设备运行声音数据,操作日志中的文本数据,温模型难以直接处理并用于任务决策因此,3所示,需要首先训练工业模态编码器和生成器,然后对不同模态的数据在统一语义空间内进行协同对齐编码和跨模态融合,完成预训练.工业自监督预训练.自监督预训练旨在对模态编码器、模态生成器和骨干网络进行预训练以赋予它们对各自模态数据的语义理解及特征提取能力.这一过程涉及到对工业领域复杂数据的特征提token21或句子[22]和去噪自编码任务等.出于大模型的自回归输出特性,在网络的预训练过程中需要采取不同的策略.例如,针对时序数据,可通过在特定时间点添加掩码并预测还原来实现预训练[16]CAX数据可以采取序列化处理并输入到专门设计的拓扑、几何等编码器中,以学习草图和挤压等各种变化[23].工业多模态协同编码.为解决工业场景下不同数据的模态间未对齐的问题,可通过多模态协同编码方式统一表征,缩小或消除模态间的语义间隔,为后续多模态预训练奠定基础.针对不同模态数据的特点,需要进行预处理及特征编码.针对文本数据,可根据工业词表使用分词器对文本进行分词得到词元序列并对其编码得到词元或句子的全局表示针对视觉数据行标准化等预处理随后划分为图像块或点簇,2D3D编码器转换为统一长度的编码向量.,,3Figure3Multimodalpre-trainingforindustrialfoundation频谱编码器输出音频向量表征.针对传感器数据,通过间隔采样提取时序点数据进行数值标准化,并工业跨模态对齐.结合上述对多模态数据的编码,可通过注意力对齐调整不同模态数据的向量表征以确保它们在同一语义空间内的一致性.具体可通过训练输入和输出映射器来优化预定义的目标函数实现多模态对齐.多模态预训练对齐阶段通常涉及大规模的文本配对数据以便有效处理并整合不同模态的信息[24]利用如自监督学习损失函数[25]优化各模态的编码器可使各模态在联合嵌入空间中更为接近.然而,工业场景中涉及的数据模态种类更丰富,因此还需有针对性地设计工业模态数据对齐方法CAX--文本匹配等,并在保持预训练模块如编码器、生成器、骨干网络等冻结的同时重点训练输入和输出映射器.可采用基于联合优化的投影转换跨模态融合,或基于交叉注意力的感知增强跨模态融合等方法.当配对数据较为充足时,可采用端到端的方式在混合模态数据进行训练对齐[26],优化跨模态训练的稳定性.预训练完成后,大模型能够获得应对任务的一定程度的普适性通用化能力.然而,在工业多场景任务中,大模型通常缺乏工业领域的专业知识和机理,导致难以准确理解和处理工业问题,输出结果的可信性较差.因此,需要结合工业知识和机理进行微调,4所示.通用知识融合与工业机理内嵌.大模型通常采用指令微调的方法,即在由人类指令和期望输出组.,,4Figure4Industrialphysics-informedfine-集相关的工业知识其次将这些工业知识转换为大模型能够理解和处理的形式(头实体、关系、尾实体),并利用知识图嵌入技术将知识转为嵌入向量特征用于训练.最后,使大模型融合工业知识,可通过将知识图谱整合进训练目标以及进行知识图的指令微调.为将工业机理方程嵌入到模型中,可将机理信息表征为神经网络可识别的特征信息嵌入网络架构中[19].其次,在模型输出阶段,引导模型输出符合工业物理规律,例如在损失函数中添加机理方程以惩罚违反物理规律的输出结果[20]此外可根据机理知识库中的规则检查约束模型输出符合工业机理,也可使用仿真工具或专家系统来验证模型输出的可信性和准确性.行业知识适配器微调.在针对不同工业任务完成任务模型微调之后,为了使模型应用于各个行业时具有更强的适配性,还需进行进一步的行业知识嵌入微调,使大模型能够更加精通于某一行业的专业知识,从而在各行各业发挥更出色的表现.在行业模型的微调过程中,使用适配器微调可以在最大限度保留任务模型能力的同时,大大增强模型对不同行业的适应能力.接下来,需要准备详细的行业数据集,并在这些行业特定的数据集上微调模型性能,以提高模型在行业专业问题中的表现.场景知识内化强化自训练.场景知识内化强化自训练技术旨在应对工业行业知识中一些细分场景标注数据有限的问题,通过对小规模标注数据进行初步训练,利用模型生成伪标签标注大规模未标注数据,并引入强化学习设定奖励机制优化伪标签质量,从而提升模型性能.在有限标注数据的情况下,这种技术可支持解决工业细分场景问题的场景大模型微调,从而提高了模型训练效率和精度.“--工业赛博物理系统”交互技术.在工业生产过程中,务人员等.智能体相对于大模型而言,具有更进一步的主动感知和控制工业赛博物理系统的能力.工,5--Figure5Human-agent-industrialcyber-physicalsystem目标设定,主动规划任务流程和优化目标,并进行任务分解,设计不同解决方案,同时协调各子流程任务关系.同时,人还可以向智能体提供奖惩反馈机制,使智能体迭代优化自身策略、不断发展进化.在智能体和工业赛博物理系统的交互过程中具体任务包括工业环境监控及资源的动态调配等.智能体可利用感知能力观察生产要素条件和生产环境,再利用优化决策能力设计生成对应的控制逻辑,最终控制工业软件和工业设备,应用于工业赛博物理系统完成生产任务..少模型的计算量和存储需求提高推理速度.同时,GPU,TPU等高性能硬件的利用,进一步加速推理过程,满足实时性要求较高的工业应用场景.此外,推理加速还能降低模型的能耗和成本,提高模型的可用性和普及度.除了满足实时推理需求以外,在使用工业大模型进行推理的同时需要用到(RAG)结合了检索和生成的方法,适用于工业场景中的知识密集型任务.首先通过构建一个包含工业知识的数据库,包括产品设计、工艺流程和设备维护等内容;然后,利用高效的检索算法BM25DenseRetrieval,从知识库中检索相关信息最后基于检索到的信息,通过大模型生成更准确和有针对性的回答在工业制造中RAG系统可以快速提供技术支持、生成维护手册和优化生产流程.Prompt(Prompt)来引导大模型生成符合用户需求和期望的文本或响应PromptAI技术.用户可以Prompt预制模板Prompt.(LoRAfine-tuning)是一种低秩适应方法,旨在通过引入少量可训练参数,实现对大模型的高效微调.对所有编码器均可采用低秩微调,一方面由于编码器已经经过大量数据的预训练,有较强且通用的模态先验,而低秩微调可以避免灾难性遗忘的问题.另一方面,低秩微调可减小训练参数量,提升模型训练速度.基于前述工业大模型构建方法得到适用于具体工业场景的大模型.本章阐述工业大模型核心应与通用大模型不同,工业大模型面向工业应用的需求,在其独特的架构和训练方法的支持下,形成以下6种核心应用能力.智能问答能力:工业大模型不仅应具备通用大模型的文本理解和生成能力,还应具备深入理解和回答工业领域知识相关复杂问题的能力,提供即时专业知识的支持.例如,工业大模型通过工业多学科多领域专业知识的推理,能够为全流程制造任务提供随时随地的问答服务,如创新设计案例知识、制造工艺知识等,大幅提升各类工业用户获取专业知识的效率.场景认知能力:工业大模型的场景认知能力不仅限于视觉类图像识别,还应理解工业环境中的各种动态场景和工况的内在涵义,为进一步分析和决策提供基础.例如,通过对设备多维传感信号模式的理解来识别潜在故障趋势,通过对生产多工序多任务进度的分析来识别瓶颈所在,从而实现对过程决策能力:工业产品全生命周期过程中涉及各类决策,例如设计方案决策、生产工艺决辅助人作出决策.例如,工业大模型通过学习历史生产过程中各类调度优化方案,基于逻辑推理和演算能力,针对柔性制造产线突发插单情况给出优化调度方案的决策建议等.用大模型仅局限于软件系统在数字空间的交互工业生产过程需要在物理世界中完成执行过程.工业大模型应通过具身智能体来操控物理世界的机器设备.例如当前机械手面对没见过的产线零部件抓取任务时,工业大模型应能够根据机器人具身智能体学习到的知识和机械手力反馈等实时传感信号,内容生成能力工业大模型不仅应能生成工业特定领域的技术知识文档和各类报表报告等内容CAX模型、传感信号样本、工艺文件、机器指令等工业领域专业化内容.例如,北京“基石”工业大模型,能够生成复杂产品多学科仿真系统代码、产线数字孪生场科学发现能力:工业制造业建立在一系列物理化学原理基础上,然而仍存在诸多机理不清之处.工业大模型具备发现科学机理和超越人认知水平的高阶关联关系的能力从而服务于新材料、新.物理系统进行交互完成特定任务.以下介绍典型业务域应用场景,“6Figure6Typicalapplicationscenariosofindustrialfoundation石工业大模型原型系统为例给出应用案例编制,存在冗余重复工作且效率较低.工业大模型学习大量工业知识和设计理论,能够根据需求辅助答形式给出设计指导,同时基于决策能力进行零件参数设计方案自动化推演,给出合理的尺寸设计方案并自动生成对应的设计文件.除此之外,工业大模型能够在新工艺的研发过程中识别化学反应动力学机理,揭示化学反应机制和影响因素,优化材料合成过程,辅助提出创新的产品工艺设计方案.在生产制造阶段够实现零部件打磨指令轨迹生成,并自动转化为机器人加工指令,具体控制机器人进行实际加工.同时在加工过程中利用视觉感知能力对加工状态实时监控并实现对加工过程的动态调整.7和图8所示,“基石”工业大模型根据对工业机器的控制需求生成对应的机器操作指令,以实现机器人自动抓取等复杂任务的执行.同时,针对非标准零件的加工需求,工业大模型基于其决策和生成能力,辅助工程师制定出精确的加工方案,从而提升生产制造环节的效率., 7Figure7Exampleofcontrolcommandgenerationforembodiedintelligentrobots

8Figure8Exampleofautomaticprocessgenerationforindustrialparts符合设计要求和行业标准,并能够满足用户的使用需求.在试验测试阶段,大模型主要针对试验方案例如工业大模型对测试进行多模态感知的计量检测报告生成,代替人工记录归档,并智能解析试验数据,给出对应的试验分析结果辅助测试人员评估被测件质量.同时工业大模型跟踪试验测试过程记忆流程操作和测试事件,实现质量追溯问答,高效精准定位问题部件及问题根因.业大模型通过监测生产经营过程中的各类报表数据,以问答形式向管理人员汇报目前企业经营状况,生成企业运营报告,并给出潜在的风险预警.工业大模型还具备基于决策支持的动态优化能力,能够根据订单插单情况实时调整生产过程中的资源分配,优化供应链和排产计划.最后,工业大模型具备时,基于过往运营大数据关联分析,改善生产运营模式.运维服务是指为制造设备和工业产品提供调试、维修、保养、升级等技术支持和售后服务以确.例如,工业大模型基于认知能力实时感知设备运行状态,发现设备的潜在故障,并通过智能问答的方式向维护人员提供预防性维修建议.其次,工业大模型还可以通过生成运行样本和健康状态预测模型辅助运维服务910所示北京航空航天大学“基石”工业大模型能够生成工业时序数据样本.用户可以上传想要生成工业时序数据的具体需求,工业大模型会根据用户的需求,生成带标签少样本的工业时序数据来辅助预防性维护预测.同时,工业大模型,以及生成的大规模数据,结合用户预测需求,生成相应的工业时序预测模型,用于预测设备的健康状态,辅助维护决策. 9Figure9Exampleofindustrialtime-seriesdatasample

10Figure10Exampleofindustrialtime-seriespredictionmodelgeneration工业大模型已初步展现了其巨大的应用潜力,作为学术界关注的新研究方向和产业界期待的颠覆性新技术,“点”上开展了初步应用探索,“面”上的应用仍有很大差距,未来仍需要工业界制造业企业深入挖掘实际应用需求,提炼适合发挥工业大模型价值的典型应用场景,通过越来越多的应用实践和需求牵引,丰富和提升工业大模型的能力.同时,从工业大模型未来的技术发展角度来说,工业领域所追求的应用目标对工业大模型提出了与通用大模型不同的技术需求,工业多模态对齐、高可信度和安全性均提出了严苛要求,工业大模型正朝着机理内嵌、统一模态表征、.Transformer为代表的大模型底层神经网络架构,底层逻辑建立在概率输出基础上,在诸多应用中并不具备深刻理解客观物理世界的能力.然而无论是离散制造业还是流程制造业,其物质的终端控制、内容生成、科学发现等核心能力的应用中,均离不开工业机理的底层支撑.尽管通用大模型常用的RAG技术能检索外部知识源,但涉及到具有复杂数理化原理和内在规律的工业机理时,往往难以检索到精确答案.因此,Transformer等