复杂系统体系结构 课件 第十二章复杂系统体系结构设计新范式的提出

第十二章2024赵凯星复杂系统体系结构设计新范式的提出目录2024复杂系统的属性01复杂系统与机器学习02复杂系统与大模型03复杂系统体系结构设计新范式的框架12复杂系统体系结构设计新范式的提出12.1复杂系统与机器学习复杂系统与机器学习的关系复杂系统中的模式复杂系统中，许多模式和规律难以通过传统方法直接发现或解释。机器学习提供了新的技术手段，可以从数据中自动挖掘出有效的信息，进而揭示这些复杂系统的模式。机器学习的作用机器学习是通过数学和统计学的算法，从大量数据中发现模式和规律。当机器学习尤其是其新近内核深度学习辅之以GPU并行运算这些技术，它就成为计算机自动在数据中挖掘模式（有效信息）的利器，所谓大数据和人工智能的引擎[1]“机器”与“学习”机器：指代算法和计算。学习：实际上是“统计学习”的简称，是对数据中的规律进行自动学习和优化的过程。[1]许铁.机器学习vs复杂系统[M]．电子工业出版社.201812复杂系统体系结构设计新范式的提出机器学习与复杂系统中的模式发现传统方法的局限性复杂系统的模式生成通常不容易通过传统的解析方法来发现。机器学习通过算法和计算能力，可以在大量数据中发现人类无法直接识别的模式。人类认知与机器学习人类的大脑在学习过程中本身就是从随机数据中识别模式，机器学习模拟了这种认知过程，从数据中自动发现有效的规律。机器学习问题需具备的条件020103这些模式不能通过传统的解析方法推测数据必须是可以获取和处理的系统中必须存在潜在模式12复杂系统体系结构设计新范式的提出机器学习在复杂系统中的应用解决科研中的复杂问题机器学习的应用理解世界的基本规律，如粒子物理学或黑洞结构问题。机器学习可以从大量实验数据中发现新的物理现象，推动科学理论的发展。第一类问题结合深度学习进行图像识别和自动化科研流程，减少重复性工作，加速科研进程。机器人自动控制理解AI系统的结构、功能关系和动态特性，以及如何从深度学习中理解世界的构造。AI的挑战当已知基本规律但系统自由度过多，导致解析或数值求解无法进行时，机器学习能够构建近似模型，提高数值计算精度和效率。第二类问题12复杂系统体系结构设计新范式的提出机器学习的挑战与问题问题：模型在训练数据上表现很好，但在新数据上表现差。原因可能是模型过于复杂、训练数据过少或存在噪声。解决方案：使用交叉验证、正则化、增加数据量等方法避免过拟合。过拟合问题：机器学习模型具有高度的非线性和抽象性，导致内部结构和工作原理难以理解和解释。解决方案：采用可视化、特征选择、注意力机制等方法提高模型的可解释性。缺乏可解释性问题：机器学习发现的只是数据中的统计相关性，并不能证明因果关系，缺乏对模式的深入理解。解决方案：通过因果推断、元学习、知识图谱等方法来提高科学意义。科学意义的缺乏12复杂系统体系结构设计新范式的提出深度学习在复杂系统研究中的应用深度学习的革命深度学习已经广泛应用于复杂系统的研究领域。深度学习能够从数据中自动挖掘模式，为复杂系统的研究提供了新的思路和工具。典型案例——用遥感和卫星数据结合来预测贫困背景：非洲贫困问题未能得到有效解决，主要原因是缺乏准确的贫困数据，导致了大规模的投资未能到达需要救助的地区。初步解决方案：利用卫星夜光数据来预测贫困，因为通常较富有的地区夜间灯光亮度较高。方案存在问题：并非越贫穷的地区灯光越暗。事实上，研究人员从一片黑色区域中完全区分不出是无人居住的沙漠，还是贫困得连灯都用不起的村庄。12复杂系统体系结构设计新范式的提出典型案例——用遥感和卫星数据结合来预测贫困斯坦福大学的研究团队利用深度学习技术，成功预测了非洲地区的贫困问题。通过遥感数据（卫星图像）来训练卷积神经网络（CNN）并结合贫困调查数据进行预测。复杂的机器学习训练管道具体过程输入卫星遥感数据：特别是区域的夜光数据卷积神经网络（CNN）提取特征：这些特征与贫困状况可能有较强的相关性迁移学习：将训练好的网络特征迁移到一个普通的神经网络模型中，以提高模型的准确性贫困调查数据标签：将少量贫困调查数据作为标签，训练神经网络进行进一步的训练深度神经网络预测贫困：训练好的深度学习模型可以根据输入的卫星图像预测贫困程度12复杂系统体系结构设计新范式的提出深度学习在复杂系统中的应用前景深度学习的必要性自动化特征提取：深度学习能够自动化从数据中提取隐藏的特征，结束了复杂性科学家手工发明特征的历史。人工智能的优势：面对庞大的数据集，深度学习比传统方法更加高效，能够在更高的层次理解复杂系统。深度学习的突破精准度提升：深度学习在人脸识别中的准确率已达到99%，超越了人类的97%准确率。预测与识别能力：深度学习能够以人类难以想象的精准度进行预测和识别，推动复杂系统研究的发展。深度学习与传统技术结合自动建模：将深度学习与传统技术如多主体模拟、系统动力学相结合，实现对复杂系统的自动建模。人工智能管理社会：帮助管理社会，自动生成多主体模型并提供精确的调控方案。12复杂系统体系结构设计新范式的提出深度学习在复杂系统中的应用前景深度学习的挑战与复杂性科学的结合应用前景黑箱问题：尽管深度学习可以工作得很好，但它常被批评为“黑箱”模型，难以理解和解释。中医式思维：复杂系统的超大规模相互作用可能无法通过传统方法理解，需要借助机器来处理。理论推动：物理学家正在用变分重整化群方法来理解深度学习网络，揭示了深度学习如何通过多层神经元对问题进行更高层次的粗粒化。复杂性科学的融合：将深度学习融入复杂性科学是必然趋势，它推动了计算机科学与数学、工程技术的融合。12复杂系统体系结构设计新范式的提出12.2复杂系统与大模型大模型在深度学习中的应用与挑战大模型的突破与挑战深度学习的进展：大模型，特别是深度神经网络，成为深度学习领域的代表技术。这些大模型在自然语言处理、计算机视觉、语音识别等任务中取得了极佳的表现。挑战训练难度大、运行速度慢、计算资源消耗高等[2-3]。[2]Yang,Tang,Han,Feng,Jiang,Yin,andHu.HarnessingthePowerofLLMsinPractice:ASurveyonChatGPTandBeyond[J].2023.[3]Hu,Shen,Wallis,Allen-Zhu,Li,LWang,SWang,andChen.LoRA:Low-RankAdaptationofLargeLanguageModels[J].2021.多模态大语言模型MM-LLM(‌Multi-ModalLargeLanguageModel)‌通义千问12复杂系统体系结构设计新范式的提出涌现与演化：大模型的核心概念涌现演化在复杂系统中，涌现指个体之间的相互作用产生的全局现象大模型的涌现表现为其强大的表达能力和预测能力在大模型中，神经元和连接权重的相互作用产生了新的整体性能和特性演化是指随着时间推移，系统的结构、行为、性能等不断变化的过程深度学习模型的训练过程是一个迭代过程，通过不断优化模型参数，使预测效果逐渐提升12复杂系统体系结构设计新范式的提出大模型的涌现与演化规律比例增长：扩展网络规模时，节点数和层数保持平衡，避免信息流动受阻和梯度消失。计算资源分配：合理分配计算资源和存储空间，确保网络层之间的平衡。神经元之间的相互作用：通过梯度信息反向传播，神经元之间存在复杂的交互、竞争与协作。词嵌入层的协作：自然语言处理中的词嵌入层通过训练建立词语之间的相似性关系。0304多样性：神经网络中不同层次和类型的神经元及连接方式带来了复杂性适应性：深度学习模型在不同任务和数据集上通过训练策略和参数优化提高适应性。0102探究大模型的涌现和演化规律高维空间中的机遇与挑战挑战：高维空间存在大量局部最优解和鞍点，优化过程可能陷入局部最优。解决方案：使用更深、更宽的网络结构来增加网络表达能力，提高获得全局最优解的机会。交互、竞争与协作的影响多样性与适应性的平衡比例增长与计算资源的对称性12复杂系统体系结构设计新范式的提出涌现现象与复杂系统的本质涌现的原因：复杂系统中的部分相互作用导致全局性质的形成，系统行为超出了单个部分的简单累加。特征：自组织：系统部分之间的相互作用形成了整体的协同行为。非线性、不可预测性：涌现现象常常是自组织的，并且具有非线性和不可预测的特性。自然界中的涌现现象气流和水流等自然现象中的涌现行为神经元之间的相互作用产生复杂的思维和情感如蚂蚁、蜜蜂等的复杂社会结构没有明确领袖，但能够形成有序集群鸟群和鱼群行为社会性昆虫神经系统的涌现大气流动和水流模式12复杂系统体系结构设计新范式的提出12.3复杂系统体系结构设计新范式的框架复杂体系架构设计新范式概述新范式引入背景随着大数据、人工智能等技术的发展，提出了一种模型与数据混合驱动的复杂体系架构设计新范式。复杂体系架构设计的新范式示意新范式大数据引擎：负责采集并管理体系运行数据。人工智能引擎：基于大数据分析结果、体系运行机理模型和领域知识模型进行学习、推理，生成适合当前状态和长远目标的规则、准则和策略。12复杂系统体系结构设计新范式的提出复杂体系架构设计新范式的关键问题体系智能化过程：通过体系表征和计算程序实现的，涉及到如何认识环境、处理数据、做出决策及应激反应。体系成员的机制：包括自学习、自决策、自组织、自同步、自适应等机制。整体的协作机制：体系整体的行为包括互连通、互操作、互认知和互协作的机制。复杂体系的运行机理描述体系组成及关系：体系的构成和成员之间的关系需要进行详细描述，以便理解体系的结构和功能。刻画体系特征及度量指标：对复杂体系的核心特征进行精确的量化和度量，为体系设计提供准则和依据。复杂体系的表征架构设计方法：在新范式下，需要研究体系架构设计的内容、表述方法、设计方法和过程。新的方法论：发展出新的方法和技术，帮助复杂体系的设计与演化。复杂体系架构设计与演化01020312复杂系统体系结构设计新范式的提出复杂体系架构设计新范式面临的挑战02庞大的设计空间：复杂体系架构要素和关系的规模极大，设计空间探索的复杂性非常高。探索与演化路径的难题：设计方案的探索与确定演化路径是一个非确定性多项式问题。复杂体系架构设计空间探索的复杂性04架构智能演化：如何利用人工智能，特别是大数据、云计算等技术来实现复杂体系架构的“智能演进”，是一个前沿问题。实践中面临的难点：数据的收集与总结过程漫长且高成本，技术的应用尚不明确。人工智能在架构演化中的应用挑战01成员多样性与关系复杂性：体系成员的规模大、类型多，且成员间关系涵盖多个域，如信息、物理、能量等。度量指标的选择：如何选取适当的变量和方法来描述体系，并建立核心特征的度量指标。复杂体系表征中的复杂性03非线性和反馈是复杂体系产生多样性的根源，如何分析这些非线性关系及反馈环路，并找到其规律是一个复杂的任务。非线性对体系运行机理研究的挑战12复杂系统体系结构设计新范式的提出复杂体系架构设计新范式的思路转变传统与现代方法的差异传统复杂体系设计偏重静态架构设计，侧重对系统结构的固定描述新范式的思路转变为动态架构设计，