【《深度神经网络于不确定性量化的应用及精度对比》18000字】

深度神经网络于不确定性量化的应用及精度对比 2第二章基于MATLAB的有限元分析 32.1引言 4 42.2.1加权余量法 42.2.2变分方法 72.3弹性力学基本方程 8 2.4.1前处理部分 112.4.2计算单元矩阵及单元节点载荷向量 12 122.4.4施加约束条件 132.5算例分析 183.1引言 18 19 3.3.2全连接神经网络反向传播算法 213.3.3损失函数讨论与分析 21 交叉熵损失函数 3.3.4激活函数讨论与分析 22 23 25 26LeakyReLU激活函数 26 27 28 28 32 344.1引言 34 3424.2.2循环神经网络原理 35如上图所示，定义输出层神经元公式为 354.3基于循环神经网络的不确定性量化 4.3.1自变量，低精度解与高精度解 4.3.2自变量与高精度解 39第五章基于贝叶斯神经网络的不确定性量化 41 415.2贝叶斯神经网络概论 5.2.1变分推断 425.3基于贝叶斯神经网络的不确定性量化 5.3.1自变量，低精度解与高精度解 5.3.2自变量与高精度解 45参考文献 从真实世界中的物理系统到计算机科学中的仿真模型，每一个系统或者模型都存在不确定性。如图1-1所示为不确定性分类图。客观存在的，可以通过概率方法进行统计分析，也称为客观不确定性。随机不确定性又可以分为同方差不确定性和异方差不确定性。同方差不确定性是指输出的不确定性不随输入的不同而改变，异方差不确定性是指随着输入的改变，输出的不确定性将发生改变，实际问题中异方差不确定性往往占据多数，降低了模型的认知不确定性往往是由于知识不够，数据不足，认知有限等因素造成的不确定性。认知不确定性主要包括参数的不确性和结构的不确定性，对于参数不确定性往往先假设参数服从某一分布，再根据给定的数据观察参数分布的变化，也就是估计后验分布，进而得到参数的概率估计来表征参数的不确定性。结构不确定性是选择模型时所带入的误差(谢泽楷，傅雅萍，2022)[1]。而不确定性量化(UncertaintyQuantification,UQ),就是一门在计算应用领域进行定量表征和降低不确定性的科学。KarenWillcox和YoussefMarzouk定义：在实际应用中，不确定性量化主要包括定量表征和不确定性管理。它涵盖了数据观测，理论分析和计算机模型等领域(王宇鹏，刘洛兮，2023)。以当前的背景条件为基不确定性量化涵盖许多任务，包括灵敏度分析，不确定性传播，统计推因此，不确定性量化从应用数学和统计学中引用了许多基础性知识及概念，例如：误差估计，近似理论，蒙特卡罗方法和随即建模{2]。不确定性量化不仅可以应用于工程领域，而且也可以延伸到金融领域，使这些行业受益匪浅。当系统某些方面无法准确确定的情况下，不确定性量化可以应用在量化和确定系统某个输入或者输出的可能性有多大的问题中，以上面各项分析情况为据在自然灾害预测，股市涨跌预测，保险业务，产品可靠性估计等实际应用中发挥着举足轻重的作用(秦思远，许君浩，2021)[3]。而深度学习是一种高效的非线性高维数据处理方法6,应用于不确定性量化中，可以有效实现高维度数据分析，进而确定不确定性的来源，对比线性回归模型和自回归模型，深度学习模型有更强的能力剔除变量中的可预测的确定性成分进而得到不确定性的量化(谢俊朗，郭晓婷，2020)。所以研究基于深度神经网络的不确定性量化的方法是很有价值和意义的。第二章基于MATLAB的有限元分析4本章主要实现基于MATLAB的有限元分析，为后文深度神经网络的搭建提供数据和算例。在现实工程与系统的分析中，人们已经可以得到相应系统所遵循的基本方程和得到定解所需要的约束条件，但是因为这些方程往往都是偏微分方程或者常微分方程，用解析方法求得高精度解的难度很大，对于大多数问题来说，还是依赖于用数值方法求解，鉴于当前状况看而有限元方法就是一种行之有效的数值求解方法(白逸凡，熊馨月，2023)。有限元方法的基本思想是将连续的求解区域通过网格离散为有限个，按照一定顺序排列的单元，单元与单元之间通过节点连接，单元又有不同的划分方式，以此实现用单元内的近似函数来分片表示整个求解区域上未知的场函数。如此一来，未知场函数或者其导数在各个节点处的数值成为了新的自变量，而且由于单元是有限的，故新的自变量数目也是有限而且由于单元划分方式不一致，解的精度也是可以控制的。如果单元满足收敛条件，解的精确度是和单元的密度成正比的，单元足够密集，近似解将收敛于精确解(马飞，肖俊杰，2021)。2.2建立有限元方程的基本方法从确定单元的方法和求解方程的理论基础出发，最早的有限元方法是直接刚度法，其理论基础来源于结构分析中的刚度法。后来，有限元方法被证明其只是基于变分原理的Ritz方法的变形方法，现有结果为我们的推论提供了坚实支撑以此确认了有限元方法在求解连续介质问题上的普适性(周建强，孙泽宇，2021)。不需要满足任何边界条件，而后者是在全局假设和建立近似函数。故而有限元方法可以用来处理很复杂的连续介质问题。至于后来出现的加权余量法主要应用的加权余量法是一种基于微分方程等效积分的求解微分方程近似解的有效方法，可以用来建立有限元方程。一般的工程分析问题是用未知场函数应该满足的微分方程(2-1)和边界条件(2-2)来表示的式中，域Ω可以代表体积域，也可以代表面积域等等；而T是域Ω的边界。未知来核实数据的有效性，且识别出潜在的异常数值。通过对数据分布特性的透彻分析，本文能够切实排除那些明显脱离正常区间的数据点，并且保留富有代表性的样本情况。此外，本文还运用敏感性分析去衡量不同参数改变给研究结论带来的由于式(2-1)在域Ω中的点均满足为0的条件，故得到其中V={v₁v₂…}是函数向量，是一组与微分方程的个数完全相等的任意函数。对于所有的向量函数V和V成立，而且等效于式(2-1)和式(2-2)。这里要求式(2-5)是可以计算的，故V和V必须满足可积的条件。这在一定层面上展现如果场函数u是精确解，那么上面各式必然满足，但是由于精确解u往往很难得到，对于上面所描述的问题，可以用有待定参数的近似函数来表示，近似函数可6满足边界条件和连续性的要求。一边情况下，由于n为有限值，故精确解与近似解之间会存在残差R和R,我们将其定义为余量，如式(2-7)所示(陈雨倩，黄俊对于式(2-5),用n个已经选定的函数来进行近似代替这样就可以得到近似的积分等效形式j=1,2,L,n)由式(2-8)和式(2-9)可知，当待定参数α取一定值时可以使余量在平均意义上接近于0,我们将W;和W,称之为权函数。通过将余量的加权积分设置为0得到一组方程组，用这组方程组来求解未确定的待定系数，进而得到近似解，将式(2-8)展开为方程组得上面所示方程中权函数W和W,的函数阵列的阶数分别与A,B中的元素个数相同。近似函数取的项数n越多，近似解与精确解之间的残差越小。当n趋近于无穷时，近似解将收敛于精确解(高俊杰，何雨琪，2021)。这种采用余量积分为0的方法就称之为加权余量法。本文以已有的理论为依托构建起框架模型。在信息流的各个流程以及数据分析的方法运用上，都体现出对前人研究成果的敬重与继承，同时也实现了创新与拓展。在信息流的设计方面，本文借鉴经典的信息处理理论，保证信息从采集、传输到分析的每一个环节，都能高效且准确地进行。通过对数据来源的严格筛选，执行标准化的处理流程，使信息质量得以有效保障，从而更2.2.2变分方法对于连续介质问题，可以定义未知函数u的泛函为其中F和E都是特定的算子，Ω和T分别为泛函Ⅱ对微小变化ou取驻值来得到连续介质问题的解u,即泛函Ⅱ的变分等于零同样的，对于用变分方法求解的问题，还是可以通过用带有待定参数的试探 (郑建华，黄健雄，2023)。而泛函的变分为零，实质上就是将泛函对所有的待定参数取全微分，并且令其等于零，如式(2-13)所示通过式(2-14)可求得待定参数α。及其导数的最高阶次为二，称泛函Ⅱ为二次泛函。二次泛函进一步可以将其改写再将式(2-15)进行变分得到8又因为矩阵K的子矩阵文综述中的结论基本吻合，这一现象首先凸显了本研究所采用方法在有效性与可靠性方面的显著优势。这种高度的一致性不仅对先前研究结论进行了有力验证，同时也为当前的理论框架增添了更为坚实的支撑。凭借严谨的研究设计、系统的数据收集以及科学的数据分析，本文成功复现了前人研究中的核心发现，并在此基础上展开了更为深入的探究。这一过程不仅进一步巩固了本文对研究假设的信通过式(2-15),可以将泛函表示为因为dα为任意的，故由式(2-15)可得又因为对式(2-19)进行变分可以得到在线弹性力学中，当载荷作用于弹性体内任意一点时，该点的应力状态可以由6个应力分量进行表示应变状态可以由6个应变分量进行表示在弹性体V域内的平衡方程为上式中X,Y,Z分别为单位体积的体积力在坐标轴上的分力。上式中1,m,n为弹性体边界外发现的方向余弦，X,Y,Z为单位面积的面积力在坐标轴上的分量。(姜立军，陆晓峰，2021)几何方程定义为位移边界条件本构关系为如果为各向同性材料，则2.4MATLAB有限元法基本步骤在MATLAB进行有限元分析不同于用商用有限元分析软件程完成分析，而且处理方法也不同于其他软件。相较于其他专业的有限元分析软作而言，本文主要通过一系列严格的方法和措施，确保数据的准确程度以及结果的可靠程度。精心构建了详细的研究方案，对可能引发误差的各类因素，包括环境变量、人为操作的差异，以及数据计算的精度等，进行了全面的分析与权衡。采用规范化的操作流程和技术手段，保障数据的一致性和可重复性。为进一步优化数据质量，还建立了双重数据录入和交叉验证的制度，有效避免了因人为的疏2.4.1前处理部分在这一部分，主要工作是定义变量，对网格划分，模型建立进行阐述，虽然MATLAB支持不定义变量就可以使用，但是为了程序的严谨和代码的可读性，还在整个分析过程中，单元的划分是最复杂的一部分。但是因为一般的商业软件已经可以做到单元的细致划分，在这样的条件背景下可以推知其事态如果是为了追求有限元分析的精确，建议还是使用专业软件如：AN王思远，刘锦涛。MATLAB主要用于理论探索与验证，没有必要停留(9)element_damping_matrix:单元阻尼矩阵(10)element_load_vector:单元载荷向量矩阵(12)structural_mass_matrix:系统质量矩阵(13)structural_damping_matrix:系统阻尼矩阵除此之外还需要的定义一些循环变量和材料的属性变量。因为计算单元矩阵与选择的单元类型息息相关，所以这一部分将在章节2.5算例中将详细介绍。系统的刚度矩阵，质量矩阵，阻尼矩阵和节点的载荷向量都是由相对应的单元矩阵组装而成。整个装配过程中所遵循的关系是单元位移编号和系统整体位移编号之间的对应关系(许睿达，孔嘉诚，2022)。当进行数据分析方法的抉择时，本文不但采用了传统的统计分析手段，例如描述性统计、回归分析等，还引入了近些年发展迅速的数据挖掘技术和算法。例如，通过聚类分析寻找数据中的潜在模式，或者利用决策树算法对未来趋势加以预测。这些先进的方法为深入剖析复杂现象提供了有力的支撑，助力揭示海量数据背后的深层次联系。再者，本文特别强调混合方法的运用，将定量研究与定性研究相结合，以获取更全面的研究视实际应用中，首先对节点位移进行排序编号，使得单元矩阵中元素的排列和单元各节点位移编号相对应，以上面各项分析情况为据如果我们在建立单元矩阵的过程中使用的是单元坐标系，在组装系统矩阵之前，需要将单元坐标系转换为系统坐标系(吴志豪，郑雅晴，2019)。以系统刚度矩阵的组装为例，上述转换过程可以表示为上式中Ke为系统坐标系下的单元刚度矩阵，K°为单元坐标系下的单元刚度矩阵，T则为一个坐标转换公式。如果单元矩阵也是建立在系统坐标系下的，那么在组装由于系统刚度矩阵是由单元刚度矩阵组装而成，所以两者之间存在着相似的物理意义。主要性质有以下几点：(1)带状特性：一般情况下，将连续的实体离散化后，每个节点周围的单元只是少数几个，而通过单元与之有关系的其他节点也只是少数，所以可以把其余的节点位移定义为零，相当于只在求解的节点和相关节点上施加节点力。这样一来每一列中必然有大多数的元素为0,依上述分析可得出即使结构总单元数和总节点数编序是合理的，相邻节点之间的编号相差不是很多，这些占少数的非零元素将主要集中在主对角线附近的带状区域。考虑到时间因素的关键意义，在此暂不详尽论述上文结论的验证过程。科学研究一般呈现为一个漫长的过程，特别是在攻克复杂问题或者探索新兴领域时，需要足够的时间去观察现象、剖析数据，进而得出可靠的结论。尽管本研究已取得一定的初步成果，然而要对所有结论进行全面且细致的验证，还需要长期的跟踪研究以及反复的实验操作。这不仅有助于消除偶然因素的干扰，还能确保研究成果拥有更高的可信度和广泛的应用价值。再者，技术手段的发展水平对结论的验证进程有着重要的影响。(2)对称性：这是由于单元刚度矩阵对称性导致的。(3)稀疏：如(1)中所讨论的，非零元素只是占少部分，大多数元素都是0。基于上述特性，在MATLAB中可以使用稀疏矩阵来存储此类矩阵，节约所占空间，进一步的，利用对称性可以只存储非零元素的一半。不过在使用稀疏矩阵之前，需要先定义矩阵变量为稀疏矩阵。在上文中，通过模型的离散化得到了近似函数，所选择的函数在单元内部满足几何方程，但是在选择试探函数时候，并没有将边界上的唯一约束条件加上，故还需要将约束条件引入有限元方程。一般问题处理过程中，以当前的背景条件为基几何边界条件通常为若干个节点上的场函数的给定值来引入的。在静力学问题中，必须使系统的刚体位移足以2.5算例分析问题：图2-1所示为一受竖直向上集中载荷的悬臂梁，集中载荷F=1000N,梁长8米，高1米，鉴于当前状况看梁材料的弹性模量E=1.0×10⁶pa,泊松比为0.3,用二维等参单元进行静力分析。在有限元分析中，精度会随着单元节点数目的加而提高，但是插值函数的阶次也会随之增高。想要用较少的形状规则的单元进行复杂几何体的离散具有一定的困难，但是如果使用的单元的边界是曲线或者是曲面，这个问题就可以得到很好的解决了。所以要做的就是将形状规则的单元进行转化，使之成为曲线或者曲面，这就是等参变换。对于理论框架的核实与改进工作，本文搜集到充裕且详实的数据资源。这些数据覆盖了广泛的研究对象范围，在不同时间点以及多元的社会背景下都有涉及，为理论框架的全面验证提供了坚实支撑。利用统计分析工具对量化数据进行细致处理，能够有效检验原理论框架中的各项假设，发现其中的薄弱环节。后续研究将考虑纳入更多变量参数，或者选用更大规模的样本集合，以此进一步提升理论框架的解释能力与预测精准性。为解决上述问题我选用四边形等参单元求解。如图2-2所示为四边形单元的等参变换，等参变换的实质是从一个坐标系到另外一个坐标系的映射，前者是自然坐标系，看得出趋势来后者是物理坐标系。可以将其表达为式(2-31)在本问题中，取坐标系中的单元均为双线性单元，定义单元的形函数如式(2-32)现有结果为我们的推论提供了坚实支撑建立单元自然坐标系与物理坐标系之间的联系方程如式(2-33)(武景云，鲁启铭，2023)且在进行坐标变换时必须保证单元两个坐标系下的节点编号保持一致。根据上文所述，定义形函数进行插值运算，如式(2-34)上式中，i,j为物理坐标系下的单元坐标向量，将式(2-42)代入式(2-40)得故而将悬臂梁结构划分别划分为8个单元，16个单元，32个单元，64个单元进行计算，利用MATLAB编程求解得到悬臂梁自由端X,Y方向的位移如表2-1所示自由端位移8单元16单元32单元而是在一定的范围内波动，如果可以量化自由端位移的不确定性，将对悬臂梁设神经网络并不是一种算法，而是一种架构或者模型。神经网络的产生是受生物大脑神经元结构的启发，建立计算机网络来模拟生物大脑神经元之间的信息处理与传递，作为一种高度简化的模型，这种结构也被称之为人工神经网络。在本章节中，将主要讨论全连接神经网络应用于不确定性量化，联合前一章节中的算例进行分析(贺博远，齐明杰，2019)。主要内容包括全连接神经网络的基本结构，全连接神经网络前向传播算法推导，反向传播算法推导，损失函数的分析与讨论，从这个角度来看我们认识到以及算例实现基于有限元分析的多精度不确定3.2全连接神经网络概述神经网络的基本结构是神经元。如图3-1所示，类似于权重激活函数f()(w,w₂,W₃,w4,…,wn)与之相乘，同时存在一个阈值θ,当输入值与权重相乘求和之后如果小于阈值，神经元的输出值较小，称之为抑制状态，当输入值与权重相乘因为一个神经元中参数很少，其实现的功能只能是对数据进行线性分析，学习能力不足。为了实现更加复杂的功能，往往是把许多个神经元结合到一起来使用，使之成为一个网络，如图3-2所示(叶宇泽，刘家铭，2020)。通常来说一个神经网络包含输入层，隐藏层和输出层，第一层为输入层，最后一层为输出层，中间的为隐藏层。神经网络的学习能力主要有隐藏层赋予，隐藏层可以为任意层数，每一个隐藏层都可以有若干个神经元白逸凡，熊馨月。这在某种程度上映射了每一层之间的神经元之间不存在连接关系，不同层之间的神经元也不存在连接关系，只有层与层之间存在连接关系。本文构建的框架模型，其关键特点之一是灵活性与可扩展性。考虑到研究背景和需求的广泛多样性，本文在设计模型时，着重确保各组件的模块化特性。这使得本文能够根据实际情况，灵活地对特定部分进行调整或替换，而不影响整体架构的稳定与有效。这种设计方法，不仅增强了模型在实际应用中的意义，还为后续研究者提供了一个开放的平台，鼓励他们在现有基础上进行二次开发，实现模型的创新发展。层的类型多种多样，但是本文中的神经网络都采用线性层，因为线性层是最重要，最基础的层，其原理是线性变化，如式(3-2)所示。在神经网络中，每一层的输出的都会被当作下一层的输入，每一层都有自己的学习参数。在神经网络的命名时，通常不计入输入层，只计入隐藏层和输出层，图3-2所示神经网络就是一个四层神经网络(陈睿思，刘子航，2021)。上图所示也是一个典型的全连接神经网络，全连接神经网络其实就是除了输在该部分中，还是以线性层为例推导。全连接神经网络底层的算法运算过程程中：输入数据首先经过隐藏层，经过线性变换之后再经过激活函数，之后每个隐藏层的输出将作为下一个隐藏层的输入，直到最后的输出层。反向传播过程中：通过损失函数计算损失值，再经过优化器更新每一层网络的权重和误差。反复重复这两个过程，在这样的条件背景下可以推知其事态直到损失函数值足够小何明华，高伟强。优化器一般是用梯度下降算法来优化权重和误差。层变换后的数据层以图3-2所示的四层神经网络为例，推导神经网络的前向传播过程。当神经网络层数为其他层数时，原理不变，推而广之即可马飞，肖俊杰。在数据分析的工作中，已有的研究经验提醒本文要着重强化对新兴分析工具和技术的应用。伴随着信息技术的高速发展，诸如大数据分析方法、机器学习算法等先进工具，正逐步在科学研究中发挥重要作用。这些技术不仅能够让本文更高效地处理海量的数据，还能挖掘出传统方法难以察觉到的深层次信息和独特模式。所以，在后续研究里，本文需要积极探索怎样把这些先进技术融入到分析框架中，以增强研究结果的精准度和对数据背后信息的洞察能力。定义从输入层到第一层隐藏层的公式上标均为[1],以上面各项分析情况为据第一层隐藏层到第二层隐藏层的公式上标均为[2],激活函数定义为f,以此类推。则全连接神经网络的正向传播过程可以表示为式(3-3)A"=f(Z")A²=f(Z²)A³=f(Z³)A⁴]=f(Z⁴)3.3.2全连接神经网络反向传播算法对变量命名规则与前向传播过程保持一致，f表示激活函数的导数。则全连接神经网络的反向传播过程可以表示为式(3-4)dZ⁴]=A⁴]-Ydwl⁴]=dZ⁴]A³]TdWl²]=dz²]A[JTdW¹]=dZ²]x[ITdbl=dZl]3.3.3损失函数讨论与分析在神经网络中我们需要对神经网路训练出的神经元参数进行测试优化，这个时候就要用到损失函数了。人们总是希望自己的神经网络可以最大程度上提取数据特征，为了直观看到神经网络训练的效果，依上述分析可得出可以将神经网络训练的结果与真是的结果进行匹配，再经过损失函数计算神经网络的损失，以此作为网络训练好坏的评判标准周建强，孙泽宇。如果损失值不能达到满意度，那么就需要继续使用梯度下降算法对网络中参数进行权重和偏差的更新，直到拟合效果达到要求。现有的损失函数主要有两类：均方误差函数和交叉熵损失函数，具体介绍如下。均方损失函数均方损失函数主要应用在回归问题中：以当前的背景条件为基计算真实值和预测值之间的平方差的平均值。例如在房价预测的问题中，输出的预测值为一个实数，可以将预测的房价与真实的房价进行对比，取平方差的均值作为神经网络的损失值。交叉熵损失函数主要应用在分类问题中。如果神经网络执行的是二分类问题，神经网络的输出层必须使用Sigmoid激活函数，但是只需要一个输出神经元就够了，将输出值介于(0,1)之间，以0.5作为分界线，鉴于当前状况看大于0.5的作为一个标签输出，小于0.5的作为另外一个标签输出。Sigmoid激活函数将在下一章节详细讨论。如果是多分类问题，还需要再多家一步one-hot处理，同样的输出层选用Sigmoid激活函数邵子杰，樊慧琳。3.3.4激活函数讨论与分析在神经网络中，输入数据分为线性可分和线性不可分数据，如图3-4所示。对于线性可分的数据，输入与输出满足线性关系，公式表达为用最简单的神经网络就可以得到很好的学习效果。但是对于线性不可分的数据，这种方法学习能力不高。这时，加入激活函数，看得出趋势来神经网络可以学习到平滑的曲线，将大大提高神经网络处理非线性数据的能力，如图3-5所示。常见函数和Maxout函数，下面将—一介绍付旭东，成嘉宁。输入输入Sigmoid函数定义式如下Sigmoid函数图像如图3-6所示XSigmoid函数在神经网络中被频繁使用，该函数作用是将数据压缩在0到1之间，当输入非常大时，被压缩在1附近，当数据很小时被压缩在0附近，当输入数据为一个很大的负数时，被压缩在0附近，该函数很好地解释了神经元是否被激活的状态，当压缩后的值接进0时表示神经元没有被激活，当压缩后的值接进1表示神经元被激活张志华，陈天佑，成怡萱。但是Sigmoid函数也有自己的缺点，它容易出现梯度消失的问题，在使用反向传播算法时，随着传播深度的增加，该激活函数会导致浅层神经网络的权重值更新变慢，降低了学习效率，这样地特点带来的直接后果就是，对于一个深度学习网络，由于前几层的参数更新很慢，现有结果为我们的推论提供了坚实支撑只改变后面几层的参数，间接的将深度神经网络变成了一个浅层神经网络。于数据收集时期，本文采纳了多种途径，像是问卷调查、实地勘察以及文献查阅等，期望从不同视角获取丰富且详实的数据素材。通过对这些数据的条理化分析与处置，本文能够切实地证实研究假设，并探寻其中隐藏的规律性和潜在联系。然而，即便本研究取得了一定成效，本文也明白，任何研究都有其固有的短板。未来针对该领域的研究可以在当前的基础上进一步延伸深化，尤其是在样本的挑选、研究其次，Sigmoid函数处理数据的方式导致该函数的输出值均值不为0。导致了下一层网络的输入不是以0为均值的数据，这样的数据在后面的反向传播过程中tanh函数图像如图3-7所示XTanh函数是一个奇函数，该函数图像位于一三象限，函数值被限制在-1到1之间，严格单调递增。对面上面所述的Sigmoid函数，该函数解决了Sigmoid函数输出值均值不为0的问题，相较于Sigmoid函数有了一定的改进，应用范围更广，ReLU函数图像如图3-8所示。ReLU函数在近年来在深度神经网络中应用很广泛。该函数很好地解决了上面两个激活函数梯度消失的问题，相较于Sigmoid函数和tanh函数，该函数的导数为1或者0,求解梯度时很方便。这样的梯度特点该激活函数可以使得一些神经元的输出为0,使得网络比较稀疏，有效降低了网络但是同样的该激活函数也有自己的缺点。该激活函数比较脆弱，容易造成神经元死亡，比如一个较大的梯度经过一个神经元后，会导致该神经元不能再被激活，这样导致的结果就是从此刻开始，该神经元产生的梯度将一直为0,导致神经元在网络中不可逆的消失死亡了郑建华，黄健雄。当然神经元的死亡很大程度上取决于学习率的设定，学习率越大，神经元越容易死亡，这在一定层面上展现只XElu函数定义式如下Elu函数图像如图3-9所示XElu函数在x>0时为x本身，因为梯度始终为1,与ReLU函数相似，有效避免了梯度消失的问题，减小了正常梯度与单位梯度之间的差距，有助于神经网络快速收敛。当x<0时，该激活函数在输入数据较小时有软饱和性，有效提升了对LeakyReLU函数定义式如下LeakyReLU函数图像如图3-10所示X如上图所示，类似于ReLU函数，当x>0时，梯度为1,避免了梯度消失的问题。但是当x<0时该激活函数允许一个非零的梯度存在，这无疑解决了ReLU函数造成神经元死亡的问题。Maxout函数定义式如下数和LeakyReLU函数的泛化版本，当上式中w₁,b₁为0时，该激活函数便成了ReLU函数。因此，Maxout函数具有ReLU函数的优点，同时解决了梯度消失的问题。本文能够发现一系列可以优化和革新的领域。之前的研究阶段为本文提供了宝贵的经验，也让本文看到了方法上的局限，明确了哪些方法有效，哪些方法需要改进。就数据收集而言，本文应当更加注重样本的多样性与代表性，确保所选取的样本能够全面体现目标群体的整体特点。此外，针对不同的研究问题，灵活运用对比上面所述的几种激活函数，sigmoid函数由于输出值在(0,1)之间，在3.4基于全连接神经网络的不确定性量化本章节选用本文第二章所做的悬臂梁有限元分析进行进一步的工作。由于在实际工程中，因为制造工艺，材料特性等条件的制约，悬臂梁长宽，材料的弹性模量，所受载荷并不是一个确定值，而是随机变量，这造成了有限元解也是一个得到高精度的解就需要将单元划分的比较密集，从这个角度来看我们认识到但是这也会带来时间成本过高的问题，相反的，低精度的解所耗用的时间比较少。如果我们能建立自变量，低精度解，高精度解之间的联系，通过低精度解来估计高精度解，并且量化高精度解的不确定性，那么就可以做到以最小的成本得到满意我们的最终目的是通过自变量的不确定性来估计量化高精度解的不确定性。再通过该预测模型产生样本量比较多的预测高精度解。最后用预测的高精度解代替真实的高精度解，这在某种程度上映射了建立自变量与高精度解之间模型，量本章所有神经网络算例程序都是基于python3.7环境，选用的库为PyTorch,软件平台为JetBrainsPyCharm2019.1.1x64。PyTorch是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序。PyTorch的优点有：支持GPU;如上所述，在有限元模型中我将集中载荷，弹性模量，悬臂梁的长宽设置为在一定范围内的随机数。将单元数为8时产生的悬臂梁自由端竖直方向位移解定义为低精度解，将单元数为16时产生的悬臂梁自由端竖直方向位移解定义为高精度解，产生两组解的自变量保持一致。在上述条件下共产生低精度解1000个，对应1000组自变量；产生高精度解100个，对应自变量与低精度解前100个对应的自变量一致，以此作为神经网络的训练集；另外重新产生低精度解和高精度解各100个作为神经网络的测试集。部分结果如表3-1所示。F=1000+1000*rand;%集中载荷high_L=1+0.2*rand;%悬臂梁宽度E=le6+1000*rand;%弹性模量低精度解(m)高精度解(m)利用产生的结果，首先选取100个粗略解与其相对应的四个自变量和高精度解为训练数据，以四个自变量和低精度解作为输入集，高精度解作为输出集，放入已经搭建好的神经网络中训练网络，神经网络模型如图3-11所示。在训练过程中，为了保持量纲一致，提高神经网络的精度，需要对训练集原始数据进行了归图3-11全连接神经网络模型在网络的超参数设置中，将全连接神经网络的隐藏层数设置为两层，第一层包含40个神经元，在这样的条件背景下可以推知其事态第二层包含20个神经元，循环次数epoch取3000,激活函数为ReLU函数，损失函数为均方差函数，优化算法为Adam算法。经过多次调试，最终确定学习率Ir=0.1。损失函数值变化图如图3-12所示迭代次数由于自变量有多个，取其中一个自变量(集中载荷)为横坐标，以高精度解为纵坐标，得到训练后的模型效果如图3-13所示上图中，蓝色线代表训练集中，集中载荷与悬臂梁自由端竖直方向位移之间的关系，黄色线表示集中载荷与模型预测的高精度解之间的关系，两者拟合效果很好，损失函数值为1.2206e-6。以上面各项分析情况为据将测试集数据代入已经训练好的模型得到图3-14所示结果赵宇昊，李佳琳上图中，蓝色的点表示测试集中的原始高精度解，黄色的点表示通过训练好的模型预测出的高精度解，两者拟合良好。通过原始高精度解和预测高精度解之间的误差来检验模型的精度，误差函数选用均方根误差函数(RootMeanSquaredError,RMSE),如式(3-13)所示。得到误差为0.0069,误差在可以接受的范围3.4.2自变量与高精度解上述结果是建立了自变量，低精度解与高精度解之间的关系，是一个多精度模型，已经达到较好地效果。依上述分析可得出为了达到最终通过自变量估计和量化高精度解不确定性的目的，将训练集中的1000个样本代入已经建立的多精度模型得到了1000个预测的精确解，用这1000个预测的精确解代替真正的精确解，再次采用相同结构的全连接神经网络进行训练，取全连接神经网络的隐藏层数为激活函数为ReLU函数，损失函数为均方差函数，优化算法为Adam算法。经过多次调试，最终确定学习率Ir=0.2。以当前的背景条件为基取其中一个自变量(载荷)为横坐标，以高精度解为纵坐标，得到结果如图3-15所示王浩宇，张婉清悬臂梁自由端竖直位移悬臂梁自由端竖直位移上图中蓝色线代表多精度模型预测出的高精度解，黄色线表示通过自变量预测出的高精度解，两者拟合效果良好。为了保证在低精度解不参与预测情况下得到的预测高精度解误差满足精度要求，将测试集原始数据代入自变量与高精度解的模型，得到结果如图3-16所示悬臂梁自由端竖直位移悬臂梁自由端竖直位移如上图所示，预测高精度解与原始高精度解误差为0.0042,拟合效果良好，精度在接受范围内。故可以用预测的高精度解代替真实的高精度解进行高精度解的不确定性量化 (温志强，莫宇航，2021)。以预测出的1000个高精度解为样本，鉴于当前状况看计算得到当自变量为随机变量时，高精度解的均值，方差，标准差，变异系数，95%置信区间如表3-2所示，再取测试集高精度解真实值进行对比，结果如表3-2所示。可以发现预测值的均值比真实值的均值大0.0098mm,预测值的方差，标准差和变异系数都要比真实值小，预测值的置信区间的上限与真实值置信区间的上限接近，看得出趋势来但是下限与真实值有较大差距。总体来看，通过全连接神经网络进行不确定性量化在均值，方差，标准差，变异系数等指标上表现良好，但是在置信区间这一指标上还是有所欠缺。95%置信区间(m)第四章基于循环神经网络的不确定性量化本文第三章详细介绍了全连接神经网络和基于全连接神经网络的不确定性量化。本章节主要是为了对比不同的神经网络在进行不确定性量化时的效果，采用循环神经网络对第三章节所介绍的算例进行不确定量化。在本章节将详细介绍循环神经网络和使用循环神经网络进行不确定性量化的过程，主要包括循环神经网络基础知识，不确定性量化这两个方面。在章节三中已经详细推导了神经网络前向传播过程和反向传播过程，详细介绍了常见的损失函数和激活函数，由于循环神经网络和全连接神经网络在这些方面是一致的，故在这一章节将不再赘述，主要介绍循环神经网络自己的特点。循环神经网络命名是因为其传递信息的方式特别，如图4-1所示为一般前馈型神经网络和循环神经网络处理信息的对比图。如上图所示在前馈神经网络中，信息的流向只有一个方向，那就是从输入层到隐藏层，最后到输出层；但是在循环神经网络中，神经元的输入有两个信息，一个是过去学习到的信息，现有结果为我们的推论提供了坚实支撑另外一个信息是自身现在接受到的信息。所以循环神经网络做决定的时候，不仅要考虑当前的输入而且还会保留通过以前的输入信息学习得到的信息(秦思远，许君浩，2021)。这与前馈神经网络形成了鲜明的对比，这也是循环神经网络独一无二的特点。由第四章基于循环神经网络的不确定性量化于具有这样的特点，循环神经网络特别适合处理与时间有关的问题，常见的应用领域如：机器翻译，文本生成，视频图像处理，语音识别，文本相似度计算，推4.2.2循环神经网络原理与以前的输入也有关。具体来说就是循环神经网络自身会存储之前的信息，和当前的输入一起输入，然后得到新的输出，相当于隐藏层各单元之间是有连接的。如图4-2所示为循环神经网络简单示意图y⑥x₁x₂x₃图4-2循环神经网络简单示意除此之外，循环神经网络中的信息是可以前向传递或者前后双向传递。如图4-3和图4-4所示分别为前向循环神经网络结构和双向循环神经网络结构。在前向循环神经网络中，信息从前到后依次传递，这在一定层面上展现特点是信息单向流动，后面的信息受前面信息影响，但是无法反过来影响前面的信息(谢俊朗，郭晓婷，2020)。相反的在双向循环神经网络中，信息先正向传递，完成之后再反向传递一遍，将两次的信息混合之后再传入神经网络一遍，这样既考虑了前面ytyt4.3.1自变量，低精度解与高精度解在算例中，继续使用本文章节3.4.1中的有限元分析数据定性量化，数据前处理过程与全连接神经网络中数据处理过程一致。搭建的循环神经网络结构图如图4-5所示。在循环神经网络的超参数设置中，我将循环神经网络的隐藏层数设置为一层，包含5个神经元，循环次数epoch取2000,激活函数为ReLU函数，损失函数为均方差函数，这无疑地揭示了本质优化算法为Adam算法(白逸凡，熊馨月，2023)。经过多次调试，最终确定学习率Ir=0.02。损失函数值变化图如图4-6所示由于自变量有多个，取其中一个自变量(集中载荷)为横坐标，以高精度解为纵坐标，得到训练后的模型效果如图4-7所示悬臂梁自由端竖直位移悬臂梁自由端竖直位移如图所示，蓝色线代表训练集中，集中载荷与悬臂梁自由端竖直方向位移之间的关系，黄色线表示集中载荷与模型预测的高精度解之间的关系，两者拟合效果很好，损失函数值很小。将测试集数据代入已经训练好的模型得到图4-8所示结果上图中，蓝色的点表示测试集中的原始高精度解，黄色的点表示通过训练好的模型预测出的高精度解，两者拟合效果良好。通过原始高精度解和预测高精度解之间的误差来检验模型的精度，从这个角度来看我们认识到同样采用RMSE误差函数，得到误差为0.0056,误差在可以接受的范围内，模型精度良好。对比全连接神经网络，循环神经网络精度更好，数据拟合效果明显优于全连接神经网络。同样地，上述结果是自变量，低精度解与高精度解之间的关系，采用与本文3.4.2中相同的方法，取循环神经网络的隐藏层数为一层，隐藏层包含10个神经元，循环次数epoch取2000,激活函数为ReLU函数，这在某种程度上映射了损失函取其中一个自变量(集中载荷)为横坐标，以高精度解为纵坐标，得到结果如图4-9所示悬臂梁自由端竖直位移悬臂梁自由端竖直位移上图中蓝色线代表多精度模型预测出的高精度解，黄色线表示通过自变量预测出的高精度解，两者拟合效果良好。为了保证在低精度解不参与预测情况下得到的预测高精度解误差满足精度要求，我将测试集原始数据代入自变量与高精度解的模型，得到结果如图4-10所示，采用RMSE误差函数得到预测高精度解与原始高精度解误差均值为0.0056,拟合效果良好，精度在接受范围内。本研究各阶段所取得的研究成果及计算数据与前文综述中的结论基本吻合，这一现象首先凸显了本研究所采用方法在有效性与可靠性方面的显著优势。这种高度的一致性不仅对先前研究结论进行了有力验证，同时也为当前的理论框架增添了更为坚实的支撑。凭借严谨的研究设计、系统的数据收集以及科学的数据分析，本文成功复现了前人研究中的核心发现，并在此基础上展开了更为深入的探究。这一过程不仅进一步巩固了本文对研究假设的信心，同时也充分证明了所选研究方法的科学性与合理性。故可以用预测的高精度解代替原始的高精度解进行高精度解的不确定性量化。以预测出的1000个高精度解为样本，计算得到当自变量为随机变量时，高精度解的均值，方差，标准差，变异系数，95%置信区间如表4-1所示。对比全连接神经网络和真实值各个指标，发现相较于全连接神经网络，循环神经网络得到的均值，方差，标准差，变异系数和置信区间都更加接近真实值。所以使用循环神经网络不仅可以达到量化不确定性的目标，而且不确定性量化的整体效果都要优于全连接神经网络。方差(m)标准差(m)变异系数95%置信区间(m)第五章基于贝叶斯神经网络的不确定性量化本文第三章和第四章详细介绍了全连接神经网络和循环神经网络在不确定性量化中的应用。本章节同样是为了对比不同的神经网络在进行不确定性量化时的效果，采用贝叶斯神经网络对第三章节所介绍的算例进行不确定量化(马飞，肖俊杰，2021)。在这样的条件背景下可以推知其事态在本章节将详细介绍贝叶斯神经网络和使用贝叶斯神经网络进行不确定性量化的过程，主要包括贝叶斯神经贝叶斯神经网络与上文所述的全连接神经网络和循环神经网络在网络的拓扑结构上并无太大的差别，主要的区别在于全连接神经网络和循环神经网络的参数这样的设置实质是神经网络在概论方向的拓展，一方面保留了传统神经网络的结构，具有很强的可扩展性，同时随机变化的参数方便了通过参数的分布进行模型×OOvOZO对于给定的一个神经网络训练样本，包含自变量X和输出Y,贝叶斯神经网络的构成包括两部分：参数空间上的先验分布p(w)和贝叶斯回归的似然函数(5-1)参数w由输入的X,Y经过模型训练之后确定，参数的后验分布可以表示为除此之外贝叶斯神经网络与一般的神经网络在训练和测试过程上并无区别，不再赘述。由于贝叶斯神经网络在反向传播过程中需要计算梯度，而网络的参数都是随机变量，这给推理带来了不小的麻烦，故现在主要使用的方法是变分推断 (VariationalInference,VI)方法来近似。以上面各项分析情况为据该方法的核心思想是假设一个简单的分布来近似参数的后验分布，以此来减小运算量，如正态分布或者伯努利分布。接式(5-2)进行如下变分推导(周建强，孙泽宇，2021)。在实际的计算中p(w|X,Y)通常是计算不出的，不妨定义一个参数为θ的近似分布q(O),该近似分布应该尽可能的接近原来的p(w|X,Y),再通过最小化Kullback-Leibler(KL)散度检验近似分布与原分布之间的相似性，如式(5-3)假设以q8(の)作为优化的目标值，得到训练集外的点x的输出为：对式(5-3)进一步推导得依据上式，定义最小化目标函数为由于上式计算量巨大，不妨对上式进行转化得上式中Sc{X,Y},是一个大小为M的随机索引集合。5.3基于贝叶斯神经网络的不确定性量化在算例中，继续使用本文3.4.1中的有限元分析数据进行高精度解的不确定性量化，数据前处理过程与循环神经网络和全连接神经网络中数据处理过程一致。搭建的循环神经网络结构图如图5-2所示。依上述分析可得出在贝叶斯神经网络的超参数设置中，我将贝叶斯神经网络的隐藏层数设置为一层，包含15个神经元，每个神经元的参数都服从标准正态分布，循环次数epoch取2000,激活函数为ReLU函数，损失函数为均方差函数，优化算法为概率模型库PYRO中的Adam算法(付如图5-3所示图5-3贝叶斯神经网络Adam损失函数值变化图由于自变量有多个，取其中一个自变量(集中载荷)为横坐标，以高精度解为纵坐标，得到训练后的模型效果如图5-4所示悬臂梁自由端竖直位移悬臂梁自由端竖直位移图5-4贝叶斯神经网络训练效果图如图所示，蓝色线代表训练集中，集中载荷与悬臂梁自由端竖直方向位移之间的关系，黄色线表示集中载荷与模型预测的高精度解之间的关系，两者拟合效果很好，损失函数值很小。将测试集数据代入果悬臂梁自由端竖直位移悬臂梁自由端竖直位移上图中，蓝色的点表示测试集中的原始高精度解，黄色的点表示通过训练好的模型预测出的高精度解，两者拟合良好。通过原始高精度解和预测高精度解之间的误差来检验模型的精度，得到误差为0.0061,误差在可以接受的范围内，模型精度良好。虽然对比全连接神经网络和循环神经网络，以当前的背景条件为基贝叶斯神经网络精度要略逊一筹，但是整体的精度还在可以接受的范围内(张志华，同样地，上述结果是自变量，低精度解与高精度解之间的关系，采用与本文3.4.2中相同的方法，取贝叶斯神经网络的隐藏层数为一层，隐藏层包含20个神经元，每个神经元的参数都服从标准正态分布，循环次数epoch取2000,激活函数为ReLU函数，损失函数为均方差函数，优化算法为概率模型库PYRO中的Adam算法。经过多次调试，最终确定学习率Ir=0.03。取其中一个自变量(集中载荷)为横坐标，以高精度解为纵坐标，得到结果如图5-6所示悬臂梁自由端竖直位移悬臂梁自由端竖直位移上图中蓝色线代表多精度模型预测出的高精度解，黄色线表示通过自变量预测出的高精度解，两者拟合效果良好。鉴于当前状况看为了保证在低精度解不参与预测情况下得到的预测高精度解误差满足精度要求，将测试集原始数据代入自变量与高精度解的模型，得到结果如图5-7所示如上图所示，预测高精度解与原始高精度解误差均值为0.0053,拟合效果良好，精度在接受范围内。类似的可以用预测的高精度解代替原始的高精度解进行高精度解的不确定性量化。以预测出的1000个高精度解为样本，计算得到当自变量为随机变量时，高精度解的均值，方差，标准差，变异系数，95%置信区间如表5-1所示。根据全连接神经网络和循环神经网络预测结果，发现三者在各个指标上相差不大，但是循环网络明显拟合效果最好，看得出趋势来各个指标与真实值的误差也要最小。而贝叶斯神经网络相较于全连接神经网络，在各个指标上更加符合真实值的数字特征。所以总的来说在本文量化高精度解的问题中，循环神经网络表现最好，其次表5-1高精度解不确定性量化结果方差(m)标准差(m)变异系数95%置信区间(m)贝叶斯神经网络[1]谢泽楷，傅雅萍.基于深度学习和不确定性量化的数据驱动剩余寿命预测方法研究[D].中[2]王宇鹏，刘洛兮etal.Large-scaleinverseproblemsandquantificationofuncertainty[M].John[3]KeynesJM.Thegeneraltheoryofemployment,interest,andmoney[J].EconomicRecord,1964,[4]温志强，莫宇航.故障预测与健康管理技术综述明.电子测量与仪器学报[J].2010(1):1-9.[5]PaceNG,JensenF.Impactoflittoralenvironmentalvariabilityofacousticpredictionsandsonarperformance[J].SpringerNetherlands,2002,11(12):213-218.[6]HintonGE,SalakhutdinovRR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science,2006,313(5786):504-507.[7]秦思远，许君浩.高斯过程回归在不确定性量化中的应用[D].上海交通大学，2018.ProceedingsoftheThirty-FourthConferenceonUncertaintyin[9]KlirG,YuanB.Fuzzysetsa[10]GuanJW,BellDA.Evidencetheoryanditsapplications[M][11]JaulinL.Appliedinter