【《基于人工神经网络的信号完整性问题分析案例》8400字】

基于人工神经网络的信号完整性问题分析案例目录TOC\o"1-3"\h\u7002基于人工神经网络的信号完整性问题分析案例 1284801.1引言 1317231.2基于人工神经网络的函数拟合 1114651.2.1感知机 214751.2.2多层神经网络的训练过程 4101171.3神经网络模型在预测互连性能中的应用 7117411.3.1神经网络模型的建立 7171311.3.2基本互连结构的S参数幅值的预测 827351.3.3互连结构的仿真 10248401.3.4神经网络的训练和结果分析 12引言分析高速电路的信号完整性问题实际上就是计算电路作为一种高频电磁结构在相应频率的电磁场中的各类性能指标。由于这类电路的仿真计算实际上依赖于电磁场仿真软件，而此类软件又往往要耗费大量计算成本，因此在实际的电路的信号完整性设计中难以做到总是依据电磁场仿真软件的指导进行设计，更多时候还是依赖于设计者本身的电路设计经验。这种依赖于经验的工作特点使得利用多层神经网络对高速互连的信号完整性建模成为了一种比较自然的想法。因为对于一个神经网络而言，其拟合信道参数所需的仅仅只是现有的仿真数据而已。正如文献[14]所指出，神经网络可以被用作一种通用的函数拟合工具。使用人工神经网络对互连结构进行直接建模的过程中，只需要知道影响互连性能参数的所有几何参数与材料参数，以及仿真计算得到的性能结果，就可以得到描述互连的电气特性的神经网络。基于人工神经网络的函数拟合对于一个如图13所示的典型的前馈神经网络（Feedforwardnetwork）而言，其基本构成部分有三个：由输入节点构成的输入层，由若干神经元（或称感知机，perceptron）[28]节点构成的居于输入层和输出层之间的隐藏层，以及最终的结果输出层。图SEQ图\*ARABIC2前馈神经网络示意图其中输入层由网络的输入数据样本点构成，其中每一个神经元就对应输入数据集的一个维度。输入层中每个节点将输入数据直接输出到下一层。而根据所处理的数据集的自身特点，在实践中往往需要对输入数据进行预处理操作（例如“数据清洗”）再输入到网络中进行训练，当然，也可以直接输入未经处理的数据直接进行学习。感知机在隐藏层中，每一个神经元都是一个感知机。并且每个神经元节点都要接受来自于其前一层所有节点的输出。感知机的基本结构如图14所示：图SEQ图\*ARABIC3感知机模型在感知机中，一组长度为n的一维向量x=[x1,x2,xz=用矩阵形式表达即为：z=不难看出，净活性值只不过是输入参数的线性加权求和，无法对线性不可分问题做出比较好的描述。为使感知机能够处理非线性的拟合问题，需要在感知机的线性部分后加入一个非线性的激活函数σ(x)得到激活值作为输出，也即最终输出a为：a=σ而此处的激活函数具体而言可以有很多类型，这里简要介绍几种：图SEQ图\*ARABIC4常用激活函数的图像1.符号函数，也即y=sgn(x)，具体表达式为：y=符号函数的图像如图15(a)所示。2.Sigmoid函数[28]，其定义为：y=由sigmoid函数的表达式和图15(b)所示的函数图像可见，sigmoid函数可以把实数域上的任意输入映射到区间[0,1]内，可以很好的控制神经网络中所前馈数据的大小。除此之外，我们不难计算得到sigmoid函数的导数为：sigmoi可见，sigmoid函数的导数可以用sigmoid函数本身的值直接进行四则运算得到，因此在利用反向传播算法计算误差函数关于网络权重的梯度时可以直接重复利用sigmoid函数的计算结果而无需额外计算。3.RectifiedLinearUnit(ReLU)函数[29]，其定义为：y= 由ReLU函数的表达式和图15(c)所示的函数图像可见：在输入量为正时，ReLU函数将输入量原封不动地输出，在输入量为负时，ReLU函数输出0。与sigmoid函数和sign函数不同，ReLU不能将输入量压缩至固定区间内，而是将输入量映射到半开区间[0,+∞)上。除此之外，ReLU函数的导数表达形式比sigmoid函数更简单：ReLU即输入量为正是导数为1，输入量为负时导数为0。 4.LeakyReLU函数[29] ReLU函数在输入值为负时会出现导数为零的现象，在多层网络中会导致总梯度计算结果归零。为了改善这一缺陷，LeakyReLU函数给负输入值也补上了梯度，其表达式如下：LeakyReLU 其函数图像如图15(d)所示（其中p=0.02）。5.双曲正切tanh函数[29]，其定义为：y=通过对比tanh函数与sigmoid函数的表达式我们可以发现：tanh即tanh函数可以通过sigmoid函数经过伸缩和平移得到，类似于单位阶跃函数与sign函数的关系。tanh函数的图像如图15(e)所示。多层神经网络的训练过程尽管添加激活函数之后的感知机本身也可以进行学习数据的训练，但是限于单个神经元的表达能力，感知机只能解决较为简单的任务。要真正创造出性能较好的拟合器，必须利用由感知机组成的多节点多层的运算网络，也即全连接层来实现。以图13中的神经网络为例，其输入层共有3个节点。第一个隐藏层中有5个节点，其中每个节点都要接收来自输入层的3个输入的加权求和以及神经元本身的偏置，然后再将求和得到的结果通过激活函数输出。用矩阵来表达整个过程就是：O其中，向量O为第一个隐藏层的输出，向量X为输入，矩阵W为权重矩阵，包含全连接层中所有的连接权重，矩阵b为偏置向量，包含本层中每个感知机本身的偏置值[28]。通过不断增加上述的全连接层，保持前一层的输出节点数与后一层的输入节点数相等，就可以构建出较大规模的神经网络。该网络中的每个全连接层都以形如式(3-10)的形式进行计算，一层一层依次运算，就可以得到整个神经网络的最终输出。仅得到一个未经验证的输出是远远不够的。在神经网络完成前向计算之后，还需要计算网络在本次迭代中的输出与真实值的偏差L，即：L=g其中fθx表示以参数矩阵θ描述的神经网络对输入向量x的整体作用，即表示神经网络的最终输出。而g(x)表示一个用于度量网络的输出值和数据集中的真实值之间距离的误差函数，有时也称为损失函数（Costfunction）均方误差（MeanSquaredError,MSE）函数表达式如式(3-12)所示：MSE=其中dout表示输出结果的维度，yi表示网络的输出值，训练网络的过程就是通过对训练集的学习寻找一组θ∗使得损失函数Lθ若每一个参数在每一个感知机的运算中都没有出现梯度消失的情形，那么利用梯度的链式法则，将每一层中激活函数关于网络参数的梯度与损失函数关于网络参数的梯度相乘并求和，便可以得到神经网络的参数矩阵θ中所有参数的梯度信息。然后根据梯度下降算法来迭代更新神经网络的参数矩阵θ便可以逐步缩小每次迭代之后的损失函数L：θ其中η是学习率，负责调整每次迭代中改变θ中连接权值的幅度[28]。上述过程即为训练神经网络的基本流程，该流程可以被概括为如算法1所示的流程：算法1：基于梯度下降的神经网络训练算法初始化参数矩阵θwhile误差函数L=g∙从训练集获得输入向量x计算整个神经网络的输出a计算误差函数L计算误差函数关于每个参数的梯度∇更新参数矩阵θ：θendwhile输出：参数矩阵θ值得注意的是，基于梯度下降算法对误差函数L进行优化的效果十分依赖于学习率η，较大的学习率容易使优化性能上下波动，容易跳出最小值区域；而太小的学习率又会导致迭代次数的大幅上升，造成误差函数收敛太慢的问题，而且也不易跳出局部最优的区域。因此在普通的梯度下降算法中，如何选择恰当的学习率数值成为了一个主要的问题。针对梯度下降算法的缺点，许多使用不同策略的优化方法被提出，例如自适应学习率（Adaptivelearningrate）梯度下降法[30]，使用动量（Momentum）的随机梯度下降法以及均方根传播（RootMeanSquarePropagation,RMSProp）算法[29]。本文中使用梯度下降算法的一种改进算法，自适应矩估计（AdaptiveMomentEstimation,Adam）法[31]来进行求解误差函数最小值的优化过程。在Adam算法中，先计算误差函数关于网络参数的梯度的矩估计，再利用上述估计量在每个迭代周期中更新学习率，从而免去了手动寻找学习率的困难。其具体的计算过程可被概括为如算法2所示的流程，其中矩估计的指数衰减速率分别为β1和β2，ϵ是一个防止除0错误的常数，根据文献[31]中的说明，学习率η取0.001，β1取0.9，β2取0.999，算法2：基于Adam优化算法的网络训练初始化一阶矩估计m初始化二阶矩估计nwhile误差函数L=g∙从训练集获得输入向量x计算整个神经网络的输出a计算误差函数L计算误差函数关于每个参数的梯度g更新有偏一阶矩估计m更新有偏二阶矩估计n修正一阶矩的偏差m修正二阶矩的偏差n更新参数矩阵θ：θendwhile输出：参数矩阵θ神经网络模型在预测互连性能中的应用神经网络模型的建立在常用的电磁场仿真软件的使用中，用户通过设定尺寸参数、材料种类以及边界条件来进行计算从而获得互连结构的性能参数。而人工神经网络建模的目的就是用神经网络代替电磁场求解器完成这一计算过程，以加速互连线设计中的优化过程。神经网络的功能如图16所概括：图SEQ图\*ARABIC5神经网络模型的功能以微带线为代表的二端口互连结构为例，其S参数矩阵如式(3-18)所示：S= 由于互连结构两个端口对称且互易，所以矩阵中S22=S11，S12=S21。从而在式(3-17)所示的散射矩阵中，只需要确定图SEQ图\*ARABIC6神经网络对互连S参数的直接建模然而，在这种模型的思路中，模型所需要的训练数据随着网络输入参数的增多成倍增长，神经网络本身也需要拟合着两个高维空间之间的关系，训练难度比较高。因此本节中仅对单个S参数的幅值进行神经网络的建模预测，以验证这种方法的有效性。基本互连结构的S参数幅值的预测首先需要确定神经网络的输入参数。考虑到仿真实验扫参的运行时间，这一部分选择建立仅考虑互连尺寸参数和介质相对介电常数的单输出神经网络回归模型。互连尺寸参数的数量取决于互连自身的几何结构。本节中以三种具体的互连结构，微带线、差分微带线、接地共面波导为例，探究预测不同的互连S参数幅度的神经网络模型的性能表现。微带线是印刷电路板中最常用的一种互连线，可以传输准TEM模[22]，其横截面如图18所示。图SEQ图\*ARABIC7微带线的横截面示意图如图18所标注，可以观察到影响微带线电磁特性的结构参数有：金属微带的厚度，微带宽度w，介质层厚度h，介电常数ε以及互连的长度L。由于金属片厚度相比其余的几何参数非常小，本文中所涉及到的所有的互连结构中，均没有考虑金属厚度对互连的影响。因此，搭建一个五输入节点，单输出的神经网络，便可以利用含频率f在内的5个参数对S11和S21的幅值进行学习。以预测S11为例，该网络的示意图如图19所示：图SEQ图\*ARABIC8预测微带线S参数的神经网络在图19所示的预测微带线S11幅值的神经网络中，共设置了3个隐藏层，每层各有128个节点。网络搭建完毕后读取S11仿真数据点构成的数据集，再根据算法2即可对网络进行训练。预测微带线差分微带线也是一类常用的互连结构[26]。差分微带线的两根微带上所传输的两路信号幅度相同，方向相反，构成一对差分对。作用在两路微带线上的共模噪声在接收端两路信号相减时会相互抵消。因此差分微带线相对于单根微带线具有更强的抗共模噪声能力。其横截面如图20所示。图SEQ图\*ARABIC9差分微带线的横截面示意图与微带线略有不同，差分微带线在介质基板上放置了两条微带，在传输信号时，两条微带上的信号幅度相同相位相反。由于差分线相比于普通二端口互连的具有更为复杂的工作模式，普通的单端S参数无法描述共模信号和差模信号的工作特点，所以需要引入混合模S参数来描述[32]。由于本节中所搭建的差分微带线模型对称性较好，模式转换参数非常小，因此本节中仅对Sdd11,Sdd21,差分微带线中，两条微带之间的距离记为S。如图20中所示。影响差分微带线电磁特性的尺寸参数有：微带宽度w，介质层厚度h，微带间距S以及微带线的长度L。共面波导的介质基板平面上制作了三部分金属，中间的金属为微带，两侧接地的导体与微带共面。而接地共面波导（GroundedCoplanarWaveguide，GCPW）具有金属填充的过孔将两侧的接地导体相连接，使其接地导体有一致的接地性能[26]。GCPW的横截面如图21所示。图SEQ图\*ARABIC10接地共面波导的横截面示意图接地共面波导在介质基片的表面放置了微带与接地面。微带与接地面之间的间距记为S。从图21中可以观察到，影响GCPW电磁特性的尺寸参数有：微带宽度w，介质层厚度h，微带与接地面的间距S，以及GCPW的长度L。GCPW中的尺寸参数是三种互连结构中最多的，加上信号频率f共有6个输入参数，因此学习其散射参数的神经网络输入层应该有6个输入节点。该网络中具有3个隐藏层，每层各有128个节点。互连结构的仿真神经网络的设计完成后，需要分别对三种互连线的性能参数进行电磁仿真，以获取用于训练神经网络的数据集。根据微带线的定义，利用电磁场仿真软件高频结构仿真器HFSS搭建其3D电磁仿真模型如图22所示，此3D模型用于计算微带线两个端口之间的S参数仿真结果。图SEQ图\*ARABIC11微带线的3D电磁仿真结构在仿真中，考虑到个人电脑计算能力的限制，将仿真频率范围限制在5GHz~7GHz之间，频率扫描步长为100MHz，共21个频率数据点，每个几何参数设置10个扫描数据点，所扫描参数的具体情况如表3所示。表SEQ表\*ARABIC2微带线3D仿真的参数扫描点参数扫描点数参数范围步长频率f115GHz~7GHz200MHz微带宽度w56mil~6.9mil0.2mil介质层厚度h56mil~6.9mil0.2mil互连长度L10100mil~190mil10mil相对介电常数εr82~91从表3中可以看到，仿真软件运行完毕后得到2000组扫频结果。类似地，差分微带线的3D电磁仿真模型如图23所示。图SEQ图\*ARABIC12差分微带线的3D电磁仿真结构与微带线仿真中略有不同，差分微带线仿真中加入了一个新的尺寸参数，微带间距S。所扫描参数的具体情况如表4所示。表SEQ表\*ARABIC3差分微带线3D仿真的参数扫描点参数扫描点数参数范围步长频率f115GHz~7GHz200MHz微带宽度w56mil~6.8mil0.2mil介质层厚度h56mil~6.8mil0.2mil互连长度L10100mil~190mil10mil微带间距S58mil~8.8mil0.2mil相对介电常数εr42~82根据GCPW的物理结构，其3D电磁仿真模型如图24所示，用于计算GCPW两侧端口之间的S参数仿真结果。图SEQ图\*ARABIC13接地共面波导的3D结构然而，由于独立的过孔数目太多，图24所示的模型计算一次需要耗费的时间太长，因此在实际仿真中本文将金属过孔替换成连续的金属壁以加快仿真速度。实际仿真的HFSS三维模型如图25所示。图SEQ图\*ARABIC14接地共面波导的实际仿真3D结构在GCPW的仿真中，由于随着参数的增加扫描点数成倍增长，受限于实验设备与时间的限制，未能对过孔直径d进行扫描，固定为0.8mil。扫描参数的具体情况如表5所示。表SEQ表\*ARABIC4GCPW的3D仿真的参数扫描点参数扫描点数参数范围步长频率f115GHz~7GHz200MHz微带宽度w56mil~6.8mil0.2mil介质层厚度h56mil~6.8mil0.2mil互连长度L10100mil~190mil10mil间距S58mil~8.8mil0.2mil相对介电常数εr42~82神经网络的训练和结果分析在上一节中，本文利用全波仿真得到的S参数结果对三种互连结构的部分S参数幅值进行了机器学习。其中，仿真得到的数据结果中分割出20%的部分用作测试数据集。本节中各神经网络的编写与训练都是基于Windows平台的TensorFlow2.3.0实现，实验平台为2.59GHz主频的CPU以及一块支持CUDA的GPU。神经网络模型的性能使用损失函数作为衡量指标，本文中所训练的所有神经网络损失函数都选用了均方误差MSE。根据式(3-14)，对于只有单输出的神经网络，其MSE表达式为：MSE= 其中yi为神经网络的预测值，y为了直观地展示预测结果与真实结果之间的误差大小，本节引入相对误差（RelativeError）作为观测指标。相对误差可以表征预测数据偏离正确数据的相对比例。在本文中用于直观地显示神经网络模型的预测准确性：RE=由于每个样本点的相对误差都不尽相同，本文选择观测平均相对误差和最大相对误差。从式(3-18)和(3-19)可以看到，当模型的预测性能提升时，对于给定的输入数据，yi和yi训练完成后，神经网络模型在微带线S11图SEQ图\*ARABIC15预测微带线S11的相对误差表现可以看到，在测试集中的大多数样本点上，神经网络的预测相对误差在20%以下，有极少的样本点处的预测相对误差超过了40%，相对误差最大的样本点偏离了超过60%。此处展示微带线的三组不同介质层厚度（其中εr均为2，L均为100mil，w均为6mil）对应的预测结果，如图27所示：图SEQ图\*ARABIC16微带线S11的曲线和对应的预测结果而在微带线S21图SEQ图\*ARABIC17预测微带线S21的相对误差表现在整个测试集上，神经网络模型的平均相对误差为16.6%。预测示例如图29（其中εr均为2，L均为100mil，w均为6mil）。可以看到，由于S21图SEQ图\*ARABIC18微带线S21的曲线和对应的预测结果神经网络模型在差分微带线差模反射参数Sdd11图SEQ图\*ARABIC19预测差分微带线Sdd11的相对误差表现在测试集中的大多数样本点上，神经网络的预测相对误差在20%以下，有较少的样本点处的相对误差超过了60%。在整个测试集上，该神经网络模型的平均相对误差为9.53%。差分微带线的三组不同几何参数（其中εr均为2，L均为100mil，w均为6mil，S均为8mil）对应的预测结果如图31所示：图SEQ图\*ARABIC20差分微带线Sdd11的曲线和对应的预测结果模型在差分微带线差模传输参数Sdd21图SEQ图\*ARABIC21预测差分微带线Sdd21的相对误差表现Sdd21的模型预测示例如图33所示（其中εr均为2，L为160mil，w为6mil，S图SEQ图\*ARABIC22差分微带线Sdd21的曲线和对应的预测结果神经网络模型在差分微带线共模反射参数Scc11图SEQ图\*ARABIC23预测差分微带线Scc11的相对误差表现Scc11的模型预测示例如图35所示（其中εr均为2，L为100mil，w为6mil，S图SEQ图\*ARABIC24差分微带线Scc11的曲线和对应的预测结果神经网络在差分微带线共模传输参数Scc21图SEQ图\*ARABIC25预测差分微带线Scc21的相对误差表现三组不同几何参数对应的预测结果如图37所示，其中εr均为2，L为150mil，w为6mil，S为