3.7-BP神经网络设计基础

神经网络理论及应用：BP神经网络设计基础主讲人：吴静珠

北京工商大学计算机与人工智能学院1、训练样本集准备2、初始权值设计3、网络结构设计4、网络训练与测试2026/10/11BTBU-CIE2BP神经网络设计基础2026/10/11BTBU-CIE3训练集样本准备：①训练集设计研究表明,训练样本数与训练误差通常有如下匹配关系：

训练样本数的确定2026/10/11BTBU-CIE4训练集样本准备：①训练集设计样本的选择与组织样本的选择：样本类别均衡且每类样本数量大致相等，“平均主义”。样本的组织：不同类别样本交叉输入，以避免网络训练出现振荡。2026/10/11BTBU-CIE5训练集样本准备：②输入输出量选择输出量:系统的性能指标分类问题的类别归属非线性函数的函数值输入量：

必须选择那些对输出影响大且能够检测或提取的变量各输入变量之间互不相关或相关性很小2026/10/11BTBU-CIE6训练集样本准备：③输入量提取与表示从输入、输出量的性质来看，可分为如下两类：数值变量的值是数值确定的连续量或离散量。语言变量是用自然语言表示的概念，其“语言值”是用自然语言表示的事物的各种属性。当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。2026/10/11BTBU-CIE7训练集样本准备：③输入量提取与表示XC=(111100111)T

XI=(010010010)T

XT=(111100111)T(1)文字符号输入

p=1,2,…,P(2)曲线输入2026/10/11BTBU-CIE8

如不同形态的小麦颗粒图像，可以提取纹理、形态等参数作为输入量。训练集样本准备：③输入量提取与表示2026/10/11BTBU-CIE9训练集样本准备：④输出量的表示(1)“n中取1”表示法“n中取1”是令输出向量的分量数等于类别数，对应的输出分量取1，其余n-1个分量全取0。例如，用0001、0010、0100和1000可分别表示优、良、中、差4个类别。(2)“n-1”表示法用n-1个全为0的输出向量表示某个类别，则可以节省一个输出节点。例如，用000、001、010和100也可表示优、良、中、差4个类别。(3)数值表示法对于渐进式的分类，可以将语言值转化为二值之间的数值表示，并根据实际意义拉开距离。例如，质量等级：差，较差，中等，较好，好可以用0，0.25，0.5，0.75，1来表示。2026/10/11BTBU-CIE10①网络的各个输入数据常常具有不同的物理意义和不同的量纲，归一化给各输入分量以同等重要的地位；②BP网的神经元均采用Sigmoid转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区；③Sigmoid转移函数的输出在0~1或-1~1之间。教师信号如不进行归一化处理，势必使数值大的输出分量绝对误差大，数值小的输出分量绝对误差小。训练集样本准备：⑤输入输出数据预处理归一化处理是数据预处理中较为常见的方法。2026/10/11BTBU-CIE11训练集样本准备：⑤输入输出数据预处理归一化处理是数据预处理中较为常见的方法。其中，xI代表输入或输出数据，xmin代表数据变化的最小值，xman代表数据的最大值。将输入输出数据归一化为[0，1]区间的变换式将输入输出数据归一化为[-1，1]区间的变换式其中，xmid代表数据变化范围的中间值。1、训练样本集准备2、初始权值设计3、网络结构设计4、网络训练与测试2026/10/11BTBU-CIE12BP神经网络设计基础2026/10/11BTBU-CIE13初始权值设计网络权值的初始化方法对于缩短网络训练时间至关重要。网络训练误差曲面初始权值设计方法隐层：初始权值足够小，远离转移函数的饱和区；输出层：使初始权值为+1和-1的权值数相等，增大网络训练初期的调整量。AB1、训练样本集准备2、初始权值设计3、网络结构设计4、网络训练与测试2026/10/11BTBU-CIE14BP神经网络设计基础2026/10/11BTBU-CIE15网络结构设计隐层数的设计一般先考虑设一个隐层，当一个隐层的节点数很多仍不能改善网络性能时，才考虑再增加一个隐层。2026/10/11BTBU-CIE16网络结构设计

（1）采用经验公式

（2）试凑法在经验公式确定的隐层节点初始值的基础上，训练网络并逐渐增加隐节点数，用同一样本集进行训练，从中确定网络误差最小时对应的隐节点数。隐层节点数的确定

其中，m为隐层节点数，n为输入层节点数，l为输出节点数，α为常数1-101、训练样本集准备2、初始权值设计3、网络结构设计4、网络训练与测试2026/10/11BTBU-CIE17BP神经网络设计基础2026/10/11BTBU-CIE18网络训练与测试网络的性能好坏主要看其是否具有很好的泛化能力，对泛化能力的测试不能用训练集的数据进行，而要用训练集以外的测试数据来进行检验。*训练集样本测试集样本2026/10/11BTBU-CIE19网络训练与测试在隐节点数一定的情况下，为获得好的泛化能力，存在着一个最佳训练次数。1、训练样本集准备2、初始权值设计3、网络结