《智能优化算法解析》 课件 第5章-基于人类行为的智能优化算法

智能优化算法解析第5章

基于人类行为的智能优化算法5.1人工神经网络算法5.2禁忌搜索算法5.3头脑风暴优化算法主要内容CONTENTS3基于人类行为的智能优化算法在人工智能和信息科学领域，对人类行为的借鉴与模拟已成为推动智能优化方法发展的重要动力。导读人工神经网络算法：模拟大脑神经元的交互、学习与记忆过程禁忌搜索算法：避免重复错误，基于“试错”行为搜索全局最优解头脑风暴优化算法：模拟集体讨论，激发创新解决方案5.1人工神经网络算法55.1.1

算法原理人工神经网络的基本概念人工神经网络(简称神经网络)是由一些简单处理单元构成的大规模分布式处理器，具有存储和复用经验知识的特性，是对人脑神经网络的某种简化、抽象和模拟。神经网络与人脑的相似性：通过学习过程从外界环境中获取知识利用互连神经元的连接强度(突触权值)存储获取的知识神经网络的主要目标是设计一个学习算法，通过调整网络中突触权值，实现既定任务。65.1.1

算法原理神经网络的优势及发展神经网络算法的主要优势：拥有能够存储信息的大规模并行分布式结构具有学习能力和泛化能力(对不曾学习过的数据进行预测并得到合理输出)这些优势让神经网络具有学习更新并获得复杂问题近似解的能力。75.1.1

算法原理神经网络的优势及发展历史发展：1943年：McCulloch和Pitts提出了神经元的数学模型，开创了神经科学理论研究的时代1957年：Rosenblatt提出了感知机模型，模拟动物和人脑的感知和学习能力1982年：Hopfield提出了具有联想记忆功能的Hopfield神经网络，引入了能量函数，给出了网络的稳定性判据。85.1.1

算法原理人工神经元人脑神经元由细胞体、轴突、突触和树突组成信息传递通过电信号和神经递质完成人工神经元结构模拟人脑神经元输入信号、权值、触发阈值、总输入、激活函数、输出根据人脑神经细胞的基本结构，人工神经网络由人工神经元、对应的连接权值和实现信号转换的激活函数组成。95.1.1

算法原理激活函数激活函数限制神经元输出的振幅模拟人脑神经元的线性或非线性特性构建神经网络的重要环节激活函数的选择激活函数的选择对神经网络的性能有重要影响不同任务和网络结构可能需要不同的激活函数多层感知机具有一个或多个隐含层的神经网络每层的输入是上一层的输出105.1.1

算法原理感知机模型单层感知机前馈神经网络的一种简单形式仅由输入层和一个神经元层构成人工神经网络是将神经元模型以某种方式组合起来的网络结构，通过学习的方式来模拟人脑的某些功能，用以解决不同的实际问题。115.1.2反向传播神经网络算法反向传播神经网络算法神经网络设计结构设计：选择适合的神经网络结构，如多层感知机参数学习：确定网络权值和阈值重点解决问题：通过调整权值使网络输出尽可能接近预期值BP(BackPropagation，简称BP)算法：Rumelhart于1985年提出，解决了多层感知机中隐含层神经元连接权值的学习问题，广泛用于函数拟合、信息处理、模式识别和智能控制。125.1.2反向传播神经网络算法BP神经网络参数学习方法训练多层感知机的一个经典方法是BP算法，其训练过程主要分为两个阶段前向阶段：输入信号在网络中逐层传播信号流动直到抵达输出端网络中的权值在此阶段保持不变反向阶段：比较网络输出与预期输出，生成误差信号误差信号从输出端向输入端逐层反向传播调整网络权值以减小误差135.1.2反向传播神经网络算法BP神经网络参数学习方法选择具有一个隐含层的多层感知机为例，说明BP算法权值学习过程。首先，将神经网络的输入层变量表示为输出层的变量表示为隐含层的权值矩阵可表示为145.1.2反向传播神经网络算法BP神经网络参数学习方法若选取所有神经元激活函数均为f(.)，且触发阈值为零，则隐含层第l个神经元的输出可表示为输出层的权值矩阵可表示为神经网络输出层第j个神经元的输出表示为155.1.2反向传播神经网络算法BP神经网络参数学习方法对于给定的预期输出

，根据神经网络的实际输出可定义第

j个神经元误差信号进一步地，总误差信号为神经网络的学习过程是通过修改各层神经元的连接权值，使得误差信号e趋向最小。165.1.2反向传播神经网络算法BP神经网络参数学习方法在BP算法中，采用误差信号反向传播，故先考虑输出层的权值调整。根据梯度下降方法，取误差函数的负梯度方向作为权值的调整方向，即对于输出层权值系数，可按照如下方向调整输出层权值系数迭代公式为按照上式经过多次调整，直至寻找到满意的权值。175.1.2反向传播神经网络算法BP神经网络参数学习方法当神经元位于隐含层时，没有与该神经元层直接对应的预期输出。因此，隐含层神经元的误差信号要根据与隐含层相连的神经元向后反传决定。对于隐含层的权值系数需按照如下方向调整由于隐含层第u个神经元与输出层的神经元都有连接，因此综上，隐含层权值系数的迭代公式为对于具有多个隐含层的BP网络，其他的隐含层权值调整可通过类似方法给出。185.1.2反向传播神经网络算法BP神经网络参数学习流程前向传播输入信号逐层传递至输出端，计算每层神经元的输出误差计算比较网络输出与预期输出，计算误差信号反向传播误差信号从输出层反向传播，逐层调整权值以减小误差取误差函数的负梯度方向作为权值的调整方向，逐步逼近最优解195.1.2反向传播神经网络算法BP神经网络的不足及改进收敛缓慢及改进原因：学习率设置不当、网络结构简单、数据质量差改进：调整学习率、优化结构、数据预处理局部最优问题及改进原因：误差曲面复杂，多个局部最优点改进：多组初始值训练、采用随机梯度下降泛化性能差及改进原因：过拟合、数据质量问题改进：增加数据量、数据预处理、优化超参数选择205.1.3径向基函数神经网络算法网络概述定义与结构：径向基函数(RadialBasisFunction,RBF)神经网络是一种基于核函数的神经网络算法。组成：输入层：连接外部输入隐含层：利用非线性激活函数对输入空间进行非线性变换输出层：进行线性变换，提供网络的输出响应特点：隐含层通常为一层，区别于多层感知机模型应用领域：非线性函数逼近时间序列分析系统建模控制和故障诊断215.1.3径向基函数神经网络算法参数学习方法RBF是一种沿着径向对称的标量函数。定义RBF为径向基函数中心径向基函数半径输入信号利用RBF作为激活函数，构建隐含层具有个

神经元和

m个输出节点的RBF神经网络。为了简单说明，本节输入层到隐含层的权值系数均取1，则第

j个神经元的输出可表示为输出层的权值矩阵可表示为225.1.3径向基函数神经网络算法参数学习方法RBF神经网络输出层采用线性累加，网络的第l个输出可表示为RBF神经网络需要学习的参数：径向基函数的中心，半径，以及输出层权值W。学习过程：无监督自学习：确定样本中心和半径方法：K-means法、自组织选取法有监督学习：计算输出层权值方法：最小二乘法235.1.4典型问题求解案例例题例题5-1利用BP和RBF神经网络分别拟合如下非线性函数这里选取63个样本，输入变量为，预期的输出由如下命令生成：245.1.4典型问题求解案例求解过程其中，y_gd为BP神经网络的输出，netgd为训练后的BP神经网络。(1)利用Matlab工具箱，实现BP神经网络拟合非线性函数255.1.4典型问题求解案例求解过程其中，y_rbf为RBF神经网络的输出，netrbf为训练后的RBF神经网络。(2)利用Matlab工具箱，实现RBF神经网络拟合非线性函数(3)通过绘制两个神经网络的学习曲线，观察拟合结果265.1.4典型问题求解案例求解过程RBF神经网络和BP神经网络输出结果275.1.5前沿进展进展概述人工神经网络领域迎来黄金时代，深度学习框架的飞跃性突破，引领复杂任务处理迈向高效精准新纪元构建复杂网络结构，融合先进优化算法，训练高性能神经网络从AlphaGo到ChatGPT，见证神经网络领域的飞速发展285.1.5前沿进展案例分析：长短期记忆网络长短期记忆(Longshort-termmemory,LSTM)网络是一种特殊的递归神经网络，通过其特有的门控机制，能够有效地捕获和存储序列中的依赖关系。遗忘门：基于历史信息，筛选旧状态，控制信息保留与遗忘输入门：综合多种输入，通过非线性映射，精准选择信息更新输出门：调控记忆信息输出比例，平衡新旧信息贡献，优化长序列处理295.1.5前沿进展LSTM前沿LSTM神经网络具有强大的自学习能力、鲁棒性和容错性、并行处理能力、逼近非线性关系的能力，使其能灵活应对多种实际问题，展现出卓越的应用性能。在自然语言处理任务中，捕捉上下文信息、对语言序列的理解能力增强在长时间依赖的复杂模型中，模型的收敛速度和稳定性显著提高在视频分析、动作识别、天气预测等涉及时空序列问题的领域中，对时空信息的捕捉能力有所提升5.2禁忌搜索算法315.2.1典型搜索算法概述禁忌搜索算法禁忌搜索(TabuSearch,TS)算法基本思想：模拟人类的智力过程，避免重复错误可行解向目标函数变化最多的方向移动，通过灵活的“记忆”技术更新目标是找到使适应度函数值最优的解禁忌搜索算法在组合优化等领域取得了显著进展，并应用到调度和规划等问题中局部邻域搜索算法(非梯度法)算法选定一个可行解，并产生邻域解，逐一比较其目标函数值，不断选择最优解进行更新325.2.1典型搜索算法概述典型搜索算法梯度下降法从当前解出发，沿着目标函数变化最大方向前进，直到达到局部最优解梯度下降算法易陷入局部最优，且不适用于梯度信息未知的目标函数局部邻域搜索算法搜索性能依赖于初始解和邻域结构。若初始解不合适或邻域结构设置不当，依然可能导致陷入局部最优335.2.1典型搜索算法概述禁忌搜索算法原理禁忌搜索算法由于引入接受劣质解的机制，禁忌算法能够向其他方向寻优，实现目标函数值先降后升，最终搜索到全局最优局部邻域搜索算法算法在邻域寻优使目标函数最终走向x(1)，导致求解陷入局部最优，且无法跳出，无法到全局最优禁忌搜索算法核心思想通过设立禁忌表来避免算法陷入局部最优解利用记忆功能在搜索过程中接受劣解以扩大搜索范围通过特赦准则避免错过优质解通过不断迭代和优化搜索策略，禁忌搜索算法结合了局部邻域搜索和全局优化的思想345.2.2基本概念禁忌搜索基本概念禁忌搜索算法是一种迭代启发式搜索算法，靠“记忆”引导算法的搜索过程，其中很多构成要素极大地影响搜索的速度与效果。禁忌对象和禁忌长度禁忌对象是指禁忌表中被禁止的某些变化元素。禁忌长度是禁忌对象不能被选取的周期。邻域移动邻域移动是解更新的关键，本质是一个函数，根据当前解的移动产生其相应的邻居解集合，进而产生合适的候选解集合。目标函数目标函数用于评价邻域中的邻居，是判断解优劣的衡量指标。禁忌表禁忌表用于记录被禁止的变化元素，以防出现搜索循环、陷入局部最优。35禁忌搜索基本概念禁忌搜索算法是一种迭代启发式搜索算法，靠“记忆”引导算法的搜索过程，其中很多构成要素极大地影响搜索的速度与效果。解的初始化禁忌搜索算法可以随机给出初始解，也可以使用其它启发式算法给出一个较好的初始解。但针对复杂约束的优化问题，如果随机选取初始解，可能经过多次搜索也无法确定一个可行解。特赦准则在禁忌搜索算法中，可能会出现候选解全部被禁忌，或者存在一个优于当前最优目标值的禁忌候选解，此时特赦准则将某些可行解进行解禁，以实现更高效的优化。终止规则禁忌搜索算法中常用的终止规则有：最大迭代次数原则、禁忌频率控制原则、目标值变化控制原则。5.2.2基本概念36禁忌搜索算法流程禁忌对象、最大迭代数领域解不优于当前最优解达到最大迭代数领域解优于当前最优解5.2.3算法流程37禁忌搜索算法不足及改进算法对初始解有较强依赖性好的初始解可使禁忌搜索算法在解空间中搜索到优质的解，而较差的初始解则会降低禁忌搜索的收敛速度改进：可以与遗传算法、模拟退火算法等优化算法形成组合算法迭代搜索过程是串行的仅是单个解层面的移动，而非并行搜索改进：可以针对算法的初始化、参数设置等方面实施并行策略，向群体智能方向改善禁忌搜索5.2.3算法流程38例题例题5-2利用禁忌搜索算法，求解如下目标函数的最大值，其中且图中蓝色标记为当前解的搜索过程，红色标记为迭代过程最优解目标函数图像解空间搜索过程5.2.4典型问题求解案例39例题优化后最终结果为和，函数的最大值为3.9000，得到全局最优。当前解迭代变化曲线当前最优解迭代变化曲线由图可知，禁忌搜索的过程中当前解可接受劣解，存在暂时降低目标函数的情况，以增强算法搜索能力，保证当前最优解不断优化。5.2.4典型问题求解案例40求解过程(1)初始化各个参数和各类解变量，并置空禁忌表5.2.4典型问题求解案例41求解过程5.2.4典型问题求解案例(2)定义算法主循环中核心功能函数。定义生成函数，用于产生邻域解作为候选解42求解过程5.2.4典型问题求解案例定义目标函数定义更新函数，用于更新禁忌表定义判断函数，用于判断候选解是否在禁忌表中43求解过程5.2.4典型问题求解案例(3)实施禁忌搜索算法程序主循环，包含产生邻域解和候选解，对其判断藐视准则，以进行当前解和当前最优解的更新44求解过程5.2.4典型问题求解案例(4)绘制算法运行图形455.2.5前沿进展案例分析：禁忌搜索算法优化BP神经网络BP神经网络存在收敛速度慢和易陷入局部最优的问题，导致网络参数优化困难。因此，可以通过结合禁忌算法的全局优化能力，实现BP神经网络参数的全局优化。初始化BP神经网络初始化禁忌算法进行网络训练禁忌算法寻优，通过藐视准则和禁忌表，更新当前解和当前最优解判断停止准则5.3头脑风暴优化算法475.3.1

头脑风暴法概述头脑风暴优化算法的起源受人类开会过程集思广益的启发，2011年史玉回教授在第二届AdvancesinSwarmIntelligence国际会议中提出了一种新的头脑风暴优化(BrainStormOptimization,BSO)算法。该算法采用聚类思想搜索局部最优，再通过比较局部最优得到全局最优。首次发表在TheSecondInternationalConferenceonSwarmIntelligence485.3.1

头脑风暴法概述头脑风暴法的基本概念头脑风暴法是一种激发人类思维，以寻找问题最优解的方法。头脑风暴法的核心是，让参会人员围绕中心话题畅所欲言，通过思想碰撞、观念融合，得到问题的最优解。头脑风暴法所蕴含的开放性和协作精神为BSO算法的设计提供了宝贵的启示，有助于在算法研究中实现高效的优化和创新495.3.1头脑风暴法概述头脑风暴法的组成从明确问题到会后评价，头脑风暴法一般分为三个阶段。第一阶段为明确阐述问题，主持人介绍问题。如果专家对问题感到困惑，主持人应该利用案例形式对问题进行分析。第二阶段为主持人记录专家提出的所有见解，并积极鼓励专家自由提出见解。第三阶段为专家以鉴别眼光讨论所有列出的见解，也可以让另一组专家来进行评价。头脑风暴法遵循的四个原则：庭外判决原则(延迟评判原则)，对各种意见的评判必须放到最后阶段自由畅想原则，鼓励各抒己见，创造一种自由、活跃的气氛以量求质，意见越多，产生好意见的可能性越大综合改善原则，强调相互启发、相互补充和相互完善505.3.2

算法原理头脑风暴优化算法的主要构成BSO算法中的每一个体都代表一个问题的解，利用个体的演化和融合进行更新，通过反复迭代求得问题的最优值。BSO算法主要由聚类和变异两部分组成，利用聚与散相辅相承的搜索机制来搜索最优解。聚类BSO算法采用K-means聚类机制，将相同领域或者相似领域的成员分为一组。所有个体可以聚集成几个集群，每个集群的中心可以是该集群中目标函数最优的个体，也可以是距离空间的中间个体515.3.2

算法原理头脑风暴优化算法的主要构成K-means聚类K-means聚类是一种经典的无监督聚类算法，用于将数据集划分为K类。该算法的目标是使得数据点与其所属聚类中心之间距离的平方和达到最小。K-means聚类算法具体操作步骤如下：初始化。随机选择K个初始聚类中心点分配数据点。对于每个数据点，计算其与各个聚类中心的距离，并将其分配到距离最近的聚类中心所对应的类更新聚类中心。对于每个类，计算所有属于该类的数据点的均值，将该均值作为新的聚类中心重复步骤2和3，直到聚类中心满足停止误差准则，或达到预定的迭代次数输出结果。最终得到K个聚类中心，以及每个数据点所属的类525.3.2

算法原理头脑风暴优化算法的主要构成变异为了避免BSO算法陷入局部最优，采用变异思想增加算法解的多样性，从而有助于得到全局最优解。变异过程主要由个体生成、个体变异构成个体生成个体生成用于从集群中选择临时个体，定义生成的临时解个体为： 。根据概率选择如下方式生成临时个体A，即：随机选中一个类，选择此类的聚类中心随机选中一个类，选择此类中的一个随机个体随机选中两个类，把这两个类的聚类中心进行生成融合随机选中两个类，分别从这两个类中随机选出一个个体进行生成融合535.3.2

算法原理头脑风暴优化算法的主要构成个体变异个体变异是对选择的临时解个体叠加随机扰动，以增强算法的全局寻优能力通过叠加随机扰动，对生成的临时个体A进行更新，更新过程为：其中，为叠加随机扰动后产生的新个体，是均值为且方差为的高斯随机函数，为对数传递函数，用于改变函数的斜率，为最大的进化代数，为在上的随机数。545.3.2

算法原理头脑风暴优化算法策略优化过程通过聚类与变异这两个过程的有机结合，BSO算法能够在保持种群多样性的同时，实现高效的局部和全局搜索。BSO算法详细的实现过程如下在可行解空间内产生潜在问题的L个解个体确定适应度函数并计算L个解个体的适应度值利用K-means聚类算法将L解个体划分成K类，选中每一类的概率大小与类内个体数量成正比对每个类内个体的适应度值大小进行排序，将适应度值最优的个体视为此类的类中心按照概率进行变异更新将新个体适应度值与原个体进行比较，若新个体较优，替换原个体对所有个体逐一进行更新，若达到停止条件，则迭代停止；否则返回步骤3，直到迭代停止555.3.3典型问题求解案例例题例题5-3