ComputationalIntelligence第九章12节翻译.doc

进化神经网络9.1 简介 多层前馈神经网络已经成为非常流行，有以下几个原因：他们有在实践中已经发现一概而论良好，是众所周知的训练算法，例如作为Widrow -霍夫，反向传播， Hebbean ，赢家通吃， Kohonen自组织映射这往往可以找到一个很好的权值。尽管使用最少的训练集，学习时间往往成倍增加，他们往往不能构造（ Muehlenbein ，1990）。当全局最小值是隐藏在局部极小点之间的反向传播（ BP ）算法可以结束了局部极小值之间的弹跳没有太多的全面提高，这会导致非常缓慢的训练。 BP是一个需要渐变的计算方法相对于权重，而这又需要微分误差。因此，BP不能处理不连续的最优性条件或不连续的节点传递函数。 BP的速度和鲁棒性是参数，如学习率，动量和加速度敏感恒定的，并且使用最佳参数似乎各不相同的问题，以问题（巴迪和Homik ，1995）。所谓动量的方法降低BP在灵敏度的小细节错误面。这有助于避免网络被陷在浅水极小这将防止网络找到一个较低的误差溶液（ Vogtet人，1988 ） 。 人工神经网络的自动设计有两个基本方面：参数学习和结构的学习。在结构学，无论是结构和参数信息必须通过训练过程中的教训。基本上，我们可以考虑三种模式结构学习：建设性的算法，破坏性的算法和进化计算。建设性的算法（浩方，1993;霍纳沃尔和UHR ， 1993; Parekhet人，2000年）开始用小的网络（通常是一个单一的神经元）。此网络进行训练，直到无法继续学习，那么新的组件被添加到网络中。这个过程被重复，直到一个满意的解决方案被发现。这些方法通常陷入局部极小（安吉莉娜等人，1994）并倾向于产生大的网络。破坏性的方法，也被称为修剪算法（里德， 1993），开始即能学习，但通常结束在一个大的网络过拟合，并尝试删除的连接和节点一点用处都没有。一个主要的问题与修剪方法是信用到网络中的结构部件分配为了决定一个连接或节点是否必须被移除。这两种方法，constructiveand破坏，限制了可用的架构，它引入的约束数目 这可能不适合于该问题可能结构的搜索空间。虽然这些 在模拟数据（Thodberg，1991的方法已被证明是有益的; Depenau和穆勒， 1994），其应用到实际问题却相当不成功（Hiroseet人，1991; Hassibi和鹳，1993;上村及中西，1994）。一些研究人员已经开始研究稳健的方法来克服这些种的问题。其中的一个方法可能是中介公司的应用。进化神经网络系统主要是指设计和神经网络的训练由进化算法。在神经网络的组合和进化搜索过程的兴趣 在近年来发展迅速。有几个论点赞成中介申请到神经网络 优化（权重和/或拓扑），因为中介公司有能力生产的全局搜索的潜力参数空间，从而避免局部极小。此外，有利的是中介应用于 问题在那里梯度信息是困难或昂贵获得。这意味着中介可以 可能被应用到强化学习问题与疏反馈训练 NNS与非微神经元。与中介公司的唯一明显的缺点是速度慢时间尺度。在中介公司是用于问题不仅算法，代表性和运营商，但同时该战略的参数值和操作的概率要选择哪些影响性能（意思是一个很好的一整套解决方案）和收敛（寓意好一套及时的解决方案，即有效地找到解决办法） 。查找的过程中合适的参数值和操作的概率是一个耗时的任务。研究人员已投入相当数量的努力和尝试了各种问题一个特定的域，并试图调整策略参数。很明显，一个EA在本质上是一个充满活力和适应过程。此外，也存在缺点传统的方法在某种意义上说，战略参数是静态的，不恰当的选择的参数可能会导致次优的性能。参数的调整将花费显著量的时间和最佳参数值也可能在进化过程中变化过程。对EA参数及其设置的详细讨论在第8.4节规定第8章，因此，自适应机制的策略参数是较为可取作为确定性参数设置变化从问题到问题。不同的模糊logicbased的方法来适应机制对EA的参数设置进行了讨论第8章第8.4.1节。的模糊逻辑为基础的方法的主要困难是建设微丝和规则为基础的学习，这主要是需要专业知识的。以类似的方式， NNS还可以应用于开发为中介的自适应机制。该优势NNS在模糊逻辑为基础的方法之一是，一个神经网络能够学习从经验数据。电针参数的自适应学习有报道和讨论许多研究人员在各种会议和期刊的分散方式。它需要在解决一个更结构化的方式。为结合EA和NNS各种方案被提出，被许多测试 研究人员在过去的二十年（姚明和刘，1998;普通话U-拉巴斯和卡马斯，2005年荣 和的Reggia，2006），但文学是分散在各种期刊，诉讼 和技术报告。主要是，三种类型的组合，迄今已在报 文献： 支持性的组合， 协同组合 组合合并组建的。在辅助组合，EA和NNS被用于顺序地，其中一个是主解决问题的，另一个是次要的。在协同组合，它们同时应用在既EA和NNS共同解决问题。在合并后的组合，在EA的搜索机制是指在一个神经网络的范例的支持协作而合并后的组合在下面的章节中讨论。9.2支持性组合 一个EA使用的最优化问题的整个解空间的群体代表在手。在EA然后根据不同的人口收敛，和不同的战略参数在EA受预定义的健身度量。相反， NN使用一个经验数据集代表输入/输出空间的。学习然后收敛取决于数据设置学习参数的神经网络主题和架构，以一个预定义的性能指标。既EA和NNS的性能可以得到改善和加速收敛，如果的数据集和战略参数或学习参数的适当的人口可以发现。EA和神经网络之间的支持性组合可以帮助找到这些参数。支持性组合通常涉及使用这些技术之一来制备数据，以供其它用途。换句话说，一种技术起着主要作用，而另一起到一定的支撑作用，以解决这个问题。的支持机构可以是以下两种方式之一：神经网络，以协助进化算法（ NN- EA）和进化算法来协助神经网络（ EA- NN ）9.2.1 NN-EA支持性组合 在N，N-EA的情况下，概念是似乎有内部的一些自然分组的问题。有启发式的某些集，做出更好的出发点对某些群体比别人。神经网络的工作就是学习这个分组和建议的出发点，任何进化算法。在这种情况下，神经网络主要用作图案ASSOCIATORS匹配输入的问题具有良好的参数集的描述。这些神经网络使用标准BP算法训练。在图9.1所示的图解释 NN和EA的支持组合，其中，NN产生初始种群从原始数据为EA。 Kadabaet人（1991）使用的神经网络来产生初始种群的遗传算法（GA），其中对GA起着发现了一组有一个良好的参数的作用启发式程序，找到一套好的选择启发式算法的车辆路径问题。 图9.1为神经网络对EA分组和建议初始种群 图9.2基于神经网络的适配参数控制EA一个EA的性能主要依赖于策略的参数值的选择。找到一个好的一套在EA策略参数是一个耗时的试错过程。也有与传统方法相关联的技术的缺点，如该用户的选择设置中的参数可以是错误和/或性能不理想的来源，并最佳参数值可能在进化过程中发生变化。因此，一个自动化的修改的参数值执行一个EA的过程中，寻求通过使用一些启发式规则或从EA的当前状态的反馈信息。一个神经网络可以帮助学习EA的参数值。这样一个有利的组合如图9.2所示。Grefenstette （1986）确定的EA策略（或控制）的参数，如人口规模（N），交叉率（PC），变异率（PM），代沟（G），缩放窗口（W）和选择策略（S），即尽可能多的控制变量可以是任意的N，PC，PM，G，W，S的。不同的性能指标可以从目前的人口，如平均适应度（ F） ，平均适应度/最好的健身（ F / F最好），最差健身/平均适应度（ fworst / f的个体的适应值进行计算），最好和平均适应度（ fbest - f）或目前的人口规模（N ）之间的差异。也就是说，尽可能多的控制输入可以是任意的f,f/fbest, fwor st/f, fbestf,N的。德容和Goldberg一直在研究人口规模对EA性能的影响。他们发现，随着目前的人口规模的增长，突变率的敏感性降低，最好的突变率使用也降低（德容和布兰妮，1990; Goldberget等，1992 ） 。措施与策略（或控制）性能参数之间的关系在第8章讨论过，并导致了模糊控制器的设计。在开发一个多输入多输出（MIMO ）模糊逻辑控制器的主要困难是巨大的规则库。克服处理大量规则库的问题，可以采用使用NN的MIMO控制机制来控制，如图9.3中的EA参数。在NN的这里的工作是使用从期望的或预期的溶液和当前的解决方案之间的差异所产生的误差函数学习EA的策略参数。标准BP与错误反馈可用于训练神经网络（ Kadaba和尼加德，1990; Kadabaet人，1991)9.2.2 EA-NN支持性组合 大多数研究人员发现它更自然的使用EA支持NN。在EA-NN的情况下，该支持机制可根据哪一个阶段被分为三类，他们用在该过程： EA选择输入功能或改造所使用的神经网络分类器的特征空间; EA选择学习规则或控制学习的神经网络参数; EA分析的神经网络。图9.3 种群规模，交叉和变异率的基于神经网络的自适应控制9.2.2.1特征空间的选择 在基于神经网络的模式分类和识别问题的一个重要问题就是功能选择。鉴于某些功能或对象的测量，一想就决定而这些功能是最适合从一组给定的分类或识别物体的图案或对象。我们可以天真地试图检查每个的特点，建立优先排序的功能。但如果有P特点，然后有2P特点集进行检查，这将是一个耗时的，繁琐的任务。此外，它可以是情况最好的一个功能S*不存在在P特点 ，即S*/ P。一般地，本功能集被认为是整个输入空间有代表性的样品，而我们选择一个子空间RnRp其中的Rn特点可以被分配到的N类中一个最小误差。最小误差是错误分类的多一些的预期数在Rn测试仪(毕雷人，1990 ） 的特性的转变也是可能的Rn中以最小的误差。中介公司用在这样的情况下，指导搜索最优组合和输入的转换功能，以NNS ，以满足最小的投入标准，快培训和准确的召回。 EA已被用于以两种方式准备数据为NN：转型特征空间和选择的限制功能的子集 在第一种方法中，将所述特征空间中已经主要应用于近邻型算法。转型的一个很常见的例子是在华氏温标用公式XC = （ XF -32 ） / 1.8被转化成摄氏温标XC测得的温度XF 。另一个例子可能有助于感知数据转换的意义：让XI= XIK ， I P，K K是一个特向量，其中P是一组功能和K是一组变量。欧氏空间Rn中（其中n = | K | ）包括形式为x = X1，X2， .， XN 的所有n维向量。特征矢量x = X1，X2， .， XN 可以是反式公式计算如Zik = （ Xik -AK ）形成为Z = Z1，Z2， . ，Zn / BK ， 其中Ak和BK的移位是比例因子的变化原因。通过转化是指移位，旋转和以这样的方式对齐，组内差异减少，组间差异被放大的数据的比例（凯利和Davis ，1991;米尔金，1996;瑶，1999）。图9.4示出了通过应用在同一组的功能特征变换获得的两个不同的分类的实例。有兴趣的读者可以参考米尔金（1996），适用于各种数学分类和聚类中使用的转化技术。 图9.4两种基于特征变换不同的分类 如可以从图9.4中可以看出，跨数据的距离和数据群集，这取决于空间x或z被认为会发生变化。这反映了特征之间的矛盾，它们的几何代表性和可比性。找到一种机制来汇总无与伦比的变量和它们的距离的问题是分类的主要问题和集群。通过使EA选择的旋转和缩放参数，数据是对齐的适当的分类和聚类。一个神经网络用于分类，其中一个EA提供了相应的改造。 EA-NN这样一个有利的组合显示 在图9.5，其中NN使用的功能进行分类的转化子集EA。这里，SIS的一组变换功能，即，S =（P），其中（）是一个变换功能和集合的所有功能。 FIS的合适的措施EA。维尔马和Zhang（2007）转化的所有特征值是正的，然后归这些值0,1之前的数字乳房X线照片分类为乳腺癌的范围。Ramasubramanian和Kannan，数据（2006年）改造字母属性设置为适当的数值，然后归一化的数值的范围0.05,0.95在他们的应用程序。 图9.5为NN EA-基于特征变换 很多时候设置用于训练神经网络的功能包含多余的，无用的，不相关的数据，这导致计算的成本高于无改善的性能神经网络，并能有时甚至降低性能。这样的一个实际例子问题是选择的临床测试的子集的任务。每个测试涉及到财务成本，诊断价值及相关的风险。这样的应用程序的其它实例是大型数据采用NNS 。在第二种方法中，因此，一组输入功能选择为受限制的功能集，这将提高神经网络分类器的性能以及降低计算要求。消除不相关和冗余的功能，换言之选择的功能的子集，即S P，将有助于缩小体积对NN ，减少了训练时间，也可以改善对NN的准确性。一些应用需要的重要变量从其他变量区分。当没有一个先验知识可以指导选择， EA可以选择输入帮助神经网络用于此类应用。 对于EA染色体的表示很简单。二进制编码的染色体是用于EA 。这也是所谓的包装方法（ Kohavi和约翰，1997） 。传统的二进制位串被用作个人以形成人口为EA搜索中的比特串的每个位置都具有一个输入变量相关联，即，其可能或可能不被选择作为输入到神经网络的特征取决于的1或0，在该位置的值。因此，比特的字符串中的数量等于在列出的EA搜索变量（特征）的数目，为1的字符串中的数等于作为输入到神经网络通过EA所选的变量数。也就是说，喜= 1 ， 如果xi P和xi= 0 ，若xi / P，同时I = 1,2 ， .，N 。 Siedlecki和Sklansky （1988 ， 1989）是最早使用中介公司介绍的特征选择配方的开创性工作。从那时起，已经有许多文献报道的研究（毕雷人，1990; Vafaie和德容，1993;布拉泽和辛普森，1995;杨和霍纳沃尔， 1998） 。对于m的人口规模，由EA的支持相结合的特征选择如图9.6 。该个人通过使用特征子集S P有一个预定义的固定架构NN训练神经网络进行评价。由此产生的准确度作为个体的适应值。这种方法的主要缺点是使用由染色体中指定的特征来训练每个网络分类器所需的高的计算时间。着U -拉巴斯和卡马斯（ 2005）进行EA和神经网络对15个公共域和人工数据集的分类问题的不同组合进行了实证评价。他们用一个二进制编码的遗传算法与一位每项功能，用来代表那些被用来训练一个神经网络功能的子集的人口个人被初始化均匀随机与20的最低人口规模的执法行动。在这里， l是染色体的长度。均匀交叉的概率为1.0 ，变异的概率为1 / L者使用。所使用的适应度函数是神经网络的泛化能力。结果表明， EA特征选择证明了显著准确，显著降低了功能集。 对训练周期的一个给定的数目，对NN将具有不同的性能（测 由网络）多套不同的输入变量召回错误。神经网络的性能和的选择作为网络的输入变量的数量可以被用来评估适应度函数它的值将被用于指导选择过程中的EA。一般程序能可以如下所述： 1，创建的个人，转化的特征或特征的比特串的初始种群，每一个都可以被解释为一组选择的输入到神经网络。 2，建立和训练神经网络与在步骤1中选择的输入。 3，转移训练误差和选择适应度函数的输入数评估适每个神经网络。 4，执行EA操作来创建一个新的人口直到收敛或最大5。重复步骤2-4。 适应度函数F表示两个特征变换和特征选择（图9.5和9.6）机制可以通过组合两个标准来定义：一种是由对NN ，而另一个是分类的成本（杨和霍纳沃尔，1998）实现了分类的准确性。精度从图案是由NN正确分类的百分比来计算。被建议的分类成本几项措施，例如，在医学诊断中的应用进行必要的测试成本。为简单起见，适应度函数可以被定义为这里，精确度（ S）为模式是由对NN正确分类的百分比，成本（S）参与的模式和最大成本的计算或测试成本是最大的成本这可能涉及在正确地履行所述模式分类。任何目标适应度函数应该是引导搜索功能较少，训练速度更快和更高精度。这两个较少的功能和更小的训练误差产生更高的适应度函数值。因此，一些研究人员定义的适应度函数为三个功能自变量：所选要素的数量（即，输入）训练误差和代指标。在EA与人口不多，很少有超弦高得多的适应值，这将导致在超弦接管人口的一个显著比例一个单一的产生和导致过早收敛。防止这种过早的单程 融合是保持种群的多样性。为了保持种群的多样性，在适应度函数应该在早期阶段被缩减，以减少个体间健身差异和扩大规模的后期。包括在健身发电指标功能有助于在适当缩放健身和指导搜索过几代人。有三种常用的缩放程序：线性缩放，西格玛截断和电源法律缩放（郭和Uhrig，1992）。在使用过和Uhrig（1992）的适应度函数他们的研究中被定义如下：其=特征号/所选择的特征数 ，犯错是神经网络训练误差和GIS的产生索引。许多研究人员提出了一种基于假设的评价函数，相关的功能是高度相关的响应变量和相关性较低在特征子集（Ozdemiretal.，2001年）等特点。9.2.2.2查找参数和学习规则 使用最广泛的和众所周知的学习算法的神经网络是反向传播， Widrow - 霍夫，赫布和Kohonen自组织映射。其中，BP是已知 实现一个梯度下降法它具有速度缓慢的问题，大的弊端并且是容易被卡在局部极小或在高原上，可以在早期停止收敛或可能需要太长的时间来收敛，由于启发式选择控制参数。控制参数是学习实参， 0 ，动量，0 和加速度，0如等式（9.3）定义的。是正实数值。几个研究人员已经研究了不同的修改，以加快BP的收敛算法应用的学习速率动态适配，如添加势头和在权重的更新规则加速度项所描述的等式（9.3）：的学习率动态调整可以通过线搜索的梯度方向进行，动态调整常用的学习速率为所有的重量或单独为每个重量（ Caudell和daolan， 1989; Kamarthi和Pittner ，1999）。因此，权重更重（T）主要依赖于学习参数 ， ， 和局部梯度 瓦特。当梯度主要取决于激活函数的一阶导数项（.），即（.）该系数(.）参与到当地的梯度J （ t）的计算（见的推导BP算法中第4章）仅依赖于激活函数（ . ）与相关联的隐层神经元。这意味着该组的激活函数 （）中起着至关重要的作用在权值更新的BP学习规则。 BP的速度和鲁棒性是敏感的它的几个控制参数，如 ， ， 和激活函数 （.）详细的控制参数和不同的激活函数描述在第4章。有没有简单的方法来选择这些参数，并使用最佳参数似乎不尽相同问题的问题。大多数情况下，这些控制参数由下式确定试验和错误，这取决于所使用的体系结构的类型。的不同变体在赫布倾斜的规则已经被提出来处理不同的架构。但是，确定控制参数的优化设置和学习规则变得困难时，体系结构的类型不是先验已知的。因此，神经网络需要调整控制自适应地根据问题及其体系结构，而不是一个固定的设计参数和学习规则。几个研究人员使用的EA学习控制参数和学习神经网络的规则（ Harp等， 1989; Kim等，1996; 。塔赫里和Mohebbi ， 2008） 。图9.7显示了EA和神经网络的支持相结合，其中EA提供了NN参数和学习规则。在该图中,代表一组神经网络参数和学习规则，即= ， ， ， H ， O 。H和O是的隐藏功能激活该神经网络，层和输出层分别。据推测，在激活的功能是对于相同的层，并且可以从层到层变化相同。 图9.7 EA为参数学习和学习规则 为了评估该组参数的有效性，对NN进行训练为固定数量的迭代。在培训过程中，神经网络将实现不同的性能等级（由网络的召回误差测量）不同组的学习和控制参数。 的学习规则的演变的一个典型过程可以概括为以下: 1，建立个人组成的学习和控制参数的初始种群,每一个都可以被解释为一组中选择的参数给神经网络。 2，建立和训练神经网络的迭代固定数目。 3，转移训练误差和设定的参数来评估健身对每个神经网络。 4，EA进行操作，以创建一个新的人口。直到收敛或最大达到5, 重复步骤2-4。 假定神经网络的结构是预先确定和固定在上面的程序 （Belewet人，1991; Kim等人，1996）。如果改变神经网络结构都是需要考虑的在附近的演变最佳的学习规律，健身应该是集合的平均适应度架构（雅各，1988; Harpet人，1989）。一些研究人员运用一个EA提取规则强化学习和使用这些规则来训练神经网络（吉塔和哈桑，1995）如任何神经网络的性能还取决于架构，优化的架构在EA和NN的组合的一个重要问题。该体系结构的进化是本章讨论在9.3.2节。 另一个关键问题是如何将学习规则的动态行为编码为静态染色体。一个普遍的代表性方案是不切实际的，由于登天搜索大学习规则的空间需要很长的计算时间。两个假设已作出经常在学习规则为：（i）重更新是依赖于当地信息，如激活的输入和输出节点与当前连接的权重;（ii）学习规则是相同的在神经网络的所有连接。基于这两个假设，一个学习规则可假设为在本地变量及其制品的线性函数（姚，1995年，1999年），定义如