数学建模-神经网络算法

.,数学建模经典算法,陈旺虎chenwh,神经网络与神经网络算法,.,学习目标,拓宽视野感受神经网络算法的应用背景能够用神经网络算法解决一些简单问题不探究详细的理论基础,.,内容安排,人工神经网络简介人工神经网络的基本功能人工神经网络的发展历史人工神经网络的生物学基础M-P模型前馈神经网络单层感知器多层感知器BP算法BP网络应用案例（MATLAB计算）,.,1.人工神经网络简介,生物神经网络人类的大脑大约有1.41011个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（ArtificialNeuralNetwork，缩写ANN）。对人类大脑系统的一阶特性的一种描述。（生理角度的模拟）,.,基本原理存在一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。当训练结束后，给定一个输入，网络便会根据已调节好的权值计算出相应的输出。,.,严格定义ANN最典型的定义由Simpson在1987年提出人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。ANN算法根据人的认识过程而开发出的一种算法,.,2.人工神经网络的基本功能,（1）联想记忆功能由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。联想记忆有两种基本形式自联想记忆异联想记忆,.,自联想记忆网络中预先存储（记忆)多种模式信息当输入某个已存储模式的部分信息或带有噪声干扰的信息时，网络能通过动态联想过程回忆起该模式的全部信息异联想记忆网络中预先存储了多个模式对每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息是残缺的或迭加了噪声的，网络也能回忆起与其对应的另一部分,.,不完整模式的自联想神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整信息这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值,.,2.人工神经网络的基本功能（续）,（2）非线性映射功能,.,非线性映射功能在客观世界中，许多系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。设计合理的神经网络，通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。该模型的表达是非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。,.,2.人工神经网络的基本功能（续）,（3）分类与识别功能,.,分类与识别功能神经网络对外界输入样本具有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。传统分类方法只适合解决同类相聚，异类分离的的识别与分类问题。但客观世界中许多事物（例如，不同的图象、声音、文字等等）在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可能同属一类。神经网络可以很好地解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。,.,2.人工神经网络的基本功能（续）,（4）优化计算功能,.,优化计算功能优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数。神经网络经过动态演变过程达到稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。这种优化计算不需要对目标函数求导，其结果是网络自动给出的。,.,2.人工神经网络的基本功能（续）,（5）知识处理功能,.,知识处理功能知识是人们从客观世界的大量信息以及自身的实践中总结归纳出来的经验、规则和判据。神经网络获得知识的途径与人类似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的规律。另一方面，人的先验知识可以大大提高神经网络的知识处理能力，两者相结合会使神经网络智能得到进一步提升。,.,神经网络的发展历程经过了4个阶段。（1）启蒙期（1890-1969年）1890年，W.James发表专著心理学，讨论了脑的结构和功能。1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。1949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即学习规则），并用电路进行了硬件设计。,3.神经网络的发展历史,.,3.神经网络的发展历史（续）,（2）低潮期（1969-1982）受当时神经网络理论研究水平的限制，以及冯诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今为止最复杂的ART网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。1972年，Kohonen提出了自组织映射的SOM模型。,.,3.神经网络的发展历史（续）,（3）复兴期（1982-1986）1982年，物理学家Hoppield提出了Hoppield神经网络模型，该模型通过引入能量函数，实现了问题优化求解，1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。在1986年，在Rumelhart和McCelland等出版ParallelDistributedProcessing一书，提出了一种著名的多层神经网络模型，即BP网络。该网络是迄今为止应用最普遍的神经网络。,.,3.神经网络的发展历史（续）,（4）新连接机制时期（1986-现在）神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。神经网络主要应用领域有模式识别与图象处理（语音、指纹、故障检测和图象压缩等）控制与优化预测与管理（市场预测、风险分析）等,.,神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。,4.人工神经网络的生物学基础,.,神经元及其联接；神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度是可以随训练改变的；信号可以是起刺激作用的，也可以是起抑制作用的；一个神经元接受的信号的累积效果决定该神经元的状态；每个神经元可以有一个“阈值”,.,4.1生物神经元的信息处理机理,（1）信息的产生,神经元间信息的产生、传递和处理是一种电化学活动。,神经元状态静息兴奋抑制,膜电位极化去极化超极化,.,.,4.1生物神经元的信息处理机理（续）,（2）信息的传递与接收,.,4.1生物神经元的信息处理机理（续）,（3）信息的整合,空间整合同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和时间整合各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积,.,4.2神经元的人工模型,神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元人工神经元(节点),从三个方面进行模拟:节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整),决定人工神经网络整体性能的三大要素,.,神经元的建模,(1)每个神经元都是一个多输入单输出的信息处理单元；,(2)神经元输入分兴奋性输入和抑制性输入两种类型；,(6)神经元本身是非时变的，即其突触时延和突触强度均为常数。,(3)神经元具有空间整合特性和阈值特性；,(4)神经元输入与输出间有固定的时滞,主要取决于突触延搁；,(5)忽略时间整合作用；,模型的六点假设：,.,假设1：多输入单输出,正如生物神经元有许多激励输入一样，人工神经元也应该有许多的输入信号图中，每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。,.,假设2：输入类型兴奋性和抑制性,生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图中，对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。,.,假设3：空间整合特性和阈值特性,作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果图中，表示组合输入信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。,.,神经元的输出,图中，人工神经元的输出也同生物神经元一样仅有一个如，用oj表示神经元输出，则输出与输入之间的对应关系可用图中的某种非线性函数来表示。,.,神经元模型示意图,.,4.2.1人工神经元的数学模型,人工神经元模拟生物神经元的一阶特性，具有生物神经元的六大特征一个人工神经元一般有多个输入和一个输出一个人工神经元有一个转移函数（激发函数），不同的转移函数对应了不同的网络，也决定了网络的用途,.,4.2.1人工神经元的数学模型,ij输入输出间的突触时延；Tj神经元j的阈值；wij神经元i到j的突触连接系数或称权重值；f()神经元转移函数。,(4.1),.,为简单起见，将4.1上式中的突触时延取为单位时间，则式(4.1)可写为4.2式。上式描述的神经元数学模型全面表达了神经元模型的6点假定。其中输入xi的下标i=1,2,n，输出oj的下标j体现了神经元模型假定(1)中的“多输入单输出”。权重值wij的正负体现了假定(2)中“突触的兴奋与抑制”。Tj代表假定(3)中神经元的“阈值”；“输入总和”常称为神经元在t时刻的净输入，用下面的式子表示：,(4.2),.,(4.3),netj=WjTX,Wj=(w1w2wn)TX=(x1x2xn)T,令x0=-1，w0=Tj则有-Tj=x0w0,(4.4),4.2.1人工神经元的数学模型（续）,.,4.2.1人工神经元的数学模型（续）,netj(t)体现了神经元j的空间整合特性而未考虑时间整合，当netj-Tj0时，神经元才能被激活。oj(t+1)与xI(t之间的单位时差代表所有神经元具有相同的、恒定的工作节律，对应于假定(4)中的“突触延搁”；wij与时间无关体现了假定(6)中神经元的“非时变”。为简便起见，在后面用到式(2.3)时，常将其中的(t)省略。式(2.3)还可表示为权重向量Wj和输入向量X的点积WTX。其中Wj和X均为列向量，定义为Wj=(w1w2wn）T，X=(x1x2xn)T如果令x0=-1，w0=Tj，则有-Tj=x0w0，因此净输入与阈值之差可表达为:,.,(4.5),oj=f(netj)=f(WjTX),(4.6),4.2.1人工神经元的数学模型（续）,综合以上各式，神经元模型可简化为：,.,人工神经元的转移函数,神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。,.,(1)阈值型转移函数,1x0f(x)=(4.7)0 x0,人工神经元的转移函数,单位阶跃函数，也称为硬限幅函数,.,(2)非线性转移函数,人工神经元的转移函数,.,非线性转移函数为实数域R到0.1闭集的非减连续函数，代表了状态连续型神经元模型。非线性转移函数称为sigmoid，简称S型函数。特点是函数本身及其导数都是连续的，因而在处理上十分方便。S型函数函数又分为单极性和双极性两种。,.,(3)分段线性转移函数,0 x0f(x)=cx0xxc(4.9)1xcx,人工神经元的转移函数,神经元的输入与输出在一定区间内满足线性关系，模拟了实际系统中的饱和特性也称为伪线性函数,.,(4)概率型转移函数,温度参数,人工神经元的转移函数,采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状态为1或为0的概率。上式中，T称为温度参数。由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼（Boltzmann）分布类似，因此这种神经元模型也称为热力学模型。,.,4.2.2神经网络模型,分多层，层数根据实际需求设定：输入层、隐含层、输出层层数越多越准确，计算时间越长人工神经元图中的每个节点,.,人工神经网络模型分类,按网络连接的拓扑结构分类层次型结构互连型网络结构按网络内部的信息流向分类前馈型网络反馈型网络,.,（一）网络拓扑结构类型,层次型结构将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。互连型网络结构网络中任意两个节点之间都可能存在连接路径.,.,层次型网络模型,层次型结构的神经网络将神经元按功能分成若干层，如输入层、中间层（也称为隐层）和输出层，各层顺序相连。输入层各神经元负责接收来自外界的输入信息，并传递给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换，根据信息变换能力的需要，隐层可为设计一层或多层；最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次信息处理，由输出层向外界输出信息处理结果。层次型网络结构有3种典型的结合方式。,.,层次型模型,(1)单纯型层次网络结构,神经元分层排列，各层神经元接收前一层输入并输出到下一层；层内神经元自身以及神经元之间不存在连接通路。,.,层次型模型,（2）输出层到输入层有连接,输入层神经元既可接收输入，也具有信息处理功能,.,层次型模型,（3）层内有连接层次型结构,同一层内神经元有互连；特点是在同一层内引入神经元间的侧向作用，使得能同时激活的神经元个数可控，以实现各层神经元的自组织。,.,互联型网络结构,网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的互连程度将互连型网络结构细分为三种情况：,(1)全互连型：网络中的每个节点均与所有其它节点连接,.,互联型网络结构,（2）局部互连型网络结构,网络中的每个节点只与其邻近的节点有连接,（3）稀疏连接型：网络中的节点只与少数相距较远的节点相连,.,说明：神经网络的分层结构,与激发函数一起决定了神经网络的不同还可分为单级网多级网反馈网循环网等,.,简单单级网,.,简单单级网,W=（wij）输出层的第j个神经元的网络输入记为netj：netj=x1w1j+x2w2j+xnwnj其中,1jm。取NET=（net1，net2，netm）NET=XWO=F（NET）,.,单级横向反馈网,.,单级横向反馈网,反馈权值矩阵：V=（vij）神经元的网络输入：NET=XW+OV网络输出：O=F（NET）反馈网中可以引入时间参数神经元的状态在主时钟的控制下同步变化NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0,.,多级网,.,层次划分信号只被允许从较低层流向较高层。层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。输入层：被记作第0层。该层负责接收来自网络外部的信息,多级网,.,第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号,多级网,.,约定:输出层的层号为该网络的层数：n层网络，或n级网络。第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。,多级网,.,多级网h层网络,.,多级网,非线性激活函数F(X)=kX+C每层的网络输出举例F1(XW(1)F3(F2(F1(XW(1)W(2)W(3),.,循环网,.,循环网,将输出信号反馈到输入端输入的原始信号被逐步地“加强”、被“修复”符合大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的网络的稳定性反馈信号会引起网络输出的不断变化我们希望这种变化逐渐减小，并且最后能消失当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。,.,（二）网络信息流向类型,前馈型网络前馈:网络信息处理的方向是从输入层到各隐层再到输出层逐层进行反馈型网络在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。,.,（二）网络信息流向类型,（1）前馈型网络,前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名,.,单纯前馈型（上图）从信息处理能力看，网络中的节点可分为两种一种是输入节点，只负责从外界引入信息后向前传递给第一隐层；另一种是具有处理能力的节点，包括各隐层和输出层节点。前馈网络中一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。,.,多层前馈网络可用一个有向无环路的图表示输入层常记为网络的第一层，第一个隐层记为网络的第二层，其余类推。所以，当提到具有单层计算神经元的网络时，指的应是一个两层前馈网络（输入层和输出层）当提到具有单隐层的网络时，指的应是一个三层前馈网络,.,（二）网络信息流向类型,（2）反馈型网络,在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。,.,单纯反馈型网络单层全互连结构网络：是一种典型的反馈型网络，可以用上图所示的完全的无向图表示。注意上面介绍的分类方法、结构形式和信息流向只是对目前常见的网络结构的概括和抽象。实际应用的神经网络可能同时兼有其中一种或几种形式。例如，从连接形式看，层次网络中可能出现局部的互连；从信息流向看，前馈网络中可能出现局部反馈。,.,4.2.3神经网络学习,神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。神经网络的学习方式是决定神经网络信息处理性能的第三大要素（神经网络研究的重点）。改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算法）。在单个处理单元层次，无论采用哪种学习规则进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整时，网络就呈现出“智能”特性，其中有意义的信息就分布地存储在调节后的权值矩阵中。,.,4.2.3神经网络学习：分类,有导师学习(有监督学习)这种学习模式采用的是纠错规则。在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”。将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值。当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行工作了。,.,无导师学习(无监督学习)学习过程中，需要不断给网络提供动态输入信息，网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。,.,死记式学习是指网络事先设计成能记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不再变动，因此其学习是一次性的，而不是一个训练过程。,.,学习的过程（权值调整的一般情况）,.,4.2.3神经网络学习,.,5.M-P模型,M-P（McCullochPitts）模型，也称为处理单元（PE）,输入：X=（x1，x2，xn）联接权：W=（w1，w2，wn）T网络输入：net=xiwi=XW输出：o=f（net）,.,6.前馈神经网络,1958年，美国心理学家FrankRosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络研究起了重要推动作用。,.,6.1单层感知器,单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的基础，而且较易学习和理解，适合于作为学习神经网络的起点。单层感知器是指只有一层处理单元的感知器，如果包括输入层在内，应为两层。图中输入层也称为感知层，有n个神经元节点，这些节点只负责引入外部信息，自身无信息处理能力，每个节点接收一个输入信号，n个输入信号构成输入列向量X。输出层也称为处理层，有m个神经元节点，每个节点均具有信息处理能力，m个节点向外部输出处理信息，构成输出列向量O。两层之间的连接权值用权值列向量Wj表示，m个权向量构成单层感知器的权值矩阵W。,.,感知器模型,单层感知器,最早也是最简单的一种神经网络，它的神经元激发函数为阶跃函数，主要用于分类,感知器神经元,.,j=1,2,m,感知器模型,.,净输入：,输出：,感知器模型,令x0=-1，w0=Tj则有-Tj=x0w0,.,(1)设输入向量X=(x1,x2)T,输出：,则由方程wijx1+w2jx2-Tj=0确定了二维平面上的一条分界线,感知器的功能,.,（1）输入是二维,w1jx1+w2jx2Tj=0w1jx1=Tj-w2jx2x1=(Tj-w2jx2)/w1j=-(w2j/w1j)x2+Tj/w1j=ax2+c,.,感知器的功能（二维）,.,感知器的功能,线上方的样本用*表示，它们使netj0，从而使输出为1；线下方的样本用o表示，它们使netj0，从而使输出为1；线下方的样本用o表示，它们使netj1；当退出平坦区后，再令=1。,.,改进3：引入陡度因子,作用分析：1：net坐标压缩了倍，神经元的转移函数曲线的敏感区段变长，从而可使绝对值较大的net退出饱和值。=1：转移函数恢复原状，对绝对值较小的net具有较高的灵敏度。应用结果表明该方法对于提高BP算法的收敛速度十分有效。,.,总结,基于BP算法的多层前馈网络模型BP算法的实现基本思想推导过程程序实现BP学习算法的功能BP学习算法的局限性BP学习算法的改进,.,8.BP网络设计,一、训练样本集的准备1.输入输出量的选择2.输入量的提取与表示3.输出量的表示二、输入输出数据的归一化三、网络训练与测试,.,一、训练样本集的准备,输出量的选择输出量:代表系统要实现的功能目标系统的性能指标分类问题的类别归属非线性函数的函数值输入量的选择输入量选择的两条基本原则必须选择那些对输出影响大且能够检测或提取的变量各输入变量之间互不相关或相关性很小,1.输出、输入量的选择,.,1.输出、输入量的选择,输入输出量的性质从输入、输出量的性质来看，可分为两类数值变量语言变量。数值变量的值是数值确定的连续量或离散量。语言变量是用自然语言表示的概念，其“语言值”是用自然语言表示的事物的各种属性。当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。,.,2.输入量的提取与表示,XC=(111100111)TXI=(010010010)TXT=(111010010)T,(1)文字符号输入,.,（2）曲线输入,p=1,2,P,.,（3）函数自变量输入一般有几个输入量就设几个分量，1个输入分量对应1个输入层节点。（4）图象输入在这类应用中，一般先根据识别的具体目的从图象中提取一些有用的特征参数，再根据这些参数对输入的贡献进行筛选，这种特征提取属于图象处理的范畴。,.,3.输出量的表示,(1)“n中取1”表示法,“n中取1”是令输出向量的分量数等于类别数，输入样本被判为哪一类，对应的输出分量取1，其余n-1个分量全取0。例如，用0001、0010、0100和1000可分别表示优、良、中、差4个类别。,(2)“n-1”表示法,如果用n-1个全为0的输出向量表示某个类别，则可以节省一个输出节点。例如，用000、001、010和100也可表示优、良、中、差4个类别。,(3)数值表示法,对于渐进式的分类，可以将语言值转化为二值之间的数值表示。数值的选择要注意保持由小到大的渐进关系，并要根据实际意义拉开距离。,.,二、输入输出数据的归