人工智能与神经网络读书报告分析讲解说明.doc

人工智能与神经网络读书报告分析讲解说明 人工智能与神经网络读书报告 摘要:人工智能与神经网络技术在近二十年中飞速发展,取得了大量成果,本文介绍了神经网络的发展现状,并对神经网络的的未来发展进行了展望。 关键词:人工智能 神经网络 Abstract:The Artificial Intelligence and the neural network technique has gained high recognition in recent twenty years, and has acquired abundant accomplishment. This paper has made a prospect to the neural networks future development based on viewing the state of development of neural network. Keywords: Artificial Intelligenceneural network一、引言 神经网络1Neural Network:NN是由具有适应性的简单单元组成的广泛并行互连的网络,也称为人工神经元网络、人工神经网络ANN、人工神经系统ANS、自适应系统Adaptive System、连接模型Connectionism、神经计算机Neurocomputer等。人工神经网络是生物神经网络的一种模拟和近似,它从结构、实现机理和功能上模拟生物神经网络。从系统观点看,人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。 本文结构如下:首先介绍了神经网络技术的发展史;其次具体介绍了神经网络技术;最后对神经网络技术的发展进行了展望。二、神经网络技术发展史1 神经网络最早的研究是1943年心理学家McCulloch和数学家Pitts合作提出的,他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经历了三个发展阶段:1946-1969为初期,在此期间的主要工作包括Hebb1949The Organization of Behavior一书中提出的Hebb学习规则,他的基本思想是:大脑在器官接受不同的任务刺激时,大脑的突触在不断的进行变化,这些不停的变化导致了大脑的自组织形成细胞集合,循环的神经冲动会自我强化。Hebb在文中给出了突出调节模型,描述了分布记忆,即后来的关联论connectionist;这个阶段另一个重要的工作为Rosenblatt基于MP模型,增加了学习机制,推广了MP模型研制了感知机。Rosenblatt感知机器的工作激发了许多的学者对神经网络研究的极大兴趣,美国上百家有影响的实验室纷纷投入到这个领域。1969年Minsky和Papert指出感知机的缺陷并表示出对该方法研究的悲观态度,同时由于专家系统方法展示出的强大活力,使得神经网络在很长时间内处于一个发展的低潮。第二阶段即为1970-1986期间的发展低潮阶段,在此期间科学家们做出了大量的工作,如Hopfield对网络引入能量函数的概念,给出了网络的稳定性判据,提出了用于联想记忆和优化计算的途径。1981-1984年Kohonen提出自组织映射网络模型。1986年Rumelhart等人提出误差反向传播神经网络,简称BP网络。目前BP网络已经得到广泛应用。1987年至今为发展期,在此期间,神经网络得到了国际重视,许多国家都展开研究,形成神经网络发展的另一个高潮。三、神经网络技术 人工神经网络的定义2不是统一的,T.Koholen对人工神经网络的定义:“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。” 人工神经网络(articles neural network,ANN)结构和工作机理基本上以人脑的组织结构(大脑神经元网络)和活动规律为背景的,它反映了人脑的某些基本特征,但并不是要对人脑部分的真实再现,可以说它是某种抽象、简化或模仿。 神经网络具有如下的特点: 1 由于信息分散存储于网络内的神经元中,因而神经网络具有很强的鲁棒性和容错性; 2 并行处理能力,人工神经元在结构上是并行的,从而使得相似问题的处理可以同时进行,具有快速的特点; 3 自学习、自组织、自适应性; 4 可以逼近任意复杂的非线性系统,同时可以处理定性与定量信息,适用于处理非线性和不确定性问题。上述特点使得神经网络具有很广泛的适用范围,主要包括图象处理、模式识别、机器人控制、信号处理、经济分析、数据挖掘、医学、农业、电力系统、交通、地理、气象等诸多领域。1、人工神经元模型3 神经元是大脑处理信息的基本单元,人脑大约由1011个神经元组成,神经元互相连接成神经网络。神经元以细胞体为主体,由许多向周围延伸的不规则树枝状纤维构成的神经细胞,其形状很像一棵枯树的枝干。主要由细胞体、树突、轴突和突触Synapse,又称神经键组成 。 图1 生物神经元的示意图 生物神经元传递信息的过程为多输入、单输出,神经元各组成部分的功能来看,信息的处理与传递主要发生在突触附近,当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度,即超过其阈值电位后,突触前膜将向突触间隙释放神经传递的化学物质,突触有两种类型,兴奋性突触和抑制性突触。前者产生正突触后电位,后者产生负突触后电位。 人工神经元是神经网络的基本处理单元。它是对生物神经元的简化和模拟。图2给出了一种简化的神经元结构。 图2 简化的神经元结构 从图中可见,它是一个多输入、单输出的非线性元件,其输入/输出关系可描述为 (1-1) 其中是从其它细胞传来的输入信号,为阈值,权系数表示连接的强度,说明突触的负载。称为激发函数或作用函数,其非线性特征可用阈值型、分段线性型和连续激发函数近似。 为了方便,有时将-看成是对应恒等于1的输入的权值,这时公式(1)的和式变为: (1-2) 其中,。 图3给出了神经网络中常用的激发函数,不同的激发函数决定了神经元的不同输出特性。 图3 常用激发函数 其中,ab为阈值型函数,c为饱和型函数,def均为连续性激发函数:d是双曲型函数或者称为对称的sigmoid函数;e是S型函数,又称为sigmoid函数;f是高斯函数。2、神经网络的基本结构4 神经网络由大量的神经元广泛连接而成,根据连接方式的不同,神经网络可以分为两大类:无反馈的前向神经网络和相互连接型神经网络,分别如图4和图5 所示。 图4 前向神经网络 前向神经网络分为输入层、隐含层和输出层。隐含层可以有若干层,每一层的神经元只接受前一层神经元的输出。前向网络中各个神经元接受前一级的输入,并输出到下一级,网络中没有反馈,可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换,它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单,易于实现。反传网络是一种典型的前向网络。 图5 反馈型神经网络 相互连接型网络的神经元相互之间都可能有连接,因此,输入信号要在神经元之间反复往返传递,从某一初始状态开始,经过若干次变化,渐渐趋于某一稳定状态或进入周期震荡等其他状态。网络内神经元间有反馈,可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换,可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。3、神经网络学习算法3.1神经网络学习方法分类4 神经网络学习方法有多种。网络的学习规则可以分为三类:相关规则,即仅仅根据连接间的激活水平改变权值;纠错规则,即依赖关于输出节点的外部反馈来改变权系数;无教师学习规则,即学习表现为自适应于输入空间的检测规则。相应地,神经网络学习方法也可根据学习规则划分为不同的种类。 (1)相关规则 相关规则常用于自联想网络,执行特殊记忆状态的记忆式学习,也属于无教师的学习。Hopfield网络就采用这样的学习方法,称之为修正的Hebb规则: (3-1) 式中,和分别表示两个相连接的神经元i和神经元j的激活值。 (2)纠错规则 纠错规则等效于梯度下降法,通过在局部最大改善的方向上逐步进行修正,力图达到表示函数功能的全局解。感知器使用纠错规则,其特点为: 若一节点的输出正确,一切不变;若输出本应为0而为1,则相应的权值减小;若输出应为1而为0,则相应的权值增加; 对于学习规则,可分为一般学习规则和广义学习规则,常见的有以下3种。 学习规则。 权值的修正不是固定的量,而是和误差成正比,即 (3-2) 这里,是全局学习系数,而,即期望值和实际值之差;是神经元j的状态。学习规则和感知器学习规则一样,只适用于线性可分函数,无法用于多层网络。 广义学习规则。 它可在多层网络上有效地学习,可学习非线性可分函数。其关键是对隐节点的偏差如何定义和计算。具有误差反向传播的前向神经网路的BP算法,当j为神经网络隐层节点时,定义 (3-3) 式中,是节点j到下一层神经节点k的权值;为隐层第j分神经节点的输入网络;为隐层第j个神经节点的输出;是连续的一次可微函数;为隐层神经节点j的误差反向传播系数;为下一层神经节点k的误差反向传播函数。 Boltzmann机学习规则。 它用模拟退火的统计方法来替代广义的规则。它提供了隐节点的有效学习方法,能学习复杂的非线性可分函数。这种方法也属于梯度下降法,其主要缺点是学习速度太慢。 (3)无教师学习规则 在这种学习规则中,关键不在于实际节点的输出怎样与期望输出相一致,而在于调整参数以反映观测事件的分布。诸如Grossberg的自适应共振理论ART,子组织特征映射和Klopf的享乐主义神经元都是无教师学习。 这类无教师学习的系统并不在于寻找一个特殊函数表示,而是将事件空间分类成输入活动区域,且有选择的对这些区域响应。它在应用于开发由多层竞争族组成的网络等方面有良好的前景。它的输入可以使连续值,对噪声有较强的抗干扰能力,但对较少的输入样本,结果可能依赖于输入顺序。 在人工神经网络中,学习规则是修正网络权值的一种算法,以获得适合的映射函数和其它的系统性能。Hebb学习规则的相关假设是许多规则的基础,尤其是相关规则;Hopfied网络和自组织特征映射展示了有效的模式识别能力;纠错规则采用梯度下降法,因而存在局部极小点问题。无教师学习提供了新的选择,它利用自适应学习方法,使节点有选择的接受输入空间上的不同特性,从而抛弃了普通神经网络学习映射函数的学习概念,并提供了基于检测特性空间的活动规律的性能描写。下面介绍几种常用的学习方法。3.2 Hebb学习方法 Hebb学习是一类相关学习,它的基本思想是:如果有两个神经元同时兴奋,则它们之间的连接强度的增强与它们的激励的乘积成正比。用yi表示单元i的激活值(输出),yj表示单元j的激活值,wij表示单元j到单元i的连接加权系数,则Hebb学习规则可表示如下: (3-4) 式中为学习速率。单层前向网 设有个感知器,第个感知器的输出为,输入,每个感知器有个输入,得一个单层前向网可表示为 (3-5) 单层前向网示意图: 输入层输出层 记为,表示第个神经元当权向量为,输入为时的输出,设网络的训练数据集为,为输入,为输出,而表示第个感知器的期望输出.训练数据集的误差函数定义为 (3-6) 学习的目标是求使误差函数最小,即: (3-7) 双层前向网 不含反馈的人工神经网络. 输入层X 隐层Z输出层Y x1y1 x2 y2 xd yc d个W1 M个 W2 c个 分别有个输入神经元,个隐层神经元和个输出神经元,输入,隐层神经元的激活函数为,第个隐层神经元的整合函数和输出值分别为 (3-8) (3-9) 是第一层权重矩阵中第个输入连接到个隐神经元的权重,是隐元的阀值,同样,输出层的激活函数为,第个输出元以输入,整合函数和输出值分别为 (3-10) (3-11) 得双层前向网的输出表达式 (3-12)和,分别表示隐层元和输出元的阀值,二层前向网的一般模型可表示为 (3-13)3.3 梯度下降法 梯度下降法是一种有教师的学习方法。假设下列准则函数 (3-14) 其中代表希望的输出,为期望的实际输出;是所有权值组成的向量,为对的偏差。现在的问题是如何调整W使准则函数最小。梯度下降法可用来解决此问题,其基本思想是沿着的负梯度方向不断修正Wk值,直至达到最小。这种方法的数学表达式为 (3-15) 其中,是控制权值修正速度的变量;的梯度为: (3-16) 在上述问题中,把网络的输出看成是网络权值向量W的函数,因此网络的学习就是根据希望的输出和实际之间的误差平方最小原则来修正网络的权向量。根据不同形式的,可推导出相应的算法:规则和BP算法。3.4 规则 在B.Windrow的自适应线性元件中个,自适应线性元件的输出表示为 (3-17) 其中,为权向量,为k时刻的输入模式。 因此准则函数的梯度是 当时,Windrow的规则为 (3-18) 这里是控制算法和收缩性的常数,实际中往往取。3.5 BP算法5-6 误差反向传播的BP算法(Back-Propagation Algorithm)最早由Webos提出。BP网络不仅有输入层节点、输出层节点,而且有隐层节点(可以使一层或多层)。其作用函数通常选用连续可导的Sigmoid函数。 反向传播是通过误差函数求导使误差沿网络向反传播,对误差函数求导以确定各层神经元误差的方法.前向传播是输入进入网络,信息在网络中前进移动的方向,次计算直至输出的过程. 学习样本集为, 分别为网络系统的输入和期望输出,而网络系统在输入时的实际计算输出,误差函数为 (3-19) 2(3-20) 分析与误差的关系,而利用上式得与误差的关系. 分别称和为第个输出元和个隐元的误差率,计算可得 同时又可得 , 在计算中,先计算输出层误差,再计算隐层误差,称误差反向传播.可设计求解的最小二乘法或梯度法 得学习规则 (3-21) (3-22)四、神经网络的应用与展望4.1 神经网络的应用现状7 神经网络的应用已经涉及各个领域,并且在智能控制、模式识别、信号处理、连续语音识别、图像处理、生物医学工程等方面均取得了实质性的进展。(1)在智能控制方面的应用 已经应用于智能机器人、机械手、机器人传感系统的控制,从而可以实现自动躲避障碍物、自动监控生产环境以及机器人本身的智能导航。例如,机器人World Cup,其实质是提出一个充满活力的、嘈杂的复杂环境,这需要大规模的合作和协调。参赛队伍设计机器人共同使用的方法是将不同类型的神经网络和遗传算法遗传算法相结合。(2)在连续语音、模式识别方面的应用 已经应用于连续语音说话人识别、类语言语音识别、手写字符识别、人脸识别、车牌号码识别等,还可以应用于目标自动检测和识别、自然灾害模式预报等。例如,自动speech reading是基于嘴唇图像分析的,该系统可以实现实时跟踪,还可以储存嘴唇区域并进行离线嘴唇模型匹配。神经网络分类器能检测牙齿边缘和其他属性。基于神经网络的输出,自动对封闭嘴唇边缘进行模式匹配识别。(3)在生物医学图像、信号处理方面的应用 已经应用于图像分割、图像压缩和恢复,包括各种图像数据,比如心电图、脑电图等医学图像等,还可以对语音通信数据进行处理。例如,利用具有相关性的音频和视频来驱动人脸动画和语音合成;使人脸视频序列可以发出类似讲话的声音效果。许多先前的研究已采用这种音频到视觉的转换方案,目前,人们正在研究如何与隐马尔可夫模型HMM结合起来以更好地实现转换。(4)在其他领域的应用 主要包括:财务分析,如股市的预测;特征分析,如美国银行采取神经网络来比对和验证客户签名;过程控制监督,如神经网络可用来提醒飞机飞行员可能的引擎故障。4.2 神经网络的展望7(1)VC维计算 VC维反映了函数集的学习能力,VC维越大则学习机器越复杂。目前尚没有通用的关于任意函数集VC维计算的理论,只对一些特殊的函数集知道其VC维。对于一些比较复杂的学习机器如神经网络,其VC维除了与函数集有关外,还受学习算法等因素的影响,其确定更加困难。在给定训练集的情况下,如果能求出合适的VC维,则可以帮助确定网络的结构;反之,在给定网络结构的情