人工智能读书笔记 西安交通大学

1、人工智能读书笔记神经网络初步探究西安交通大学电信学院计算机15班高君宇2110505112本学期，我有幸跟随相明教授进行了为期十周的人工智能课程学 习。我最真切的体会是：在当今的人工智能领域里，理论是浩如烟海 的，发现是十分之多的，应用是颇有限制的，成熟是有待时间的。但 是，这丝毫不会降低我对人工智能诸多领域的兴趣。为什么呢？因为 我是一个计算机专业的学生，对计算机这个看似冷冰的机器有着独特 的感情，我渴望与他沟通与他交互向他诉说。所以，机器学习、神经 网络等一系列理论都让我兴致勃勃，而且这些理论在相关领域中已经 有所应用。在这个读书笔记里，我想专门记录自己对神经网络的研究。人类在很多方面已成

2、功地采用机器来完成繁重和重复的体力工 作，但人们也一直没有放弃让机器具有人类的思维能力的努力。自电 子计算机的出现至今，使这种梦想有了某些实现的可能。特别是人工 智能技术的出现，使得人们又向思维机器的研究方向迈进了一步。 现在，人工神经网络技术又为我们进一步研究怎样模拟人类智能以及 了解人脑思维的奥秘开辟了一条新的途径。1那么，什么是神经网络呢？通过老师课上的讲述和自身的理解， 我认为神经网络就是让计算机像生物体的神经系统一样，可以对外界 传来的各种刺激（输入）产生一系列确定的反应（输出）。神经元在 神经系统中具体怎么工作的我们不用纠结太多，而机器中实现神经网 络模型需要用一系列数学方法对输入

3、信号进行变换、分类、加权等。 我们主要学习了早期的感知器模型，它第一次引入了学习的概念，但 简单感知器是通过非线性函数输出的，它只能解决线性可分问题，不 能解决线性不可分问题（即无法用一个平面（直线）把超空间（二维 平面）中的点正确划分），但多层感知器可以解决这个问题，因为它 把多个感知器级联在了一起，相当于在一个平面上画多条直线，其层 次可分为输入层、隐层和输出层，每一层都是上一层的输入加权后输 出，但多层感知器模型不能学习。接着，我们重点学习了算法，它 是一种最为著名的前馈网络学习算法，BP网络既解决了多层感知器不 能学习的缺陷，又继承了感知器强大的分类能力。它将初始的各层 权值不断调整，

4、用迭代的方法逐步逼近最优结果。BP神经网络是前馈神经网络中应用最广泛的网络之一。理论上， 当BP神经网络隐层节点足够多时，可以逼近任意复杂系统的动力学 行为。然而，由于神经网络规模巨大以及数据饱和等原因，使网络难 以收敛到全局最小点，或收敛速度异常缓慢，为实际应用带来许多具 体的难以克服的困难。人们提出了很多改进的学习算法，并极大地改 善了收敛速度。X但是，对于复杂的问题，BP神经网络规模巨大以 及收敛速度缓慢的问题到目前为止依然没有得到有效解决。实质上， 导致BP神经网络收敛缓慢的原因不仅仅是由于BP神经网络所采用的 梯度学习算法，而且也与BP神经网络全连接对称的网络结构有关。 全连接对称结

5、构的BP神经网络应用梯度下降法进行权值修正时，网 络中的每个隐节点都各自为政，并力图使自己在总体计算中发挥主要 作用。每个隐节点都只看到其输入信号和输出端反传给它的误差信 号，误差信号给出了每个隐节点需要完成的任务，但输入信号和输出 信号一直在变化，因此，隐节点要完成的任务也一直在变动，于是， 各隐节点在很长一段时间内处于混沌状态，需要很长时间才能够稳定 下来。7因此，要改善BP神经网络的性能，需在网络结构上改变其全连 接的形式，降低网络参数搜索空间。人工神经网络建立在大脑生理研 究的基础上，是对生物神经网络若干基本特性的抽象和模拟。人脑在 处理复杂事件时，会将事件分解成若干子事件，然后分配给

6、大脑的相 应处理机构，协调完成事件的处理工作，同时人脑对知识具有积累特 性，在获得新知识的同时不会破坏原来已学好的知识。而全连接神 经网络却不具备这些特性，它在学习新样本时，会破坏全部原来已经 学好的旧样本。因此，近年来许多学者试图从仿生学和拟人脑的角度 研究神经网络结构设计理论及应用。9虽然BP算法是神经网络最为重要且最基本的部分之一，但神经网 络领域的知识远比书本上讲述的更深、更广。接下来，我主要研究了 径向基函数网络。设计神经网络可以有多种方案，反向传播算法可以 看做是递归技术的应用，因为其调整权系数的方法是递归的。这种技 术在统计学中称为随机逼近。而径向基函数网络将神经网络的设计看 作

7、是一个高维空间中的曲线拟合（逼近）问题。按照这种观点，学习 等价于在多维空间中寻找一个能够最佳拟合训练数据的曲面，这里的 最佳拟合准则是某种意义上的最佳拟合。径向基函数方法在某种程度 上利用了传统的多维空间中严格插值的研究成果。从我自己单纯的理解来看，径向基函数网络比反向传播算法更为 高端。为什么呢？因为径向基函数网络的隐层单元不像反向传播算法 的隐层单元那样只含有一个对权系数的调整，其隐层单元提供一个函 数集，该函数集在输入模式扩展至隐层单元时为其构建了一个任意的 基，实现了一种非线性计算，这个函数集中的函数就被称为径向基函 数。那么，这种算法的要点就在于径向基函数的确定了。最基本形式 的径

8、向基函数的英文简写为RBF，RBF网络的构成包括三层，其中每 一层都有着完全不同的作用。输入层由一些感知单元组成，它们将网 络与外界环境连接起来。第二层还是像3?模型一样，是隐层，它的作 用是从输入空间到隐层空间之间进行非线性变换。在大多数情况下隐 层空间有较高的维数。输出层是线性的，它为作用于输入层的信号提 供响应。隐层空间的维数越高，逼近就越精确。RBF网络的基本思想是：用RBF作为隐单元的“基”构成隐层 空间，这样就可以将输入矢量直接（即不需要通过权接）映射到隐空 间。6当RBF的中心点确定以后，这种映射关系也就确定了。而隐含 层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线

9、 性加权和。此处的权即为网络可调参数。由此可见，从总体上看，网 络由输入到输出的映射是非线性的，而网络输出对可调参数而言却又 是线性的。这样网络的权就可由线性方程直接解出，从而大大加快学 习速度并避免局部极小问题。径向基神经网络的神经元结构如图1所示。径向基神经网络的激 活函数采用径向基函数，通常定义为空间任一点到某一中心之间欧氏 距离的单调函数。由图1所示的径向基神经元结构可以看出，径向基神经网络的激活函数是以输入向量和权值向量之间的距离|dist 11作为 自变量的。径向基神经网络的激活函数的一般表达式为9鬲dist）=e杼（1）图1径向基神经元模型随着权值和输入向量之间距离的减少，网络输

10、出是递增的，当输 入向量和 权值向量一致时，神经元输出1。在图1中的b为阈值， 用于调整神经元的灵敏度。利用径向基神经元和线性神经元可以建立 广义回归神经网络，该种神经网络适用于函数逼近方面的应用；径向 基神经元和竞争神经元可以组建概率神经网络，此种神经网络适用于 解决分类问题。由输入层、隐含层和输出层构成的一般径向基神经网络结构如图 2所示。在RBF网络中，输入层仅仅起到传输信号的作用，与前面所 讲述的神经网络相比较，输入层和隐含层之间可以看做连接权值为1 的连接。输出层和隐含层所完成的任务是不同的，因而它们的学习策 略也不相同。输出层是对线性权进行调整，采用的是线性优化策略。 因而学习速度

11、较快。而隐含层是对激活函数（格林函数或高斯函数， 一般取高斯）的参数进行调整，采用的是非线性优化策略，因而学习 速度较慢。7图2径向基神经网络结构神经网络是一个及其复杂的领域，里面所涉及到的知识也是各方 面的，在学习和理解的过程中（主要是BP算法和RBF网络），我遇到 了很多不懂的地方和困难，有的通过查阅资料明白了，有的到现在还 是一知半解。路漫漫其修远兮，作为一个计算机专业的学生，我应该 努力丰富自己各方面的能力，特别是要夯实自己的数学功底，因为我 发现人工智能中高数、线性代数、概率论等数学知识应用的太多了。 同时，我也应该提高自己的编程能力，把理论应用到工程中去。最后，再次感谢相明老师为我

12、打开人工智能的大门，感谢相老师 的谆谆教导和循循善诱，10周时间说长不长，但我确有所获，谢谢您！参考文献：智能科学发展的若干问题，蔡自兴，贺汉根，自动化学报，2002年12月，第28卷，增刊Liu, J.Q., D.Z. Feng, and W.W. Zhang, Adaptive improved natural gradient algorithm for blind source separation. Neural computation, 2009. 21 (3): p. 872-889.Man, Z., et al., A new adaptive backpropagation algorithm based on Lyapunov stabil ity theory for neural networks. Neural Networks, IEEE Transactions on, 2006. 17(6):p. 1580-1591.Siu, S., et al., Improving the back-propagation algorithm using evolutionary stra tegy. Circuits and Systems II： Express Briefs, IEEE Transactions on