R语言与机器学习(5)神经网络

1、算法五：神经网络(优化算法) 人工神经网络(ANN)，简称神经网络，是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。 人工神经网络从以下四个方面去模拟人的智能行为:物理结构：人工神经元将模拟生物神经元的功能计算模拟：人脑的神经元有局部计算和存储的功能，通过连接构成一个系统。人工神经网络中也有大量有局部处理能力的神经元，也能够将信息进行大规模并行处理

2、存储与操作：人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能，同时为概括、类比、推广提供有力的支持训练：同人脑一样，人工神经网络将根据自己的结构特性，使用不同的训练、学习过程，自动从实践中获得相关知识 神经网络是一种运算模型，由大量的节点(或称“神经元”，或“单元”)和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

3、0; 一、感知器 感知器相当于神经网络的一个单层，由一个线性组合器和一个二值阈值原件构成： 构成ANN系统的单层感知器：感知器以一个实数值向量作为输入，计算这些输入的线性组合，如果结果大于某个阈值，就输出1，否则输出1。感知器函数可写为：sign(w*x)有时可加入偏置b，写为sign(w*x+b)学习一个感知器意味着选择权w0,wn的值。所以感知器学习要考虑的候选假设空间H就是所有可能的实数值权向量的集合 算法训练步骤：1、定义变量与参数x(输入向量),w(权值向量),b(偏置),y(实际输出),d(期望输出),a(学习率参数)2、初始化，n=0,w=

4、03、输入训练样本，对每个训练样本指定其期望输出：A类记为1，B类记为-14、计算实际输出y=sign(w*x+b)5、更新权值向量w(n+1)=w(n)+ad-y(n)*x(n),06、判断，若满足收敛条件，算法结束，否则返回3 注意，其中学习率a为了权值的稳定性不应过大，为了体现误差对权值的修正不应过小，说到底，这是个经验问题。从前面的叙述来看，感知器对于线性可分的例子是一定收敛的，对于不可分问题，它没法实现正确分类。这里与我们前面讲到的支持向量机的想法十分的相近，只是确定分类直线的办法有所不同。可以这么说，对于线性可分的例子，支持向量机找到了“最优的”那条分类直线，而单层感知器

5、找到了一条可行的直线。我们以鸢尾花数据集为例，由于单层感知器是一个二分类器，所以我们将鸢尾花数据也分为两类，“setosa”与“versicolor”(将后两类均看做第2类)，那么数据按照特征：花瓣长度与宽度做分类。 运行下面的代码：#感知器训练结果：a<-0.2w<-rep(0,3)iris1<-t(as.matrix(iris,3:4)d<-c(rep(0,50),rep(1,100)e<-rep(0,150)p<-rbind(rep(1,150),iris1)max<-100000eps<-rep(0,100000)i<-0

6、repeatv<-w%*%p;y<-ifelse(sign(v)>=0,1,0);e<-d-y;epsi+1<-sum(abs(e)/length(e)if(epsi+1<0.01)print("finish:");print(w);break;w<-w+a*(d-y)%*%t(p);i<-i+1;if(i>max)print("max time loop");print(epsi)print(y);break;#绘图程序plot(Petal.LengthPetal.Width,xlim=c(0,3)

7、,ylim=c(0,8),data=irisiris$Species="virginica",)data1<-irisiris$Species="versicolor",points(data1$Petal.Width,data1$Petal.Length,col=2)data2<-irisiris$Species="setosa",points(data2$Petal.Width,data2$Petal.Length,col=3)x<-seq(0,3,0.01)y<-x*(-w2/w3)-w1/w3lines

8、(x,y,col=4)#绘制每次迭代的平均绝对误差plot(1:i,eps1:i,type="o")     分类结果如图： 这是运行了7次得到的结果。与我们前面的支持向量机相比，显然神经网络的单层感知器分类不是那么的可信，有些弱。我们可以尝试来做交叉验证，可以发现交叉验证结果并不理想。 二、线性神经网络 尽管当训练样例线性可分时，感知器法则可以成功地找到一个权向量，但如果样例不是线性可分时它将不能收敛。因此，人们设计了另一个训练法则来克服这个不足，称为delta法则。如果训练样本不是线性可分的

9、，那么delta法则会收敛到目标概念的最佳近似。delta法则的关键思想是使用梯度下降来搜索可能权向量的假设空间，以找到最佳拟合训练样例的权向量。我们将算法描述如下：1、定义变量与参数。x(输入向量),w(权值向量),b(偏置),y(实际输出),d(期望输出),a(学习率参数)(为叙述简便，我们可以将偏置并入权值向量中)2、初始化w=03、输入样本，计算实际输出与误差。e(n)=d-x*w(n)4、调整权值向量w(n+1)=w(n)+a*x*e(n)5、判断是否收敛，收敛结束，否则返回3Hayjin证明，只要学习率a<2/maxeign, delta法则按方差收敛。其中maxeigen为

10、xx的最大特征值。故我们这里使用1/maxeign作为a的值。我们还是以上面的鸢尾花数据为例来说这个问题。运行代码：p<-rbind(rep(1,150),iris1)d<-c(rep(0,50),rep(1,100)w<-rep(0,3)a<-1/max(eigen(t(p)%*%p)$values)max<-1000e<-rep(0,150)eps<-rep(0,1000)i<-0for(i in 1:max)v<-w%*%p;y<-v;e<-d-y;epsi+1<-sum(e2)/length(e)w<-w+a

11、*(d-y)%*%t(p);if(i=max)print(w)    得到分类直线： 相比感知器分类而言已经好了太多了，究其原因不外乎传递函数由二值阈值函数变为了线性函数，这也就是我们前面提到的delta法则会收敛到目标概念的最佳近似。增量法则渐近收敛到最小误差假设，可能需要无限的时间，但无论训练样例是否线性可分都会收敛。为了明了这一点我们考虑鸢尾花数据后两类花的分类(这里我们将前两类看做一类)，使用感知器： 使用线性分类器： 但是要解释的一点是，收敛并不意味着分类效果更好，要解决线性不可分问题需要的是添加非线性输入或者增加

12、神经元。我们以Minsky & Papert (1969)提出的异或例子为例说明这一点。 使用线性神经网络，代码与上面完全相同，略。第一个神经元输出：权值： ,1 ,2 ,31, 0.75 0.5 -0.5测试： ,1 ,2 ,3 ,41, 1 0 1 1第二个神经元输出：权值： ,1 ,2 ,31, 0.75 -0.5 0.5测试： ,1 ,2 ,3 ,41, 1 1 0 1求解异或逻辑(相同取0，不同取1)有结果：(代码xor(c(1,0,1,1),c(1,1,0,1)1 FALSE TRUE TRUE FALSE即0，1，1，0，分类正确。最后再说一点，Delta规则只

13、能训练单层网络，但这不会对其功能造成很大的影响。从理论上说，多层神经网络并不比单层神经网络更强大，他们具有同样的能力。 三、BP神经网络 1、sigmoid函数分类回顾我们前面提到的感知器，它使用示性函数作为分类的办法。然而示性函数作为分类器它的跳点让人觉得很难处理，幸好sigmoid函数y=1/(1+e-x)有类似的性质，且有着光滑性这一优良性质。我们通过下图可以看见sigmoid函数的图像： Sigmoid函数有着计算代价不高，易于理解与实现的优点但也有着欠拟合，分类精度不高的特性，我们在支持向量机一章中就可以看到sigmoid函数差劲的分类结果。2、BP神经

14、网络结构BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。由下图可知，BP神经网络是一个三层的网络: 输入层(input layer)：输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元;隐藏层(Hidden Layer):中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构;最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程;输出层(Output Layer):顾名思义，输出层向外界输出信息处理结果;当

15、实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐藏层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。3、反向传播算法反向传播这一算法把我们前面提到的delta规则的分析扩展到了带有隐藏节点的神经网络。为了理解这个问题，设想Bob给Alice讲了一个故事，然后Alice又讲给了Ted，Ted检查了这个事实真相，发现这个故事是错误的。现在 Ted 需要找出哪些错误是Bob造成的而哪些又归咎于Alic

16、e。当输出节点从隐藏节点获得输入，网络发现出现了误差，权系数的调整需要一个算法来找出整个误差是由多少不同的节点造成的，网络需要问，“是谁让我误入歧途?到怎样的程度?如何弥补?”这时，网络该怎么做呢?同样源于梯度降落原理，在权系数调整分析中的唯一不同是涉及到t(p,n)与y(p,n)的差分。通常来说Wi的改变在于：alpha * s'(a(p,n) * d(n) *X(p,i,n)其中d(n)是隐藏节点n的函数，让我们来看：n 对任何给出的输出节点有多大影响;输出节点本身对网络整体的误差有多少影响。 一方面，n 影响一个输出节点越多，n 造成网络整体的误差也越多。另一方面，如果

17、输出节点影响网络整体的误差越少，n 对输出节点的影响也相应减少。这里d(j)是对网络的整体误差的基值，W(n,j) 是 n 对 j 造成的影响，d(j) * W(n,j) 是这两种影响的总和。但是 n 几乎总是影响多个输出节点，也许会影响每一个输出结点，这样，d(n) 可以表示为：SUM(d(j)*W(n,j)这里j是一个从n获得输入的输出节点，联系起来，我们就得到了一个培训规则。第1部分：在隐藏节点n和输出节点j之间权系数改变，如下所示：alpha *s'(a(p,n)*(t(p,n) - y(p,n) * X(p,n,j)第 2 部分：在输入节点i和输出节点n之间权系数改变，如下所

18、示：alpha *s'(a(p,n) * sum(d(j) * W(n,j) * X(p,i,n)这里每个从n接收输入的输出节点j都不同。关于反向传播算法的基本情况大致如此。通常把第 1部分称为正向传播，把第2部分称为反向传播。反向传播的名字由此而来。4、最速下降法与其改进最速下降法的基本思想是：要找到某函数的最小值，最好的办法是沿函数的梯度方向探寻，如果梯度记为d,那么迭代公式可写为w=w-alpha*d，其中alpha可理解为我们前面提到的学习速率。最速下降法有着收敛速度慢(因为每次搜索与前一次均正交，收敛是锯齿形的)，容易陷入局部最小值等缺点，所以他的改进办法也有不少，最常见的是

19、增加动量项与学习率可变。增加冲量项(Momentum)修改权值更新法则，使第n次迭代时的权值的更新部分地依赖于发生在第n1次迭代时的更新Delta(w)(n)=-alpha*(1-mc)*Delta(w)(n)+mc*Delta(w)(n-1)右侧第一项就是权值更新法则，第二项被称为冲量项梯度下降的搜索轨迹就像一个球沿误差曲面滚下，冲量使球从一次迭代到下一次迭代时以同样的方向滚动冲量有时会使这个球滚过误差曲面的局部极小值或平坦区域冲量也具有在梯度不变的区域逐渐增大搜索步长的效果，从而加快收敛。改变学习率当误差减小趋近目标时，说明修正方向是正确的，可以增加学习率;当误差增加超过一个范围时，说明修

20、改不正确，需要降低学习率。5、BP神经网络的实现(1)数据读入，这里我们还是使用R的内置数据鸢尾花数据，由于神经网络本质是2分类的，所以我们将鸢尾花数据也分为两类(将前两类均看做第2类)，按照特征：花瓣长度与宽度做分类。(2)划分训练数据与测试数据(3)初始化BP网络，采用包含一个隐含层的神经网络，训练方法使用包含动量的最速下降法，传递函数使用sigmoid函数。(4)输入样本，对样本进行归一化，计算误差，求解误差平方和(5)判断是否收敛(6)根据误差调整权值。权值根据以下公式进行调整：Delta(w)= alpha *s'(a(p,n)*(t(p,n) - y(p,n) * X(p,

21、n,j)其中，alpha为学习率，s'(a(p,n)*(t(p,n)- y(p,n)为局部梯度。此外，由于使用了有动量因子的最速下降法，除第一次外，后续改变量应为：Delta(w)(n)=-alpha*(1-mc)*Delta(w)(n)+mc*Delta(w)(n-1)(7)测试，输出分类正确率。完整的R代码：iris1<-as.matrix(iris,3:4)iris1<-cbind(iris1,c(rep(1,100),rep(0,50)set.seed(5)n<-length(iris1,1)samp<-sample(1:n,n/5)traind<

22、-iris1-samp,c(1,2)train1<-iris1-samp,3testd<-iris1samp,c(1,2)test1<-iris1samp,3 set.seed(1)ntrainnum<-120nsampdim<-2 net.nin<-2net.nhidden<-3net.nout<-1w<-2*matrix(runif(net.nhidden*net.nin)-0.5,net.nhidden,net.nin)b<-2*(runif(net.nhidden)-0.5)net.w1<-cbind

23、(w,b)W<-2*matrix(runif(net.nhidden*net.nout)-0.5,net.nout,net.nhidden)B<-2*(runif(net.nout)-0.5)net.w2<-cbind(W,B) traind_s<-traindtraind_s,1<-traind,1-mean(traind,1)traind_s,2<-traind,2-mean(traind,2)traind_s,1<-traind_s,1/sd(traind_s,1)traind_s,2<-traind_s,2/sd(traind_

24、s,2) sampinex<-rbind(t(traind_s),rep(1,ntrainnum)expectedout<-train1 eps<-0.01a<-0.3mc<-0.8maxiter<-2000iter<-0 errrec<-rep(0,maxiter)outrec<-matrix(rep(0,ntrainnum*maxiter),ntrainnum,maxiter) sigmoid<-function(x)y<-1/(1+exp(-x)return(y) for(

25、i in 1:maxiter)hid_input<-net.w1%*%sampinex;hid_out<-sigmoid(hid_input);out_input1<-rbind(hid_out,rep(1,ntrainnum);out_input2<-net.w2%*%out_input1;out_out<-sigmoid(out_input2);outrec,i<-t(out_out);err<-expectedout-out_out;sse<-sum(err2);errreci<-sse;iter<-iter+1;if(sse&

26、lt;=eps)break Delta<-err*sigmoid(out_out)*(1-sigmoid(out_out)delta<-(matrix(net.w2,1:(length(net.w21,)-1)%*%Delta*sigmoid(hid_out)*(1-sigmoid(hid_out); dWex<-Delta%*%t(out_input1)dwex<-delta%*%t(sampinex) if(i=1)net.w2<-net.w2+a*dWex;net.w1<-net.w1+a*dwex;elsenet.w2&

27、lt;-net.w2+(1-mc)*a*dWex+mc*dWexold;net.w1<-net.w1+(1-mc)*a*dwex+mc*dwexold; dWexold<-dWex;dwexold<-dwex;  testd_s<-testdtestd_s,1<-testd,1-mean(testd,1)testd_s,2<-testd,2-mean(testd,2)testd_s,1<-testd_s,1/sd(testd_s,1)testd_s,2<-testd_s,2/sd(testd_s,2) in

28、ex<-rbind(t(testd_s),rep(1,150-ntrainnum)hid_input<-net.w1%*%inexhid_out<-sigmoid(hid_input)out_input1<-rbind(hid_out,rep(1,150-ntrainnum)out_input2<-net.w2%*%out_input1out_out<-sigmoid(out_input2)out_out1<-out_out out_out1out_out<0.5<-0out_out1out_out>=0.5<-1&#

29、160;rate<-sum(out_out1=test1)/length(test1)    分类正确率为：0.9333333，是一个不错的学习器。这里需要注意的是动量因子mc的选取，mc不能过小，否则容易陷入局部最小而出不去，在本例中，如果mc=0.5，分类正确率仅为：0.5333333，学习效果很不理想。 四、R中的神经网络函数 单层的前向神经网络模型在包nnet中的nnet函数，其调用格式为：nnet(formula,data, weights, size, Wts, linout = F, entropy = F,sof

30、tmax = F, skip = F, rang = 0.7,decay = 0, maxit = 100,trace = T)参数说明:size, 隐层结点数;decay, 表明权值是递减的(可以防止过拟合);linout, 线性输出单元开关;skip，是否允许跳过隐层;maxit, 最大迭代次数;Hess, 是否输出Hessian值适用于神经网络的方法有predict,print和summary等，nnetHess函数用来计算在考虑了权重参数下的Hessian矩阵，并且检验是否是局部最小。我们使用nnet函数分析Vehicle数据。随机选择半数观测作为训练集，剩下的作为测试集，构建只有包含

31、3个节点的一个隐藏层的神经网络。输入如下程序：library(nnet); #安装nnet软件包library(mlbench); #安装mlbench软件包data(Vehicle); #调入数据n=length(Vehicle,1); #样本量set.seed(1); #设随机数种子samp=sample(1:n,n/2); #随机选择半数观测作为训练集b=class.ind(Vehicle$Class); #生成类别的示性函数test.cl=function(true,pred)true<-max.col(true);cres=max.col(pred);table(true,cr

32、es);a=nnet(Vehiclesamp,-19,bsamp,size=3,rang=0.1,decay=5e-4,maxit=200); #利用训练集中前18个变量作为输入变量，隐藏层有3个节点，初始随机权值在-0.1,0.1，权值是逐渐衰减的。test.cl(bsamp,predict(a,Vehiclesamp,-19)#给出训练集分类结果test.cl(b-samp,predict(a,Vehicle-samp,-19);#给出测试集分类结果#构建隐藏层包含15个节点的网络。接着上面的语句输入如下程序：a=nnet(Vehiclesamp,-19,bsamp,size=15,ran

33、g=0.1,decay=5e-4,maxit=10000);test.cl(bsamp,predict(a,Vehiclesamp,-19);test.cl(b-samp,predict(a,Vehicle-samp,-19);再看手写数字案例最后，我们回到最开始的那个手写数字的案例，我们试着利用支持向量机重做这个案例。(这个案例的描述与数据参见R语言与机器学习学习笔记(分类算法)(1)由于nnet包对输入的维数有一定限制(我也不知道为什么，可能在权值计算的时候出现了一些bug，反正将支持向量机那一节的代码平行的移过来是会报错的)。我们这里采用手写数字识别技术中常用的办法处理这个案例：计算数字

34、的特征。选择数字特征的办法有许多种，你随便百度一篇论文都有叙述。我们这里采用结构特征与统计特征结合的办法计算图像的特征。 我们这里采用的统计特征与上图有一点的不同(结构特征一致)，我们是将图片分为16块(4*4)，统计每个小方块中点的个数，这样我们就有25维的特征向量了。为了保证结果的可比性，我们也报告支持向量机的分类结果。运行下列代码：setwd("D:/R/data/digits/trainingDigits")names<-list.files("D:/R/data/digits/trainingDigits")data<-p

35、aste("train",1:1934,sep="")for(i in 1:length(names)assign(datai,as.matrix(read.fwf(namesi,widths=rep(1,32)library(nnet)label<-factor(rep(0:9,c(189,198,195,199,186,187,195,201,180,204) feature<-matrix(rep(0,length(names)*25),length(names),25)for(i in 1:length(names)feat

36、urei,1<-sum(get(datai),16)featurei,2<-sum(get(datai),8)featurei,3<-sum(get(datai),24)featurei,4<-sum(get(datai)16,)featurei,5<-sum(get(datai)11,)featurei,6<-sum(get(datai)21,)featurei,7<-sum(diag(get(datai)featurei,8<-sum(diag(get(datai),32:1)featurei,9<-sum(get(datai)17:3

37、2,17:32)featurei,10<-sum(get(datai)1:8,1:8)featurei,11<-sum(get(datai)9:16,1:8)featurei,12<-sum(get(datai)17:24,1:8)featurei,13<-sum(get(datai)25:32,1:8)featurei,14<-sum(get(datai)1:8,9:16)featurei,15<-sum(get(datai)9:16,9:16)featurei,16<-sum(get(datai)17:24,9:16)featurei,17<

38、-sum(get(datai)25:32,9:16)featurei,18<-sum(get(datai)1:8,17:24)featurei,19<-sum(get(datai)9:16,17:24)featurei,20<-sum(get(datai)17:24,17:24)featurei,21<-sum(get(datai)25:32,17:24)featurei,22<-sum(get(datai)1:8,25:32)featurei,23<-sum(get(datai)9:16,25:32)featurei,24<-sum(get(data

39、i)17:24,25:32)featurei,25<-sum(get(datai)25:32,25:32)data1 <- data.frame(feature,label)m1<-nnet(label.,data=data1,size=25,maxit = 2000,decay = 5e-6, rang = 0.1)pred<-predict(m1,data1,type="class")table(pred,label)sum(diag(table(pred,label)/length(names) library("e1071

40、")m <- svm(feature,label,cross=10,type="C-classification")msummary(m)pred<-fitted(m)table(pred,label) setwd("D:/R/data/digits/testDigits")name<-list.files("D:/R/data/digits/testDigits")data1<-paste("train",1:1934,sep="")for(i in

41、 1:length(name)assign(data1i,as.matrix(read.fwf(namei,widths=rep(1,32) feature<-matrix(rep(0,length(name)*25),length(name),25)for(i in 1:length(name)featurei,1<-sum(get(data1i),16)featurei,2<-sum(get(data1i),8)featurei,3<-sum(get(data1i),24)featurei,4<-sum(get(data1i)16,)featurei

42、,5<-sum(get(data1i)11,)featurei,6<-sum(get(data1i)21,)featurei,7<-sum(diag(get(data1i)featurei,8<-sum(diag(get(data1i),32:1)featurei,9<-sum(get(data1i)17:32,17:32)featurei,10<-sum(get(data1i)1:8,1:8)featurei,11<-sum(get(data1i)9:16,1:8)featurei,12<-sum(get(data1i)17:24,1:8)fe

43、aturei,13<-sum(get(data1i)25:32,1:8)featurei,14<-sum(get(data1i)1:8,9:16)featurei,15<-sum(get(data1i)9:16,9:16)featurei,16<-sum(get(data1i)17:24,9:16)featurei,17<-sum(get(data1i)25:32,9:16)featurei,18<-sum(get(data1i)1:8,17:24)featurei,19<-sum(get(data1i)9:16,17:24)featurei,20<-sum(get(data1i)17:24,17:24)featurei,21