《深度学习原理及应用》课件 第1章 感知机

第1章感知机目录01感知机是什么？03感知机的实现04感知机的局限性02简单逻辑电路05多层感知机1.1感知机是什么感知机接收多个输入信号，输出一个信号。这里所说的“信号”可以想象成电流或河流那样具备“流动性”的东西。像电流流过导线，向前方输送电子一样，感知机的信号也会形成电流，像前方输送信息。但是，和实际的电流不同的是，感知机的信号只有“流/不流”（1/0）两种取值。在本书中，0对应“不传递信号”，1对应“传递信号”。（1-1）1.2简单逻辑电路1.2.1与门现在要通过调整感知机的权重和阈值来模拟与门的逻辑功能。具体来说，需要确定能够满足表1-1的真值表的w1、w2、θ的值。换句话说，要找到这样的权重和阈值，使得感知机能够按照与门的真值表来输出相应的结果。实际上，满足表1-1的真值表条件的参数选择有无数多个。比如，当（w1,w2,θ）=（0.5,0.5,0.7）时，可以满足表1-1的条件。此外，当（w1,w2,θ）为（1.0,1.0,1.5）或者（0.3,0.3,0.5）时，同样也满足与门的条件。设定这样的参数后，仅当x1和x2同时为1时，信号的加权总和才会超过给定的阈值θ。1.2简单逻辑电路1.2.2与非门与非门的参数又可以是什么样的组合呢？可以选择以下参数值，当（w1,w2,θ）=（-0.5,-0.5,-0.7）时，可以满足表1-2的条件。此外，当（w1,w2,θ）为（-1.0,-1.0,-1.5）或者（-0.3,-0.3,-0.5）时，同样也满足与非门的条件。实际上，只要把实现与门的参数值的符号取反，就可以实现与非门的逻辑功能。因此，存在无数多组参数值可以使感知机模拟与非门的逻辑功能。1.2简单逻辑电路1.2.2或门正如上所述，使用感知机可以表示与门、与非门、或门的逻辑电路。重要的一点是：与门、与非门、或门的感知机构造是一样的。实际上，这三个门电路的感知机结构相同，它们之间的区别仅在于参数的值（权重和阈值）不同。换句话说，相同构造的感知机，只需要通过适当地调整参数的值，就可以像“变色龙演员”一样，变身为与门、与非门和或门。应该为这个或门设定什么样的参数呢？1.3感知机的实现1.3.1与门的简单的实现用Python来实现刚才的逻辑电路，这里，先定义一个接收参数x1和x2的and_gate函数。defand_gate(x1,x2):

w1,w2,theta=0.5,0.5,0.7

ifw1*x1+w2*x2<=theta:

return0

else:

return1在函数内部初始化了参数w1=0.5、

w2=0.5、theta=0.7，当输入的加权总和超过阈值时返回1，否则返回0。1.3感知机的实现1.3.1与非门简单的实现按照同样的步骤也可以实现与非门和或门，只需要修改一下相应的参数即可。对应与非门的实现如下：defnand_gate(x1,x2):w1,w2,theta=-0.5,-0.5,-0.7ifw1*x1+w2*x2<=theta:return1else:return0在函数内部初始化了参数w1=-0.5、

w2=-0.5、theta=-0.7，当输入的加权总和超过阈值时返回1，否则返回0。#测试print(nand_gate(0,0))

#输出：1print(nand_gate(0,1))

#输出：1print(nand_gate(1,0))

#输出：1print(nand_gate(1,1))

#输出：0输出结果和与非门的结果一样。或门也可以改变参数实现。1.3感知机的实现1.3.2导入权重和偏置之前的与门实现方法非常直接和易于理解，但是考虑到未来可能会有一些变化，可以考虑另一种实现形式。在这之前，先将式（1-1）中的阈值θ换成-b，这样就可以用式（1-2）来表示感知机的行为。

（1-2）式（1-1）和式（1-2）虽然有一个符号不同，但表达的内容是完全相同的。在式（1-2）中，b

被称为偏置，而w1和w2被称为权重。根据式（1-2），感知机会计算输入信号和权重的乘积，然后加上偏置，如果这个值大于0则输出1，否则输出0。1.3感知机的实现1.3.3权重和偏置的实现下面使用NumPy按照式（1-2）的方式来实现与门。代码如下：importnumpyasnp

#定义与门函数defand_gate(x1,x2):

inputs=np.array([x1,x2])

#输入信号

weights=np.array([0.5,0.5])

#权重

bias=-0.7

#偏置

result=np.sum(inputs*weights)+bias

#计算输入信号和权重的乘积再加上偏置

output=1ifresult>0else0

#根据计算结果输出1或0

returnoutput

#测试print(and_gate(0,0))

#输出：0print(and_gate(0,1))

#输出：0print(and_gate(1,0))

#输出：0print(and_gate(1,1))

#输出：1运行结果如下：00011.3感知机的实现1.3.3权重和偏置的实现下面使用NumPy按照式（1-2）的方式来实现与非门，代码如下：importnumpyasnpdefnand_gate(x1,x2):inputs=np.array([x1,x2])weights=np.array([-0.5,-0.5])bias=0.7result=np.sum(inputs*weights)+biasoutput=1ifresult>0else0returnoutput#测试print(nand_gate(0,0))#输出：1print(nand_gate(0,1))#输出：1print(nand_gate(1,0))#输出：1print(nand_gate(1,1))#输出：0运行结果如下：11101.3感知机的实现1.3.3权重和偏置的实现下面使用NumPy按照式（1-2）的方式来实现或门，代码如下：importnumpyasnpdefor_gate(x1,x2):inputs=np.array([x1,x2])weights=np.array([0.5,0.5])bias=-0.2result=np.sum(inputs*weights)+biasoutput=1ifresult>0else0returnoutput#测试print(or_gate(0,0))#输出：0print(or_gate(0,1))#输出：1print(or_gate(1,0))#输出：1print(or_gate(1,1))#输出：1运行结果如下：0111对三种门的实现进行对比，只有参数不同，其余部分完全相同。1.4感知机的局限性1.4.1异或门

异或门也称为逻辑异或电路。根据其真值表1-4，仅当x1或x2中的一方为1时，输出结果为1。然而，用前面介绍的感知机是无法实现这个异或门的。这是因为感知机只能实现线性可分的函数，而异或门属于线性不可分的函数。无法用一条直线将图1-3中的异或门的输出分开。图1-3异或门的输出1.4感知机的局限性1.4.2线性和非线性图1-3异或门的输出图1-3中的绿色圆圈和蓝色矩形无法用一条直线分开，但是如果将直线这个限制去掉，就可以实现了，比如，可以像1-4那样，做出分开绿色圆圈和蓝色矩形的空间。图1-4使用曲线分开0和1感知机的局限性就在于它只能表示由一条直线分割的空间。图1-4这样的曲线无法用感知机表示。另外，由图1-4这样的曲线分割而成的空间称为非线性空间，由直线分割而成的空间称为线性空间。1.5多层感知机感知机不能表示异或门让人深感遗憾，但也无需悲观。实际上，感知机的独特之处在于它能够通过叠加多个层来解决非线性问题。现在，暂时不考虑叠加层具体是指什么，下面从其他角度来思考一下异或门的问题。1.5多层感知机1.5.1组合门电路配置异或门1.5多层感知机1.5.1组合门电路配置异或门1.5多层感知机1.5多层感知机1.5.2异或门的实现当尝试用Python实现表1-5所示的异或门时，可以使用之前定义的与门函数and_gate（）、与非门函数nand_gate（）和或门函数or_gate（）。代码如下所示：def

xor_gate(x1,x2):

s1=nand_gate(x1,x2)

s2=or_gate(x1,x2)return

and_gate(s1,s2)

print(xor_gate(0,0))

#输出0print(xor_gate(0,1))

#输出1print(xor_gate(1,0))

#