机器学习第六天神经网络与图像识别画图

1、神经网络收集温度信息轴突末梢温度太高：温度低：在神经元当中进传递轴突75%心中有一个默认值细胞核温度w1x2+w2x2+w3x3+w4x4+ + n = yx2(0,1)(1,1)感知机是解决分类问题>threshold<=threshold10x1w1w2(1,0)(0,0)x2sum阈值x1与或问题：所有的输入为1，输出1w1=1,w2=1输出= 2， 阈值1.5或：只要有一个为1，输出就为1w1w2 w1w2sumx1阈值异或问题：相同为0， 同1x2sum单个感知机解决的问题，可以增加激活函数逻辑回归：sigmoid神经网络解释性，分类过程无法解释辛顿同的结构解决同的问题感

2、知机>神经元多个-> 神经网络隐层输出w1w2 w1w2sumx1x2sumx3x4x5图片分类逻辑回归：sigmoid>某一个类别的概率二分类猫神经网络：多分类某一个样->得出属于全部类别的每一个概率狗人softmax有多少类别，输出就是多少个羊算法线性回归逻辑回归神经网络策均方误差对数似然损失交叉熵损失优化梯度下降梯度下降梯度下降二分类反向算法10个类别样本 -> 1one_hot10个类别28*28= 784全连接层None, 10输出1 120None, 10x1 x2 x3.x_784一个样本就有一个交叉熵损失0100000000输出2300.00.70

3、.1.0.02softmax784*10None, 784120000输出1050求所有样本的损失，然后求平均损失10单层（全连接层）实现手写数字识别特征值None,784目标值None, 101、定义数据占位符特征值None,784目标值None, 102、建立模型随机初始化权重和偏置w784, 10b = 10y_predict = tf.matmul(x, w) + b3、计算损失loss 平均样本损失4、梯度下降优化步数20000.1准确率卷积神经网络奇数零填充卷积层：定义过滤（观察窗口）大小， 步长(移动的像素数)1移动越过图片大小：1、越过，直接停止观2、就直接超过 SAME1*1

4、， 3*3， 5*528，28，1卷积层：32个filter, 3*3，步长1,p=1H2 = (28-3+ 2P)/1+1= 28w2=(28-3+ 2P)/1+1 = 28relu27, 27, 32：2,22sigmoid= 1/1+e-zrelu = max(0, x)增加激活函数：增加网络的非线性分割能卷积层，激活，全连接net卷积层1、300，4002、20*20, 30*2010个类别None, 784None, 10None, 28, 28, 1卷积神经网络：一卷积层：卷积：32个filter, 5*5，strides1, padding=“SAME”bias = 32输入：None, 28, 28, 1输出：None, 28,28, 32激活:None, 28,28, 32：2*2 ,strides2, padding=“SAME”None, 28, 28, 32>None, 14, 14, 32二卷积层：卷积:64个filter，5*5，strides1,padding=“SAME”bias = 64输入：None, 14, 14, 32输出：None, 14, 14, 64激活:None, 14, 14, 64:2*2， strides2输入：Non