Python机器学习编程与实践 课件 8-1 单变量线性回归TensorFlow实战

线性回归

TensorFlow实战线性回归问题？用一个神经元搞定！y=2x+

1监督式机器学习监督式机器学习机器学习系统：通过学习如何组合输入信息来对未见过的数据做出有用的预测本讲课程部分内容基于“机器学习速成课程”/machine-learning/crash-course/4简单的线性回归案例y=w*x+

b标签是我们要预测的真实事物：y线性回归中的y变量特征是指用于描述数据的输入变量：xi线性回归中的{x1,x2,…,xn}变量术语：标签和特征6样本是指数据的特定实例：x有标签样本具有{特征，标签}：{x，y}用于训练模型无标签样本具有{特征，？}：{x，?}用于对新数据做出预测术语：样本和模型7样本是指数据的特定实例：x有标签样本具有{特征，标签}：{x，y}用于训练模型无标签样本具有{特征，？}：{x，?}用于对新数据做出预测模型可将样本映射到预测标签：y’由模型的内部参数定义，这些内部参数值是通过学习得到的术语：样本和模型8训练模型表示通过有标签样本来学习（确定）所有权重和偏差的理想值在监督式学习中，机器学习算法通过以下方式构建模型：

检查多个样本并尝试找出可最大限度地减少损失的模型这一过程称为经验风险最小化术语：训练损失是对糟糕预测的惩罚：损失是一个数值，表示对于单个样本而言模型预测的准确程度如果模型的预测完全准确，则损失为零，否则损失会较大训练模型的目标是从所有样本中找到一组平均损失“较小”的权重和偏差术语：损失10左侧模型的损失较大右侧模型的损失较小损失11定义损失函数12L1损失：基于模型预测的值与标签的实际值之差的绝对值平方损失：一种常见的损失函数，又称为

L2

损失均方误差

(MSE)

指的是每个样本的平均平方损失以下曲线图中显示的两个数据集，哪个数据集的均方误差

(MSE)较高？13问题L2损失（MSE）：4/10=0.4（左）8/10=0.8（右）L1损失：4/10=0.4（左）4/10=0.4（右）模型训练与降低损失训练模型的迭代方法16要点模型训练要点首先对权重w和偏差b进行初始猜测然后反复调整这些猜测直到获得损失可能最低的权重和偏差为止收敛在学习优化过程中，机器学习系统将根据所有标签去重新评估所有特征，为损失函数生成一个新值，而该值又产生新的参数值。通常，您可以不断迭代，直到总体损失不再变化或至少变化极其缓慢为止。这时候，我们可以说该模型已收敛19计算损失例子pred=w*x+

b该线性回归问题产生的损失与权重图为凸形凸形问题只有一个最低点；即只存在一个斜率正好为

0

的位置，这个最小值就是损失函数收敛之处梯度下降法梯度下降法梯度：一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大20梯度下降法梯度：一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大21梯度下降法沿着负梯度方向进行下一步探索梯度是矢量:具有方向和大小22学习率沿着负梯度方向进行下一步探索，前进多少合适？用梯度乘以一个称为学习速率（有时也称为步长）的标量，以确定下一个点的位置例如：如果梯度大小为

2.5，学习速率为

0.01，则梯度下降法算法会选择距离前一个点0.025

的位置作为下一个点23学习率的设置非常重要梯度学习速率过小梯度学习速率过大：得不到最优值24学习率25学习率26超参数27在机器学习中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据通常情况下，需要对超参数进行优化，选择一组好的超参数，可以提高学习的性能和效果超参数是编程人员在机器学习算法中用于调整的旋钮典型超参数：学习率、神经网络的隐含层数量，每一层节点数等调参就是指调整学习模型的超参数线性回归问题TensorFlow实战核心步骤30y=wx+

b线性方程单变量的线性方程可以

表示为：y=w*x+

by=2.0*x

+1本例通过生成人工数据集。随机生成一个近似采样随机分布，使得w=2.0,

b=1,

并加入一个噪声，噪声的最大振幅为0.4人工数据集生成33利用matplotlib画出生成结果定义训练数据的占位符，x是特征值，y是标签值构建模型定义模型函数34定义模型结构35设置训练参数训练模型36学习率是个经验值，一般设置范围为0.01~0.1太小收敛慢，太大无法找到最优值损失函数用于描述预测值与真实值之间的误差，从而指导模型收敛方向常见损失函数：均方差（MeanSquareError,

MSE）和交叉熵（cross-entropy）L2

损失函数定义损失函数37定义优化器Optimizer，初始化一个GradientDescentOptimizer设置学习率和优化目标：最小化损失定义优化器38创建会话，保存图结构和运行数据创建会话模型训练阶段，设置迭代轮次，每次通过将样本逐个输入模型，进行梯度下降优化操作每轮迭代后，绘制出模型曲线迭代训练迭代训练结果图形从上图可以看出，本案例所拟合的模型较简单，训练3次之后已经接近收敛对于复杂模型，需要更多次训练才能收敛41当训练完成后，打印查看参数结果查看*

数据每次运行都可能会有所不同结果可视化利用模型

进行预测小结通过一个简单的例子介绍了利用Tensorflow实现机器学习的思路，重点讲解了下述步骤：生成人工数据集及其可视化构建线性模型定义损失函数定义优化器、最小化损失函数训练结果的可视化利用学习到的模型进行预测在训练中显示损失值显示损失值增加一个控制显示粒度的参数显示损失值48图形化显示损失值49随机梯度下降在梯度下降法中，批量指的是用于在单次迭代中计算梯度的样本总数假定批量是指整个数据集，数据集通常包含很大样本（数万甚至数千亿），此外，

数据集通常包含多个特征。因此，一个批量可能相当巨大。如果是超大批量，则单次迭代就可能要花费很长时间进行计算随机梯度下降法

(SGD)

每次迭代只使用一个