Python机器学习与项目实践- 课件 chap2-机器学习基础概念

机器学习基础概述《Python机器学习与项目实践》XXX大学教学内容机器学习概念原理线性回归定义经验风险最小化最小均方误差结构风险最小化最大似然估计最大后验估计机器学习的几个关键点数据特征表示“狗”“大家好”“X-Y”“我有什么可以帮你吗”“你好”用户输入机器(落子位置)语音识别图像识别围棋对话系统特征是被观测对象的一个独立可观测的属性或特点。特征工程和特征学习特征学习（或表征学习）是一种将原始数据转换为能够被机器学习并有效开发的数据的一种技术，即如何让机器自动地学习出有效的特征。特征工程利用领域知识和现有样本数据，创造出新的特征。主要包括特征选择（FeatureSelection）、特征提取（FeatureExtraction）和特征构建（FeatureConstruction）。评价指标机器学习分类任务的常用评价指标：准确率（Accuracy）、精确率（Precision）、召回率（Recall）、P-R曲线（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩阵（ConfuseMatrix）。评价指标机器学习分类任务的常用评价指标：准确率（Accuracy）、准确率的定义是预测正确的结果占总样本的百分比，真正例（TruePositive，TP）：被模型预测为正的正样本；假正例（FalsePositive，FP）：被模型预测为正的负样本；假负例（FalseNegative，FN）：被模型预测为负的正样本；真负例（TrueNegative，TN）：被模型预测为负的负样本。评价指标机器学习分类任务的常用评价指标：精确率（Precision）、评价指标机器学习分类任务的常用评价指标：召回率（Recall）、评价指标机器学习分类任务的常用评价指标：P-R曲线（Precision-RecallCurve）、P-R曲线是描述精确率/召回率变化的曲线。评价指标机器学习分类任务的常用评价指标：F1-Score是精确率和召回率的加权调和平均。评价指标机器学习分类任务的常用评价指标：ROC、AUC、混淆矩阵（ConfuseMatrix）。评价指标机器学习分类任务的常用评价指标：ROC、ROC曲线图评价指标机器学习分类任务的常用评价指标：AUC、AUC曲线图评价指标机器学习分类任务的常用评价指标：混淆矩阵（ConfuseMatrix）：混淆矩阵又称为错误矩阵，它可以直观地反映算法的效果。混淆矩阵可视图损失函数损失函数常见损失函数，曲线图如图0-1损失函数（0-1LossFunction）平方损失函数（QuadraticLossFunction）指数损失函数（Exp-LossFunction）交叉熵损失函数（Cross-EntropyLossFunction）Hinge损失函数（HingeLossFunction）评价指标机器学习分类任务的常用评价指标：P-R曲线（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩阵（ConfuseMatrix）。评价指标机器学习分类任务的常用评价指标：P-R曲线（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩阵（ConfuseMatrix）。机器学习≈构建一个映射函数“猫”“你好”“5-5”“今天天气真不错”“你好”用户输入机器(落子位置)语音识别图像识别围棋对话系统现实世界的问题都比较复杂很难通过规则来手工实现为什么要“机器学习”？什么是机器学习？机器学习：通过算法使得机器能从大量数据中学习规律从而对新的样本做决策。规律：决策（预测）函数独立同分布p(x,y)机器学习的三要素

常见的机器学习问题分类聚类回归模型以线性回归（LinearRegression）为例模型：学习准则损失函数0-1损失函数平方损失函数学习准则

最优化问题机器学习问题转化成为一个最优化问题梯度下降法（GradientDescent）搜索步长α中也叫作学习率（LearningRate）学习率是十分重要的超参数！随机梯度下降法随机梯度下降法（StochasticGradientDescent，SGD）也叫增量梯度下降，每个样本都进行更新小批量（Mini-Batch）随机梯度下降法随机梯度下降法Why?机器学习=优化？机器学习=优化？过拟合：经验风险最小化原则很容易导致模型在训练集上错误率很低，但是在未知数据上错误率很高。过拟合问题往往是由于训练数据少和噪声等原因造成的。NO！泛化错误期望风险经验风险泛化错误

如何减少泛化错误？正则化优化降低模型复杂度经验风险最小正则化（regularization）L1/L2约束、数据增强权重衰减、随机梯度下降、提前停止所有损害优化的方法都是正则化。增加优化约束干扰优化过程提前停止我们使用一个验证集（ValidationDataset）来测试每一次迭代的参数在验证集上是否最优。如果在验证集上的错误率不再下降，就停止迭代。线性回归线性回归（LinearRegression）模型：增广权重向量和增广特征向量优化方法经验风险最小化（最小二乘法）结构风险最小化（岭回归）最大似然估计最大后验估计经验风险最小化矩阵微积分标量关于向量的偏导数向量关于向量的偏导数向量函数及其导数经验风险最小化模型学习准则经验风险最小化优化结构风险最小化结构风险最小化准则得到岭回归（RidgeRegression）最大似然估计关于概率的一些基本概念概率（Probability）一个随机事件发生的可能性大小，为0到1之间的实数。随机变量（RandomVariable）比如随机掷一个骰子，得到的点数就可以看成一个随机变量X，其取值为{1,2,3,4,5,6}。概率分布（ProbabilityDistribution）一个随机变量X取每种可能值的概率并满足概率的一些基本概念伯努利分布（BernoulliDistribution）在一次试验中，事件A出现的概率为µ，不出现的概率为1−µ。若用变量X表示事件A出现的次数，则X的取值为0和1，其相应的分布为二项分布（BinomialDistribution）在n次伯努利分布中，若以变量X表示事件A出现的次数，则X的取值为{0,…,n}，其相应的分布二项式系数，表示从n个元素中取出k个元素而不考虑其顺序的组合的总数。概率的一些基本概念

概率的一些基本概念条件概率（ConditionalProbability）对于离散随机向量(X,Y)，已知X=x的条件下，随机变量Y=y的条件概率为：贝叶斯公式两个条件概率p(y|x)和p(x|y)之间的关系例子性别\行业计算机教育男0.40.10.5女0.10.40.50.60.4p(男|计算机)=MarginalProbabilityMarginalProbability似然（Likelihood）

似然likelihood先验prior后验posterior贝叶斯公式：从概率角度来看线性回归

线性回归中的似然函数参数w在训练集D上的似然函数（Likelihood）为最大似然估计最大似然估计（MaximumLikelihoodEstimate，MLE）是指找到一组参数w使得似然函数p(y|X;w,σ)最大最大后验估计最大后验估计似然likelihood先验prior后验posterior正则化系数总结无先验引入先验平方误差经验风险最小化结构风险最小化概率最大似然估计最大后验估计多项式回归一个例子：PolynomialCurveFittingFromchapter1ofBishop’sPRML.模型损失函数WhichDegreeofPolynomial?AmodelselectionproblemM=9→

E(w)=0:ThisisoverfittingControllingOverfitting:RegularizationAsorderofpolynomialMincreases,sodocoefficientmagnitudes!对大的系数进行惩罚Co