机器学习导论-第1章 机器学习概述

第1章机器学习概述熟悉机器学习的概念。理解人工智能、机器学习、深度学习三者之间的关系。掌握机器学习的三个基本要素，了解损失函数、代价函数和目标函数之间的区别和联系。了解数据清洗、归一化（标准化）等处理方法。掌握模型交叉验证法的步骤，熟悉混淆矩阵、分类准确率、错误率、查准率、查全率、F1-score、ROC曲线及ROC曲线下面积（AUC）等常用的分类模型评估指标及应用场合。理解模型欠拟合与过拟合的概念，掌握L1范数和L2范数正则化的方法本章学习目标1.1机器学习的概念与基本术语1.2人工智能、机器学习、深度学习三者之间的关系1.3机器学习的三个基本要素1.4机器学习模型的分类1.5数据预处理1.6模型选择与评估第1章机器学习概述1.1机器学习的概念与基本术语1.1.1机器学习的概念机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。（Langley，1996年）机器学习是对能通过经验自动改进的计算机算法的研究。（TomMitchell，1997年）机器学习是用样本数据或以往的经验对计算机编程以优化性能指标。

（Alpaydin，2004年）1.1机器学习的概念与基本术语1.1.2基本术语特征（Feature）属性（Attribute）特征向量（FeatureVector）监督式学习（SupervisedLearning）标签（Label）样本（Example）实例（Instance）回归（Regression）分类（Classification）标注（Tagging）1.1机器学习的概念与基本术语1.1.2基本术语数据集（DataSet)训练集（TrainingSet)测试集（TestSet）独立同分布（IndependentlyandIdenticallyDistributed，i.i.d）模型（Model）训练（Training）假设（Hypothesis）学习器（Learner）输入空间（InputSpace）输出空间（OutputSpace）假设空间（HypothesisSpace）1.1机器学习的概念与基本术语1.1.3机器学习与人类学习的类比1.1机器学习的概念与基本术语1.1.3机器学习与人类学习的类比婴儿通过识图卡或者实物学会了认识物体机器学习的一个形象描述101.1机器学习的概念与基本术语机器学习的主要应用领域数据挖掘计算机视觉自然语言处理生物特征识别搜索引擎医学诊断信用卡欺诈检测证券市场分析DNA序列测序语音和手写识别机器人1.1机器学习的概念与基本术语深蓝是并行计算的电脑系统，建基于RS/6000SP，另加上480颗特别制造的VLSI象棋芯片。下棋程式以C语言写成，运行AIX操作系统。1997年版本的深蓝运算速度为每秒2亿步棋，是其1996年版本的2倍。1997年6月，深蓝在世界超级电脑中排名第259位，计算能力为11.38gigaflops。1.1机器学习的概念与基本术语1997年，IBM深蓝击败卡斯帕罗夫Texttospeechandspeechrecognition1.1机器学习的概念与基本术语语音识别1.1机器学习的概念与基本术语自动驾驶1.1机器学习的概念与基本术语图像生成1.1机器学习的概念与基本术语机器翻译1.1机器学习的概念与基本术语推荐系统1.1机器学习的概念与基本术语1.1机器学习的概念与基本术语1.2人工智能、机器学习、深度学习三者之间的关系1.3机器学习的三个基本要素1.4机器学习模型的分类1.5数据预处理1.6模型选择与评估第1章机器学习概述1.2人工智能、机器学习、深度学习三者之间的关系人工智能：为机器赋予人类的智能机器学习：人工智能的核心深度学习：机器学习的一个分支

1.1机器学习的概念与基本术语1.2人工智能、机器学习、深度学习三者之间的关系1.3机器学习的三个基本要素1.4机器学习模型的分类1.5数据预处理1.6模型选择与评估第1章机器学习概述1.3机器学习的三个基本要素1.3.1模型模型概率模型（条件概率分布）非概率模型（决策函数）线性模型非线性模型1.3机器学习的三个基本要素1.3.2学习准则（策略）损失函数（LossFunction）：度量单样本预测的错误程度，损失函数值越小，模型就越好。代价函数（CostFunction）：度量全部样本集的平均误差。常用的代价函数包括均方误差、均方根误差、平均绝对误差等。目标函数（ObjectiveFunction）：最终要优化的函数，包括代价函数和正则化函数。

1.3机器学习的三个基本要素损失函数（LossFunction）0-1损失函数平方损失函数绝对损失函数

1.3机器学习的三个基本要素损失函数（LossFunction）对数损失函数交叉熵损失函数合页损失函数

1.3机器学习的三个基本要素1.3.3优化算法梯度下降法（GradientDescent，GD）随机梯度下降（StochasticGradientDescent，SGD）小批量梯度下降

（Mini-BatchGradientDescent，MBGD）牛顿法拟牛顿法坐标下降法1.1机器学习的概念与基本术语1.2人工智能、机器学习、深度学习三者之间的关系1.3机器学习的三个基本要素1.4机器学习模型的分类1.5数据预处理1.6模型选择与评估第1章机器学习概述1.4机器学习模型的分类1.4.1按任务类型分类回归（Regression）分类（Classification）聚类（Clustering）维数约简（DimensionalityReduction）1.4机器学习模型的分类1.4.1按学习方式分类监督式学习、监督学习（SupervisedLearning

）利用一组带标签样本调整模型参数，提升模型性能的学习方式。非监督式学习、无监督学习（UnsupervisedLearning）通过比较样本之间的某种联系实现对样本的数据分析。无监督学习最大特点是学习算法的输入是无标签样本。强化学习（ReinforcementLearning）根据反馈信息来调整机器行为以实现自动决策的一种机器学习方式。1.4机器学习模型的分类1.4.1按学习方式分类1.4机器学习模型的分类1.4.1按学习方式分类1.4机器学习模型的分类1.4.1按学习方式分类监督式学习（SupervisedLearning

）1.4机器学习模型的分类1.4.1按学习方式分类强化学习（ReinforcementLearning）强化学习主要由智能体和环境两个部分组成。智能体是行为的实施者，由基于环境信息的评价函数对智能体的行为做出评价，若智能体的行为正确，则由相应的回报函数给予智能体正向反馈信息以示奖励，反之则给予智能体负向反馈信息以示惩罚。1.1机器学习的概念与基本术语1.2人工智能、机器学习、深度学习三者之间的关系1.3机器学习的三个基本要素1.4机器学习模型的分类1.5数据预处理1.6模型选择与评估第1章机器学习概述1.5数据预处理数据清洗（DataCleaning）缺失数据的处理离群点数据的处理冗余、重复数据的处理数据类型转换构建新的变量——哑变量（DummyVariable）特征数据的归一化线性归一化或最小－最大归一化（Min-MaxNormalization

）零均值归一化（Z-scoreNormalization）1.1机器学习的概念与基本术语1.2人工智能、机器学习、深度学习三者之间的关系1.3机器学习的三个基本要素1.4机器学习模型的分类1.5数据预处理1.6模型选择与评估第1章机器学习概述1.6模型选择与评估数据清洗（DataCleaning）缺失数据的处理离群点数据的处理冗余、重复数据的处理数据类型转换构建新的变量——哑变量（DummyVariable）特征数据的归一化线性归一化或最小－最大归一化（Min-MaxNormalization

）零均值归一化（Z-scoreNormalization）1.6.1数据集的划分训练集（TrainingSet)测试集（TestSet）验证集（ValidationSet）1.6模型选择与评估1.6.2模型选择与交叉验证法简单交叉验证K-折交叉验证留一交叉验证留K交叉验证1.6模型选择与评估1.6.2模型选择与交叉验证法1.6模型选择与评估图1-610-折交叉验证示意图1.6.3模型的性能度量混淆矩阵（ConfusionMatrix）分类准确率（Accuracy）错误率（ErrorRate）查准率（Precision）查全率（Recall）P-R曲线F1－值（F1-Score）受试者工作特征（ReceiverOperatingCharacteristic，ROC）曲线ROC曲线下面积（AreaUndertheROCCurve，AUC）1.6模型选择与评估分类模型的评价指标混淆矩阵（ConfusionMatrix）分类准确率（Accuracy）错误率（ErrorRate）1.6模型选择与评估查全率（Recall）查准率（Precision）P-R曲