机器学习从原理到应用Chp1-机器学习简介

第1章

机器学习简介1大纲机器学习简介机器学习的任务类型机器学习任务的一般流程机器学习工具包轰轰烈烈的人工智能新时代人工智能：让机器像人一样思考感知：语音、计算机视觉、…语言：自然语言理解记忆：知识表示推理：自动推理规划决策：自动规划学习能力：机器学习人工智能&机器学习图片：

.tw/2016/07/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/人工智能：让机器像人一样思考机器学习：实现人工智能的手段深度学习：采用多层（深度）神经网络实现机器学习第一次人工智能高潮（1956-1974）第二次人工智能高潮（1980-1987）第三次人工智能高潮（1995-）图片：/wp-content/uploads/2014/05/test.jpg1943：McCulloch和Pitts）于1943年提出神经元模型1949：DonaldHebb提出的Hebb学习理论1950：阿兰·图灵创造了图灵测试1952：ArthurSamuel设计了一款可以学习的西洋跳棋程序，并首次提出了机器学习的概念（1956）人工智能的发展离不开机器学习达特茅斯会议第一次正式提出AI概念第一届机器学习国际研讨会图片：/research_report/5de27b53af66005a44822b12?download=false深度学习模型近年的重要进展应用：计算机视觉监控人脸识别自动驾驶医疗制造业农业深度学习的成功应用：计算机视觉应用：推荐75%以上的观看来自推荐30%以上的购买来自推荐应用：自然语言处理社交媒体监控机器翻译语法检查电子邮件过滤应用：游戏AlphaGo&围棋AlphaStar&星海争霸IILibratus&德州扑克绝悟AI

&王者荣耀其他应用AlphaFolder&蛋白质结构预测大纲机器学习简介机器学习的任务类型机器学习任务的一般流程机器学习工具包什么是机器学习？

机器学习算法

语音识别图像识别下棋“Howareyou”根据经验“猫”“5-5”(下一次移动)机器学习的类型根据经验（训练数据）包含的信息，机器学习分为：监督学习无监督学习强化学习半监督学习自监督学习迁移学习终生学习元学习…监督学习监督学习分类(Classification)回归(Regression)

??

回归

电视广告费用广播广告费用产品销量(标量)训练数据:输入输出例：产品销量预测报纸广告费用分类

两类分类多类分类

输入输入Yes，No

例：两类分类垃圾邮件过滤(/)

Yes/NoYesNo训练数据例：多类分类

“monkey”“cat”“dog”“monkey”“cat”“dog”训练数据图像识别强化学习监督学习强化学习下一次移动:“5-5”下一次移动:“3-3”第一次移动……移动……赢!从行为的反馈（奖励或惩罚）中学习设计一个回报函数增强学习的任务：找到一条回报值最大的路径AlphaGo：监督学习+强化学习无监督学习无监督学习聚类（Clustering）降维(DimensionReduction)

发现数据中的“有意义的模式”，亦被称为知识发现。密度估计/生成模型聚类开放问题：需要多少个簇？降维/嵌入表示/词嵌入：机器读入很多文档，学习到每个单词的表示dogcatrabbitjumprunflowertreeWordEmbedding大纲机器学习简介机器学习任务的类型机器学习任务的一般流程机器学习工具包机器学习的三要素

“猫”

例：sin曲线拟合

sin_fitting.ipynb00.597523660.11111111,0.176224540.222222221.079453430.333333331.036838040.444444440.622843560.55555556-0.488398960.66666667-1.321929830.77777778,-0.685121360.88888889-0.196859021-0.425677771.函数集合1.函数集合：3次多项式

2.目标函数：函数的好坏

3.优化算法：挑选最佳的函数

最小二乘：解析求解3.优化算法：最小二乘解析求解

正规方程组(NormalEquations)3.优化算法：最小二乘解析求解

结果最佳函数（模型）：训练集上的平均损失：

测试集上的平均损失：

还能更好?

回到第1步：重新设计函数集合函数集合：5阶多项式

训练集上的平均损失：

测试集（200个样本）上的平均损失：

回到第1步：重新设计函数集合函数集合：9阶多项式

训练集上的平均损失：

测试集上的平均损失：

模型选择

1.2.3.Amorecomplexmodelyieldslowererrorontrainingdata.

复杂模型能在训练集上得到更小的损失。模型选择复杂模型并不能在测试集上得到更好的性能。过拟合选择合适的模型过拟合回到第2步：重新设计目标函数

正则

平滑的函数更可能正确。

更平滑注意：正则项不包括截距项。正则

模型选择：我们喜欢平滑的函数，但也不能太平滑。

L2正则L1正则更平滑更平滑奥卡姆剃刀原理

训练样本数目

无正则L2正则

当训练样本数目无穷大时，带正则和无正则最优模型相同。总结：机器学习任务的一般步骤给定任务，分析可能的相关特征，收集训练数据特征工程确定函数集合确定目标函数损失函数正则项模型训练，确定优化算法根据训练数据得到模型参数模型选择：在验证集上评估模型预测性能机器学习任务是一个迭代的过程。常用机器学习算法

每个机器学习算法特有：正则项优化算法超参数调优：留出法/交叉验证模型评价指标各机器学习算法共有：大纲机器学习简介机器学习的任务类型机器学习任务的一般流程机器学习工具包AnacondaAnaconda：初学Python、入门机器学习首选

很多有用的工具包：

Pandas、NumPy、SciPy和Scikit-Learn、TensorFlow

Notebook环境：JupyterNotebook/download/Scikit-Learn基本功能有六个部分：

分类（Classification）回归（Regression）聚类（Clustering）数据降维（Dimensionalityreduction）

模型选择（ModelSelection）数据预处理（Preprocessing）各种机器学习算法有统一的接口官网：/stable/中文版用户手册：/cn/0.19.0/常用深度学习框架Python的IDE/pycharm/社区版免费本章总节机器学习：从数据中学习机器学习任务的分类：监督学习、无监督学习、强化学习