机器学习入门基础（微课版）课件全套 黄海广 第1-15章-引言、数学基础回顾 -关联规则

机器学习-引言

目录01

机器学习概述02机器学习的类型03机器学习的背景知识04机器学习的开发流程1.机器学习概述01认识Python01

机器学习概述02机器学习的类型03机器学习的背景知识04机器学习的开发流程机器学习与人工智能、深度学习的关系

人工智能：机器展现的人类智能机器学习：计算机利用已有的数据(经验)，得出了某种模型，并利用此模型预测未来的一种方法。深度学习：实现机器学习的一种技术

人工智能机器学习深度学习杨立昆（YannLeCun）杰弗里·欣顿（GeoffreyHinton）本吉奥（Bengio）共同获得了2018年计算机科学的最高奖项——ACM图灵奖。机器学习界的执牛耳者

AndrewNg中文名吴恩达，斯坦福大学副教授，前“百度大脑”的负责人与百度首席科学家。李航,现任字节跳动科技有限公司人工智能实验室总监，北京大学、南京大学客座教授，IEEE会士，ACM杰出科学家，CCF高级会员。代表作：《统计学习方法》机器学习界的国内泰斗周志华，南京大学计算机科学与技术系主任

、人工智能学院院长。代表作：《机器学习》（西瓜书）陈天奇,陈天奇是机器学习领域著名的青年华人学者之一，本科毕业于上海交通大学ACM班，博士毕业于华盛顿大学计算机系。主要贡献：设计了XGBoost算法。机器学习界的青年才俊何恺明，本科就读于清华大学，博士毕业于香港中文大学多媒体实验室。2016年，加入FacebookAIResearch（FAIR）担任研究科学家。主要贡献：设计了ResNets国内外知名人工智能企业榜单编码企业名称人工智能技术应用领域所属国家成立时间资本市场状态市值/估值/融资额1Microsoft（微软）计算机视觉技术、自然语言处理技术等办公美国1975年上市市值1.21万亿美元2Google（谷歌）计算机视觉技术、自然语言处理技术等综合美国1998年上市市值9324亿美元3Facebook（脸书）人脸识别、深度学习等社交美国2004年上市市值5934亿美元4百度计算机视觉技术、自然语言处理技术、知识图谱等综合中国2001年上市市值438亿美元5大疆创新图像识别技术、智能引擎技术等无人机中国2006年战略融资估值210亿美元6商汤科技计算机视觉技术、深度学习安防中国2014年D轮融资估值70亿美元7旷视科技计算机视觉技术等安防中国2011年D轮融资估值40亿美元8科大讯飞智能语音技术综合中国1999年上市市值108亿美元9Automation

Anywhere自然语言处理技术、非结构化数据认知企业管理美国2003年B轮融资估值68亿美元10IBM

Watson（IBM沃森）深度学习、智适应学习技术计算机美国1911年上市市值1198亿美元11松鼠AI

1对1智适应学习技术、机器学习教育中国2015年A轮融资估值11亿美元12字节跳动跨媒体分析推理技术、深度学习、自然语言处理、图像识别资讯中国2012年Pre-IPO轮融资估值750亿美元13Netflix（网飞）视频图像优化、剧集封面图片个性化、视频个性化推荐媒体及内容美国1997年上市市值1418亿美元14Graphcore智能芯片技术、机器学习芯片英国2016年D轮融资估值17亿美元15NVIDIA（英伟达）智能芯片技术芯片美国1993年上市市值1450亿美元16Brainco脑机接口教育、医疗、智能硬件美国2015年天使轮融资融资额600万美元17Waymo自动驾驶交通美国2016年C轮融资估值1050亿美元18ABBRobotics机器人及自动化技术机器人瑞士1988年上市市值514亿美元19Fanuc（发那科）机器人技术制造日本1956年上市市值362亿美元20PreferredNetworks深度学习、机器学习技术物联网日本2016年C轮融资估值20亿美元机器学习的范围

给定数据的预测问题数据清洗/特征选择确定算法模型/参数优化结果预测不能解决什么大数据存储/并行计算做一个机器人机器学习可以解决什么问题

机器学习发展史总的来说，人工智能经历了逻辑推理、知识工程、机器学习三个阶段。机器学习伴随着人工智能的发展而诞生，它是人工智能发展到一定阶段的必然产物。机器学习发展史机器学习发展史2.机器学习的类型01

机器学习概述02机器学习的类型03机器学习的背景知识04机器学习的开发流程2.机器学习的类型分类（Classification）身高1.65m，体重100kg的男人肥胖吗？根据肿瘤的体积、患者的年龄来判断良性或恶性？回归（Regression、Prediction）如何预测上海浦东的房价？未来的股票市场走向？2.机器学习的类型-监督学习聚类（Clustering）如何将教室里的学生按爱好、身高划分为5类？降维（DimensionalityReduction）如何将将原高维空间中的数据点映射到低维度的空间中？2.机器学习的类型-无监督学习强化学习（ReinforcementLearning）用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。2.机器学习的类型-强化学习机器学习方法模型损失函数优化算法模型评估指标机器学习的概念机器学习的概念-模型

决策树、朴素贝叶斯、隐马尔科夫模型、高斯混合模型属于概率模型。感知机、支持向量机、KNN、AdaBoost、K-means以及神经网络均属于非概率模型。对于非概率模型而言，可按照判别函数线性与否分成线性模型与非线性模型。感知机、线性支持向量机、KNN、K-means是线性模型。核支持向量机、AdaBoost、神经网络属于非线性模型。机器学习的概念-模型

机器学习的概念-损失函数

机器学习的概念-损失函数

机器学习的概念-损失函数

机器学习的概念-优化算法算法指的是模型学习中的具体计算方法。一般来说，基于参数模型构建的统计学习问题都为最优化问题，它们都具有显式的解析解。现有的优化方法主要有：梯度下降法、牛顿法、拟牛顿法、ADAM等等。具体的算法，我们会在各自章节中介绍。其中本课程中，用梯度下降法作为主要的优化算法。机器学习的概念-模型评估

3.机器学习的背景知识01

机器学习概述02机器学习的类型03机器学习的背景知识04机器学习的开发流程3.机器学习的背景知识-希腊字母大写小写英文注音国际音标注音中文注音Ααalphaalfa阿耳法Ββbetabeta贝塔Γγgammagamma伽马Δδdetadelta德耳塔Εεepsilonepsilon艾普西隆Ζζzetazeta截塔Ηηetaeta艾塔Θθthetaθita西塔Ιιiotaiota约塔Κκkappakappa卡帕∧λlambdalambda兰姆达Μμmumiu缪Ννnuniu纽Ξξxiksi可塞Οοomicronomikron奥密可戎∏πpipai派Ρρrhorou柔∑σsigmasigma西格马Ττtautau套Υυupsilonjupsilon衣普西隆Φφphifai斐Χχchikhai喜Ψψpsipsai普西Ωωomegaomiga欧米3.机器学习的背景知识-数学基础高等数学导数、微分、泰勒公式……线性代数向量、矩阵、行列式、秩、线性方程组、特征值和特征向量……概率论与数理统计随机事件和概率、概率的基本性质和公式、常见分布、期望、协方差……

高等数学-导数

高等数学-函数的连续性

存在函数在该点处有定义函数在该点处极限极限值等于函数值高等数学-函数的连续性

，

在点 处的导数，高等数学-导数

或

高等数学-基本导数与微分表

高等数学-四则运算法则

高等数学-泰勒公式

高等数学-泰勒公式

线性代数-行列式

线性代数-矩阵

线性代数-求导

线性代数

线性代数

概率论与数理统计-随机事件和概率

概率论与数理统计-古典型概率

概率论与数理统计

概率论与数理统计

概率论与数理统计-常见分布

概率论与数理统计-常见分布

概率论与数理统计

Python的环境的安装AnacondaJupyternotebookPycharm详细教程：/p/590276923.机器学习的背景知识-Python基础Python的环境的安装Anaconda/distribution/通常选3.7版本，64位可以用默认安装，右图两个选择框都勾上Python的环境的安装Jupyternotebook在cmd环境下，切换到代码的目录，输入命令：jupyternotebook之后就可以启动jupyterbotebook编辑器，启动之后会自动打开浏览器，并访问http://localhost:8088，默认跳转到http://localhost:8088/treePycharm/pycharm/Pycharm提供免费的社区版与付费的专业版。专业版额外增加了一些功能，如项目模板、远程开发、数据库支持等。个人学习Python使用免费的社区版已足够。如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。

安装过程照着提示一步步操作就可以了。注意：安装路径尽量不使用带有中文或空格的目录，这样在之后的使用过程中减少一些莫名的错误。Python的环境的安装Python的主要数据类型字符串整数与浮点数布尔值日期时间其它Python的数据结构列表(list)用来存储一连串元素的容器，列表用[]来表示，其中元素的类型可不相同。元组(tuple)元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组里面的元素的值不能修改，只能读取。元组的符号是()集合(set)集合主要有两个功能，一个功能是进行集合操作，另一个功能是消除重复元素。集合的格式是：set()，其中()内可以是列表、字典或字符串，因为字符串是以列表的形式存储的字典(dict)字典dict也叫做关联数组，用大括号{}括起来，在其他语言中也称为map，使用键-值（key-value）存储，具有极快的查找速度，其中key不能重复。Python控制流顺序结构分支结构循环结构break、continue和pass列表生成式Python函数调用函数

调用内置函数定义函数def函数名()：函数内容<return返回值>高阶函数匿名函数：高阶函数传入函数时，不需要显式地定义函数，直接传入匿名函数更方便（lambda函数）NumPyPandasSciPyMatplotlibScikit-learnPython模块Python模块-NumPyNumPyNumPy是一个用Python实现的科学计算的扩展程序库，包括：1、一个强大的N维数组对象Array；2、比较成熟的（广播）函数库；3、用于整合C/C++和Fortran代码的工具包；4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy配合使用更加方便。NumPy（NumericPython）提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融公司使用，以及核心的科学计算组织如：LawrenceLivermore，NASA用其处理一些本来使用C++，Fortran或Matlab等所做的任务。Python模块-NumPy切片Python模块-NumPy广播Python模块-PandasPandasPandas是基于NumPy

的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。Python模块-Pandas基本数据结构Series一维数据结构，包含行索引和数据两个部分DataFrame二维数据结构，包含带索引的多列数据，各列的数据类型可能不同Python模块-Pandas数据索引df[5:10]通过切片方式选取多行df[col_label]ordf.col_label

选取列df.loc[row_label,col_label]通过标签选取行/列df.iloc[row_loc,col_loc]通过位置（自然数）选取行/列Python模块-Pandas数据合并pd.merge(left,

right)

类数据库的数据融合操作.参数：how，融合方式，包括左连接、右连接、内连接（默认）和外连接；on，连接键；left_on，左键；right_on，右键；left_index，是否将left行索引作为左键；right_index，是否将right行索引作为右键.Python模块-Pandas数据融合pd.concat([df1,df2])轴向连接多个DataFrame.Python模块-Pandas文件读写从文件中读取数据（DataFrame）pd.read_csv()|从CSV文件读取pd.read_table()|从制表符分隔文件读取，如TSVpd.read_excel()|从Excel文件读取pd.read_sql()|从SQL表或数据库读取pd.read_json()|从JSON格式的URL或文件读取pd.read_clipboard()|从剪切板读取将DataFrame写入⽂件df.to_csv()|写入CSV文件df.to_excel()|写入Excel文件df.to_sql()|写入SQL表或数据库df.to_json()|写入JSON格式的文件df.to_clipboard()|写入剪切板Python模块-SciPySciPySciPy是构建在NumPy的基础之上的，它提供了许多的操作NumPy的数组的函数。SciPy是一款方便、易于使用、专为科学和工程设计的Python工具包，它包括了统计、优化、整合以及线性代数模块、傅里叶变换、信号和图像图例，常微分方差的求解等scipy.cluster向量量化scipy.constants数学常量scipy.fftpack快速傅里叶变换egrate积分erpolate插值scipy.io数据输入输出scipy.linalg线性代数scipy.ndimageN维图像scipy.odr正交距离回归scipy.optimize优化算法scipy.signal信号处理scipy.sparse稀疏矩阵scipy.spatial空间数据结构和算法scipy.special特殊数学函数scipy.stats统计函数Python模块-MatplotlibMatplotlibMatplotlib是一个

Python

的2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形

。通过Matplotlib，开发者可以仅需要几行代码，便可以生成绘图，直方图，功率谱，条形图，错误图，散点图等。/gallery/index.htmlPython模块-Matplotlib图形的各元素名称如下：绘图框

是图形的最高容器，所有图形必须放置在绘图框中.子图

是绘图框中所包含的图形，即便绘图框只包含一幅图，也称之为子图.元素

是组成子图的部件，从子图最内部的数据线条到外围的坐标轴标签等都属于元素Python模块-Matplotlib图形样式4.机器学习的开发流程01

机器学习概述02机器学习的类型03机器学习的背景知识04机器学习的开发流程机器学习的一般步骤机器学习的一般步骤

数据搜集数据清洗特征工程数据建模不同视角的机器学习朋友以为我做的事情不同行业的人以为我做的事情父母以为我做的事情程序员以为我做的事情我自己以为我做的事情实际上我做的事情通过这张图可以看出，各种不同算法在输入的数据量达到一定级数后，都有相近的高准确度。于是诞生了机器学习界的名言：成功的机器学习应用不是拥有最好的算法，而是拥有最多的数据！

数据决定一切

数据大小准确率参考文献

[1]AndrewNg.MachineLearning[EB/OL].StanfordUniversity,2014./course/ml[2]李航.统计学习方法[M].北京:清华大学出版社,2019.[3]周志华.机器学习[M].北京:清华大学出版社,2016.[4]HastieT.,TibshiraniR.,FriedmanJ.TheElementsofStatisticalLearning[M].NewYork:Springer,2001.[5]CHRISTOPHERM.BISHOP.PatternRecognitionandMachineLearning[M].NewYork:Springer,2006.[6]StephenBoyd,LievenVandenberghe,ConvexOptimization[M].Cambridge:CambridgeUniversityPress,2004.[7]TOMMMICHELLE.MachineLearning[M].NewYork:McGraw-HillCompanies,Inc,1997.谢谢！机器学习-数学基础回顾

本章目录01

高等数学02线性代数03概率论与数理统计1.高等数学01

高等数学02线性代数03概率论与数理统计高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学

高等数学2.线性代数01

高等数学02线性代数03概率论与数理统计2.线性代数线性代数建议参考资料为：[1]KOLTERZ.LinearAlgebraReviewandReference[J].AvailableOnlineHttp,2015.[2]同济大学数学系.线性代数[M].北京:人民邮电出版社,2017.重点推荐第一个资料，这是斯坦福大学人工智能方向的课程的数学复习资料，建议学习，其翻译版本见：/p/4664105642.线性代数(1)

行列式(2)

矩阵(3)

向量(6)

二次型(5)

矩阵的特征值和特征向量(4)

线性方程组1.行列式(1)

行列式(2)

矩阵(3)

向量(6)

二次型(5)

矩阵的特征值和特征向量(4)

线性方程组

1.行列式按行（列）展开定理

1.行列式1.行列式

2.矩阵(1)

行列式(2)

矩阵(3)

向量(6)

二次型(5)

矩阵的特征值和特征向量(4)

线性方程组

2.矩阵矩阵矩阵的线性运算2.矩阵

2.矩阵

2.矩阵

2.矩阵

2.矩阵

2.矩阵3.向量(1)

行列式(2)

矩阵(3)

向量(6)

二次型(5)

矩阵的特征值和特征向量(4)

线性方程组3.向量

3.向量

3.向量

3.向量

3.向量

3.向量

3.向量9.正交基及规范正交基向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。3.向量4.线性方程组(1)

行列式(2)

矩阵(3)

向量(6)

二次型(5)

矩阵的特征值和特征向量(4)

线性方程组1．克莱姆法则

4.线性方程组

4.线性方程组

4.线性方程组

4.线性方程组5.矩阵的特征值和特征向量(1)

行列式(2)

矩阵(3)

向量(6)

二次型(5)

矩阵的特征值和特征向量(4)

线性方程组

5.矩阵的特征值和特征向量

5.矩阵的特征值和特征向量

5.矩阵的特征值和特征向量

5.矩阵的特征值和特征向量6.二次型(1)

行列式(2)

矩阵(3)

向量(6)

二次型(5)

矩阵的特征值和特征向量(4)

线性方程组

6.二次型

6.二次型

6.二次型

6.二次型3.概率论与数理统计01

高等数学02线性代数03概率论与数理统计3.概率论与数理统计概率论与数理统计建议参考资料为：[1]ARIANMALEKI,TOMDO.ReviewofProbabilityTheory[J].StanfordUniversity,2019.[2]同济大学数学系.概率论与数理统计[M].北京:人民邮电出版社,2017.重点推荐第一个资料，这是斯坦福大学人工智能方向的课程的数学复习资料，建议学习，其翻译版本见：/p/4664160903.概率论与数理统计(1)

随机事件和概率(2)

随机变量及其概率分布(3)

多维随机变量及其分布(5)

数理统计的基本概念(4)

随机变量的数字特征1.随机事件和概率(1)

随机事件和概率(2)

随机变量及其概率分布(3)

多维随机变量及其分布(5)

数理统计的基本概念(4)

随机变量的数字特征

1.随机事件和概率

1.随机事件和概率

1.随机事件和概率

1.随机事件和概率

1.随机事件和概率

1.随机事件和概率

1.随机事件和概率

1.随机事件和概率

1.随机事件和概率

1.随机事件和概率2.随机变量及其概率分布(1)

随机事件和概率(2)

随机变量及其概率分布(3)

多维随机变量及其分布(5)

数理统计的基本概念(4)

随机变量的数字特征

2.随机变量及其概率分布

2.随机变量及其概率分布

2.随机变量及其概率分布

2.随机变量及其概率分布

2.随机变量及其概率分布7.重要公式与结论

2.随机变量及其概率分布3.多维随机变量及其分布(1)

随机事件和概率(2)

随机变量及其概率分布(3)

多维随机变量及其分布(5)

数理统计的基本概念(4)

随机变量的数字特征

3.多维随机变量及其分布

3.多维随机变量及其分布

3.多维随机变量及其分布

3.多维随机变量及其分布

3.多维随机变量及其分布

3.多维随机变量及其分布

3.多维随机变量及其分布

3.多维随机变量及其分布4.随机变量的数字特征(1)

随机事件和概率(2)

随机变量及其概率分布(3)

多维随机变量及其分布(5)

数理统计的基本概念(4)

随机变量的数字特征

4.随机变量的数字特征

4.随机变量的数字特征

4.随机变量的数字特征

4.随机变量的数字特征

4.随机变量的数字特征

4.随机变量的数字特征

4.随机变量的数字特征5.数理统计的基本概念(1)

随机事件和概率(2)

随机变量及其概率分布(3)

多维随机变量及其分布(5)

数理统计的基本概念(4)

随机变量的数字特征

5.数理统计的基本概念

5.数理统计的基本概念

5.数理统计的基本概念

5.数理统计的基本概念

5.数理统计的基本概念参考文献

[1]KOLTERZ.LinearAlgebraReviewandReference[J].AvailableOnlineHttp,2015.[2]ARIANMALEKI,TOMDO.ReviewofProbabilityTheory[J].StanfordUniversity,2019.[3]同济大学数学系.高等数学(上册)[M].北京:人民邮电出版社,2017.[4]同济大学数学系.高等数学(下册)[M].北京:人民邮电出版社,2017.[5]同济大学数学系.线性代数[M].北京:人民邮电出版社,2017.[6]同济大学数学系.概率论与数理统计[M].北京:人民邮电出版社,2017.[7]StephenBoyd,LievenVandenberghe,ConvexOptimization[M].Cambridge:CambridgeUniversityPress,2004.谢谢！机器学习-机器学习库Scikit-learn

本章目录01

Scikit-learn概述02Scikit-learn主要用法03Scikit-learn案例1.Scikit-learn概述01

Scikit-learn概述02Scikit-learn主要用法03Scikit-learn案例1.Scikit-learn概述Scikit-learn是基于NumPy、SciPy和Matplotlib的开源Python机器学习包,它封装了一系列数据预处理、机器学习算法、模型选择等工具,是数据分析师首选的机器学习工具包。自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了，scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学习算法。还包括了特征提取，数据处理和模型评估三大模块。2.Scikit-learn主要用法01

Scikit-learn概述02Scikit-learn主要用法03Scikit-learn案例X_train

|

训练数据.X_test

|

测试数据.X

|

完整数据.符号标记2.Scikit-learn主要用法y_train

|

训练集标签.y_test

|

测试集标签.y

|

数据标签.2.Scikit-learn主要用法导入工具包fromsklearnimportdatasets,

preprocessingfromsklearn.model_selectionimporttrain_test_splitfromsklearn.linear_modelimportLinearRegressionfromsklearn.metricsimport

r2_score基本建模流程2.Scikit-learn主要用法Scikit-learn支持以NumPy的arrays对象、Pandas对象、SciPy的稀疏矩阵及其他可转换为数值型arrays的数据结构作为其输入，前提是数据必须是数值型的sklearn.datasets模块提供了一系列加载和获取著名数据集如鸢尾花、波士顿房价、Olivetti人脸、MNIST数据集等的工具，也包括了一些toy

data如S型数据等的生成工具fromsklearn.datasetsimportload_irisiris=

load_iris()X=

iris.datay=

iris.target加载数据2.Scikit-learn主要用法fromsklearn.model_selectionimporttrain_test_splitX_train,X_test,y_train,y_test=train_test_split(X,y,random_state=12,stratify=y,test_size=0.3)将完整数据集的70%作为训练集，30%作为测试集，并使得测试集和训练集中各类别数据的比例与原始数据集比例一致（stratify分层策略），另外可通过设置

shuffle=True

提前打乱数据数据划分训练集测试集数据集2.Scikit-learn主要用法使⽤Scikit-learn进⾏数据标准化fromsklearn.preprocessingimport

StandardScaler构建转换器实例scaler=

StandardScaler()拟合及转换scaler.fit_transform(X_train)数据预处理Z-Score标准化

处理后的数据均值为0，方差为12.Scikit-learn主要用法使用Scikit-learn进⾏数据变换数据预处理最小最大标准化One-Hot编码归一化二值化（单个特征转换）标签编码缺失值填补多项式特征生成MinMaxScalerOneHotEncoderNormalizerBinarizerLabelEncoderImputerPolynomialFeatures归一化（最大-最小规范化）

将数据映射到[0,1]区间2.Scikit-learn主要用法特征选择fromsklearnimportfeature_selectionas

fsfs.SelectKBest(score_func,

k)

过滤式（Filter），保留得分排名前k的特征（top

k方式）fs.RFECV(estimator, scoring=“r2”)封装式（Wrap-per），结合交叉验证的递归特征消除法，自动选择最优特征个数

fs.SelectFromModel(estimator)

嵌入式（Embedded），从模型中自动选择特征，任何具有coef_或者feature_importances_的基模型都可以作为estimator参数传入2.Scikit-learn主要用法监督学习算法-回归fromsklearn.linear_modelimport

LinearRegression构建模型实例lr=

LinearRegression(normalize=True)训练模型lr.fit(X_train,

y_train)作出预测y_pred=

lr.predict(X_test)

LASSO linear_model.LassoRidge linear_model.RidgeElasticNet linear_model.ElasticNet回归树 tree.DecisionTreeRegressor2.Scikit-learn主要用法监督学习算法-分类fromsklearn.treeimportDecisionTreeClassifierclf=DecisionTreeClassifier(max_depth=5)clf.fit(X_train,

y_train)y_pred=clf.predict(X_test)y_prob=

clf.predict_proba(X_test)使用决策树分类算法解决二分类问题，

y_prob

为每个样本预测为“0”和“1”类的概率1.Scikit-learn概述逻辑回归支持向量机朴素贝叶斯K近邻linear_model.LogisticRegressionsvm.SVCnaive_bayes.GaussianNBneighbors.NearestNeighbors监督学习算法-分类2.Scikit-learn主要用法监督学习算法-集成学习sklearn.ensemble模块包含了一系列基于集成思想的分类、回归和离群值检测方法.fromsklearn.ensembleimportRandomForestClassifierclf=RandomForestClassifier(n_estimators=20)clf.fit(X_train,

y_train)y_pred=clf.predict(X_test)y_prob=

clf.predict_proba(X_test)AdaBoost基于梯度提升ensemble.AdaBoostClassifierensemble.AdaBoostRegressorensemble.GradientBoostingClassifierensemble.GradientBoostingRegressor2.Scikit-learn主要用法无监督学习算法sklearn.cluster模块包含了一系列无监督聚类算法.fromsklearn.clusterimport

KMeans构建聚类实例kmeans=KMeans(n_clusters=3,

random_state=0)拟合kmeans.fit(X_train)预测kmeans.predict(X_test)2.Scikit-learn主要用法无监督学习算法-降维sklearn.decomposition模块包含了一系列无监督降维算法fromsklearn.decompositionimportPCA导入PCA库，设置主成分数量为3，n_components代表主成分数量pca=PCA(n_components=3)训练模型pca.fit(X)投影后各个特征维度的方差比例(这里是三个主成分)print(pca.explained_variance_ratio_)投影后的特征维度的方差print(pca.explained_variance_)2.Scikit-learn主要用法无监督学习算法-聚类DBSCAN层次聚类谱聚类cluster.DBSCANcluster.AgglomerativeClusteringcluster.SpectralClustering2.Scikit-learn主要用法评价指标sklearn.metrics模块包含了一系列用于评价模型的评分函数、损失函数以及成对数据的距离度量函数.fromsklearn.metricsimportaccuracy_scoreaccuracy_score(y_true,

y_pred)对于测试集而言，y_test即是y_true，大部分函数都必须包含真实值y_true和预测值y_pred.2.Scikit-learn主要用法评价指标回归模型评价metrics.mean_absolute_error()

|平均绝对误差MAEmetrics.mean_squared_error()

|

均方误差MSEmetrics.r2_score()

|

决定系数R2.2.Scikit-learn主要用法评价指标分类模型评价metrics.accuracy_score()|正确率

metrics.precision_score()

|

各类精确率

metrics.f1_score()|F1值

metrics.log_loss()

|

对数损失或交叉熵损失

metrics.confusion_matrix

|

混淆矩阵metrics.classification_report

|含多种评价的分类报告2.Scikit-learn主要用法评价指标分类模型评价metrics.accuracy_score()|正确率.metrics.precision_score()

|

各类精确率.metrics.f1_score()|F1值.metrics.log_loss()

|

对数损失或交叉熵损失.metrics.confusion_matrix

|

混淆矩阵.metrics.classification_report

|含多种评价的分类报告.2.Scikit-learn主要用法交叉验证及超参数调优fromsklearn.model_selectionimportcross_val_scoreclf=

DecisionTreeClassifier(max_depth=5)scores=cross_val_score(clf,X_train,y_train,cv=5,

scoring=’f1_weighted’)使用5折交叉验证对决策树模型进行评估，使用的评分函数为F1值sklearn提供了部分带交叉验证功能的模型类如LassoCV、LogisticRegressionCV等，这些类包含cv参数2.Scikit-learn主要用法交叉验证及超参数调优超参数调优⸺网格搜索fromsklearn.model_selectionimportGridSearchCVfromsklearnimport

svmsvc=

svm.SVC()params={‘kernel’:[‘linear’,‘rbf’],‘C’:[1,10]}grid_search=GridSearchCV(svc,params,cv=5)grid_search.fit(X_train,y_train)grid_search.best_params_在参数网格上进行穷举搜索，方法简单但是搜索速度慢（超参数较多时），且不容易找到参数空间中的局部最优2.Scikit-learn主要用法交叉验证及超参数调优超参数调优⸺随机搜索fromsklearn.model_selectionimportRandomizedSearchCVfromscipy.statsimport

randintsvc=

svm.SVC()param_dist={‘kernel’:[‘linear’,‘rbf’],‘C’:randint(1,20)}random_search

=

RandomizedSearchCV(svc,

param_dist,

n_iter=10)random_search.fit(X_train,y_train)random_search.best_params_在参数子空间中进行随机搜索，选取空间中的100个点进行建模（可从scipy.stats常见分布如正态分布norm、均匀分布uniform中随机采样得到），时间耗费较少，更容易找到局部最优3.Scikit-learn案例01

Scikit-learn概述02Scikit-learn主要用法03Scikit-learn案例3.Scikit-learn案例见Jupyternotebook代码参考文献

[1]/stable/tutorial/basic/tutorial.html，scikit-learn(sklearn)官方文档[2]/，scikit-learn(sklearn)官方文档中文版谢谢！机器学习-第二章回归

本章目录01

线性回归02梯度下降03正则化04回归的评价指标1.线性回归01认识Python01

线性回归02梯度下降03正则化04回归的评价指标监督学习分为回归和分类回归（Regression、Prediction）如何预测上海浦东的房价？未来的股票市场走向？分类（Classification）身高1.85m，体重100kg的男人穿什么尺码的T恤？根据肿瘤的体积、患者的年龄来判断良性或恶性？回归的概念标签连续标签离散线性回归-概念线性回归（LinearRegression）是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。线性回归-符号约定建筑面积总层数楼层实用面积房价143.7311010536200162.231811837000199.510101704250096.531137431200…………………………

线性回归-算法流程

模型机器学习算法训练数据特征预测结果线性回归-算法流程

损失函数(LossFunction)度量单样本预测的错误程度，损失函数值越小，模型就越好。常用的损失函数包括：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等。

代价函数(CostFunction)度量全部样本集的平均误差。常用的代价函数包括均方误差、均方根误差、平均绝对误差等。

目标函数(ObjectFunction)代价函数和正则化函数，最终要优化的函数。备注：损失函数的系数1/2是为了便于计算，使对平方项求导后的常数系数为1，这样在形式上稍微简单一些。有些教科书把系数设为1/2，有些设置为1，这些都不影响结果。

线性回归-最小二乘法(LSM)

需要用到向量平方的性质:

线性回归-最小二乘法(LSM)需要用到以下几个矩阵的求导法则:

由于中间两项互为转置:

1.线性回归01

线性回归02梯度下降03正则化04回归的评价指标梯度下降

学习率步长梯度下降的三种形式批量梯度下降（BatchGradientDescent,BGD）梯度下降的每一步中，都用到了所有的训练样本随机梯度下降（StochasticGradientDescent,SGD）梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不需要首先将所有的训练集求和小批量梯度下降（Mini-BatchGradientDescent,MBGD）梯度下降的每一步中，用到了一定批量的训练样本梯度下降的三种形式批量梯度下降（BatchGradientDescent）梯度下降的每一步中，都用到了所有的训练样本

梯度学习率梯度下降的三种形式随机梯度下降（StochasticGradientDescent）

推导

梯度下降的三种形式随机梯度下降（StochasticGradientDescent）梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数，而不需要首先将所有的训练集求和

梯度下降的三种形式小批量梯度下降（Mini-BatchGradientDescent）

梯度下降与最小二乘法比较

数据归一化/标准化

梯度

梯度为什么要标准化/归一化？提升模型精度：不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。加速模型收敛：最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。数据归一化/标准化归一化（最大-最小规范化）

将数据映射到[0,1]区间Z-Score标准化

处理后的数据均值为0，方差为1数据归一化的目的是使得各特征对目标变量的影响一致，会将特征数据进行伸缩变化，所以数据归一化是会改变特征数据分布的。数据标准化为了不同特征之间具备可比性，经过标准化变换之后的特征数据分布没有发生改变。就是当数据特征取值范围或单位差异较大时，最好是做一下标准化处理。数据归一化/标准化需要做数据归一化/标准化线性模型，如基于距离度量的模型包括KNN(K近邻)、K-means聚类、感知机和SVM。另外，线性回归类的几个模型一般情况下也是需要做数据归一化/标准化处理的。不需要做数据归一化/标准化决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取值大小并不敏感，如随机森林、XGBoost、LightGBM等树模型，以及朴素贝叶斯，以上这些模型一般不需要做数据归一化/标准化处理。3.正则化01

线性回归02梯度下降03正则化04回归的评价指标过拟合和欠拟合欠拟合过拟合正合适过拟合的处理1.获得更多的训练数据使用更多的训练数据是解决过拟合问题最有效的手段，因为更多的样本能够让模型学习到更多更有效的特征，减小噪声的影响。2.降维即丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）。3.正则化正则化(regularization)的技术，保留所有的特征，但是减少参数的大小（magnitude），它可以改善或者减少过拟合问题。4.集成学习方法集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。通过这张图可以看出，各种不同算法在输入的数据量达到一定级数后，都有相近的高准确度。于是诞生了机器学习界的名言：成功的机器学习应用不是拥有最好的算法，而是拥有最多的数据！

数据决定一切

数据大小准确率欠拟合的处理1.添加新特征当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。通过挖掘组合特征等新的特征，往往能够取得更好的效果。2.增加模型复杂度简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或神经元个数等。3.减小正则化系数正则化是用来防止过拟合的，但当模型出现欠拟合现象时，则需要有针对性地减小正则化系数。

正则化（弹性网络）

正则化

4.回归的评价指标01

线性回归02梯度下降03正则化04回归的评价指标回归的评价指标

回归的评价指标

越接近于1,说明模型拟合得越好参考文献

[1]AndrewNg.MachineLearning[EB/OL].StanfordUniversity,2014./course/ml[2]李航.统计学习方法[M].北京:清华大学出版社,2019.[3]周志华.机器学习[M].北京:清华大学出版社,2016.[4]WEINBERGERK.Distancemetriclearningforlargemarginnearestneighborclassification[J].AdvancesinNeuralInformationProcessingSystems,2006,18.[5]HOERLAE,KENNARDRW.Ridgeregression:applicationstononorthogonalproblems[J].Technometrics,1970,12(1):69–82.[6]TIBSHIRANIR.Regressionselectionandshrinkageviathelasso[J].JournaloftheRoyalStatisticalSocietySeriesB,1996,58(1):267–288.[7]TIBSHIRANIR,BICKELP,RITOVY,etal.Leastabsoluteshrinkageandselectionoperator[J].Software:/tibs/lasso.html,1996.谢谢！机器学习-逻辑回归

本章目录01

分类问题02Sigmoid函数03逻辑回归求解04逻辑回归代码实现1.分类问题01

分类问题02Sigmoid函数03逻辑回归求解04逻辑回归代码实现监督学习的最主要类型分类（Classification）身高1.85m，体重100kg的男人穿什么尺码的T恤？根据肿瘤的体积、患者的年龄来判断良性或恶性？根据用户的年龄、职业、存款数量来判断信用卡是否会违约？分类问题标签离散输入变量可以是离散的，也可以是连续的。二分类分类问题12我们先从用蓝色圆形数据定义为类型1，其余数据为类型2；只需要分类1次步骤：①->②①②二分类多分类分类问题1rest12restOne-vs-All(One-vs-Rest)

①②③一对多(一对余)2.Sigmoid函数01

分类问题02Sigmoid函数03逻辑回归求解04逻辑回归代码实现

Sigmoid函数

2.Sigmoid函数

2.Sigmoid函数

2.Sigmoid函数

3.逻辑回归求解01

分类问题02Sigmoid函数03逻辑回归求解04逻辑回归代码实现3.逻辑回归求解

损失函数

代价函数

表示真实值3.逻辑回归求解3.逻辑回归求解

3.逻辑回归求解梯度下降求解过程：

3.逻辑回归求解求解过程：

3.逻辑回归求解求解过程：

没有正则化，过拟合正则化过度，欠拟合适当的正则化正则化：目的是为了防止过拟合

正则化项当λ的值开始上升时，降低了方差。3.逻辑回归求解4.逻辑回归代码实现01

分类问题02Sigmoid函数03逻辑回归求解04逻辑回归代码实现4.逻辑回归代码实现

Sigmoid函数代价函数

4.逻辑回归代码实现正则化

参考文献

[1]HOSMERDW,LEMESHOWS,STURDIVANTRX.Appliedlogisticregression[M].NewJersey:WileyNewYork.2000.[2]AndrewNg.MachineLearning[EB/OL].StanfordUniversity,2014./course/ml[3]李航.统计学习方法[M].北京:清华大学出版社,2019.[4]HastieT.,TibshiraniR.,FriedmanJ.TheElementsofStatisticalLearning[M].NewYork:Springer,2001.[5]CHRISTOPHERM.BISHOP.PatternRecognitionandMachineLearning[M].NewYork:Springer,2006.[6]StephenBoyd,LievenVandenberghe,ConvexOptimization[M].Cambridge:CambridgeUniversityPress,2004.[7]TIBSHIRANIR.Regressionselectionandshrinkageviathelasso[J].JournaloftheRoyalStatisticalSocietySeriesB,1996,58(1):267–288.谢谢！机器学习-第四章朴素贝叶斯

本章目录01

贝叶斯方法02朴素贝叶斯原理03朴素贝叶斯案例04朴素贝叶斯代码实现1.贝叶斯方法01

贝叶斯方法02朴素贝叶斯原理03朴素贝叶斯案例04朴素贝叶斯代码实现1.贝叶斯方法-背景知识先验概率：后验概率：贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。

贝叶斯分类：

联合概率：

1.贝叶斯方法-背景知识1.贝叶斯方法贝叶斯公式后验概率似然度先验概率边际似然度

2.朴素贝叶斯原理01

贝叶斯方法02朴素贝叶斯原理03朴素贝叶斯案例04朴素贝叶斯代码实现判别模型和生成模型判别模型（DiscriminativeModel)生成模型（GenerativeModel）线性回归、逻辑回归、感知机、决策树、支持向量机……朴素贝叶斯、HMM、深度信念网络(DBN)……监督学习方法又分生成方法（Generativeapproach）和判别方法（Discriminativeapproach）所学到的模型分别称为生成模型（GenerativeModel）和判别模型（DiscriminativeModel)。2.朴素贝叶斯原理2.朴素贝叶斯原理

2.朴素贝叶斯原理

2.朴素贝叶斯原理3．朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测

2.朴素贝叶斯原理

2.朴素贝叶斯原理

2.朴素贝叶斯原理

2.朴素贝叶斯原理朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯法也由此得名。具体地，条件独立性假设是：

2.朴素贝叶斯原理

2.朴素贝叶斯原理将式(1)代入公式(2)，可以得到贝叶斯分类器可以表示为：

3.朴素贝叶斯案例01

贝叶斯方法02朴素贝叶斯原理03朴素贝叶斯案例04朴素贝叶斯代码实现3.朴素贝叶斯案例假设我们正在构建一个分类器，该分类器说明文本是否与运动(Sports)有关。我们的训练数据有5句话：文本标签AgreatgameSportsTheelectionwasoverNotSportsVerycleanmatchSportsAcleanbutforgettablegameSportsItwasacloseelectionNotSports

3.朴素贝叶斯案例

3.朴素贝叶斯案例我们假设一个句子中的每个单词都与其他单词无关。

3.朴素贝叶斯案例

文本标签AgreatgameSportsTheelectionwasoverNotSportsVerycleanmatchSportsAcleanbutforgettablegameSportsItwasacloseelectionNotSports3.朴素贝叶斯案例通过使用一种称为拉普拉斯平滑的方法：我们为每个计数加1，因此它永远不会为零。为了平衡这一点，我们将可能单词的数量添加到除数中，因此计算结果永远不会大于1。在这里的情况下，可能单词是['a','great','very','over','it','but','game','election','clean','close','the','was','forgettable','match']。

14个单词3.朴素贝叶斯案例

3.朴素贝叶斯案例WordP(word|Sports)P(word|NotSports)averyclosegame

由于0.0000276大于0.00000572，我们的分类器预测“Averyclosegame”是Sport类。4.朴素贝叶斯代码实现01

贝叶斯方法02朴素贝叶斯原理03朴素贝叶斯案例04朴素贝叶斯代码实现4.朴素贝叶斯代码实现

4.朴素贝叶斯代码实现最常用的GaussianNB是高斯朴素贝叶斯分类器的scikit-learn实现。4.朴素贝叶斯代码实现最常用的GaussianNB是高斯朴素贝叶斯分类器的Numpy实现。详细过程见代码。参考文献

[1]TOMMMICHELLE.MachineLearning[M].NewYork:McGraw-HillCompanies,Inc,1997.[2]HastieT.,TibshiraniR.,FriedmanJ.TheElementsofStatisticalLearning[M].NewYork:Springer,2001.[3]CHRISTOPHERM.BISHOP.PatternRecognitionandMachineLearning[M].NewYork:Springer,2006.[4]ZhangH.,TheoptimalityofnaïveBayes[C]//Proceedingsofthe17thInternationalFloridaArtificialIntelligenceResearchSocietyConference(FLAIRS),Miami,FL,562-567,2004.[5]NgA.Y.andM.I.Jordan,Ondiscriminativevs.generativeclassifiers:AcomparisonoflogisticregressionandnaïveBayes[C]//ProceedingsoftheAdvancesin14thNeuralInformationProcessingSystems(NIPS),MITPress,Cambridge,MA,841-848,2002.[6]KohaviR.,ScalinguptheaccuracyofnaïveBayesclassifiers:Adecision-treehybrid[C]//Pr