人工智能创新实验教程 课件 第1-3章 实验环境搭建、python基础、机器学习基础

宁夏大学第一章实验环境搭建实验环境搭建2目录

CONTENT04030201Anaconda安装PyCharm安装包的安装框架搭建Anaconda安装01Anaconda简介4

Anaconda可以便捷获取包且对包能够进行管理，同时对环境进行统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。Anaconda具有如下特点：开源安装过程简单高性能使用Python和R语言免费的社区支持Anaconda安装步骤51、官网下载安装文件2、安装anaconda第一步：直接点击开始安装。一般来说，大家的电脑只有一个账户，默认选择Justme，如果你的电脑有多个账户，那就选择AllUsers。第二步：自行选择安装路径。第三步：不需要勾线第一个，有些教程中建议勾选，但这样容易出现污染环境变量等各种小问题，为了保险起见，还是不勾选这个，后续进行人工设置。第四步：接下来就是等待，直到安装成功。Anaconda安装步骤63、配置环境变量我的电脑→属性→高级系统设置→环境变量→系统变量中的Path4、新建环境变量编辑环境变量→新建→添加以下内容格式为：安装的盘+你的文件夹名称+后面不变的内容。例如： E:\anaconda3 E:\anaconda3\Scripts E:\anaconda3\Library\mingw-w64\bin E:\anaconda3\Library\usr\bin E:\anaconda3\Library\binAnaconda安装测试75、测试是否安装成功第一步：点击进入AnacondaNavigator，观察能否能够顺利进入这个页面（反应时间可能较长）。第二步：点击AnacondaPrompt→输入condainfo，观察是否也输出一堆数据输入conda——version，观察是否输出版本号第三步：写个程序，熟悉一下界面。在Spyder编辑器中输入print（'helloworld'）F5运行，观察是否输出helloworldPyCnarm安装02PyCharm简介9PyCharm是一种PythonIDE（IntegratedDevelopmentEnvironment，集成开发环境），带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。编码协助：其提供了一个带编码补全，代码片段，支持代码折叠和分割窗口的智能、可配置的编辑器。项目代码导航：该IDE可帮助用户即时从一个文件导航至另一个，从一个方法至其申明或者用法甚至可以穿过类的层次。代码分析：用户可使用其编码语法，错误高亮，智能检测以及一键式代码快速补全建议，使得编码更优化。Python重构：有了该功能，用户便能在项目范围内轻松进行重命名，提取方法/超类，导入域/变量/常量，移动和前推/后退重构。集成的单元测试：用户可以在一个文件夹运行一个测试文件，单个测试类，一个方法或者所有测试项目。PyCharm安装101.下载Pycharm打开官网，下载时有两种版本选择Professional(专业版，收费)和Community(社区版，免费)2、开始安装Pycharm第一步，直接点击Next。第二步，如果要修改安装路径，可更改。第三步，需要进行一些设置，没有特殊需要按照图中勾选即可：第四步，默认即可，点击install。3、配置Pycharm首次启动pycharm，会弹出配置窗口，如果你之前使用过pycharm并有相关的配置文件，请选择；如果没有，默认即可。同意用户使用协议，确定是否需要进行数据共享，可以直接选择Don'tsend。选择主题，左边为黑色主题，右边为白色主题，根据需要选择。4、激活账号使用学校账号进行激活。PyCharm安装115、创建项目首先随便创建一个项目,点击NewProject。选择你的项目创建路径和本地Python解释器。最后点击create6、创建Python文件在项目名称的位置点击鼠标右键，选择New>PythonFile输入文件名称，点击OK即可。在文件中输入代码，然后在文件中任意空白位置点击鼠标右键，运行。在界面的下方，显示Python代码的运行结果。包的安装03包的安装03包的安装14Pythonpip安装与使用pip是Python包管理工具，该工具提供了对Python包的查找、下载、安装、卸载的功能。pip最常用命令NumPy安装15NumPy(NumericalPython)是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表(nestedliststructure)结构要高效的多(该结构也可以用来表示矩阵(matrix))，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。使用pip安装安装NumPy最简单的方法就是使用

pip工具：pip3install--usernumpyscipymatplotlib默认情况使用国外线路，国外太慢，我们使用清华的镜像就可以:pip3installnumpyscipymatplotlib-i/simple测试是否安装成功：>>>fromnumpyimport*>>>eye(4)Matplotlib安装16Matplotlib是一个Python的2D绘图库，它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。通过Matplotlib，开发者可以仅需要几行代码，便可以生成绘图，直方图，功率谱，条形图，错误图，散点图等。我们使用pip工具来安装Matplotlib库以下实例，我们通过导入matplotlib库，然后查看matplotlib库的版本号：实例importmatplotlib print(matplotlib.__version__)执行以上代码，输出结果如下：Pandas安装17Pandas是python的一个数据分析包。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。Pandas的名称来自于面板数据(paneldata)和python数据分析(dataanalysis)。paneldata是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。使用pip安装pandas:pipinstallpandas安装成功后，我们就可以导入pandas包使用：importpandas实例-查看pandas版本>>>

import

pandas >>>

pandas.__version__

#查看版本导入pandas一般使用别名

pd

来代替：importpandasaspd执行以上代码，输出结果为：框架搭建04框架搭建19在开始深度学习项目之前，选择一个合适的框架是非常重要的，因为选择一个合适的框架能起到事半功倍的作用。研究者们使用各种不同的框架来达到他们的研究目的，侧面印证出深度学习领域百花齐放。全世界最为流行的深度学习框架有Tensorflow、Caffe、Theano、MXNet、Torch和PyTorch。本节在这里只做CPU版本的框架搭建，GPU版本需要安装CUDA和cuDNN

，才能使用命令搭建框架。Pytorch安装20PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch。它是一个基于Python的可续计算包，提供两个高级功能：1、具有强大的GPU加速的张量计算（如NumPy）。2、包含自动求导系统的深度神经网络。优点：PyTorch是相当简洁且高效快速的框架；设计追求最少的封装；设计符合人类思维，它让用户尽可能地专注于实现自己的想法；与google的Tensorflow类似，FAIR的支持足以确保PyTorch获得持续的开发更新；PyTorch作者亲自维护的论坛供用户交流和求教问题；入门简单。安装前准备：添加镜像源添加完毕后，运行下面这段代码查看镜像源是否设置成功：condaconfig--show如果在channels下方可以查看到我们添加的镜像源，那就是设置成功了。Pytorch安装213、进入百度/进入PyTorch官网，点击GetStarted，进入后如下选择：1.在Win10下配置PyTorch（CPU版）打开cmd，输入以下代码查看当前环境：condainfo-e运行结果如下所示：2、可以看到当前环境只有一个base环境，然后输入命令安装一个python：condacreate-ntorchpython=3.9版本可以自己选择，遇到选择Y/N的，一律选择Y就行。安装完成后，输入下行命令进入环境。condaactivatetorch4、选择完成后，将代码复制粘贴到cmd命令中：condainstallpytorchtorchvisiontorchaudiocpuonly-cpytorchtensorflow安装22Google开源的Tensorflow是一款使用C++语言开发的开源数学计算软件，使用数据流图(DataFlowGraph)的形式进行计算。ensorflow最初是由研究人员和GoogleBrain团队针对机器学习和深度神经网络进行研究而开发，开源之后几乎可以在各个领域适用。Tensorflow是全世界使用人数最多、社区最为庞大的一个框架，因为Google公司出品，所以维护与更新比较频繁，并且有着Python和C++的接口，教程也非常完善，同时很多论文复现的第一个版本都是基于Tensorflow写的，所以是深度学习界框架默认的老大。1、安装tensorflow环境创建并安装tensorflow环境启动anacondaprompt，单击启动anaconda命令行。使用如下命令将下载源恢复为默认源：condaconfig--remove-keychannels将conda更新为最新版本。使用如下命令进行更新：condaupdate-nbaseconda创建tensorflow-cpu虚拟环境。tensorflow-cpu为环境名称，可自行更改，创建命令如下：condacreate-ntensorflow-cputensorflow安装23登入tensorflow-cpu环境。使用如下命令登录所创建的环境，最前面括号内的内容就是当前所在环境的名称：condaactivatetensorflow-cpu2、设置pycharm为tensorflow运行IDE。打开pycharm，点击菜单"File/Settings"。按图中所示左边目录，找到”projectInterpreter"，在右上角，点击“Add"在弹出的对话框中，左边选择”SystemInterpreter"，在右上边框中按如图方式，打开解释器选择菜单。在弹出的对话框中，选择anaconda的安装位置，在envs/tensorflow-cpu/Tools"目录下，选择python.exe作为解释器即可。3、测试tensorflow是否安装成功www.islide.cc感谢观看！第二章python基础26目录

CONTENT0504030201python简介数据类型运算符数据的组织结构循环06列表27目录

CONTENT0908字典函数文件操作07python简介01python简介29Python是一种跨平台的计算机程序设计语言，是人机之间交流的工具。Python是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。Texthere特点1342交互式语言Python是交互式语言：

这意味着，您可以在一个Python提示符>>>后直接执行代码。面向对象语言

Python是面向对象语言:这意味着Python支持面向对象的风格或代码封装在对象的编程技术。可读性Python的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。解释性语言Python是一种解释型语言：

这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。python中的输出函数30print()函数Python里面有一个你可以直接使用的函数print()，可以将您想展示的东西在idle或标准的控制台上显示。Print函数的输出形式1、换行2、不换行print函数的使用print函数可以输出哪些内容？1、print()函数输出的内容可以是数字；2、print()函数输出的内容可以是字符；3、print()函数输出的内容可以是含有运算符的表达式。print函数可以将内容输出的目的地：1、显示器2、文件转义字符31什么是转义字符呢？就是反斜杠+想要实现的转移功能首字母。为什么需要转义字符？

当字符串中包含反斜杠，单引号和双引号等特殊用途的字符时，必须使用反斜杠对这些字符进行转移(转换一个含义)。

反斜杠:\\

单引号:\’

双引号:\”

当字符串中包含换行、回车、水平制表符或退格等无法直接表示的特殊字符时，也可以使用转义字符。

换行:\n

回车:\r

水平制表符:\t

退格:\b数据类型02标识符与保留字33标识符

标识符就是程序中，使用的各种名称，例如：变量名、常量名、类名等等。在Python中，对标识符格式的要求与C/C++、Java等差不多，变量、函数、类、模块和其他对象的起的名字就叫标识符。

第一个字符必须是字母表中的字母或下划线_；

标识符的其他的部分，由字母、数字和下划线组成；

标识符对大小写敏感；

标识符不能与保留字（关键词）相同。比如：但都是不正确的标识符。保留字

保留字即关键字，是Python语言中内部使用的单词被赋予了特定的意义，这些单词对任何对象起名学的时候都不能用。例如：and、class、if、else

importkeyword

print(keyword.kwlist)列出了Python3的所有保留字：变量34变量是内存中一个带标签的盒子。变量变量由三部分组成：

标识：表示对象所存储的内存地址，使用内置函数id(obj)来获取；

类型：表示函数是对象的数据类型，使用内置函数type(obj)来获取；

值：表示对象所存储的具体数值使用print(obj)，可以将值进行打印输出。举例数据类型35常用的数据类型

整数类型→int→98

浮点数类型->float→3.14159

布尔类型→bool→True,False

字符串类型→str→‘人生苦短，我用Python’整数类型

英文为integer,简写为int.可以表示正数、负数和零。整数的不同进制表示方式：

十进制是默认的进制

二进制→以0b开头

八进制→以0o开头

十六进制→0x开头浮点类型

浮点数整数部分和小数部分组成。

浮点数存储不精确性：

使用浮点数进行计算时，可能会出现小数位数不确定的情况：解决方案：

导入模块decmal：布尔类型

用来表示真或假的值。

True表示真，False表示假。

布尔值可以转化为整数：

·true→1

·false→0

字符串类型

字符串又被称为不可变的字符序列。

可以使用单引号’’双引号""三引号’’’‘’’或““”””来定义；

单引号和双引号定义的字符串必须在一行；

三引号定义的字符串可以分布在连续的多行。python中的注释36

在代码中对代码的功能进行解释说明的标注性文字，可以提高代码的可读性。注释的内容会被Python解释器忽略。通常包括三种类型的注释：

单行注释→以"#"开头，直到换行结束；

多行注程→并没有单独的多行注释标记，将-对三引号之间的代码称为多行注释；

中文编码声明注释→在文件开头加上中文声明注释，用以指定源码文件的编码格式。

如#coding:gbk运算符03python中的运算符38运算符功能说明+算术加法，列表、元组、字符串合并与连接，正号-算术减法，集合差集，相反数*算术乘法，序列重复/真除法//求整商，但如果操作数中有实数的话，结果为实数形式的整数%求余数，字符串格式化**幂运算<、<=、>、>=、==、!=（值）大小比较，集合的包含关系比较or逻辑或and逻辑与not逻辑非in成员测试is对象同一性测试，即测试是否为同一个对象或内存地址是否相同|、^、&、<<、>>、~位或、位异或、位与、左移位、右移位、位求反&、|、^集合交集、并集、对称差集@矩阵相乘运算符运算符的优先级39算数运算符>位运算符>比较运算符>布尔运算符>赋值运算符例如：运行结果：数据组织结构04程序的组织结构41

1996年，计算机科学家证明了这样的事实:任何简单或复杂的算法都可以由顺序结构、选择结构和循环结构这三种基本结构组合而成。顺序结构：程序从上到下顺序地执行代码，中间没有任何的判断和跳转，直到程序结束。循环结构：

反复做同一件事情的情况，称为循环。选择结构：程序根据判断条件的布尔值选择性地执行部分代码。对象的布尔值42Python一切皆对象，所有对象都有一个布尔值。获取对象的布尔值：

使用内置函数bool()以下对象的布尔值为False，其他均为true：False数值0None空字符串空列表空元组空字典空集合分支结构43选择结构可以分为：单分支结构、双分支结构、多分支结构和嵌套if。单分支结构

中文语义：如果……就……语法结构： if条件表达式

条件执行体双分支结构：

中文语义:如..使满.....

语法结构:.

if条件表达式:

条件执行体1

else:

条件执行体2分支结构44多分支结构：嵌套if：pass空语句45pass语句：

语句什么都不做，只是一个占位符，用在语法上需要语句的地方。什么时候使用？先搭建语法结构，还没想好代码怎么写的时候。哪些语句一起使用？语句的条件执行体for-in语句的循环停定义函数时的函数体05循环while()循环47反复做同一件事情的情况，称为循环。循环结构的流程图：

循环的分类：

while

for-in语法结构：While循环的执行流程四部循环法：

初始化变量

条件判断

条件执行体(循环体)

改变变量for-in

循环48for-in循环

in表达从(字符串、序列等)中依次取值，又称为遍历。

for-in遍历的对象必须是可迭代对象。for-in的语法结构

for自定义的变量

in可迭代对象

循环体for-in示例for-in的执行图break、continue语句49流程控制语句break

用于结束循环结构，通常与分支结构if一起使用。流程控制语句continue

用于结束当前循环，进入下一次循环，通常与分支结构中的if一起使用。06列表列表的创建与删除51为什么需要列表？

变量可以存储一个元素，而列表是一个大容器”可以存储N多个元素，程序可以方便地对这些数据进行整体操作。

列表相当于其它语言中的数组。列表的特点：

获取列表中指定元素的索引：获取列表中的单个元素：列表的查询操作52获取列表中的多个元素：

语法格式：

列表名[start:stop:step]判断指定元素在列表中是否存在：列表元素的遍历：列表元素的增、删、改操作53增加操作：删除操作：修改操作：

为指定索引的元素赋予一个新值，或为指定的切片赋予一个新值。列表元素的排序54列表元素的排序操作

常见的两种方式：方式1：调用sort()方法列有中的所有元素默认按照从小到大的顺序进行排序，可以指定reverse=True、进行降序排序。

方式2：调用内置函数sorted(),可以指定reverse=True，进行降序排序，原列表不发生改变。07字典列表推导式56字典:

Python内置的数据结构之一，与列表一样是一个可变序列。

以键值对的方式存储数据，字典是一个无序的序列。字典的实现原理：

字典的实现原理与查字典类似，查字典是先根据部首或拼音查找应的页码，Python中的字典是根据key查找value所在的位置。字典的创建57字典的创建：最常用的方式:使用花括号scores=("张三:100，'李四:98，王五':45)使用内置函数dict()dict(name='jack’,age=20)字典的查询操作58字典的常用操作

字典中元素的获取：[]取值与使用get()取值的区别:

[]如果字典中不存在指定的key，抛出keyError异常.

get()方法取值，如果字典中不存在指定的key，并不会抛出KeyError而是返回None，可以通过参数设置默认的value，以便指定的key不存在时返回。字典元素的增、删、改操作59Key的判断：

字典元素的删除：delscores[‘张三’]字典元素的新增：scores[‘jack’]=90

获取字典视图的三个方法：字典元素的遍历：

foriteminscore:

print(item)字典推导式60字典的特点：

字典中的所有元素都是一个key-value对，key不允许重复，value可以重复；

字典中的元素是无序的；

字典中的key必须是不可变对象；

字典也可以根据需要动态地伸缩；

字典会浪费较大的内存，是一种使用空间换时间的数据结构。字典生成式：内置函数zip()：

用于将可迭代的对象作为参数，将对象中对应的元素打包成一个元组然后返回由这些元组组成的列表。Supportingtexthere.Whenyoucopy&paste,choose"keeptextonly"option.08函数函数的创建和调用62什么是函数？函数就是执行特定任和以完成特定功能的一段代码。为什么需要函数：复用代码；隐藏实现细节；提高可维护性；提高可读性便于调试。

函数的创建：def函数名([输入参数]):函数体[returnxxx]

函数的调用（函数名（[实际参数]））：

函数调用的参数传递63位置实参：根据形参对应的位置进行实参传递。关键字实参：根据形参名称进行实参传递。

函数的参数传递：函数调用的参数传递内存分析图：函数的返回值64函数的返回值1、如果函数没有返回值【函数执行完毕后，不需要给调用处提供数据】2、函数的返回值，如果个数是1个，直接返回类型3、函数的返回值，如果是多个，返回的结果是元组函数的参数定义65个数可变的关键字形参定义函数时，无法事先确定传递的关键字实参的个数时，使用可变的关键字形参；使用*定义个数可变的关键字形参；结果为一个字典。函数的参数定义函数定义默认值参数函数定义时，给形参设置默认值，只有与默认值不符的时候才需要传递实参。个数可变的位置参数定义函数时，可能无法事先确定传递的位置实参的个数时，使用可变的位置参数；使用+定义个数可变的位置形参；结果为一个元组。个数可变的关键字参数、可变的位置参数在定义的时候只能由一个，否则报错。递归函数66什么是递归函数？如果在一个函数的函数体内调用了该函数本身，这个函数就称为递归函数。递归的组成部分：递归调用与递归终止条件。递归的调用过程：每递归调用一次函数，都会在栈内存分配一个栈帧。每执行完一次函数，都会释放相应的空间。递归的优缺点：缺点：占用内存多，效率低下。优点：思路和代码简单。Supportingtexthere.Whenyoucopy&paste,choose"keeptextonly"option.09文件操作python中的文件对象68文件对象不仅可以用来访问普通的磁盘文件,而且也可以访问任何其它类型抽象层面上的"文件"。一旦设置了合适的"钩子",你就可以访问具有文件类型接口的其它对象,就好像访问的是普通文件一样。文件内建函数[open()和file()]open函数使用一个文件名作为唯一的强制参数，然后返回一个文件对象；模式和缓冲参数都是可选的，默认为只读模式打开文件；使用with即使发生错误可以关闭文件。open()和file()函数具有相同的功能,可以任意替换.任何使用open()的地方,都可以使用file()替换它，建议使用open()来读写文件,在处理文件对象时使用file()。open()成功执行并返回一个文件对象之后,所有对该文件的后续操作都将通过这个"句柄"进行。文件对象的访问的模式69文件方法分类70输入：read()方法用来直接读取字节到字符串中,最多读取给定数目个字节。如果没有给定size参数(默认值为-1)或者size值为负,文件将被读取直至末尾。指定读取size：readline()方法读取打开文件的一行(读取下个行结束符之前的所有字节)；然后整行，包括行结束符，作为字符串返回；和read()相同,它也有一个可选的size参数,默认为-1,代表读至行结束符；如果提供了该参数,那么在超过size个字节后会返回不完整的行。readlines()方法并不像其它两个输入方法一样返回一个字符串。它会读取所有(剩余的)行然后把它们作为一个字符串列表返回。它的可选参数sizhint代表返回的最大字节大小.如果它大于0,那么返回的所有行应该大约有sizhint字节。文件方法分类71输出：write()内建方法功能与read()和readline()相反。它把含有文本数据或二进制数据块的字符串写入到文件中去。文件内移动：seek()方法可以在文件中移动文件指针到不同的位置；offset字节代表相对于某个位置偏移量。位置的默认值为0,代表从文件开头算起(即绝对偏移量),1代表从当前位置算起,2代表从文件末尾算起。当人们打开文件进行读写操作的时候就会接触到seek()方法。truncate()方法,它接受一个可选的size作为参数.如果给定,那么文件将被截取到最多size字节处.如果没有传递size参数,那么默认将截取到文件的当前位置。例如,你刚打开了一个文件,然后立即调用truncate()方法,那么你的文件(内容)实际上被删除,这时候你是其实是从0字节开始截取的(tell()将会返回这个数值)。文件对象的内建方法列表72文件系统的访问73对文件系统的访问大多通过Python的os模块实现。该模块是Python访问操作系统功能的主要接口。

www.islide.cc感谢观看！宁夏大学

第三章机器学习基础www.islide.cc76目录

CONTENT01引言02机器学习的三要素03评估方法04本章小结01引言引言

通俗地讲，机器学习（MachineLearning，ML）就是让计算机从数据中进行自动学习，得到某种知识（或规律）。作为一门学科，机器学习通常指一类问题以及解决这类问题的方法，即如何从观测数据（样本）中寻找规律，并利用学习到的规律（模型）对未知或无法观测的数据进行预测.在早期的工程领域，机器学习也经常称为模式识别（PatternRecognition，PR），但模式识别更偏向于具体的应用任务，比如光学字符识别、语音识别、人脸识别等。这些任务的特点是，对于我们人类而言，这些任务很容易完成，但我们不知道自己是如何做到的，因此也很难人工设计一个计算机程序来解决这些任务。一个可行的方法是设计一个算法可以让计算机自己从有标注的样本上学习其中的规律，并用来完成各种识别任务。随着机器学习技术的应用越来越广，现在机器学习的概念逐渐替代模式识别，成为这一类问题及其解决方法的统称。02机器学习的三要素1模型

1模型

1模型

以上提到了很多种当前热门的机器学习模型，在后面的文章都会详细介绍。判别模型和生成模型，两者的差别就在于是否先对联合概率P(y|x)建模。学术界对两种模型各自都有不同的声音，主要是针对条件概率P(y|x)的方法应该直接建模还是用P(y|x)间接建模有分歧：SVM之父Vapnik的观点是生成模型的第一步是先对联合概率P(y|x)建模，这个做法没必要，对P(y|x)直接进行建模就行了，事实上这学术界主流认识；而AndrewNg为生成模型发声，他认为对P(y|x)进行建模从而达到判别的目的也有它自身的一些优势：虽然生成模型的渐进误差（Asymptoticerror）确实是比判别模型的大，但随着训练集增加后，生成模型会比判别模型更快得达到渐进误差（收敛速度更快）。2学习策略

在模型部分，机器学习的学习目标是获得假设空间（模型）的一个最优解，那么如何评判优还是不优？策略部分就是评判“最优模型”（最优参数的模型）的准则或方法。了解机器学习的策略，最关键是掌握10个名词：欠拟合（Underfitting）、过拟合（Overfitting）、经验风险（Empiricalrisk）、经验风险最小化（Empiricalriskminimization,ERM）、结构风险（Structuralrisk）、结构风险最小化（Structuralriskminimization,SRM）、损失函数（Lossfunction）、代价函数（Costfunction）、目标函数（Objectfunction）、正则化（Regularization）。

为了理解这些名词，我们从一个例子开始说起，如图所示：2学习策略

2学习策略

3优化准则

通常来说，最小值必然是极值点，而连续函数的极值点可以通过求一阶导数并令导数等于0，最后找到值最小的极值点，就是最小值点。而在机器学习中，由于目标函数的复杂性，普通解法绝大多数情况行不通，这个时候需要一些别的算法。机器学习求解目标函数常用的算法有最小二乘法、梯