人工智能的评估模型

人工智能的评估模型评估介绍在评估中

本阶段，我们将探讨评估人工智能模型的不同方法。模型评估是一个不可或缺的过程。

这是模型开发过程的一部分。它有助于找到最能代表我们数据的模型，并且

如何

出色地

被选中的

模型

会奏效

在

未来什么

是

评估？评估

是

这

过程

的

理解

这

可靠性

的

任何

人工智能

模型，

基于

在

输出

经过

喂养

将测试数据集输入模型并与实际答案进行比较。

评估方式可以多种多样。

根据模型类型和用途的不同，采用不同的技术。请记住，不建议这样做。

使用我们构建模型时所用的数据来评估模型。这是因为我们的模型将简单地……

记住整个训练集，因此总能预测出任何点的正确标签。

这

训练

放。

这

是

已知

作为

过度拟合。当模型既不能从训练数据集中学习，也不能很好地泛化到测试数据集上时，就称为欠拟合。完美拟合是指模型从训练数据中识别出模式，但最终不会记住更细微的细节。这样一来，就能确保模型具有普适性，并能准确预测其他数据样本。0304模型

评估

术语这

设想想象

那

你

有

来

向上

和

一个

人工智能

基于

预言

模型

哪个

有

到过

已部署

在

一个

森林

该地区易发生森林火灾。现在，该模型的目标是预测森林火灾是否会发生。

无论是否逃出森林。现在，为了解该模型的效率，我们需要检查……

它所做的预测是否正确，取决于具体情况。因此，我们需要满足两个条件：

思考：预测与现实。预测是机器给出的输出结果，

现实情况是指做出预测时森林中的真实场景。现在让我们来看看……

各种各样的

组合

我们可以

有

和

这些

二

状况。案件

1：

是

那里

一个

森林火灾？这里，

我们

能

看

在

这

图片

那

一个

森林

火

有

破碎的

出去

在

这

森林。

这

模型

预测

一个

是的

这意味着发生了森林火灾。预测与实际情况相符。因此，这种情况是

称为

作为

真的

积极的。案件

2：

是

那里

一个

森林火灾？这里

那里

是

不

火

在

这

森林

因此

这

现实

是

不。

在

这

案件，

这

机器

也

有

预测

它

正确地

否。

所以，

这种情况

被称为

作为

真的

消极的。案件

3：

是

那里

一个

森林火灾？实际情况是，这里并没有森林火灾。但机器错误地预测有森林火灾发生。

一个

森林

火。这

案件

被称为

错误的

积极的。案件

4：

是

那里

一个

森林火灾？这里，

一个

森林

火

有

破碎的

出去

在

这

森林

因为

的

哪个

这

现实

是

是的

但

这

机器

有

错误地预测为“否”，这意味着机器预测没有森林火灾。

所以，

本案

变成

错误的

消极的。困惑

矩阵预测与现实的比较结果可以记录在我们称之为……的记录中。

混淆矩阵。混淆矩阵可以帮助我们理解预测结果。让

我们

现在拿一个

看

在

困惑

矩阵：预言

和

现实可能

是

容易地

一起映射

和

帮助

这

困惑

矩阵。评估

方法森林场景：认为

那

这

模型

总是

预测

那

那里

是

不

火。

但

在

现实，

那里

是

一个

2%

机会

的

森林

火

打破

出去。

在

这

案件，

为了

98

案例，

这

模型

将要

没错，但……

那些

2

案例

哪个

那里

曾是

一个

然后是森林火灾

也

这

模型预测

不

火。这里，真阳性率=0

真阴性=98

全部的

病例数=

100所以，

准确性

变为：（98）

+

0）

/

100

=

98%对于人工智能模型来说，这是一个相当高的准确率。但这个参数对我们来说毫无用处，因为实际情况并非如此。

火灾发生地点并未被考虑在内。因此，有必要考虑其他因素。

范围

哪个

考虑

这样的

案例

也一样。森林场景：假设该模型总是预测存在

无论实际情况如何，这都是一场森林火灾。在这种情况下，所有积极因素都将被考虑在内。

也就是说，区分真阳性（预测=是且实际情况=是）和假阳性（预测=是）。

和

现实

=

不）。

在

这

案件，

这

消防员

将要

查看

为了

这

火

全部

这

时间

到

看

如果

这

警报

曾是

真的

或错误。假设一个模型具有100%的精度。这意味着，无论机器何时说：

有

一个

火，

那里

是

实际上

一个

火

（真的

积极的）。

在

这

相同的

模型，

那里

能

是

一个

稀有的

非凡的

案件

在哪里

那里

曾是

实际的

火

但

这

系统

可以

不是

探测

它。

这

是

这

案件

的

一个

错误的

消极的

健康）状况。

但

这

精确

价值

会

不是

是

做作的

经过

它

因为

它

做

不是

拿

前线

进入

帐户。

是

精确

然后是

好的

参数

模型性能如何？现在我们注意到，精确率和召回率的分子是相同的：True

优点。

但

在

这

分母，精度

计数

这

错误的

优点

尽管

记起

需要

错误的

缺点

进入

考虑。哪个

指标

是

重要的？选择精确率还是召回率取决于模型所处的条件。

已部署。

在

一个

案件

喜欢

森林

火，

一个

错误的

消极的

能

成本

我们

一个

很多

和

是

风险

也。

想象

不

警报

存在

即便

什么时候

有一个

森林

火。

这

所有的

森林

可能

烧伤

向下。假阴性结果可能造成危险的另一个例子是病毒爆发。想象一下，一种致命病毒……

开始

传播

和

这

模型

哪个

是

据称

预测

一个

病毒性的

暴发

做

未检测到

它。

这

病毒

可能会传播

广泛地

感染

很多

人。另一方面，有时假阳性造成的损失可能比假阳性更大。

负面因素。采矿就是一个例子。想象一下，一个模型告诉你，在某个点存在宝藏。

你继续深入调查，结果却发现是虚惊一场。这就是假阳性案例。

（预测）

那里

是

宝藏

但是那里

没有

宝藏）

能

是

非常

昂贵。同样地，我们考虑一个预测邮件是否为垃圾邮件的模型。如果该模型总是预测邮件是垃圾邮件，那么它就不是垃圾邮件。

如果邮件是垃圾邮件，人们就不会查看，最终可能会丢失重要信息。

这里

还

错误的

积极的

状况

（预测）

这

邮件

作为

垃圾邮件

尽管

这

邮件

是

不是

垃圾邮件）

会

有

一个

高的

成本。综上所述，我们必须指出，如果我们想知道我们的模型性能是否良好，

我们需要这两个指标：召回率和精确率。在某些情况下，精确率可能很高。

但

低的

记起

或者

低的

精确

但

高的

记起。

但

自从

两个都

这

措施

是

重要的，

那里

是

一个

需要

参数

这需要精度

和

记起

进入

帐户。让

我们

探索

这

我们的变化

能

拥有

这

F1

分数：精确记起F1

分数低的低的低的低的高的低的高的低的低的高的高的高的在

结论是，我们可以

说

一个

该模型有

好的

如果表现

F1

分数

为了

那

模型是

高的。1.Rajat建立了一个模型来预测印度板球运动员在即将到来的比赛中的表现。他收集了球员在球场、投球手、对手球队和健康状况等方面的表现数据。他的模型具有良好的准确率和精确度。以下哪个说法是错误的？收集到的有关体育场、保龄球手、对手球队和健康状况的数据称为测试数据。用于检验人工智能模型准确性和精确度的数据是测试数据。在数据采集阶段获取训练数据和测试数据。训练数据总是比测试数据大。2.陈述1：人工智能模型给出的输出被称为现实。陈述2：真实情况被称为预测。（a）陈述1和陈述2都正确(b)陈述1和陈述2均不正确(c)陈述1正确，但陈述2错误(d)陈述2正确，但陈述1错误3.F1分数衡量的是以下两者之间的平衡：（a）准确度和精确度（b）精确率和召回率（c）召回率和准确率（d）回忆与现实

练习作业：4.Sarthak开发了一个人脸口罩检测系统，为此他收集了数据集，并使用整个数据集训练模型。然后，他使用相同的数据集评估模型，结果始终正确，但无法处理未知数据集。请说出这个概念的名称。5.哪个评价参数考虑了所有正确的预测？6.以下哪种情况会导致较高的误报成本？（a）病毒爆发（b）森林火灾（c）洪水（d）垃圾邮件过滤器7.根据以下数据绘制混淆矩阵•真阳性数=100•真阴性数量为47•假阳性数量=62•假阴性数量=2908.人工智能模型对他们最近推出的一款新型手机做出了如下销售预测：确定模型做出错误预测的总数。（ii）计算精确率、召回率和F1分数。

计算给定问题的准确率、精确率、召回率和F1分数。情景一：学校经常出现缺水的情况。在一些地方，学校缺水问题十分普遍且突出。因此，我们设计了一个人工智能模型来预测学校近期是否会出现缺水情况。该模型的混淆矩阵如下：情景二：如今，我国部分地区的洪灾问题日益严重。洪灾不仅会破坏当地环境，还会迫使人们离开家园，迁徙他处。为了应对这一问题，我们开发了一种人工智能模型，可以预测是否存在洪灾风险。该模型的混淆矩阵如下：设想

3：人们经常会遇到突如其来的暴雨。人们洗衣服，然后把衣服晾晒在室外。

到

干燥

但

到期的

到

意外

雨，

他们的

工作

获得

浪费了。

因此，

一个

人工智能

模型

有

到过

创建

哪个

预测

如果

那里

将

雨

或不。

这

困惑

矩阵

这

相同的

是：设想

4：如今，交通拥堵已成为我们生活中司空见惯的一部分。居住在城市地区意味着……

有

到

脸

交通

每个

和

每一个

时间

你

得到

出去

在

这

路。

大多，

学校

学生

选择

为了