无监督机器学习中的主动学习

19/26无监督机器学习中的主动学习第一部分主动学习在无监督机器学习中的定义和目标 2第二部分主动学习策略分类：查询策略和样本选择策略 4第三部分查询策略：不确定性采样、多样性采样、协定采样 6第四部分样本选择策略：K-Means++、密度峰值聚类算法 10第五部分主动学习在聚类分析中的应用：主动聚类 12第六部分主动学习在降维中的应用：主动特征选择 14第七部分主动学习的评价指标：准确率、F1-score、轮廓系数 16第八部分主动学习在实际应用中的局限性和挑战 19

第一部分主动学习在无监督机器学习中的定义和目标主动学习在无监督机器学习中的定义和目标

定义

主动学习是一种机器学习范例，其中算法从标注数据集中学​​习，但它可以主动选择要标注的数据点。在无监督机器学习中，主动学习可用于增强聚类、降维和特征选择等任务。

目标

主动学习在无监督机器学习中的目标是通过选择最具信息量或最具代表性的数据点来标注，从而最大化学习效率和模型性能。这可以通过以下方式实现：

1.信息量和不确定性最大化

*选择不确定性高的数据点，即算法对其所属群集或标签不太确定的数据点。

*选择信息熵或互信息高的数据点，即为学习模型提供最大新信息的点。

2.数据多样性和代表性

*选择分布在集群边界或密度低区域的数据点，以确保集群的完整性和数据多样性。

*选择代表特定模式或子群的数据点，以提高模型对复杂数据分布的鲁棒性。

3.成本和有效性

*考虑标注成本并优先标注廉价或容易标注的数据点。

*选择在最小时间或标注工作量内提供最大收益的数据点。

4.领域知识和专家反馈

*结合领域知识或专家反馈，选择与特定问题或目标高度相关的点。

*选择可能提供特定洞察或帮助理解数据的点。

主动学习方法

无监督主动学习的方法可分为两类：

*查询方法：算法直接向人工标注者查询特定数据点的标签。

*聚类方法：算法根据集群分配的不确定性或数据密度，选择数据点进行标注。

应用

主动学习在无监督机器学习中的应用包括：

*聚类：提高集群质量、发现复杂数据分布中的模式和异常值。

*降维：选择信息量高的数据点，从而生成更具代表性和有意义的低维表示。

*特征选择：识别与目标任务最相关的特征，从而减少模型复杂性和提高性能。

*异常点检测：主动选择离群点进行标注，以增强异常点检测算法的准确性。

*数据探索和可视化：选择具有代表性和信息量高的数据点进行可视化，以促进对复杂数据集的理解。第二部分主动学习策略分类：查询策略和样本选择策略主动学习策略分类：查询策略和样本选择策略

主动学习中使用策略大致可分为两类：查询策略和样本选择策略。

1.查询策略

查询策略确定要标记哪些数据点，以最大化模型性能的提升。常用的查询策略包括：

*不确定性采样：选择不确定性最高的样本进行标记，即模型对预测最不确定的样本。

*多样性采样：选择与当前已标记样本不同的样本，以增加数据集的多样性。

*量化委员会：使用委员会的预测不一致性来选择要标记的样本。

*信息论采样：根据信息论度量（例如熵或互信息）来选择最能提供新信息的样本。

*置信度加权采样：将模型预测的置信度作为权重，选择置信度较低的样本。

2.样本选择策略

样本选择策略确定哪些样本可以被查询策略访问。常用的样本选择策略包括：

*池采样：从初始未标记数据集（称为池）中选择要查询的样本。

*流媒体采样：逐个处理数据流，决定是否向查询策略查询。

*积极学习：与池采样类似，但从未标记数据中主动选择具有最大影响的样本。

*半监督学习：利用少量标记数据和大量未标记数据，通过主动查询策略学习模型。

主动学习策略比较

选择最佳的主动学习策略取决于数据集、模型类型和特定应用程序。下表比较了不同策略的优点和缺点：

|策略|优点|缺点|

||||

|不确定性采样|简单高效，无需额外计算|可能导致局部最优|

|多样性采样|提高数据的多样性|可能选择与查询目标无关的样本|

|量化委员会|考虑模型预测不一致性|需要委员会模型|

|信息论采样|理论上最优，但计算成本高|需要估计信息论度量|

|置信度加权采样|侧重于置信度低的样本|可能导致过拟合|

|池采样|简单易用|池中的样本有限，可能导致欠拟合|

|流媒体采样|实时处理数据流|可能丢失重要样本|

|积极学习|主动选择高影响样本|计算成本高|

|半监督学习|利用未标记数据|模型性能可能受限于未标记数据的质量|

应用考虑因素

选择主动学习策略时，应考虑以下因素：

*数据集大小和分布：小数据集可能需要更积极的策略，而大数据集可能更适合抽样策略。

*模型类型：某些策略（例如量化委员会）特定于特定模型类型。

*计算资源：复杂策略可能需要更多的计算时间。

*应用程序要求：某些应用程序可能需要实时响应，这可能会影响策略选择。

通过仔细考虑这些因素，可以选择最适合特定主动学习应用程序的策略。第三部分查询策略：不确定性采样、多样性采样、协定采样无监督机器学习中的主动学习

主动学习是一种机器学习范例，其中模型通过选择最能提高其性能的训练数据点来指导数据的收集。在无监督机器学习中，主动学习特别有用，因为标记数据通常成本高昂或不可用。

#查询策略

在主动学习中，查询策略是算法用于选择要标记的数据点的方法。常见的查询策略包括：

不确定性采样

*这个策略选择具有最高不确定性的数据点，也就是模型最不确定的数据点。

*不确定性可以由多种方法衡量，例如预测概率、距离到决策边界或信息熵。

多样性采样

*这个策略选择表示数据集中不同区域或概念的数据点。

*多样性可以通过多种方法衡量，例如距离到已标记数据点、簇成员资格或余弦相似度。

协定采样

*这个策略选择由多个模型或不同超参数设置的模型确定的数据点。

*如果不同的模型对数据点的标签达成一致，则该数据点被认为是重要的并且可能被标记。

#不确定性采样

不确定性采样是主动学习中最常用的查询策略。它基于这样一个原理：模型对数据点不确定的，越有可能从标记该数据点中受益。

方法：

*对于每个未标记数据点，计算其不确定性分数。

*选择具有最高不确定性分数的数据点。

*人工标记选定的数据点。

*用标记的数据点更新模型。

优点：

*有助于捕获边界情况和异常值。

*允许模型专注于最难学习的数据点。

*可以提高模型的性能，特别是当数据分布复杂或高维时。

缺点：

*可能导致模型对数据点的噪声或异常值过于敏感。

*可能忽略数据集中容易学习的区域。

*需要一个合理的不确定性度量标准。

#多样性采样

多样性采样选择的数据点来自数据集中不同的区域或概念。这确保了模型不会偏向于特定区域或概念，并可以捕获数据集的完整分布。

方法：

*将未标记数据点聚类或划分成不同的组。

*从每个组中选择一个数据点。

*人工标记选定的数据点。

*用标记的数据点更新模型。

优点：

*有助于防止模型过拟合于特定区域或概念。

*允许模型了解数据集的全面分布。

*可以提高模型在未见数据的泛化性能。

缺点：

*可能忽略数据集中最重要的数据点。

*需要一个有效的聚类或分区算法。

*可能对数据分布的假设敏感。

#协定采样

协定采样选择的数据点是由多个模型或不同超参数设置的模型确定的。这基于这样一个原理：如果不同的模型对数据点的标签达成一致，则该数据点可能具有信息性和重要性。

方法：

*使用多个模型或不同的超参数设置来预测每个未标记数据点的标签。

*计算模型预测的一致性分数。

*选择具有最高一致性分数的数据点。

*人工标记选定的数据点。

*用标记的数据点更新模型。

优点：

*降低了模型对单个模型或超参数设置的依赖性。

*有助于捕获数据集中的复杂模式和关系。

*可以提高模型的鲁棒性和泛化性能。

缺点：

*可能需要训练和维护多个模型，这会增加计算成本。

*对于不具有显式标签的数据，可能需要使用替代的标签一致性度量。

*可能难以平衡不同模型的权重。

总之，不确定性采样、多样性采样和协定采样是无监督机器学习中主动学习中常用的查询策略。它们提供了不同的方法来选择要标记的数据点，以提高模型的性能。选择最合适的策略取决于数据集、模型和特定的应用程序要求。第四部分样本选择策略：K-Means++、密度峰值聚类算法主动学习在无监督机器学习中的样本选择策略

样本选择策略：K-Means++、密度峰值聚类算法

主动学习是一种机器学习范例，其中算法主动选择最具信息性的数据点进行标注，以提高模型性能。在无监督机器学习中，主动学习可用于选择最能代表基础数据分布的样本进行聚类或其他分析。

K-Means++

K-Means++是一种初始化K-Means算法的策略。该策略通过以下步骤选择初始质心：

1.随机从数据集中选择一个点作为第一个质心。

2.对于每个后续质心，按以下公式计算每个样本点的权重：

```

```

其中：

-`x_i`是第`i`个样本点

-`μ_j`是第`j`个质心

-`D(·,·)`是两个点之间的距离度量

3.按赋予的权重随机选择下一个质心。

4.重复步骤2-3，直到选择出`k`个质心。

K-Means++策略选择在远离现有质心的区域中的样本点作为初始质心。这有助于算法找到更分散的质心，从而产生更好的聚类结果。

密度峰值聚类算法（DBSCAN）

DBSCAN是一种基于密度的高效聚类算法。该算法通过指定两个参数来识别数据集中的核心点和密度相连的点：

-`eps`：指定核心点的邻域半径。

-`minPts`：定义核心点至少需要包含的邻近点数量。

DBSCAN算法按以下步骤运行：

1.随机选择一个未访问的样本点。

2.查找该点的`eps`邻域内的所有点。

3.如果该邻域包含至少`minPts`个点，则该点被识别为核心点。

4.将与该核心点密度相连的所有点（即那些在`eps`邻域内）聚类到同一个簇中。

5.重复步骤1-4，直到所有点都被聚类或标记为噪声。

DBSCAN算法通过识别在高密度区域的样本点来选择代表性样本。这有助于算法找到具有清晰边界的分离簇。

比较

K-Means++和DBSCAN是两种不同的样本选择策略，具有各自的优点和缺点：

-K-Means++易于实施，但它对初始质心的选择敏感，并且可能收敛到局部最优解。

-DBSCAN能够找到任意形状和大小的簇，但它对参数选择（`eps`和`minPts`）敏感，并且可能受噪声和异常值的影响。

选择策略

在实践中，最佳样本选择策略取决于数据集和特定的聚类任务。如果数据具有清晰的簇结构，并且对初始质心的选择不敏感，则K-Means++是一个不错的选择。如果数据分布不均匀，或者噪声和异常值较多，则DBSCAN可能是一个更好的选择。

值得注意的是，这些只是主动学习中可用的众多样本选择策略中的两个例子。其他策略包括熵最大化、不确定性抽样和基于查询的抽样。选择最合适的策略需要仔细考虑数据集的特性和聚类目标。第五部分主动学习在聚类分析中的应用：主动聚类主动学习在聚类分析中的应用：主动聚类

聚类分析是一种无监督机器学习技术，用于将数据样本划分为不同的组别或簇，使得组内相似度最大，组间差异化最大。传统聚类算法需要输入所有数据样本才能进行聚类，这在处理大规模数据集时效率较低。

主动学习是一种解决这一问题的范式，它允许算法在未标记的数据样本中选择最具信息价值的样本进行标记。在主动聚类中，算法从一个随机选择的初始样本集开始，然后交互式地向人类专家查询最具信息价值的样本的标签。算法利用这些标签来更新模型并选择下一个最具信息价值的样本，直到达到预定的聚类质量或预算限制。

主动聚类算法

主动聚类算法根据其选择信息样本的策略进行分类：

*基于不确定性的方法：这些算法选择具有最高不确定性的样本（即最难以分类的样本）。不确定性度量可以是概率、距离或其他指标。

*基于多样性的方法：这些算法选择与当前簇差异最大的样本。多样性度量可以是距离、角距离或其他度量。

*基于委员会的方法：这些算法使用多个聚类模型对数据进行聚类。它们选择具有最大分歧性的样本，即在不同模型中被分配到不同簇的样本。

*基于密度的方法：这些算法选择位于簇边界附近的样本。密度度量可以是核密度估计、距离到最近邻或其他度量。

主动聚类的好处

主动聚类相对于传统聚类算法具有以下好处：

*提高聚类质量：主动学习可以帮助算法选择最有信息价值的样本进行标记，从而提高聚类模型的质量。

*减少标记成本：主动学习可以通过选择最有信息价值的样本来减少标记成本，因为人类专家无需标记所有数据样本。

*处理大规模数据集：主动学习适用于大规模数据集，因为算法可以从随机选择的初始样本集中逐渐学习。

*处理流式数据：主动学习可以处理流式数据，因为算法可以随着数据的到来而选择信息样本并更新模型。

主动聚类的应用

主动聚类已被应用于广泛的领域，包括：

*生物信息学：基因表达数据分析和蛋白质序列聚类

*图像处理：图像分割和对象识别

*自然语言处理：文本聚类和文档分类

*社交网络分析：社区发现和影响者识别

*金融服务：客户细分和欺诈检测

结论

主动学习为聚类分析带来了新的可能性，提供了提高聚类质量、减少标记成本和处理大规模数据集的方法。主动聚类算法通过选择信息丰富的样本，帮助算法从数据中学到更多，并产生更准确的聚类结果。随着主动学习技术的不断发展，我们可以期待它在聚类分析和更广泛的机器学习领域发挥越来越重要的作用。第六部分主动学习在降维中的应用：主动特征选择关键词关键要点【主动特征选择】

1.主动学习可用于选择最能区分不同类别的特征，从而提高降维后的分类精度。

2.通过查询算法，主动学习可以从未标记数据集中迭代地获取具有最大信息量的特征，从而避免不相关或冗余特征。

3.主动特征选择结合降维技术，可有效提高机器学习模型的性能，降低计算复杂度和过拟合风险。

【主动不确定性采样】

主动学习在降维中的应用：主动特征选择

主动学习是一种机器学习范例，通过交互地从专家或其他信息来源查询标签信息，有效地利用训练数据。在降维中，主动特征选择是一种利用主动学习方法选择最具信息性和相关的特征的策略。

主动特征选择方法

有几种主动特征选择方法，每种方法都使用不同的查询策略来选择最有价值的特征。一些常用的方法包括：

*最大信息增益（MIG）：查询最大化特征与目标变量之间互信息增益的特征。

*最大条件熵（MCE）：查询最小化给定特征后目标变量条件熵的特征。

*不确定性采样（US）：查询具有最高预测不确定性的特征。

*轮询（POLLING）：顺序查询所有特征，一次查询一个特征。

主动特征选择的优点

主动特征选择在降维中提供以下优势：

*降低计算成本：通过选择最相关的特征，主动特征选择可以显著降低训练和预测模型所需的计算成本。

*提高模型性能：通过专注于信息丰富的特征，主动特征选择可以提高机器学习模型的预测精度。

*解释性更强：选择的信息性特征有助于理解模型的预测，增强模型的可解释性。

*节省标签成本：在需要人工标签的情况下，主动特征选择可以通过仅查询少量特征的标签来节省成本。

主动特征选择的应用

主动特征选择已成功应用于广泛的领域，包括：

*图像处理：从图像中选择最具区分性的特征以提高图像分类精度。

*文本挖掘：从文本文档中选择信息丰富的词语以提高文本分类和情感分析精度。

*生物信息学：从基因组数据中选择具有预测性的基因以提高疾病诊断和治疗效果预测。

*传感器数据分析：从传感器数据中选择相关的特征以提高设备故障检测和预测性维护。

结论

主动学习在降维中的应用，尤其是主动特征选择，为数据科学家和机器学习从业者提供了一种有效的方法来从高维数据集中提取最具信息性和相关的特征。通过利用主动查询策略，主动特征选择可以降低计算成本、提高模型性能、增强解释性，并节省标签成本，使其成为机器学习项目中降维的宝贵工具。第七部分主动学习的评价指标：准确率、F1-score、轮廓系数关键词关键要点主题名称：主动学习的评价指标：准确率

1.定义：准确率衡量模型在给定数据集上正确预测的样本比例。

2.优点：计算简单，易于理解，可用于比较不同模型的性能。

3.缺点：在数据不平衡情况下可能误导，因为模型可能通过预测多数类来提高准确率。

主题名称：主动学习的评价指标：F1-score

无监督机器学习中的主动学习：评价指标

在无监督机器学习中，主动学习是一种迭代式学习过程，其中学习算法选择最具信息性的数据点来进行标注，从而提高模型的性能。为了评估主动学习的有效性，需要使用适当的指标来衡量算法的性能。本文将详细介绍三个常用的主动学习评价指标：准确率、F1-score和轮廓系数。

1.准确率

准确率是最基本的主动学习评价指标，它衡量模型正确预测数据点标签的比例。对于二分类问题，准确率计算为：

```

准确率=(真阳性+真阴性)/(真阳性+真阴性+假阳性+假阴性)

```

其中，真阳性、真阴性、假阳性和假阴性分别表示模型正确预测阳性类、阴性类、将阴性类预测为阳性类和将阳性类预测为阴性类的数量。

2.F1-score

F1-score是另一个常用的评价指标，它综合考虑了准确率和召回率，其中召回率衡量模型识别出所有实际阳性类的能力。F1-score计算为：

```

F1-score=2*(准确率*召回率)/(准确率+召回率)

```

F1-score的取值范围为0到1。值越高表示模型性能越好。

3.轮廓系数

轮廓系数是一个聚类质量指标，它衡量每个数据点被分配到与其所属簇的相似程度，同时考虑了被分配到其他簇的相似程度。对于数据点xi，其轮廓系数计算为：

```

轮廓系数(xi)=(b(xi)-a(xi))/max(a(xi),b(xi))

```

其中，a(xi)是xi与其所属簇中其他数据点的平均距离，b(xi)是xi与其他簇中最近数据点的距离。

轮廓系数的解释：

*1：xi被完美地分配到其所属簇中。

*0：xi位于其所属簇和另一个簇的边界上。

*-1：xi被错误地分配到另一个簇中。

轮廓系数的平均值可以作为整个聚类过程的性能指标。值越高表示聚类质量越好。

评价指标的选择

选择合适的评价指标取决于具体的任务和数据。以下是一些一般准则：

*准确率适用于二分类问题。

*F1-score适用于二分类或多分类问题，尤其是在召回率很重要的情况下。

*轮廓系数适用于聚类问题。

在某些情况下，可能需要使用其他指标，例如兰德指数、杰卡德相似性系数或熵。重要的是根据特定的学习任务选择合适的指标，以准确评估主动学习算法的性能。第八部分主动学习在实际应用中的局限性和挑战关键词关键要点数据标记成本高昂

1.主动学习需要大量标记的数据来训练模型，这可能会消耗大量的时间和资源。

2.标记数据需要具备专业知识和经验的人员进行，其成本可能非常高。

3.对于大型和复杂的数据集，标记成本可能成为实施主动学习的主要障碍。

模型偏向和可解释性差

1.主动学习算法可能会选择更容易标记的数据样本来查询，从而导致模型偏向，使得模型对某些数据点或类别有更高的预测错误率。

2.主动学习中使用的复杂模型通常难以解释，这使得难以了解模型的决策过程和识别潜在的偏见。

3.可解释性差可能限制主动学习在需要高透明度和可审计性的领域（如医疗保健和金融）的应用。

噪声和脏数据的影响

1.主动学习算法对噪声和脏数据非常敏感，因为这些数据可能会使模型误导，导致错误的查询选择。

2.噪声数据可能会导致模型错误地专注于非信息性的特征，从而降低模型的性能。

3.处理噪声和脏数据需要额外的算法和技术，这增加了主动学习的复杂性和计算成本。

数据分布变化

1.主动学习依赖于数据分布的假设，然而实际情况下，数据分布可能会随着时间而变化。

2.数据分布的变化可能会使主动学习算法选择不再相关或有用的数据点，从而降低模型的性能。

3.跟踪和适应数据分布的变化可能是一项具有挑战性的任务，需要持续的监控和算法更新。

计算复杂度

1.主动学习算法通常比无监督学习算法计算量更大，因为它们涉及复杂的数据选择和模型训练步骤。

2.对于大型数据集，主动学习的计算复杂度可能会成为实施的限制因素。

3.优化主动学习算法的计算效率至关重要，以便将其应用于大规模数据集上。

隐私和安全性问题

1.主动学习涉及查询和标记敏感数据，这可能会引发隐私和安全问题。

2.未经标记的数据可能包含个人身份信息或机密信息，未经适当保护可能会造成严重后果。

3.实施主动学习需要可靠的隐私保护机制和安全措施，以确保敏感数据的安全。主动学习在实际应用中的局限性和挑战

1.标签获取成本高昂

主动学习的核心依赖于获取高质量、准确的标签。然而，在实际应用中，标签获取的过程可能非常耗时、耗力且昂贵。这可能是由于以下原因：

*手动标注数据是一项费力的任务，需要大量的人力投入。

*某些任务需要专家知识或特定领域知识才能准确地进行标注。

*数据收集和标注的物流可能复杂且代价高昂。

2.标签噪声

在主动学习中，人为标注标签不可避免地会出现错误。标签噪声会导致模型训练中引入错误信息，损害模型性能。随着主动选择过程的进行，标签噪声可能会累积，进一步加剧问题。

3.模型偏差

主动学习模型的性能受到初始训练数据的偏差影响。如果初始数据集不具代表性或存在偏差，模型将无法很好地泛化到未见过的数据。这可能会导致对实际应用中的特定子群体表现不佳。

4.过度拟合

主动学习算法旨在选择对模型有最大影响的示例。然而，这种策略可能会导致模型过度拟合训练数据，从而降低其在真实世界中的泛化能力。为了解决过度拟合，需要在探索和利用之间取得平衡。

5.计算成本

主动学习算法通常需要大量的计算资源来选择最具信息量的示例。随着数据集和模型复杂性的增加，计算成本会呈指数级上升。这限制了主动学习在处理大型数据集或复杂模型时的可行性。

6.数据隐私

主动学习经常涉及处理敏感数据，例如医疗记录或财务信息。获取标签的过程需要访问这些数据，这可能会引发数据隐私问题。研究所需的保护措施和规程可能会复杂化主动学习的实施。

7.实际环境限制

主动学习在现实世界中的应用可能会受到实际环境限制。例如，在某些情况下，获取新标签可能是不可行的，或者可能需要很长时间。在这些情况下，主动学习方法的优势可能会受到影响。

8.性能不确定性

主动学习模型的性能可能存在不确定性，因为所选择的示例和标签的质量会影响最终模型。这使得在实际应用中评估和预测模型性能变得具有挑战性。

9.可解释性

主动学习模型的可解释性可能比传统机器学习模型更低。由于其复杂的标签选择过程，了解模型做出决策的原因变得更加困难。这可能会对需要理解模型预测的领域（例如医疗保健或金融）构成挑战。

10.缺乏通用框架

主动学习仍然是一个活跃的研究领域，缺乏通用框架来指导其在实际应用中的实施。不同的算法和策略适合不同的任务和数据集，这使得选择和调整最佳方法变得具有挑战性。关键词关键要点主题名称：主动学习在无监督机器学习中的定义

关键要点：

1.主动学习是一种交互式学习范式，其中机器学习算法会主动向人类专家查询特定数据点的信息，以提高其学习效率。

2.在无监督机器学习中，主动学习旨在通过查询人类专家以获得额外信息来增强模型对数据分布的理解。

3.与无监督学习被动地从未标记的数据中学习不同，主动学习可以促进机器学习算法与人类专家之间的协作，从而提高模型性能。

主题名称：主动学习在无监督机器学习中的目标

关键要点：

1.提高聚类质量：通过向人类专家查询数据的成员资格，主动学习可以帮助算法识别类内相似性和类间差异，从而获得更准确的聚类结果。

2.发现难以标记的数据点：主动学习可以识别那些对人类专家来说难以标记的数据点，从而将专家精力集中在最有价值的数据上。

3.探索复杂数据分布：主动学习允许算法询问特定数据点的信息，从而探索复杂或高维数据分布的细微差别，提高模型的泛化能力。关键词关键要点主题名称：查询策略

关键要点：

1.不确定性采样：选择查询预测不确定的样本，目标是最大化模型在特定部分数据集中的了解程度。

2.熵最大化：选择查询信息熵最高的样本，目标是最大化模型对整个数据集的了解程度。

3.余量采样：选择查询与模型当前预测边界最接近的样本，目标是识别和扩展决策边界。

主题名称：样本选择策略

关键要点：

1.代表性抽样：选择覆盖数据集不同区域的样本，目标是确保模型对数据集的全局结构有充分的了解。

2.信息密度：选择包含丰富信息的样本，目标是最大化从所选样本中提取的知识量。

3.多样性采样：选择不同特征和标签的样本，目标是防止模型对特定子集过拟合并确保泛化能力。关键词关键要点主题名称：不确定性采样

关键要点：

1.根据模型的不确定性对样本进行选择，选择不确定性较高的样本进行标注。

2.衡量不确定性的方法包括熵、困惑度、贝叶斯后验概率分布的方差等。

3.不确定性采样策略注重探索模型的边界和未知区域，提高模型对新数据的泛化能力。

主题名称：多样性采样

关键要点：

1.从样本集中选择具有不同特征或分布的样本，以提高数据集的多样性。

2.多样性采样策略减少了模型对特定子集的依赖，提高了模型的鲁棒性和泛化能力。

3.衡量多样性的方法包括余弦相似度、欧氏距离、聚类等。

主题名称：协定采样

关键要点：

1.针对具