大语言模型通识微课课件：训练集、测试集、验证集

大语言模型通识

训练集、测试集、验证集训练集、测试集、验证集三者在数据目的与功能、数据交互频率上、数据划分与比例以及使用时机等方面均有不同之处。训练集、测试集和验证集在数据来源、预处理、目标、独立性以及数据质量和代表性方面都有着相似之处，这些相似性是确保模型完成有效训练和评估的基础。微课6.2训练集、测试集、验证集训练集用于训练模型，验证集用于在训练过程中选择模型和调整超参数，测试集则用来最终评估模型的性能。【训练集】训练模型。帮助模型确定权重和偏置等参数，通过深入学习和理解训练集数据，逐渐学会识别其中的模式和规律，并逐步优化其预测能力。【验证集】选择和调参。用于模型选择和超参数调整。主要帮助在众多可能性中，找到那些能够使模型性能达到巅峰的超参数，如网络层数、网络节点数、迭代次数、学习率等，为挑选最优模型超参数提供优质的咨询和建议。【测试集】评估性能。考验模型，对模型的泛化能力做出评价。6.2.1目的与功能不同训练集、测试集、验证集这三者和模型的数据交互频率不同。训练集会不断交互，验证集是定期交互，而测试集只交互一次。【训练集】不断交互。通过多次学习、调整和迭代来提高性能。训练中，模型通过一次次的迭代优化，逐步提升自己的工艺水平。【验证集】定期交互。验证集在训练过程中的不同时间点交互，帮助开发人员调整模型参数和决定训练的结束点。【测试集】交互一次。测试集在整个训练过程完成后仅交互一次，用于模型的最终评估，这个活动只有在整个训练过程圆满完成后才会出现。6.2.2数据交互频率不同通常情况下，数据集会通过随机抽样、分层抽样、时间序列抽样等方式，按照不同比例划分为训练集、验证集和测试集，三者之间不能有交集。【训练集】占比约60%～80%。训练集作为模型学习的主要来源，需要占据较大的比例，以确保模型有足够的数据来捕捉到数据中的模式和规律。【验证集】占比约10%～20%。一般来说，能提供有关模型泛化能力的有用信息就行，不用过多。【测试集】占比约10%～20%。因为测试集在模型训练完成后只评估一次，所以只要足够用于评估模型最终性能就行。6.2.3数据划分与比例不同训练集、验证集和测试集在模型的整个训练过程的不同阶段发挥作用，所以开发人员使用它们的时机是不同的。【训练集】在模型的初始训练阶段使用。模型刚刚搭建起来的时候，需要耐心地用训练集进行大量的训练，直到它掌握了所有的知识为止。【验证集】在模型训练过程中定期使用。需要在过程中可以监督学习效果。【测试集】在模型训练完成后使用。最终评估模型性能。需要保证测试集的数据是模型之前未见过的数据。6.2.4使用时机不同训练集、验证集和测试集通常来自同一数据源或具有相同的数据分布。这意味着它们共享相同的数据特征和属性，确保模型在不同阶段处理的数据具有一致性。6.2.5数据来源一致在模型训练之前，训练集、验证集和测试集都需要进行相似的数据预处理步骤，如归一化、标准化、缺失值处理等。归一化是将数据缩放到一个特定的范围，通常是在0和1之间，目的是让数据在相同的尺度上，以便模型能够更好地学习和识别其中的模式。通过归一化，使每个特征对模型的贡献更加均衡。6.2.6相似的数据预处理标准化则是调整数据的尺码，将数据特征缩放到一个标准单位。这个过程有助于算法（如线性回归）的训练和预测过程更加稳定。缺失值的处理像是填补数据中的空白，让整个数据集更加完整。在数据集中，可能会有一些数据点由于各种原因（如测量错误、数据录入错误等）而丢失。处理这些缺失值的方法有多种，包括删除含有缺失值的样本、填充缺失值（如使用平均值、中位数或众数填充）、或者使用模型预测缺失值等。处理缺失值的关键是确保不会引入偏差，同时保留尽可能多的有效信息。6.2.7相似的数据预处理训练、验证和测试三个数据集在模型开发的不同阶段使用，但它们的目标是一致的，即都是为了构建一个泛化能力强、能够准确预测新数据的模型。为了保证模型评估的公正性，三个数据集中的样本必须保持相互独立。这意味着，每个集合中的数据是独一无二的，不会与其他集合的数据交叉重叠，让模型在评估过程中的表现不会受到其他集合数据的影响。这种独立性确保了评估结果的真实性和有效性。6.2.8目标一致，各具有独立性为了确保模型在不同阶段的学习和评估过程中能够获得准确和可靠的结果，训练集、验证集和测试集都需要能够代表原始数据的整体特性，同时还需保证数据质量。这意味着它们都应该包含所有可能的数据特征和类别，以便模型能够在不同的数据集上都能学习到有效的模式，提高其泛化能力。从训练集、验证集和测试集的