《数据集和结果衡量》课件

《数据集和结果衡量》ppt课件CATALOGUE目录数据集的收集和处理数据集的探索性分析数据集的划分和模型训练结果衡量指标和模型评估01数据集的收集和处理从公开的数据源获取数据集，如政府机构、研究机构、公共数据库等。公开数据集私有数据集自己收集的数据通过合作协议或购买获得的数据集，通常需要遵守数据使用协议和保密条款。通过调查、问卷、实验等方式自己收集的数据，需要设计合理的调查方案和数据收集流程。030201数据来源检查数据中的异常值、缺失值、格式错误等问题，并进行相应的处理。数据清洗将数据从一种格式或结构转换为另一种格式或结构，以便于分析和处理。数据转换将多个数据源的数据进行整合，形成一个统一的数据集，需要解决不同数据源之间的数据冲突和重复问题。数据整合根据分析需求对数据进行重新组织和整理，例如对数据进行排序、分组、去重等操作。数据重塑数据清洗和预处理02数据集的探索性分析描述数据集的基本特征通过计算均值、中位数、众数、标准差等统计量，了解数据集的中心趋势、离散程度和分布形态。描述性统计揭示数据分布规律通过直方图、箱线图等可视化工具，观察数据的分布情况，判断是否符合正态分布或其他理论分布，从而为后续分析提供依据。分布探索发现变量间关系通过相关系数、散点图等方法，探索变量之间的线性或非线性关系，为后续建立模型提供依据。关系探索03数据集的划分和模型训练用于训练和优化模型，通常占总数据集的70-80%。训练集用于调整超参数和选择最佳模型，通常占总数据集的10-20%。验证集用于评估模型的最终性能，通常占总数据集的10%。测试集训练集、验证集、测试集的划分0102模型选择和参数调整通过交叉验证等技术调整模型参数，以获得最佳性能。根据问题和数据特性选择合适的模型。模型在训练数据上表现很好，但在测试数据上表现较差，因为模型过于复杂，记住了训练数据中的噪声。过拟合模型在训练数据上表现较差，因为模型过于简单，无法捕捉到数据中的复杂模式。欠拟合过拟合与欠拟合问题04结果衡量指标和模型评估回归问题结果衡量指标衡量预测值与真实值之间的平均绝对误差，计算公式为$frac{1}{n}sum_{i=1}^{n}|y_i-hat{y}_i|$。平均绝对误差（MeanAbsoluteError…衡量预测值与真实值之间的平均平方误差，计算公式为$frac{1}{n}sum_{i=1}^{n}(y_i-hat{y}_i)^2$，其中$y_i$是真实值，$hat{y}_i$是预测值。均方误差（MeanSquaredError,M…均方误差的平方根，计算公式为$sqrt{frac{1}{n}sum_{i=1}^{n}(y_i-hat{y}_i)^2}$。均方根误差（RootMeanSquaredEr…准确率（Accuracy）正确分类的样本数占总样本数的比例，计算公式为$frac{正确分类的样本数}{总样本数}$。预测为正样本中实际为正样本的比例，计算公式为$frac{真正样本数}{预测为正样本数}$。实际为正样本中被预测为正样本的比例，计算公式为$frac{真正样本数}{实际为正样本数}$。精确率和召回率的调和平均数，计算公式为$2timesfrac{text{精确率}timestext{召回率}}{text{精确率}+text{召回率}}$。精确率（Precision）召回率（Recall）F1分数（F1Score）分类问题结果衡量指标AIC（AkaikeInformationCriterion）：衡量模型复杂度和拟合优度的指标，计算公式为$-frac{2LL}{text{df}}+2k$，其中LL是对数似然值，df是自由度，k是自变量数量。R方值（R-squared）：衡量模型解释变量变异程度的指标，计算公式为$1-frac{text{SSE}}{text{SST}}$，其中SSE是残差平方和，SST是总平方和。AdjustedR方值（AdjustedR-squared）：对R方值进行调整，