多元线性回归模型中缺失数据填补方法的比较与分析：理论、实践与应用

多元线性回归模型中缺失数据填补方法的比较与分析：理论、实践与应用一、引言1.1研究背景与意义在当今数字化时代，数据已成为各个领域决策和研究的关键依据。多元线性回归模型作为一种强大的数据分析工具，广泛应用于经济学、社会学、医学、工程学等众多领域，旨在揭示多个自变量与一个因变量之间的线性关系，以实现预测和解释的目的。例如在经济学中，通过多元线性回归模型分析消费者收入、商品价格、市场需求等多个因素对商品销售量的影响，为企业制定生产和营销策略提供数据支持；在医学研究里，借助该模型探讨年龄、生活习惯、遗传因素等自变量与某种疾病发病率之间的关系，助力疾病的预防和治疗。然而，在数据的收集和整理过程中，缺失数据的问题却极为普遍。这一现象的产生源于多种因素，涵盖了数据采集设备的故障、调查对象的不配合、数据传输过程中的丢失以及数据录入时的人为失误等。以市场调研为例，在针对消费者偏好的问卷调查中，部分受访者可能由于对某些问题感到敏感或者觉得繁琐，从而选择不回答，进而导致相关数据缺失；在医疗数据的记录中，可能因仪器故障未能准确记录患者的某项生理指标，使得该数据缺失。缺失数据的存在会给多元线性回归模型带来一系列严重的问题。当数据集中存在缺失值时，会导致模型参数估计出现偏差，进而影响模型的准确性和可靠性。若直接使用含有缺失数据的样本进行模型训练，可能会使模型学习到错误的关系，从而对变量之间的真实关系产生误解。缺失数据还会增大模型的方差，降低模型的稳定性和泛化能力。在预测过程中，模型对新数据的适应性变差，预测结果的误差增大，无法准确地对未来趋势进行预测。若缺失数据的比例过高，甚至可能导致模型无法正常训练，使得整个分析工作陷入困境。鉴于缺失数据对多元线性回归模型的重大影响，研究有效的缺失数据填补方法显得尤为重要。通过合理的填补方法，可以最大程度地减少缺失数据对模型的负面影响，提高模型的性能和分析结果的准确性。准确的模型能够为决策提供可靠的依据，帮助决策者制定更加科学合理的策略。在医疗领域，准确的疾病预测模型有助于医生及时采取有效的治疗措施，提高患者的治愈率；在商业领域，精准的市场需求预测模型能帮助企业优化生产和库存管理，降低成本，提高经济效益。对缺失数据填补方法的研究还能够拓展多元线性回归模型的应用范围，使其能够更好地处理各种复杂的数据情况，为不同领域的研究和实践提供更强大的支持。1.2研究目的与创新点本研究旨在系统且深入地比较多种用于多元线性回归模型的缺失数据填补方法的效果，从而为不同数据场景下选择最优填补策略提供科学依据。通过对均值填补法、期望值最大化法、回归填补法、多重填补法等多种常见方法的详细分析，从多个维度评估它们在处理不同类型和程度缺失数据时的表现，包括对模型参数估计准确性的影响、对模型预测精度和稳定性的提升作用等。与以往研究相比，本研究的创新点主要体现在以下两个方面。在比较维度上，不仅仅局限于单一的评估指标，而是从多个维度进行全面对比。除了关注填补后模型的预测准确性，还深入分析各方法对模型参数估计偏差、方差的影响，以及在不同数据分布和缺失机制下的适应性，为更全面地理解和选择填补方法提供了丰富的视角。本研究将结合实际案例进行深入分析，通过真实数据集的应用，展示不同填补方法在实际问题中的效果差异，使研究结果更具实际应用价值和可操作性，能更好地指导各领域的数据分析实践。1.3研究方法与技术路线本研究综合运用多种研究方法，确保研究的科学性、全面性和实用性。在研究方法上，采用文献研究法，全面梳理国内外关于多元线性回归模型中缺失数据填补方法的相关文献。通过对大量学术论文、研究报告和专业书籍的研读，深入了解现有研究的进展、成果以及存在的不足，为后续研究提供坚实的理论基础。广泛搜集不同领域应用缺失数据填补方法的案例，进行详细的案例分析法。深入剖析每个案例中数据的特点、缺失情况以及所采用的填补方法，对比不同方法在实际应用中的效果，总结成功经验和失败教训，为理论研究提供实践支撑。运用实验对比法，构建包含不同类型和程度缺失数据的模拟数据集。对均值填补法、期望值最大化法、回归填补法、多重填补法等多种常见的缺失数据填补方法，在相同的实验环境下进行对比测试。通过严格控制实验条件，准确测量和记录各方法在处理缺失数据后的模型性能指标，包括参数估计的准确性、模型的预测精度、稳定性等，从而直观地比较不同方法的优劣。在技术路线上，首先进行方法梳理。全面收集和整理各种缺失数据填补方法，深入研究它们的原理、适用条件和操作步骤。对每种方法的优点和局限性进行详细分析，为后续实验设计提供理论依据。例如，对于均值填补法，了解其简单易行但可能引入偏差的特点；对于期望值最大化法，掌握其通过迭代计算逐步逼近真实值，但计算过程较为复杂的特性。接着进行实验设计，根据研究目的和方法梳理的结果，精心设计实验方案。确定模拟数据集的生成方式，包括数据的分布特征、变量之间的关系以及缺失数据的生成机制，如设置不同的缺失比例和缺失模式。明确实验的具体步骤和流程，制定详细的数据处理和分析计划，确保实验的可重复性和有效性。在结果分析阶段，运用统计学方法和数据可视化技术，对实验得到的数据进行深入分析。计算各种评估指标，如均方误差、平均绝对误差、决定系数等，以量化评估不同填补方法对模型性能的影响。通过绘制图表，直观地展示不同方法在不同实验条件下的性能表现，从而清晰地比较各方法的效果差异。根据分析结果，得出科学合理的结论，并提出针对性的建议，为实际应用中选择合适的缺失数据填补方法提供指导。二、多元线性回归模型与缺失数据问题2.1多元线性回归模型概述2.1.1模型基本原理多元线性回归模型旨在揭示多个自变量与一个因变量之间的线性依存关系。其数学表达式为：Y=\beta_0+\beta_1X_1+\beta_2X_2+\cdots+\beta_pX_p+\epsilon。在该公式里，Y代表因变量，也就是我们希望预测或解释的变量；X_1,X_2,\cdots,X_p是自变量，它们是影响因变量的各种因素；\beta_0为截距项，它表示当所有自变量都为0时因变量的取值；\beta_1,\beta_2,\cdots,\beta_p是回归系数，这些系数衡量了每个自变量对因变量的影响程度和方向，例如\beta_1表示在其他自变量保持不变的情况下，X_1每变动一个单位，Y平均变动的单位数；\epsilon是误差项，它反映了除了自变量之外其他未被考虑到的因素对因变量的影响，并且通常假定\epsilon服从均值为0、方差为\sigma^2的正态分布。该模型的核心原理基于最小二乘法。最小二乘法的目标是通过寻找一组最优的回归系数\beta_0,\beta_1,\cdots,\beta_p，使得观测值Y_i与模型预测值\hat{Y}_i之间的误差平方和达到最小。误差平方和（RSS）的计算公式为：RSS=\sum_{i=1}^{n}(Y_i-\hat{Y}_i)^2=\sum_{i=1}^{n}(Y_i-(\beta_0+\beta_1X_{i1}+\beta_2X_{i2}+\cdots+\beta_pX_{ip}))^2。通过对RSS关于回归系数求偏导数，并令偏导数等于0，可以得到一个正规方程组。解这个方程组，就能得到回归系数的估计值\hat{\beta}_0,\hat{\beta}_1,\cdots,\hat{\beta}_p。在实际计算中，当自变量的数量较多时，通常会借助计算机软件（如R、Python的相关库、SPSS等）来求解回归系数。例如在Python中，可以使用scikit-learn库中的LinearRegression类来实现多元线性回归模型的拟合和系数求解。得到回归系数的估计值后，就可以建立起多元线性回归方程：\hat{Y}=\hat{\beta}_0+\hat{\beta}_1X_1+\hat{\beta}_2X_2+\cdots+\hat{\beta}_pX_p。这个方程能够根据自变量的值来预测因变量的值。例如，在分析房价的影响因素时，将房屋面积、房龄、周边配套设施等作为自变量，房价作为因变量，通过多元线性回归模型建立起它们之间的关系方程。当给定一套房屋的面积、房龄以及周边配套设施等具体信息时，就可以利用该方程预测出这套房屋的大致价格。2.1.2模型应用领域多元线性回归模型凭借其强大的分析能力，在众多领域都展现出了极高的应用价值。在经济领域，它是分析经济现象、预测经济趋势的重要工具。在研究宏观经济时，经济学家常常利用多元线性回归模型分析国内生产总值（GDP）与多个因素之间的关系。将投资、消费、出口、劳动力投入、技术进步等作为自变量，GDP作为因变量，通过建立多元线性回归模型，可以深入探究各个因素对GDP的影响程度。在企业微观层面，多元线性回归模型可用于分析企业的成本和利润。以生产成本为例，原材料价格、劳动力成本、生产规模、技术水平等自变量都会对生产成本产生影响。通过构建多元线性回归模型，企业可以准确了解各个因素对成本的影响，从而有针对性地采取措施降低成本，提高利润。医疗领域也广泛应用多元线性回归模型。在疾病风险评估方面，医生会综合考虑多种因素来评估个体患某种疾病的风险。以心血管疾病为例，年龄、性别、血压、血脂、血糖、吸烟史、家族病史等都是影响心血管疾病发病风险的重要因素。通过收集大量患者的数据，建立多元线性回归模型，医生可以根据个体的这些因素值，预测其患心血管疾病的风险，从而提前采取预防措施，如指导患者调整生活方式、进行药物干预等。在药物研发过程中，多元线性回归模型可用于分析药物的疗效与多种因素之间的关系。药物剂量、患者的年龄、体重、病情严重程度、基因特征等都可能影响药物的疗效。通过建立多元线性回归模型，研究人员可以确定哪些因素对药物疗效影响较大，为优化药物治疗方案提供依据。在工业生产中，多元线性回归模型同样发挥着重要作用。在制造业中，产品的质量往往受到多个因素的影响，如原材料质量、生产工艺参数、设备运行状态、操作人员技能等。通过建立多元线性回归模型，企业可以分析这些因素与产品质量之间的关系，找出影响产品质量的关键因素，进而优化生产工艺，提高产品质量。在工业生产效率分析中，多元线性回归模型可用于研究生产效率与生产设备的自动化程度、员工的工作经验、生产管理模式等因素之间的关系。企业可以根据模型分析结果，采取相应的措施提高生产效率，如升级设备、加强员工培训、优化管理模式等。2.2缺失数据的产生及影响2.2.1缺失数据产生原因在数据的生命周期中，从收集到存储的各个环节都有可能出现缺失数据的情况，其成因复杂多样，涉及多个方面。在数据收集阶段，技术故障和人为因素是导致数据缺失的常见原因。传感器作为数据采集的重要工具，在工业生产、环境监测、医疗设备等领域广泛应用。在工业生产线上，用于监测设备运行状态的传感器可能因老化、损坏或受到电磁干扰等原因，无法准确采集数据，导致部分数据缺失。环境监测中的气象传感器，若遭遇恶劣天气，如暴雨、大风等，可能会出现故障，使得温度、湿度、气压等气象数据缺失。在问卷调查过程中，被调查者的主观态度和客观能力会影响数据的完整性。对于一些涉及个人隐私或敏感信息的问题，如个人收入、健康状况、政治观点等，被调查者可能出于保护隐私的考虑，选择不回答这些问题，从而导致数据缺失。问卷设计不合理也会引发数据缺失。若问题表述模糊不清、过于复杂或存在引导性，被调查者可能难以理解问题的含义，进而无法准确作答。数据录入环节同样容易产生缺失数据。人工录入数据时，由于工作人员的疏忽、疲劳或专业水平不足，可能会出现漏填、错填数据的情况。在将大量纸质调查问卷的数据录入电子表格时，工作人员可能会因为长时间重复操作而产生视觉疲劳，导致某些数据未被录入，或者将数据录入错误的单元格，最终造成数据缺失。在数据从一个系统转移到另一个系统的过程中，可能会因为数据格式不兼容、数据传输中断等问题，导致部分数据丢失。不同的数据库管理系统对数据格式有不同的要求，当数据从一种数据库系统迁移到另一种数据库系统时，如果没有进行正确的格式转换，就可能会出现数据丢失或损坏的情况。在数据存储阶段，硬件故障和软件问题是导致数据缺失的主要因素。硬盘作为常见的数据存储设备，可能会因为物理损坏、磁盘坏道、过热等原因，导致存储的数据丢失或无法读取。服务器故障也是一个重要问题，当服务器出现硬件故障、操作系统崩溃、软件漏洞等情况时，可能会影响到存储在服务器上的数据的完整性。数据库管理系统的漏洞、错误配置或软件升级过程中的问题，都可能导致数据丢失或损坏。如果数据库管理系统在执行数据更新操作时出现错误，可能会导致部分数据更新失败，从而出现数据缺失的情况。2.2.2对多元线性回归模型的影响缺失数据的存在会对多元线性回归模型的性能产生多方面的负面影响，严重制约模型在数据分析和预测中的应用效果。在模型参数估计方面，缺失数据会导致估计结果出现偏差。多元线性回归模型基于最小二乘法来估计参数，其前提是数据完整且准确。当数据中存在缺失值时，模型在计算过程中会将这些缺失值忽略，从而使样本数据的分布发生改变，导致参数估计不再满足无偏性和有效性。如果在分析房价与房屋面积、房龄等因素的关系时，部分房屋面积数据缺失，直接使用剩余数据进行模型估计，可能会高估或低估房屋面积对房价的影响系数，使模型无法准确反映变量之间的真实关系。缺失数据会降低模型的预测准确性。模型的预测能力依赖于准确的参数估计和对数据特征的充分学习。由于缺失数据导致参数估计出现偏差，模型对新数据的预测也会受到影响，预测值与真实值之间的误差增大。在预测企业销售额时，若销售数据集中存在客户购买次数、购买金额等数据缺失，基于该数据集训练的多元线性回归模型在预测新客户的购买行为时，可能会产生较大的误差，无法为企业的销售决策提供可靠的依据。模型的稳定性也会受到缺失数据的冲击。稳定性是指模型在不同数据集或不同训练条件下的表现一致性。缺失数据的存在会增加模型的方差，使得模型对数据的微小变化变得更加敏感。当使用不同的样本子集进行模型训练时，由于缺失数据的随机性，模型的参数估计和预测结果可能会出现较大波动，无法保证模型的稳定性和可靠性。在医学研究中，若疾病数据集中存在患者年龄、症状等数据缺失，基于不同样本训练的疾病预测模型可能会给出截然不同的预测结果，影响医生对疾病的诊断和治疗决策。综上所述，缺失数据在数据收集、录入和存储等环节产生，对多元线性回归模型的参数估计、预测准确性和稳定性都造成了严重的负面影响。因此，研究有效的缺失数据填补方法对于提高多元线性回归模型的性能和应用价值具有至关重要的意义。三、常见缺失数据填补方法3.1删除法3.1.1方法介绍删除法是处理缺失数据最为直接和简单的方法之一，主要包含两种具体的操作方式：直接删除含有缺失值的记录以及删除含有缺失值的变量。直接删除含有缺失值的记录，是指当数据集中的某一条记录存在缺失值时，将整条记录从数据集中移除。在一个包含学生成绩、年龄、性别等信息的数据集里，如果某条记录中的学生成绩出现缺失值，那么就直接把这条记录删除。这种操作方式在数据处理过程中相对容易实现，不需要复杂的计算和模型构建，只需要通过简单的编程语句或者数据处理工具的操作指令，就可以完成记录的删除。在Python的数据分析库pandas中，可以使用dropna()函数来实现这一操作，例如df=df.dropna()，该语句会删除数据框df中所有含有缺失值的行。删除含有缺失值的变量，则是针对数据集中的变量进行处理。当某个变量存在缺失值时，将这个变量从数据集中剔除。在分析影响房价的因素时，收集的数据集中可能包含房屋面积、房龄、周边配套设施等多个变量，如果“周边配套设施”这个变量存在大量缺失值，就可以考虑直接删除该变量。在实际操作中，同样可以借助数据处理工具完成。在R语言中，可以使用subset()函数来实现删除变量的操作，比如new_df<-subset(old_df,select=-c(variable_with_missing))，这条语句会从数据框old_df中删除名为variable_with_missing的变量，生成新的数据框new_df。3.1.2优缺点分析删除法具有简单直接的优点，在数据处理过程中，不需要复杂的计算和模型构建，能够快速地对缺失数据进行处理，节省时间和计算资源。当缺失值数量较少且数据集规模较大时，删除含有缺失值的记录或变量，对整体数据集的影响相对较小，不会显著改变数据的分布特征和模型的参数估计结果。在一个包含数百万条记录的电商销售数据集中，如果只有几十条记录存在缺失值，直接删除这些记录对整体数据分析的影响可以忽略不计。然而，删除法也存在诸多严重的缺点。它会导致数据信息的损失。数据集中的每一条记录和每一个变量都蕴含着一定的信息，删除含有缺失值的记录或变量，会直接丢弃这些信息。在医学研究中，删除含有缺失值的患者记录，可能会丢失某些患者独特的病情特征和治疗反应信息，从而影响对疾病的全面认识和治疗方案的制定。当缺失值的比例较高时，使用删除法会大幅缩小数据集的规模。数据集规模的减小会降低模型的建模准确性和泛化能力，使模型无法充分学习到数据中的规律，在面对新的数据时，预测效果会变差。在一个原本样本量就不大的市场调研数据集中，如果存在较多的缺失值并采用删除法处理，可能会导致剩余的数据无法准确反映市场的真实情况，基于这样的数据训练出来的模型，在预测市场趋势时会产生较大的误差。删除法虽然简单易行，但由于其存在严重的信息损失和影响模型性能的问题，在实际应用中受到很大的限制，通常只适用于缺失值数量极少且数据集规模较大的情况。在大多数情况下，需要结合其他更有效的缺失数据填补方法来处理数据。3.2均值/中位数/众数填补法3.2.1方法原理均值/中位数/众数填补法是一种简单直观的缺失数据填补方法，其原理基于数据的集中趋势统计量。对于数值型数据，当采用均值填补时，首先计算该变量所有非缺失值的算术平均值。假设我们有一个包含学生考试成绩的数据集，其中部分学生的成绩存在缺失值。我们先将所有已知成绩相加，再除以非缺失成绩的数量，得到成绩的均值。然后，用这个均值去填补那些缺失的成绩值。这种方法的核心思想是，均值能够代表数据的平均水平，用均值填补缺失值可以在一定程度上保持数据的整体中心趋势。中位数填补则是将数据按升序或降序排列后，取中间位置的数值（如果数据个数为奇数）或中间两个数的平均值（如果数据个数为偶数）作为填补值。例如，在一个员工薪资数据集中，若某些员工的薪资数据缺失，将所有非缺失的薪资数据进行排序后，找到中位数，用这个中位数来填补缺失的薪资值。中位数的优势在于它不受极端值的影响，当数据中存在异常值时，使用中位数填补能更稳健地反映数据的一般水平。对于分类型数据，通常使用众数进行填补。众数是数据集中出现频率最高的类别。在一个关于消费者购买商品品牌的调查数据集中，若部分记录的品牌信息缺失，统计各个品牌出现的次数，出现次数最多的品牌即为众数，用这个众数来填补缺失的品牌信息。这种方法的原理是，众数代表了数据中最常见的类别，使用众数填补可以最大限度地保持数据分布的原有特征。3.2.2应用场景及局限性均值/中位数/众数填补法适用于一些特定的应用场景。当数据集中缺失值较少且数据分布相对均匀时，这种方法能够快速有效地处理缺失数据。在一个大规模的人口普查数据集中，若只有极少数个体的年龄或性别数据缺失，使用均值（对于年龄）或众数（对于性别）进行填补，对整体数据分析的影响较小，且操作简便，能够节省大量的数据处理时间。然而，该方法也存在明显的局限性。它完全忽略了数据记录之间的差异。在使用均值或中位数填补数值型数据时，没有考虑到不同个体或样本之间的特性差异。在分析不同地区的房价时，用均值填补缺失的房价数据，没有考虑到不同地区的地理位置、配套设施、经济发展水平等因素对房价的影响，可能会导致填补后的数据与实际情况偏差较大。对于分类型数据，使用众数填补可能会掩盖数据中的其他信息。在一个包含多种产品销售数据的集中，若用众数填补缺失的产品类别，可能会忽略掉一些小众但具有潜力的产品类别，从而影响对市场多元化的分析。这种简单的填补方法容易引入偏差，尤其是当数据存在明显的分布特征或变量之间存在相关性时，可能会使模型的参数估计出现偏差，降低模型的准确性和可靠性。3.3最近邻填补法3.3.1KNN填补KNN填补法，即K最近邻填补法（K-NearestNeighborImputation），是一种基于数据间距离度量的缺失值填补方法，其核心原理在于利用与缺失值样本最为相似的K个邻近样本的信息来进行缺失值的估计。在具体实施过程中，该方法主要包含以下关键步骤。首先，需要确定合适的距离度量方式。欧氏距离是最为常用的一种度量方法，它通过计算样本在多维空间中的直线距离来衡量样本间的相似程度。对于两个样本X=(x_1,x_2,\cdots,x_n)和Y=(y_1,y_2,\cdots,y_n)，它们之间的欧氏距离d(X,Y)的计算公式为：d(X,Y)=\sqrt{\sum_{i=1}^{n}(x_i-y_i)^2}。曼哈顿距离也是一种常见的选择，它计算的是样本在各个维度上距离的总和，对于上述两个样本，曼哈顿距离d(X,Y)的计算公式为：d(X,Y)=\sum_{i=1}^{n}|x_i-y_i|。不同的距离度量方式适用于不同的数据特征和分布情况，需要根据实际数据集的特点进行合理选择。确定距离度量方式后，对于数据集中每一个存在缺失值的样本，都要计算它与数据集中其他所有样本之间的距离。然后，按照距离从小到大的顺序进行排序，选取距离最近的K个样本作为邻居样本。K值的选择至关重要，它直接影响着填补结果的准确性和稳定性。若K值过小，模型会对噪声和离群值过于敏感，因为此时填补值主要依赖于少数几个邻近样本，这些样本可能存在异常情况，从而导致填补结果偏差较大；若K值过大，虽然可以在一定程度上减少噪声的影响，但会使模型的计算量大幅增加，同时可能会引入一些与缺失值样本不相关的样本信息，导致填补结果过于平滑，无法准确反映数据的真实特征。在实际应用中，通常会通过交叉验证等方法来确定最优的K值。当确定了K个邻居样本后，接下来就要计算这些邻居样本在缺失值所在特征上的平均值或加权平均值，以此作为缺失值的填补值。在计算加权平均值时，权重通常按照距离的远近进行分配，距离缺失值样本越近的邻居样本，其权重越大；距离越远的邻居样本，其权重越小。这是因为距离较近的样本与缺失值样本在特征上更为相似，对填补缺失值的贡献也更大。假设邻居样本N_1,N_2,\cdots,N_K在缺失值所在特征上的值分别为v_1,v_2,\cdots,v_K，它们与缺失值样本的距离分别为d_1,d_2,\cdots,d_K，则加权平均值v_{imputed}的计算公式可以表示为：v_{imputed}=\frac{\sum_{i=1}^{K}\frac{v_i}{d_i}}{\sum_{i=1}^{K}\frac{1}{d_i}}。以一个学生成绩数据集为例，该数据集包含学生的数学、语文、英语成绩以及年龄等信息，其中部分学生的数学成绩存在缺失值。首先计算每个缺失数学成绩的学生与其他所有学生之间的距离（假设采用欧氏距离），然后选取距离最近的K个学生作为邻居。若K取5，找到这5个邻居学生的数学成绩后，计算它们的平均值或加权平均值，将得到的值填补到缺失数学成绩的位置上。通过这种方式，利用KNN填补法可以有效地利用数据集中的已有信息，对缺失值进行较为合理的估计和填补。3.3.2多重插补多重插补法（MultipleImputation）是一种相对复杂但更为灵活和准确的缺失数据处理方法，它通过多次模拟来生成多个填补后的数据集，并对这些数据集进行综合分析，从而得到更为可靠的结果。该方法的实施过程主要包括以下几个关键阶段。在填补阶段，针对数据集中的缺失值，利用一定的模型或方法进行多次填补操作，从而生成多个完整的数据集。可以基于贝叶斯理论，通过构建合适的概率模型来进行缺失值的模拟填补。假设数据集中存在变量X和Y，且X存在缺失值，通过建立X和Y之间的关系模型（如线性回归模型），并结合已知数据的分布特征，利用随机抽样的方式从模型的预测分布中抽取值来填补X的缺失值。每次抽样得到的填补值都不同，这样经过多次抽样填补，就可以得到多个完整的数据集。在分析阶段，对生成的每个完整数据集分别进行所需的数据分析，如在多元线性回归模型中，对每个填补后的数据集分别进行模型拟合和参数估计。在每个数据集上，利用最小二乘法等方法来估计回归系数，得到不同的模型参数估计值。在一个包含多个自变量X_1,X_2,\cdots,X_p和因变量Y的多元线性回归模型中，对于每个填补后的数据集，通过计算得到回归系数\hat{\beta}_{0j},\hat{\beta}_{1j},\cdots,\hat{\beta}_{pj}（其中j表示第j个填补后的数据集）。在合并阶段，将各个数据集的分析结果进行合并。对于多元线性回归模型，通常会合并各个数据集上得到的回归系数估计值。一种常见的合并方法是计算回归系数估计值的均值和方差，得到最终的回归系数估计值及其标准误。假设经过m次填补得到了m组回归系数估计值，最终的回归系数估计值\hat{\beta}_i（i=0,1,\cdots,p）可以通过对这m组估计值求均值得到：\hat{\beta}_i=\frac{1}{m}\sum_{j=1}^{m}\hat{\beta}_{ij}。同时，通过一定的公式计算最终回归系数估计值的标准误，以评估估计的不确定性。多重插补法的优势在于它充分考虑了缺失值的不确定性。通过多次模拟填补，能够捕捉到缺失值可能的多种取值情况，避免了单一填补方法可能带来的偏差。在处理复杂的数据结构和缺失机制时，该方法也具有较好的适应性。然而，多重插补法的计算过程相对复杂，需要较大的计算资源和时间成本，并且在模型选择和参数设置方面需要一定的专业知识和经验，否则可能会影响填补效果和分析结果的准确性。3.3.3均值代替法均值代替法是一种简单直接的缺失数据填补方法，其核心操作是用缺失值所在变量的均值来替换缺失值。在实际应用中，首先需要计算缺失值所在变量的均值。对于一个包含多个观测值的变量，假设其观测值为x_1,x_2,\cdots,x_n，其中部分值存在缺失，计算均值时，先排除缺失值，对剩余的非缺失值进行求和，再除以非缺失值的个数。均值\bar{x}的计算公式为：\bar{x}=\frac{\sum_{i\innon-missing}x_i}{n_{non-missing}}，其中n_{non-missing}表示非缺失值的数量。在一个员工薪资数据集中，若部分员工的薪资数据缺失，先统计所有已知薪资的总和，再除以已知薪资的员工人数，得到薪资的均值。得到均值后，将其作为填补值，逐一替换数据集中该变量的所有缺失值。这种方法的优点在于计算简单、易于理解和实现，不需要复杂的模型和算法。在数据处理的初期阶段，当对数据的特征和分布了解有限时，均值代替法可以快速地对缺失数据进行初步处理，为后续的分析提供基础。然而，均值代替法也存在明显的局限性。它没有考虑数据记录之间的差异和变量之间的相关性。在不同个体或样本之间，变量的值可能受到多种因素的影响，具有较大的差异。用均值进行填补，可能会掩盖这些差异，导致填补后的数据无法准确反映每个样本的真实情况。在分析不同地区的房价时，各地区的房价受到地理位置、经济发展水平、配套设施等多种因素的影响，差异较大。若直接用均值填补缺失的房价数据，没有考虑到这些因素，可能会使填补后的数据与实际房价偏差较大。当数据中存在异常值时，均值会受到异常值的影响而偏离数据的中心趋势，从而导致填补结果出现偏差。在薪资数据集中，如果存在少数高收入的管理层人员，他们的薪资远高于普通员工，这些异常值会拉高薪资的均值，用这个均值填补普通员工的缺失薪资，会高估普通员工的薪资水平。3.3.4方法特点与适用范围最近邻填补法中的KNN填补、多重插补和均值代替法各自具有独特的特点和适用范围。KNN填补法的优点在于它能够利用数据集中的局部信息进行填补，对于数据分布不均匀或存在局部特征的数据具有较好的适应性。它不需要对数据的整体分布做出假设，灵活性较高。然而，该方法的计算量较大，尤其是在数据集规模较大时，计算距离和寻找最近邻的过程会消耗大量的时间和计算资源。同时，KNN填补法对K值的选择较为敏感，K值的不当选择会导致填补结果出现较大偏差。它适用于数据集中存在局部相似性，且对计算资源和时间要求相对宽松的情况。在图像识别领域的数据集处理中，当图像数据存在缺失像素值时，KNN填补法可以利用相邻像素的信息来填补缺失值，因为相邻像素在颜色、纹理等特征上通常具有较高的相似性。多重插补法充分考虑了缺失值的不确定性，通过多次模拟填补，能够提供更为稳健和准确的结果。它在处理复杂的数据结构和缺失机制时表现出色，能够有效地提高分析结果的可靠性。但是，多重插补法的计算过程复杂，需要较多的计算资源和时间，并且对使用者的专业知识要求较高。在医学研究中，当处理包含多个变量且存在复杂缺失机制的患者数据时，多重插补法可以更好地处理缺失值，为疾病的诊断和治疗提供更准确的数据分析支持。均值代替法的最大优点是简单易行，计算成本低，能够快速地对缺失数据进行处理。它适用于数据分布相对均匀，缺失值数量较少，且对数据精度要求不是特别高的场景。在一些初步的数据探索和分析中，均值代替法可以作为一种快速处理缺失数据的方法，帮助研究者对数据有一个初步的了解。在一个简单的市场调查数据集中，若部分消费者的年龄数据缺失，且数据分布较为均匀，使用均值代替法可以快速填补缺失值，进行初步的数据分析。最近邻填补法在处理缺失数据时具有一定的优势，但也存在各自的局限性。在实际应用中，需要根据数据集的特点、计算资源和分析目的等因素，综合考虑选择合适的填补方法，以提高数据处理的质量和分析结果的准确性。3.4回归填补法3.4.1基于线性回归模型的填补基于线性回归模型的缺失值填补方法，是利用数据集中其他变量与存在缺失值的变量之间的线性关系，通过构建线性回归模型来预测并填补缺失值。该方法的原理基于多元线性回归模型的基本原理。假设数据集中有变量Y存在缺失值，而其他变量X_1,X_2,\cdots,X_p与Y存在线性关系，我们可以构建如下的多元线性回归模型：Y=\beta_0+\beta_1X_1+\beta_2X_2+\cdots+\beta_pX_p+\epsilon。通过最小二乘法等方法，利用数据集中非缺失值的样本数据来估计回归系数\beta_0,\beta_1,\cdots,\beta_p。在估计过程中，通常会借助专业的统计软件或编程语言中的相关库，如Python中的scikit-learn库。假设我们有一个包含房屋面积、房龄、周边配套设施等自变量和房价（因变量）的数据集，其中部分房价数据缺失。我们可以使用scikit-learn库中的LinearRegression类来构建模型，代码示例如下：fromsklearn.linear_modelimportLinearRegressionimportpandasaspdimportnumpyasnp#读取数据集data=pd.read_csv('housing_data.csv')#提取自变量和因变量X=data.drop('房价',axis=1)y=data['房价']#划分训练集和测试集（这里假设我们有完整数据的样本作为训练集来估计系数）X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_yimportpandasaspdimportnumpyasnp#读取数据集data=pd.read_csv('housing_data.csv')#提取自变量和因变量X=data.drop('房价',axis=1)y=data['房价']#划分训练集和测试集（这里假设我们有完整数据的样本作为训练集来估计系数）X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_yimportnumpyasnp#读取数据集data=pd.read_csv('housing_data.csv')#提取自变量和因变量X=data.drop('房价',axis=1)y=data['房价']#划分训练集和测试集（这里假设我们有完整数据的样本作为训练集来估计系数）X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_y#读取数据集data=pd.read_csv('housing_data.csv')#提取自变量和因变量X=data.drop('房价',axis=1)y=data['房价']#划分训练集和测试集（这里假设我们有完整数据的样本作为训练集来估计系数）X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_ydata=pd.read_csv('housing_data.csv')#提取自变量和因变量X=data.drop('房价',axis=1)y=data['房价']#划分训练集和测试集（这里假设我们有完整数据的样本作为训练集来估计系数）X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_y#提取自变量和因变量X=data.drop('房价',axis=1)y=data['房价']#划分训练集和测试集（这里假设我们有完整数据的样本作为训练集来估计系数）X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_yX=data.drop('房价',axis=1)y=data['房价']#划分训练集和测试集（这里假设我们有完整数据的样本作为训练集来估计系数）X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_yy=data['房价']#划分训练集和测试集（这里假设我们有完整数据的样本作为训练集来估计系数）X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_y#划分训练集和测试集（这里假设我们有完整数据的样本作为训练集来估计系数）X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_yX_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_y#构建线性回归模型并训练model=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_ymodel=LinearRegression()model.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_ymodel.fit(X_train,y_train)#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_y#预测缺失的房价数据missing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_ymissing_index=y.isnull()X_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_yX_missing=X[missing_index]predicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_ypredicted_y=model.predict(X_missing)#填补缺失值data.loc[missing_index,'房价']=predicted_y#填补缺失值data.loc[missing_index,'房价']=predicted_ydata.loc[missing_index,'房价']=predicted_y得到回归系数的估计值后，对于存在缺失值的样本，将其对应的自变量X_1,X_2,\cdots,X_p的值代入回归方程，计算得到预测值，用这个预测值来填补缺失的Y值。在上述房价数据的例子中，对于缺失房价的房屋样本，将其房屋面积、房龄、周边配套设施等自变量的值输入训练好的模型，得到预测的房价，从而完成缺失房价数据的填补。3.4.2基于其他预测模型的填补除了线性回归模型，决策树、神经网络等其他预测模型也可用于缺失值的填补，这些模型能够捕捉数据中更复杂的非线性关系，在某些情况下具有独特的优势。决策树模型通过递归地划分数据集来构建树状结构，每个节点表示一个特征，每条分支表示一个决策规则，叶子节点表示输出结果。在缺失值填补中，对于存在缺失值的变量，决策树模型会根据其他非缺失特征来构建决策树。在分析学生成绩与学习时间、学习方法、家庭环境等因素的关系时，如果部分学生的成绩存在缺失值，决策树模型会根据学习时间、学习方法、家庭环境等非缺失特征来划分数据集。例如，首先根据学习时间将数据集划分为不同的子集，然后在每个子集中再根据学习方法进一步划分，以此类推，直到形成完整的决策树。在预测缺失成绩时，将缺失值样本的其他非缺失特征输入决策树，根据决策树的规则得到预测的成绩，从而填补缺失值。决策树模型的优点在于它不需要对数据的分布做出假设，能够处理非线性关系，且模型具有较好的可解释性，我们可以清晰地看到模型是如何根据其他特征来预测缺失值的。神经网络模型是一种模拟人类大脑神经元结构和功能的计算模型，它由多个神经元层组成，包括输入层、隐藏层和输出层。在处理缺失值时，神经网络模型会将整个数据集作为输入，通过隐藏层中的神经元对数据进行复杂的非线性变换和特征提取，最后在输出层得到对缺失值的预测结果。以图像数据为例，假设图像数据集中存在部分像素值缺失的情况，神经网络模型可以通过学习大量完整图像的特征，如颜色、纹理、形状等，来预测缺失像素的值。神经网络模型具有强大的学习能力和对复杂数据模式的识别能力，能够处理高度非线性和复杂的数据关系。然而，它的训练过程通常需要大量的数据和计算资源，训练时间较长，且模型的可解释性较差，难以直观地理解模型是如何做出预测的。3.4.3方法优势与挑战回归填补法具有显著的优势。它能够充分利用数据集中其他变量与缺失值变量之间的关系，通过建立模型进行预测，相比于简单的均值、中位数等填补方法，能够更准确地估计缺失值。在分析经济数据时，利用回归填补法可以考虑多个经济指标之间的相互影响，如国内生产总值、通货膨胀率、利率等因素对企业利润的影响，从而更准确地填补企业利润数据中的缺失值。回归填补法对于不同类型的数据和缺失机制具有较好的适应性，无论是数值型数据还是分类型数据，只要变量之间存在一定的关系，都可以尝试使用回归模型进行填补。然而，回归填补法也面临一些挑战。模型的构建和训练过程相对复杂，需要具备一定的统计学和机器学习知识。在选择模型时，需要根据数据的特点和问题的需求，选择合适的回归模型，如线性回归、决策树回归、神经网络回归等。还需要对模型进行参数调优，以提高模型的性能。在使用神经网络模型时，需要确定隐藏层的数量、神经元的数量、学习率等参数，这些参数的选择会直接影响模型的预测效果。回归填补法通常需要更多的计算资源和时间，尤其是在处理大规模数据集或复杂模型时。在使用神经网络模型对大规模图像数据集进行缺失值填补时，训练过程可能需要耗费大量的计算资源和时间，对计算机的硬件性能要求较高。如果数据中存在异常值或噪声，可能会对模型的训练和预测产生较大的影响，导致填补结果出现偏差。四、填补方法效果比较实验设计4.1实验数据集选择4.1.1真实数据集介绍为全面且深入地评估不同缺失数据填补方法在实际应用中的效果，本研究精心选取了医疗费用预测和经济指标分析两个领域的真实数据集。医疗费用预测数据集来源于某大型医疗机构的患者病历记录。该数据集涵盖了5000名患者的详细信息，包含患者的年龄、性别、体重指数（BMI）、吸烟状况、所在地区以及医疗费用等变量。年龄反映了患者的生理阶段，不同年龄段的人群健康状况和患病风险存在差异，对医疗费用有着重要影响；性别在某些疾病的发病率和治疗方式上有所不同，进而影响医疗费用；BMI是衡量身体胖瘦程度与健康状况的重要指标，与多种慢性疾病的发生风险相关，对医疗费用的高低起着关键作用；吸烟状况直接关系到呼吸系统疾病等多种疾病的患病概率，是影响医疗费用的重要因素；所在地区的医疗资源分布、经济发展水平和医疗服务价格等方面的差异，也会导致患者医疗费用的不同；医疗费用作为因变量，是我们关注的核心指标，用于评估不同填补方法对预测准确性的影响。在该数据集中，由于部分患者信息登记不完整或数据录入失误，约有10%的数据存在缺失，涉及各个变量。经济指标分析数据集则收集自多个权威经济数据库和政府统计部门。它包含了30个国家在过去20年的年度经济数据，变量包括国内生产总值（GDP）、通货膨胀率、失业率、利率、进出口总额等。GDP是衡量一个国家经济总量和发展水平的重要指标，反映了国家经济活动的总体规模；通货膨胀率体现了物价水平的变动情况，对经济决策和居民生活有着重要影响；失业率反映了劳动力市场的供求状况，是衡量经济健康程度的关键指标之一；利率影响着投资、消费和储蓄等经济行为，对经济运行起着重要的调节作用；进出口总额体现了一个国家与其他国家的贸易往来程度，反映了其在国际经济中的地位和竞争力。由于统计方法的差异、数据更新的不及时以及部分国家数据收集的困难，该数据集存在约15%的缺失数据，分布在各个经济指标变量中。这些真实数据集具有重要的研究价值。医疗费用预测数据集能够帮助我们深入了解不同因素对医疗费用的影响，为医疗保险机构制定合理的保费政策、医疗机构优化资源配置以及患者合理规划医疗支出提供科学依据。经济指标分析数据集则有助于经济学家和政策制定者分析宏观经济形势、预测经济趋势、制定有效的经济政策，促进国家经济的稳定发展。通过对这些真实数据集的分析，我们可以更直观地观察不同缺失数据填补方法在实际问题中的应用效果，为实际数据分析工作提供更具针对性和实用性的指导。4.1.2模拟数据集构造为了更系统、全面地探究不同缺失数据填补方法在各种条件下的性能表现，本研究通过精心构造模拟数据集，严格控制实验条件，以实现对不同方法的精准评估。在构造模拟数据集时，充分考虑了不同的缺失机制和缺失率。缺失机制主要包括完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）。对于完全随机缺失，数据的缺失完全是随机的，与数据集中的其他变量和缺失值本身均无关。在一个包含学生成绩、身高、体重等信息的模拟数据集中，若学生成绩的缺失是完全随机发生的，即每个学生成绩缺失的概率是相等的，与学生的身高、体重等其他因素无关，这就属于完全随机缺失。在Python中，可以使用numpy库的random模块来实现完全随机缺失。例如，首先生成一个包含所有数据的数组data，然后使用numpy.random.choice函数随机选择一定比例的索引位置，将这些位置的数据设置为缺失值。代码示例如下：importnumpyasnp#生成一个包含100个样本，5个变量的模拟数据集data=np.random.randn(100,5)#设置缺失率为20%missing_rate=0.2num_missing=int(data.size*missing_rate)#随机选择缺失值的索引missing_indices=np.random.choice(data.size,num_missing,replace=False)#将选择的索引位置的数据设置为缺失值（这里用np.nan表示）data.flat[missing_indices]=np.nan#生成一个包含100个样本，5个变量的模拟数据集data=np.random.randn(100,5)#设置缺失率为20%missing_rate=0.2num_missing=int(data.size*missing_rate)#随机选择缺失值的索引missing_indices=np.random.choice(data.size,num_missing,replace=False)#将选择的索引位置的数据设置为缺失值（这里用np.nan表示）data.flat[missing_indices]=np.nandata=np.random.randn(100,5)#设置缺失率为20%missing_rate=0.2num_missing=int(data.size*missing_rate)#随机选择缺失值的索引missing_indices=np.random.choice(data.size,num_missing,replace=False)#将选择的索引位置的数据设置为缺失值（这里用np.nan表示）data.flat[missing_indices]=np.nan#设置缺失率为20%missing_rate=0.2num_missing=int(data.size*missing_rate)#随机选择缺失值的索引missing_indices=np.random.choice(data.size,num_missing,replace=False)#将选择的索引位置的数据设置为缺失值（这里用np.nan表示）data.flat[missing_indices]=np.nanmissing_rate=0.2num_missing=int(data.size*missing_rate)#随机选择缺失值的索引missing_indices=np.random.choice(data.size,num_missing,replace=False)#将选择的索引位置的数据设置为缺失值（这里用np.nan表示）data.flat[missing_indices]=np.nannum_missing=int(data.size*missing_rate)#随机选择缺失值的索引missing_indices=np.random.choice(data.size,num_missing,replace=False)#将选择的索引位置的数据设置为缺失值（这里用np.nan表示）data.flat[missing_indices]=np.nan#随机选择缺失值的索引missing_indices=np.random.choice(data.size,num_missing,replace=False)#将选择的索引位置的数据设置为缺失值（这里用np.nan表示）data.flat[missing_indices]=np.nanmissing_indices=np.random.choice(data.size,num_missing,replace=False)#将选择的索引位置的数据设置为缺失值（这里用np.nan表示）data.flat[missing_indices]=np.nan#将选择的索引位置的数据设置为缺失值（这里用np.nan表示）data.flat[missing_indices]=np.nandata.flat[missing_indices]=np.nan随机缺失的情况则是，数据的缺失与数据集中的其他观测值有关，但与缺失值本身无关。在上述学生成绩数据集中，如果学生成绩的缺失与学生的身高有关，身高较高的学生成绩缺失的概率较大，而与成绩本身的高低无关，这就是随机缺失。在Python中实现随机缺失时，可以先确定与缺失相关的变量（如身高height），然后根据身高的某种特征（如身高大于某个阈值的学生成绩更易缺失）来确定缺失值的位置。代码示例如下：importnumpyasnp#生成学生成绩数据scores=np.random.randn(100)#生成学生身高数据height=np.random.randn(100)#设置缺失率为20%missing_rate=0.2num_missing=int(len(scores)*missing_rate)#根据身高确定缺失值位置，假设身高大于0的学生成绩更易缺失height_threshold=0height_condition=height>height_thresholdheight_indices=np.where(height_condition)[0]#从满足身高条件的学生中随机选择缺失值的索引missing_indices=np.random.choice(height_indices,num_missing,replace=False)#将选择的索引位置的成绩设置为缺失值scores[missing_indices]=np.nan#生成学生成绩数据scores=np.random.randn(100)#生成学生身高数据height=np.random.randn(100)#设置缺失率为20%missing_rate=0.2num_missing=int(len(scores)*missing_rate)#根据身高确定缺失值位置，假设身高大于0的学生成绩更易缺失height_threshold=0height_condition=height>height_thresholdheight_indices=np.where(height_condition)[0]#从满足身高条件的学生中随机选择缺失值的索引missing_indices=np.random.choice(height_indices,num_missing,replace=False)#将选择的索引位置的成绩设置为缺失值scores[missing_indices]=np.nanscores=np.random.randn(100)#生成学生身高数据height=np.random.randn(100)#设置缺失率为20%missing_rate=0.2num_missing=int(len(scores)*missing_rate)#根据身高确定缺失值位置，假设身高大于0的学生成绩更易缺失height_threshold=0height_condition=height>height_thresholdheight_indices=np.where(height_condition)[0]#从满足身高条件的学生中随机选择缺失值的索引missing_indices=np.random.choice(height_indices,num_missing,replace=False)#将选择的索引位置的成绩设置为缺失值scores[missing_indices]=np.nan#生成学生身高数据height=np.random.randn(100)#设置缺失率为20%missing_rate=0.2num_missing=int(len(scores)*missing_rate)#根据身高确定缺失值位置，假设身高大于0的学生成绩更易缺失height_threshold=0height_condition=height>height_thresholdheight_indices=np.where(height_condition)[0]#从满足身高条件的学生中随机选择缺失值的索引missing_indices=np.random.choice(height_indices,num_missing,replace=False)#将选择的索引位置的成绩设置为缺失值scores[missing_indices]=np.nanheight=np.random.randn(100)#设置缺失率为20%missing_rate=0.2num_missing=int(len(scores)*missing_rate)#根据身高确定缺失值位置，假设身高大于0的学生成绩更易缺失height_threshold=0height_condition=height>height_thresholdheight_indices=np.where(height_condition)[0]#从满足身高条件的学生中随机选择缺失值的索引missing_indices=np.random.choice(height_indices,num_missing,replace=False)#将选择的索引位置的成绩设置为缺失值scores[missing_indices]=np.nan#设置缺失率为20%missing_rate=0.2num_missing=int(len(scores)*missing_rate)#根据身高确定缺失值位置，假设身高大于0的学生成绩更易缺失height_threshold=0height_condition=height>height_thresholdheight_indices=np.where(height_condition)[0]#从满足身高条件的学生中随机选择缺失值的索引missing_indices=np.random.choice(height_indices,num_missing,replace=False)#将选择的索引位置的成绩设置为缺失值scores[missing_indices]=np.nanmissing_rate=0.2num_missing=int(len(scores)*missing_rate)#根据身高确定缺失值位置，假设身高大于0的学生成绩更易缺失height_threshold=0height_condition=height>height_thresholdheight_indices=np.where(height_condition)[0]#从满足身高条件的学生中随机选择缺失值的索引missing_indices=np.random.choice(height_indices,num_missing,replace=False)#将选择的索引位置的成绩设置为缺失值scores[missing_indices]=np.nannum_missing=int(len(scores)*missing_rate)#根据身高确定缺失值位置，假设身高大于0的学生成绩更易缺失height_threshold=0height_condition=height>height_thresholdheight_indices=np.where(height_condition)[0]#从满足身高条件的学生中随机选择缺失值的索引missing_indices=