均值填补法之相关系数

均值填补法之相关系数学习目标2知识目标●数据缺失简介●数据缺失的处理方法●均值填补法-相关系数能力目标●了解数据缺失●掌握数据缺失的处理方法●了解均值填补法-相关系数学习任务3初步探索什么是数据缺失值初步探索数据缺失值的处理方法初步探索均值填补法了解均值填补法-相关系数均值填补法-相关系数数据缺失的处理方法数据缺失简介4均值填补法目录5数据缺失简介数据缺失是指在数据采集时由于某种原因应该得到而没有得到的数据。它指的是现有数据集中某个或某些属性的值是不完全的。统计调查中能否按设计要求获得被调查单位的详全资料是衡量数据质量的一个重要标准,但实际调查中经常遇到数据缺失的情况。无回答有2种表现形式:单位无回答(unitnon-response)和项目无回答(itemnon-response)。“单位无回答”——被调查者不愿意或者不能够回答整张的问卷;“项目无回答”——被调查者拒绝回答个别的调查项目。6数据缺失简介缺失原因（Reason）在统计调查过程中，数据缺失是不可避免的，造成这种现象的原因是多方面的，主要有以下几种：1.在存储数据的过程中，由于机器的损坏造成数据存储失败；2.调查员在采集数据过程中，由于主观因素人为地认为数据不重要或无用，而私自丢弃数据；4.受访者拒绝透露被调查信息，或回答错误信息；3.调查员信息录入失误；5.受访者选取失误。例如调查工资情况，选取的受访者是婴幼儿7数据缺失简介产生机制（Mechanism）Little和Rubin针对缺失数据，探讨缺失数据与目标变量是否有关，定义了3种不同的缺失机制。MCAR完全随机缺失(MissingCompletelyAtRandom)：数据的缺失与不完全变量以及完全变量都是无关的。MAR随机缺失(MissingAtRandom)：数据的缺失仅仅依赖于完全变量。MNAR非随机缺失(NotMissingAtRandom)：不完全变量中数据的缺失，依赖于不完全变量本身。这种缺失是不可忽略的。8数据缺失简介产生机制（Mechanism）9数据缺失简介缺失模式（Pattern）数据缺失模式主要研究哪些变量缺失，更确切的说，关注的是缺失数据矩阵R的分布。当一维目标变量出现缺失数据时，我们在数据处理过程中首先要考虑缺失数据产生机制，而对于多维目标变量而言，除了考虑缺失数据产生机制外，还要判断数据的缺失模式。10数据缺失简介缺失模式（Pattern）假设完全数据资料阵y是由m个观测、n个变量组成的m×n矩阵，通过分析这个矩阵的特点，可以推断出数据缺失模式。11数据缺失的处理方法基本方法基于完整观测单位的方法删除法加权调整法列表删除个案删除（配对删除）基于填补的方法单一填补法多重填补法随机回归填补法（PMM法）趋势得分法人工填补法均值填补法回归填补法不处理贝叶斯网络人工神经网络12均值填补法数据的属性定性数据和定量数据。如果缺失值是定量的，就以该字段存在值的平均值来插补缺失的值；如果缺失值是定性的，就根据统计学中的众数原理，用该属性的众数(即出现频率最高的值)来补齐缺失的值。13均值填补法-相关系数利用同类均值插补。它用层次聚类模型预测缺失变量的类型，再以该类型的均值插补。假设X=(X1,X2…Xp)为信息完全的变量，Y为存在缺失值的变量，那么首先对X或其子集行聚类，然后