数据与数据的获得.ppt

第二章 数据与数据的获得,管理统计学 谢湘生 广东工业大学管理学院,2.1 总体、个体、特征与数据,总体(Population or Universe) 个体(Individual or Case)或成分(Elements) 指标或变量(Variable) 指标值（变量值）或数据(Data),2.2 数据类型 2.2.1 数据测度的分类,测度级(Scale)数据 比率级(Ratio) 具有一定单位 0值非人为制定 可以进行加减乘除运算 间距级(interval) 具有一定单位 0值人为制定 可加减运算，不能乘除运算 次序级(Ordinal)数据 用于区分对象的类别与次序 名义级(Nominal)数据 用于区分对象的类别,2.2.2 不同类型数据的用途特点,不同测度级别的数据，应用范围不同。等级越高，应用范围越广泛；等级越低应用范围越受限。 一般来说，等级高的数据可以兼有等级低的数据的功能；而等级低的数据，不能兼有等级高的数据的功能。 名义级的数据，通常是样本分类（分组）的依据。,2.2.3 观察数据和实验数据,数据,来源,直接来源,间接来源,试验,出版物,(或者网上),问卷调查,观察,间接来源（二手数据）,每天翻开报纸或打开电视，就可以看到各种数据。比如高速公路通车里程、物价指数、股票行情、外汇牌价、犯罪率、房价、流行病的有关数据（确诊病例、疑似病例、死亡人数和出院人数等等）；当然还有国家统计局定期发布的各种国家经济数据、海关发布的进出口贸易数据等等。从中可以选取对自己有用的信息。 这些间接得到的数据都是二手数据。,直接来源（第一手数据）,获得第一手数据并不象得到二手数据那么轻松。 某些在华的外资企业每年至少要花三四千万元来收集和分析数据。 他们调查其产品目前在市场中的状况和地位并确定其竞争对手的态势； 他们调查不同地区，不同阶层的民众对其产品的认知程度和购买意愿以改进产品或推出新品种争取新顾客； 他们还收集各地方的经济交通等信息以决定如何保住现有市场和开发新市场。市场信息数据对企业是至关重要的。 他们很舍得在这方面花钱。因为这是企业生存所必需的，绝不是可有可无的。,观察数据：在获得数据的过程中，不对被调查数据产生的条件施加任何控制所得到的数据。观察数据通常是（但不一定是）众多因素共同作用的结果。 实验数据：在获得数据的过程中，对被调查数据产生的条件实施了控制而得到的数据。实验数据通常是（但不一定是）单一因素作用的结果。,数据产生过程,观察数据,数据产生过程,实验数据,2.3获得数据的调查方法 与问卷设计,获得数据的方法,调查方法,实验方法,普查方法,抽样调查方法,普查(Census)：调查有限总体中每个个体的有关指标值 抽样调查(Sampling)：在总体中抽取部分个体进行调查，从所了解的局部数据来了解总体情况 样本(Sample)集合：总体中部分个体所组成的集合,观察方法,与普查的方法比较，抽样调查方法具有如下的意义,抽样调查的成本要低得多（经济性强） 抽样调查所用的时间要少得多（时效性高） 在收集个体的信息方面，抽样调查可以更为详尽（深入性与广泛性强） 在收集个体的信息方面，抽样调查可以做得更加准确（准确性高） 调查具有破坏性,随机抽样(Random Sampling)或概率抽样(Probability Sampling)：按一定随机规则（一定概率分配），从总体中抽取部分个体。 简单随机抽样(Simple Random Sampling)：在随机抽样的过程中，每个个体抽到的机会（概率）相等。,抽样方法(Methods of Sampling),以广州交通问题的调查为例，在简单随机抽样的情况下，如果样本容量（sample size，也就是样本中个体的数目）在总体中的比例为1/5000，那么，无论在越秀区或者在从化区，无论在白领阶层还是外来民工被问到的人的比例都应该大体是1/5000。,非随机抽样或判断性抽样(Judgment Sampling)：依据对个体或总体特征的判断，从总体中抽取个体的做法。 典型调查：指在分析总体特征的基础上，有意识地选择具有代表性的个体，做深入细致的调查。这里的“代表性”是主观判断得到的。 方便抽样：指在难以获得随机样本的情形，所采取的利用现有条件获得尽可能具有代表性的个体的抽样方式。,还以广州的交通问题的调查为例。假定按照随机选出的电话号码进行调查。这样肯定节省时间和资源，但这样得到的就不是一个随机样本了。 如果按照随机选择的数字（无论号码本上有没有）打电话，那很多电话是空号或单位电话；显然这种样本也不是随机样本，它称为方便样本（convenience sample）。,常用的综合抽样方法,分层（分类）抽样：按照总体中个体的某特征，把总体中的个体分为若干群（类）；然后，对各个群中的个体进行简单随机抽样。分层抽样要求层之间的差异大于层的内部个体的差异。 不同群体所抽取的个体个数，一般有三种方法确定 等数分配法：对每一类分配同样的个体数 等比分配法：让每一类抽得的个体数与该类总体个数的比，都相等 最优分配法（方差分配法）：从各类抽得的样本数ni与所要抽得的总样本数n之比，等于该类的方差与各类方差和之比，即,常用的综合抽样方法（续）,整群抽样：将总体中的各个个体，按照某一标志量分为若干群，然后以群为单位，对群进行（简单）随机抽样，接着对抽出来的群进行普查。要求群与群之间具有相似性。 等距抽样：是按某一标志量，将总体中的个体排序，然后按一定的间隔，抽取个体 多阶段抽样：根据总体的层次结构特征，分层次（阶段）进行（简单）随机抽样。,在决定所抽取的群体个数时，常常需要考虑经费的限制,必须清楚抽样的目的,抽取样本往往是希望基于样本得到的结论能适用于该样本所属的总体 所以首先要求了解样本是否确实来源于所关注的总体 其次清楚样本是否具有好的代表性.,2.3.2数据调查中的若干重要问题,作为自学材料，请课后认真学习 补充获得敏感问题诚实回答的统计方法（见政治及有关模型）,对于调查中一些敏感问题，按通常的方法可能难以得到得到诚实的回答。教材中介绍了若干通过适当地设立问题来获得诚实回答的方法。作为补充这里介绍一种结合问题的设立与提问方式，利用统计计算来得到问题的诚实回答的方法。,例如要调查了解某班学生期末考试某门课程作弊学生的比例。显然不能指望直接提问学生获得诚实的回答。但可以通过如下方式得到相对真实的答案。,1 设立问题：,A 你考试作弊了吗？ B 你是广东的考生吗？,2 制作与抽取学生人数相等的签，其中有记号A的比例为p，其余有记号B。,3 每个抽到的学生随机地抽取一个签（只有本人知道抽得的是A还是B），然后按抽得的记号回答“是”或“否”。,4 若是回答“是”的学生的比例，则利用概率的性质应有,其中A ， B分别是问题A，B回答“是”的比例。于是我们可以估计出该课程作弊的学生的比例为：,注：问题B应该是一个不敏感的问题，并且它的概率是已知或事先已经估计出来的。,调查方案设计,调查方案是指导整个调查过程的纲领性文件，大体包括调查目的、调查对象、调查项目和调查表等内容。 1、调查目的：回答“为什么调查”； 2、调查对象：回答“向谁调查”； 3、调查项目和调查表：回答“调查什么” 4、其他内容：明确调查所采用的方法、调查时间、调查组织和实施的细节,2.3.2 问卷与问卷设计,一、 问卷与问卷的组成,1 问卷与问卷设计的重要地位 问卷是管理学科调查收集一手数据的最重要的工具之一。 一项以一手数据为基础的研究项目，其深度本质上由问卷的深度决定。 问卷设计时没有想到的问题，在问卷调查完后再想研究，就不大可能了。,问卷设计步骤,确定调查目的、 来源与限制 因素等,确定数据收集 方法,评估内容与编排,确定问卷流程 和编排,决定问题的用词,确定问题形式,获得各方面的认同,预调查与修订,准备最后印刷,实施,2 构成问卷的问题类型 1）开放型问题与封闭型问题 根据事先是否准备好了问题的答案可将问题分为：开放型问题与封闭型问题。 开放型问题：没有事先准备的答案，通常在问卷形成阶段使用，在最终问卷中应慎用。 封闭型问题：事先准备了答案，应答者只能在事先准备的答案中选择。封闭型问题的数据转化工作量，大为减少。,2）回忆型问题与非回忆型问题 回忆型问题要求应答者把自己的有关记忆表达出来。它可以是开放型的，没有备选答案。也可以是封闭型的。 有些回忆型问题需要查记录可能才能回答。例如，贵公司去年的利润有多少？但是如果将它转化为封闭型问题：“贵公司去年的利润属于以下哪个区间？”（接下来列出所有可能的区间），问题的回答将得到极大简化。,3）封闭型问题中的单选问题与多选问题 单选问题是指应答者只能在备选答案中选择一个的问题。单选问题中的备选答案之间必须是互斥的。 多选问题是指应答者能够在备选答案中选择多个答案的问题。多选问题的备选答案是相容的。,4）单选问题中的排序型和非排序型 （1）排序问题 排序问题本质上是单选问题，要求对两个以上的对象排序。例如对重要性排序： 你认为在企业合并中如下三个因素，哪个最重要： 企业文化的近似性，B. 企业技术的互补性，C. 市场的互补性 显然要求排序的对象越多，排序的难度就越大。,（2）单选中的非排序问题。 显然，单选问题不一定是排序问题。但是排序问题可以转化为如下的非排序的单选问题： 请对企业合并中企业文化的近似性、技术的互补性、市场的互补性三个要素的重要地位打分：,依据众多的应答者对上述问题的评分，计算出每个要素的平均分之后，就可以根据平均分值的大小，对三个要素的重要性排序。需要注意的是，这样做的前提是各要素的平均分间存在显著差异（显著差异的概念见第6章）。,构成问卷的问题类别一览,3. 问卷中的一些常用量表,1）量表的概念 量表是测量应答者对某个问题（特别是复合型的问题）的反应强度（或态度、看法）的工具。它是构成问卷的最主要成分之一。 把单选问题的备选答案量化，就得到单问题量表。例如： 你认为企业文化差异对企业合并的影响是：,这就是一个单项量表。单项在这里是指该量表仅仅反应了应答者对一个问题的态度。,2）连续评分量表 上述量表的评分刻度仅从1到5，如果采用0到100的刻度，则称为连续评分量表。,3）分项评分量表：Likert量表 如果量表涉及多个关联的单选问题，就称为分项评分量表(Itemized Rating Scale)。分项评分量表中的多个单选问题必须有关联，是某个总项（上一层的变量）的一个分解。下表给出了一个分项量表的例子。,高校合并问题的一个分项评分量表,这种分项评分量表由于由美国社会心理学家R. A. Likert于1932年提出而称为Likert量表。Likert量表的度量级别：通常是5级，但不一定是5级，在应用中7级，9级均可；但通常不低于5级，不高于9级。这与感觉辨析能力有关。,Likert量表的关键特点是：所有分项共同构成一个总项，分项的得分加总后，就得到总项的得分。所以Likert量表又称为加总量表（或求和量表）。,4）比较型量表与排序量表 量表又可分为比较型和非比较型。前面给出例子中的量表是非比较型量表。下面给出一个比较型量表的例子。,影响学校文化差异的主要因素的一个两两比较量表,请两两对比，如果i比j重要，则在(i, j)的位置填入数字1，否则填入数字0。,这样的比较量表也称为两两比较量表或配对比较量表(Paired Comparison Scaling)。,在上述调查中，如果不明显地列出两两依次对比的表格，仅仅要求对5个被比较对象对形成学校文化差异的重要性排序，就是所谓的等级顺序量表(Rank-order Scaling)了。相应于上述问题的等级顺序量表为：,等级顺序量表的一个示例,请给出如下5个要素对形成学校文化差异的重要性顺序：,进一步阅读：弗洛德 J. 福勒,Jr 调查研究方法重庆大学出版社 2004年 10月版,获得数据的信度与效度的基本概念,一、测量误差 问卷是获取数据的工具。进一步说，问卷是用来测量被研究对象的有关特征（变量）处于什么数值状态的。无论是用问卷来测量变量值（由被研究对象自己来表述），还是由研究者来观察变量值，都可能出现误差。这就是测量误差。,测量误差由系统误差（系统偏误）和随机误差构成。其中系统误差表现由测量工具的偏误所导致；而随机误差则是由众多随机因素导致的。,如果记测量到的变量值为X，变量的真值为T，系统偏误为S，随机误差为R，则,X = T + S + R,二、测量的信度,1. 测量的信度(Reliability)的定义,测量的信度是指测量结果的稳定性或一致性。当然这里是指对一个变量重复测量时表现出来的性质（一致性、稳定性或不变性）。,在用三个要素T，S，R来表述变量X的测量值，即X=T+S+R时，只有随机变量R会影响测量的一致性。如果R=0，多次测量一个结果都是不变的，那么这个测量结果是完全可信的。反之如果第一次测量与第二次测量的结果差异大，那么你会感到测量的结果不可靠，也就是可信度低。,测量信度是对测量工具及其操作的整体质量的一种量度，是测验性能的重要质量指标。 信度高是良好测验的必要条件，但不是充分条件。一个测验只具有可靠性还不行，还必须具备有效性。,靶形图说明稳定性和准确性的关系：水平发挥不但要稳定还要打得准,2. 重测信度(Test-retest Reliability),既然信度是测量的可靠性（重复测量的稳定性或一致性），检查信度的一个简单方法就是重新测量一次，看看两次测量结果之间的关系。重测信度，就是在尽可能相同的条件下测量两次，用两次测量的相关程度来表示信度。其大小等于同一组应答者在两次测量上所得分数的相关系数（相关系数见第9章）。,在测量涉及心理判断过程（问卷调查的多数问题涉及这一过程）时，使用重测信度来检验测量的可靠性，有个前提，第一次测量应当对第二次测量没有影响。所以一般要间隔2030天再做第二次测量，计算测量的重测信度才相对可靠些。当然间隔时间太长也不好，一些外在的因素也可能会影响测量结果。,间隔多久恰当呢？无固定标准，一般来说，在间隔时间内，被试的遗忘和练习的效果基本上相互抵消，即为适度的时间间隔。 适用于速度测量而不适应于难度测量的信度估计。 重测信度检验测量跨时间的稳定性。 注意提高被试的积极性。,3. 复本信度(Alternate-form Reliability or Equivalent Form Reliability) 有些测量不适合施测两次，这时我们可以编制两份等值但并不相同的量表对被测对象施测(其时距尽量短，可短到两次测验接着进行)，两个平行测量来检测同一批被试所得结果的一致性程度称为复本信度，其大小等于同一批被试在两个复本测验上所得分数的相关系数。 所谓测量的等值(或平行)是指: 问卷（量表）题型、题数、难度、指导语说明、施测要求等方面都相当 用来测量相同潜在特质或属性 量表问题不相同。 两种方式：同一时间连续施测；间隔一段较短的时间后施测。,几点说明：,在实际操作中，为了抵消顺序效应，可以使半数被试先做 A本再做B本，使另一半被试先做B本再做A本； 两次测量的时距应尽可能短； 由于复本在许多方面相似，所以信度系数有稍微偏高的倾向； 注意被试的厌倦心理对测验产生的影响； 适用于难度测量，也适用于速度测量的信度估计。 构造两份真正的平行测验很难！如果平行不能保证，则结论无价值。,4. 内部一致性信度(Internal Consistent Reliability or Inter-item Reliability),重测信度和复本信度在使用的方法上分别属于跨时间和跨类型的，实际操作中存在困难，均需测量两次，复本不易做到等值，很难用同一测验对同一组被试重复进行测验等，于是引入内部一致性信度来计算测验的信度。 内部一致性信度 也叫同质性信度，是指测量内部所有题项间的一致性程度。题项间的一致性含有两层意思：其一是指所有题项测的是同一种心理特质；其二是指所有题项得分之间都具有较高的正相关。 同质性信度基于的假设是：当一个测量具有较高的同质性信度时，说明测项主要测的是某一单个心理特质，由于众多的题项测试了同一心理特质，那么实测结果就是该特质水平的反映。 估计同质性信度的方法主要有：分半信度、库德理查逊信度、克龙巴赫系数、荷伊特信度。,估计内部一致性信度的方法之一：折半信度（分半信度）,折半信度 指的是将一个测量中的问题分成对等的两半后，所有被试在这两半上所得分数的一致性程度。 计算不难，把对等的两半测验看成是在最短时间距离内施测的两个平行测验。难的是，如何将测验分成相等的两半。 按题号的奇偶分半、按题目的 难易程度分半、按题目的内容分半等等。 实际应用中，由于题目一般依据难度大小排列，采用奇偶分半可使两半测验的题目在难度上基本相等，因此常被采纳。 如果一个测验无法分成对等的两半，则不宜使用分半信度。,5. 评价者信度(Inter-observer Reliability) 含义：指多个评价者对某些人、事、物进行评价的一致性程度。 其基本思想是：如果测量工具本身较为规范，则（水平高，没有偏见的）不同评价者的评价结果应该不应相差很大。当评价非常复杂时，评估评价者信度是非常重要的。 评价者信度的计算 当评价者人数为两人时，评价者信度等于两个评价者给同一批被试对象所评分数的相关系数，依据数据形式，采用不同的相关系数计算方法。当评分者人数多于两人时，评分者信度可用肯德尔和谐系数进行估计。 注意：如果各个评价者的评价宽严程度保持一致，则评价者的评价尺度变化不会对评价者信度产生影响。,三、测量的效度,1. 效度的概念 测量的有效程度 一个测验或量表实际能测出其所要测量的特性或功能的程度 任何测量都存在效度的问题 效度是针对一定测量目的而言的 效度是针对测量结果而言的 效度只有程度上的差异 评价一个测量是否有效要多角度、多方面地收集证据,效度是指：一个测验或量表实际能测出其所要测量的特性或功能的程度 记为： 效度的统计定义 设 XTSR 有 则：,2. 效度的类别,测量题目样本对于应测内容与行为领域的代表性程度。 侧重于测量题目取样的代表性，考查这些题目对所欲测量的内容和行为反应测量的有效程度,结构：心理学或社会学上的一种理论构想或特质 侧重于一个测量能够量测到心理学或社会学的抽象概念或特质的程度,效标：检验测量效度的参照标准，实际上是本测量所想量测或要预测的特性或功能 测量分数与作为效标的另一独立测量结果之间的一致性程度,内容效度（ content validity）的概念 内容效度：测验内容对所要测量的特性、功能等的代表性程度。 也就是说：一个测量要具备较好的内容效度必须满足两个条件：一是确定好内容范围，并使测量的全部项目均在此范围内。二是测量项目应是已界定的内容范围的代表性样本。换句话说，就是选出的项目能包含所测的内容范围的主要方面，并且使各部分项目所占比例适当。,内容效度的常用验证方法 逻辑分析法（定性的方法） 依靠有关专家对测验题目与应测内容范围的吻合程度作出判断 量化分析方法 将专家的判断综合为一个内容效度系数的统计方法 专家在仔细审阅测验目标的基础上，独立地对测验每个题目作出判断：该题目实际测到的内容与其欲测量的目标内容之间相关程度如何,表面效度 表面效度：测量在表面上使被测对象直觉感到的有效程度。 一个测量使被测对象从表面上看来，它能够测量出它所欲测的属性，则认为该测验具有表面效度 内容效度与表面效度的关系：经常混淆。表面效度是由非专业人士对测验作表面上的检查确定的，它不反映测验实际测量的东西，只是指测验表面上看来好像是所要测的东西；内容效度是由够资格的判断者（专家）详尽地、系统地对测验作评价建立的。虽然二者都是根据测验内容作出的主观判断，但判断的标准不同。前者只考虑题目与测量目的之间的明显的、直接的关系，后者则考虑到题目与测量目的和内容总体之间逻辑的微妙关系。如果测验内容看起来与测量目标和要作的决定不相干，就会使被试产生不配合、马马马乎乎、应付了事等反应，而影响测验的效度。相反，典型行为测验却要求较低的表面效度。如果被试很容易从测验题目看出测验的目的，就可能产生反应偏差（如掩饰等）。,结构效度（construct validity）的概念 检验对于人的假设属性或理论概念测量到的程度 这些假设属性或理论概念是决定人们外部行为的内隐或潜在的特性 但这种特性不能予以操作性的定义，它所支配的行为也不能直接观察到,比如：中学生数学能力的研究 数学能力由分析能力、综合能力、归纳和演绎能力、运算能力、空间想象能力构成；数学能力与早期教育有关；数学能力与智力正相关。 编制测验题，进行测验并收集测验结果 分析测验结果，考查测试的结构效度，考查测验结果是否支持理论构想,结构效度的建立过程 对所欲测量的属性根据某种理论提出假定的结构 根据假定的结构拟定测量问题，编制量表 寻求测量分数与其它评定之间的关系 以检验结果为根据来验证假设结构中的各种因素是否成立，验证的方法可以从差异性上寻求证据 将与假设结构相违背的问题题删去，对测量进行修改之后，再重新实施第和第个步骤,调查问卷中的问题是调查者预先设计的，并且人为地归结成几个模块，这称为设计结构。而问卷调查的实际结果本身具有一定的潜结构，也就是说，可以通过数学方法，依据调查问卷结果，将原始问题归纳成几个模块，形成统计结构。统计结构与设计结构吻合的好坏就表明了调查问卷的结构效度。,例如严进等人在“履历数据测评的效度分析”（心理学报，vol. 42, no. 3, 423-433，2010）一文中将基本资料、高考成绩、在校成绩、计算机操作水平、获得的奖励情况、学生社团工作经历作为履历分析半结构化问卷的维度。 利用因子分析方法，对 履历数据中的11 个转换后的指标（学生社团中工作内容，学生社团中职务高低，参加学生社团次数，累计学生社团时间，学生社团级别，在校成绩，高考成绩，计算机操作与应用，计算机技术资格，获得奖励次数，获得奖励级别）， 提