7.北大版《公共管理研究方法》定量的公共管理研究设计.ppt

第七章 定量的公共管理研究设计,第七章 定量的公共管理研究设计,第一节 定量研究设计中的测量问题 第二节 定量研究中的观察对象的选取 第三节 定量研究设计中的信度与效度 第四节 定量研究中的时间和变异问题,第一节 定量研究设计中的测量问题,一、测量概述 二、公共管理测量过程：概念化和操作化 三、公共管理测量工具：指数、量表和问卷,一、测量概述,1.测量的定义。 “广义上讲，所谓测量就是根据一定法则（rule）把数字（numeral）分配于物体或事件（objects and enents）之上。”简言之，测量（measurement）就是根据一定的法则，对事物进行量化的过程。公共管理测量是测量的一种特殊形式，是对公共管理领域内的现象、行为、态度等方面的量化过程。,2测量的构成要素。,（1）测量的对象和内容。 如果按照测量对象的物质性，可将测量分为物质的测量和非物质的测量。 根据是否可以直接观察，可以将测量分为直接观察事物的测量和不能直接观察事物的测量。 （2）测量的标度。 （3）测量的方法和工具。,3.测量的层次。,二、公共管理测量过程：概念化和操作化,概念化和操作化是研究设计的一个重要阶段，是测量的基本方法，也是将研究假设转换为资料收集的重要环节。 1.概念化。概念化就是给研究假设中涉及的构念一个清晰的定义的过程，概念化也就是对概念进行语义上的定义与范围的界定。 2.操作化。操作化就是把无法直接观察到的概念，同义转换为可直接观察的具体事实的程序、步骤、方法和手段。在操作化过程经常使用的工具是指标、指数和量表。,三、公共管理测量工具：指数、量表和问卷,（一）指数、量表和问卷的概念 指数（indexes）和量表（scale）都是一种综合性的测量（composite measures），也就是将一个“潜在变项”（latent variable）的多个指标（indicators）经一定的程序合并后得到的测量。指数（index）通常将每个指标（indicator）给予一定的权重（weight）后，累加起来获得。量表则是寻找指标（indicators）间可能存在的结构后，依照一定的方法（理论或数据实际分布）得到的，量表试图测量潜在变项（latent variable）在强度及方向上的变化。,指标是说明总体数量特征的概念。 指标一般由指标名称和指标数值两部分组成，它体现了事物质的规定性和量的规定性两个方面的特点。有一些概念只需要一个指标就可以测量。但有些概念比较复杂，就需要用多个指标（indicators）来测量，多个指标构成指标群（indicators），指标群中的各个指标往往可以区分为出层次，成为一级指标、二级指标、三级指标甚至更多层次的指标。,表7-5：指数和量表的区别和联系,（二）指数的编制,1.指数的类型。 （1）按说明对象的范围。可以分为：个体指数和总指数。 （2）按所反映现象特征。可分为数量指标指数和质量指标指数。 （3）根据使用基期。可分为定基指数和环比指数。,2.指数编制的步骤。一般而言，建立一个指数需要以下步骤： 第一步：选定指标。 第二步：指标无量纲化处理。 第三步：确定指标的权重。 第四步：将指标合成指数。 3.指数编制的实例。表7-6：人类发展指数的编制,（三）量表的编制,1.明确测量的对象。 2.拟定量表的基本内容和架构。 3.编制量表题目。 4.决定量表的模式。 5.题项库的专家评价。 6.考虑确认题项的包含性。 7.在一个试测样本中测试题项。 8.项目分析。 9.因素分析与构念效度。 10.信度分析。,第二节 定量研究中的观察对象的选取,一、抽样的术语、类型和程序 二、概率抽样和非概率抽样 三、抽样误差 四、样本容量的确定,一、抽样的术语、类型和程序,（一）抽样的相关术语 总体（population） 样本（Sample）。 抽样（Sampling）。 抽样单位（Sampling Unit）。 抽样框（Sampling Frame）。 参数值( Parameter )。 统计值（Statistic）。 置信度（Confidence level）与置信区间（Confidence Interval）。,（二）抽样的类型,（三）抽样的程序,1.界定总体。 2.确定抽样框。根据抽样单位将总体划分为不同的单位，确保单位划分的穷尽性和互斥性，然后编制出抽样框。在多阶段抽样中，不同阶段有不同的抽样框，需要准确清晰地界定抽样框。 3.选取样本。 4.对样本进行评估。,（四）抽样单位与分析单位,分析单位是一项社会研究中所研究的对象，研究所收集的资料直接描述分析单位中的个体。 调查内容是调查研究中对分析单位的属性、特征、变化和发展的描述、分析和解释。如果抽样的时候直接抽取研究对象，那么分析单位就等同于抽样单位，如果采用多段抽样、分层抽样、整群抽样，那么第一阶段的抽样单位与分析单位往往是不一致的。 与分析单位相关的常见逻辑错误是层次谬误和简化论。,二、概率抽样和非概率抽样,（一）概率抽样 1.简单随机抽样。 摸彩法 随机数表法 2.系统抽样。 3.分层抽样。 已知某种特征在层间元素差异大，层内元素差异小的情况。 4.整群抽样。 整群抽样适用于群间同质性高，而群内异质性高的情况。,（二）非概率抽样,1.便利抽样（convenience sampling）。 2. 判断抽样（judgment sampling）。 3. 滚雪球抽样（snowball sampling）。 4.配额抽样（quota sampling）。,三、抽样误差,统计误差是指在统计调查中，调查资料与实际情况间的偏差。即抽样估计值与被估计的未知总体参数之差。 统计误差=登记误差+代表性误差。 代表性误差=偏差（Deviation） +抽样误差（Sampling error） 抽样误差=F（a,b,c,d） a:抽样单位的数目。b:总体被研究标志的变异程度。c:抽样方法的选择。 d:抽样组织方式,四、样本容量的确定,平均数样本容量的确定： （1）在重复抽样条件下： t为置信水平所对应的临界值。 为总体的标准差。表示允许误差。,确定样本容量的大小是比较复杂的问题，通常需要在理论的计算和实际可行性之间进行综合考量。以下是通常需要考虑的因素： 第一，决策的重要性。 第二，研究的性质。探索性研究，样本量一般较小，描述性研究和解释性研究则需要较大的样本。 第三，变量个数。收集许多变量的数据，样本量就要大一些，以减少抽样误差的累积效应。 第四，统计分析方法。 第五，经验判断。 第六，研究的经费和资源。 第七，总体规模。 第八，置信水平和置信区间。 第九，总体的异质性程度。,第三节 定量研究设计中的信度与效度,一、测量真值和误差 二、测量的信度 三、测量的效度,一、测量真值和误差,测验总变异量=真实分数的变异随机误差变异，即测验实得分数的方差测验真分数的方差测验误差的方差。 测量误差分为系统误差、随机误差和异常值三种。,二、测量的信度,1.信度的定义。 在测量理论中，信度被定义为：一组测量分数的真分数方差与实得方差的比率。即：rXX= ST2/ SX2 由于真实分数的方差是无法统计的，因此转化为：在总的方差中非测量误差的方差所占的比例。rXX=1- SE2/ SX2,2.信度指标。信度系数、信度指数和测量标准误是信度的指标。 信度指数：是真分数标准差与实得分数的标准差的比值，公式是：rXT=ST/ SX 信度指数的平方就是信度系数。公式是：rXT2=ST2/ SX2= rXX,测量标准误（Standard Error）是各测量值误差的平方和的平均值的平方根，故又称为均方误差。 标准误是统计推断可靠性的指标。在相同测量条件下进行的测量称为等精度测量，对于等精度测量来说，标准误差是一种较好的表示误差的方法。 测量的标准误与信度之间呈反比关系：标准误越小，信度越大；标准误越大，信度越低。两者关系式：SE2= SX2（1- rXX）,3.影响信度的因素。测量对象、测量主体、测量情境和测量工具都会影响到测量的信度。,4.信度的类型。 （1）重测信度（test-retest reliability），又称稳定性系数。 （2）复本信度（Alternate-form reliability），又称等值性系数。 （3）同质性信度（homogeneity reliability），指测验内部所有题目间的一致性。 （4）分半信度（split-half reliability）。指采用分半法估计所得的信度系数。 （5）评分者信度（scorer reliability），指的是多个评分者给同一批人的表现进行评分的一致性程度。,三、测量的效度,1.效度的定义。效度是反映真实程度的概念，效度被定义为：在一列测量中，与测量目的有关的真实变异数与总变异数的比率。,2.效度与信度的关系。由信度和效度公式可推出两者关系为： SX2 = ST2 + SE2 ST2= SV2 + SI2 SE2 ：随机误差方差， SI2 ：无关而稳定的方差（系统误差）； ST2 ：真分数方差， SV2 ：有效方差， SX2 ：总变异数。 信度：rXX= ST2/ SX2，效度： rXY2 = SV2/ SX2 = ST2-SI2 / SX2 = rXX-SI2 / SX2,3.效度的类型： 效度贯穿在研究的各个环节中，是研究设计必需考虑的问题，如下图所示：,第一，构念效度。构念效度（construct validity)是指所使用的测量工具和想要测量的构念之间的符合程度。构念效度是含义广泛的概念，凡是涉及到将理论层面转换为操作层面的研究行动都涉及到构念效度问题。 构念效度涉及到概念化、操作化的各个环节，厘清构念形成的理论、给出构念清晰的界定、厘定构念的维度和指标、合理地选择反映构念的指标都是确保构念效度的基本前提。,构念效度往往与多重指标的测量相关，可以根据多重指标的同质性或异质性将构念效度分为聚合效度(convergent validity)、区分效度(discriminant validity)和因素效度（factorial validity)。 （1）内容效度（content validity）是指测量工具能够在多大程度上包含测量内容的范围。 （2）表面效度（face validity）是外行对测验所作的表面上的是否涵盖测量内容的判断，只考虑测验项目与测验目的之间的明显的、直接的关系。,（3）校标效度(criterion validity)关心的是测量结果和另外一个校标(criterion)的符合程度，它并不关心测量本身的内容。 第二，内部效度。内部效度（Internal Validity）是指研究人员控制外部变量的程度，表明研究结果被明确解释的程度。内部效度通常要回答的问题是：（1）所研究的两个或多个变量之间是否存在一定的关系？（2）是否确实是自变量的变化引起了因变量的变化？研究结果是否是由所操纵的自变量引起？,第三，外部效度。研究的外部效度是指研究结果能够被推广到一般化和普遍适用到样本来自的总体和其它总体中的程度。外部效度可以细分为总体效度和生态效度两类。（1）总体效度（population validity）指研究结果能够适应于研究样本来自的总体的程度与能力，或说对总体的普遍意义。（2）生态效度（ecological validity）是指研究结果可以被概推以适应于其它研究条件和情景的程度。,第四，统计结论效度。统计结论效度（statistical conclusion validity）是关于研究的数据分析处理程序与方法有效性的指标，它主要反映统计量与总体参数之间的关系，是正确运用统计方法解释研究结果的程度。统计结论效度的基本问题是研究误差、变异来源、如何适当地运用统计显著性检验，它不涉及系统性偏差的来源问题。,第四节 定量研究中的时间和变异问题,一、定量研究的变异问题 二、定量研究的时间维度问题,第四节 定量研究中的时间和变异问题,一、定量研究的变异问题 1.最大化系统变异。系统变异是指在因变量的变异中受到自变量影响的部分。在研究设计中，我们希望发现自变量对因变量的影响是最大化的。 2.控制外生变异。外生变异会系统地影响我们感兴趣的因变量，但却与我们研究目的无关。所以，我们需要对这类可能对因变量造成影响的外生变量实现有效地控制，将其效应最小化、抵消，或者与我们的自变量进行隔离。在研究设计中，我们可以通过抽样的方式（如排除法、随机化、匹配法等）或者统计控制的方式，实现对外生变量的控制。,3.最小化误差变异。误差变异是指由于随机因素而导致的因变量变异。这是属于随机性质的，而不像外生变异那样造成系统性的偏误。将误差变异最小化的目的，有助于将系统变异凸显出来。一般来说，减少被试的个体差异、提高测量的精确度可以实现最小化误差变异。,二、定量研究的时间维度问题 1.纵贯研究。 第一，趋势研究（trend studies）。趋势研究一般是对较大规模的调查对象总体随时间推移而发生的变化的研究。比如每年调查公务员离职率的变化情况，然后通过对不同时点的调查结果的比较来探寻这些社会现象的变化趋势。 第二，世代研究（cohort study）。世代研究又称同期群研究，是对在某一时期具有同一特征的人群随时间的推移而发生的变化的研究。,第三，连续样本研究（panel studies）。连续样本