第2讲 实证研究设计与评价-研究生讲义

1、 线a a代表两个抽象构念X和 Y之间的理论关系; 需要检验的研究假设：是x和y之间是否存在因果关系; 将它们操作化为可测量的变量（即图中的x与y）；线b1、b2代表操作化历程。 运用合适的统计方法来验证x与y 之间是否存在统计上显著的关系(如线d所示）1.2 实证研究的一般过程 通过将抽象的构念转化为可以测量的操作指标，就将一个研究假设转换为可以进行实证研究的具体问题。然后，搜集资料并运用合适的统计方法来验证测量变量x与y间是否存在统计显著的关系（如线d所示）。如果没有发现统计显著的联系，就拒绝研究假设并接受零假设(null hypothesis)，推断在构念X和Y之间不存在因果关系。若经过

2、统计检验，发现x与y之间存在显著关系，但在推断X与Y之间存在因果关系前，需要剔除各种可能导致x与y之间显著性关系的替代解释。经过详细的逻辑思考及检验之后，如果推断测量变量x与y之间确实存在显著性因果关系（如线c所示），就可以接受研究假设，推断构念X与Y之间可能存在因果关系。最后，需要考虑研究的样本及所处的特定时空（包括时间、空间、研究参与者等情境因素）对所获得的研究结论的影响，推论研究结论是否在其他情境下也能成立。这就是实证研究的一般过程。1.2 实证研究的一般过程通过上面的描述可以发现，实证研究是一个复杂的推理过程。它需要研究者事先对研究的问题、测量的操作步骤、统计分析的方法以及研究样本的代

3、表性进行详细的计划。由此得出的研究结论才能够经得起考验，我们所进行的研究才能被接受为是高质量的学术研究。 通过三种数据的搜集方式，可实现客观世界和抽象构念在实证研究中的一一对应 虽然实证主义者致力于对外部世界进行客观的描述，但是研究所依据的数据往往是带有主观色彩的。上面列出的三种数据搜集方式中，第一种方式看似客观，但这些客观指标很难完整地测量我们的理论构念。比如，用ROA和ROE测量企业绩效时，很难从结果中判断企业的长久竞争绩效。而在实际操作中，研究者往往会从众多可供选择的指标中选择最能与研究变量契合的指标。对后两种方法而言，研究者面临的测量误差来源就更多。从实证研究的本质以及研究过程来看，影

4、响一个人如何解释外部事件的因素有很多，根本无法在一项实证研究中有效囊括所有可能的变量。而研究对象往往又是不可直接观测的，只能通过间接方式搜集资料，对变量进行数量化操作。当使用本身带有误差的测量工具去研究一个复杂的社会系统时，这样的实证研究面临着相当大的挑战。为了在管理学研究中实现对外部世界客观、准确的描述和判断，就需要格外强调研究设计，使研究过程得到很好的控制，针对变量间的因果关系得到清晰的结论，最后有效地回答我们的研究问题。 研究设计是一个研究项目的整体蓝图，Royer和Zarlowski(2001)曾经用图形表述了研究设计的一般过程（见图3）。对一项研究进行整体设计时，要进行七个步骤的思考

5、:确定研究主题通过文献回顾和探索性访谈发展研究假设确定抽样方法测量（操作化）手段，以及这些因素对统计分析的影响等。研究者在搜集资料前必须认真考虑这些因素，才能有效地回答研究问题，保证研究的质量。在执行计划中研究者需要始终保持对研究问题和研究情境的敏感性。通过及时修改研究计划，确保研究问题和研究情境之间良好的匹配是完成一项高质量的实证研究、有效揭示管理现象的必要条件之一 实用性主要体现在如下四个方面： 如果实施得当，问卷法是最快速及有效的搜集数据的方法。 如果量表的信度和效度高，数据样本量大，研究者可用问卷法搜集到高质量的研究数据。问卷调查对被调查者的干扰较小，比较容易得到被调查单位及员工的支持

6、，。 ，是实地研究中最经济的搜集数据的方法。 质性研究需要研究者与研究对象进行较为深入的接触。研究过程可能产生的干扰使得我们不太容易获得企业或员工的支持。所以质性研究的样本量普遍较小，而且经常通过方便抽样（convenience sampling）的方式获得。同时由于数据的来源不受研究者的控制，往往很难就研究结论进行重复验证。由于对研究过程的控制程度较低，质性研究对变量间因果关系的推论不容易严谨。但是它可以就所研究的现象提供丰富的描述(thick description)。一般而言，它既可以作为数据来源方式，也可作为其他研究手段的补充，并可以成为孕育新理论、新概念的摇篮。 各种研究方法本身并没

7、有优劣之分；对研究类型的选择取决于研究问题的性质和研究者对结果的预期。在研究设计阶段，初学者易过多地关注研究方法和数据分析的复杂性，相对忽视研究方法与研究问题的匹配程度。经常有人误认为研究方法的复杂程度代表了文章的质量高低，因而追求“时髦的研究方法”，这种理解不正确。过于烦琐的研究方法并不能代替研究者对研究现象本身清楚的界定和说明。研究者应该在分析自己研究问题的基础上，选择与研究问题最为匹配的、自己最为擅长的方法。 选择研究方法应思考的几个问题这种方法适合回答我的研究问题吗？ 这种方法可以带来预期的研究结果吗？ 使用这种方法需要哪些条件？这种方法自身有哪些局限？还有哪种方法适合现在的研究问题吗

8、？现在选择的方法优于其他方法吗？如果是，为什么？在使用这种方法时，我需要掌握哪些技能？现在掌握这些技能了吗？如没有,可以学到这些技能吗？ 我是否需要其他的方法来提高对研究现象的观察？2.3 研究问题与研究方法的匹配在了解了研究设计的目的和方法之后，进一步通过实例讨论如何将两者相结合。为了保证研究的效度，提高研究的效率和质量，需要根据研究问题进行研究设计，选择与问题相匹配的研究方法。如果无视问题的性质而随意选取研究方法，往往会导致研究设计的差错。例如，研究设计中经常需要考虑如何选择验证假设的层次（如个体、团队、公司、行业层次等），需要针对研究问题，仔细设计研究方案。如果脱离了研究问题，实证研究可

9、能发生研究层次的错位，影响研究质量。 班主任班主任：1.人口统计学指标2.付出回报3.工作内容4.师生互动风格工作倦怠工作倦怠1.抑郁症状2.焦虑症状3.工作满意度教师A型行为父母父母：1. 性别/教育 职业/收入等2.家庭环境学生人格学生人格1. Achenbach2.长处与困难长处与困难社会支持感社会支持感学生学生: :1 年级/性别等2 师生交往方式3 教师期望4 期望差别行为5 留守儿童/城乡2.4 数据资料的搜集与分析 在一项研究中，研究问题、研究方法、变量测量与统计分析是相辅相成、紧密联结的不同步骤。在研究中，首先，需要明确具体的研究问题，结合研究问题选择恰当的研究方法。然后，需要

10、选择相应的资料搜集方式和统计分析方法。确定研究问题指明了研究的具体现象，针对数据搜集和分析方法的设计需要回答从哪里得到数据以及应当如何处理得到的数据。数据分析的方法本身并没有优劣之分。数据资料分析是为回答研究问题而服务的，应该在研究设计的指导下进行。没有理清研究问题、测量工具和资料分析之间的关系，得出的结论就只能反映变量在测量和分析层面的关系，而不能有效地回答研究问题。2.4 数据资料的搜集与分析例如，在讨论工作满意度对绩效的影响时，如果希望了解员工满意度与员工绩效之间的关系，那么测量和分析应该以个体为单位；而如果研究的问题是部门士气对于部门业绩的影响，分析就应该在部门层面。在管理学研究中，很

11、多时候只能在个体层面采集数据（如对员工士气的测量）。但对变量的测量以及数据的分析都必须以部门为单元，才能回答研究问题。如果需要研究部门士气对于员工业绩的影响，因为部门士气是部门层面的变量，而员工业绩是个人层面的变量，这时就应该进行跨层次的研究与分析。 3. 实证研究的效度评价实证研究的效度评价前面介绍了实证研究中研究设计的目的、作用和过程。那么如何去评价一项研究是否有效地回答了研究问题？结合实证研究的一般过程，可以通过四种效度指标来实现对研究设计质量的评价：构念效度（construct validity）：统计结论效度(statistical conclusion validity)：内部效度

12、（internal validity）：外部效度（external validity）：能否提高研究效度，保证研究结论的可靠性，是评价一项研究是否有效以及它得到的结论是否可靠的关键因素。3.1 构念效度 构念效度是指变量测量的准确性，它评价的是对构念进行操作化时，变量测量的内容和构念定义的一致性程度。管理学的很多构念并不能直接观察，需要通过各种操作化手段将其转换为可数量化估计的指标体系。在这一转换过程中，对构念的测量不可避免地引入了各种误差。这些误差可能来自理论层面（如测量指标无法完整、准确地反映构念的理论内涵），也有可能来自操作过程（如测量过程中夹杂了与构念无关的随机误差）。这些误差降低了测

13、量指标对理论构念的准确反映（在图1中，线b1、b2就代表了构念与测量指标之间的对应关系）。如果测量指标与理论构念之间不能准确对应,得出的结论会出现偏差.即使最后在统计检验时发现了变量间的显著关系，也无法清晰地推断构念之间存在因果关系，将这样的研究评价为构念效度偏低。 3.1 构念效度构念效度是一项高质量研究的首要指标.如何从理论和实际测量两方面提高构念效度：第一，需要精确定义理论构念并明确它的内部结构。由于构念源于抽象理论，在现实世界中并不能直接观察，因此对它的观察和测量必须依赖于精确的定义说明。缺少精确的定义，即使研究者在测量过程中避免了各种随机误差，由于无法确定得出的数据能否准确地代表理论

14、构念，统计分析得出的结论还是无法有效地回答研究问题。第二，从变量测量的角度，需要选择合适的测量方式，以控制测量误差。比如在文献中，常常会发现一个构念有许多种量表。到底在研究中选用哪一个量表，是个经常困扰初学者的问题。答案:首先选用经过严格评审的、发表在高质量杂志上的量表；其次，结合具体的研究问题选择最能符合研究情境要求的测量工具。 3.2 统计结论效度 统计结论效度是指在对假设关系进行统计推论时，所采用的统计检验手段及所做出的统计决策是否正确。在图l中，统计结论效度描述的是线d。在实证研究中，统计检验的本质是通过抽样的方式来对变量间的关系做出泛化的推论。针对统计检验而做出的研究结论，都是在一定

15、的概率基础上针对零假设(null hypothesis)而做出的。因此，任何研究结论都面临着统计结论效度的问题。 3.2 统计结论效度3.2 统计结论效度一类错误一类错误(Type I error)，即在两个变量间的时候，我们根据自己的统计结果却，它们之间。二类错误二类错误(Type II error)，即在两个变量间的时候，我们却，认为它们之间。3.2 统计结论效度在实证研究中更为关注一类错误，即避免错误地接受一个并不存在的因果关系，进而影响后续的研究和管理实践。一个突出的例子是对于共同方法变异(common method variance)的态度。共同方法变异夸大了变量间的联系，导致有可能

16、错误地接受研究结论，产生一类错误。尽管研究表明这类基于个人感知的方法变异并不必然显著地改变变量关系(CramptonWagner，1994)，即拒绝含有共同方法变异的研究结论有可能犯二类错误，但为了避免一类错误，现在主流管理学杂志已很难接受含有共同方法变异的文章。 3.3 内部效度 内部效度是指测量变量间因果关系推论的可信度，其评价的是变量间是否真的存在因果关系，而不是变量测量结果之间的统计关系。图1中，可以用线c表示一项实证研究的内部效度。如果发现因变量y随着自变量x的变化而变化，且两者之间关系显著，在由此推断其间存在因果关系前，研究者需要考虑这一结论是否剔除了其他各种可能的替代解释。某些可

17、能使我们在解释x与y变量关系时出现偏差。例如，在管理学历史上非常有名的霍桑实验中，研究者通过改变监管方式、增加互动时间，发现参加云母片分离实验的员工绩效提高了15%，从而认定人际关系的改善是员工绩效提高的主要解释。Carey(1967)针对这一结论提出了自己的观点。他认为由于外部经济形势的好转和雇佣关系的改善，霍桑工厂5500名工人的平均绩效在实验期间也提高了7%。因此，在控制了外部经济因素对员工绩效的影响后，人际关系因素能够在多大程度上提高员工绩效?疑问 即使在研究设计中考虑了所有的干扰因素，剔除了混淆变量和替代解释对变量间因果关系的影响，也不一定能够保证研究的内部效度。因果关系方向不清是另

18、一个突出的问题。例如，在发现了组织支持和组织公民行为之间的显著关系后，很难判断是因为组织提供了无微不至的关怀从而提高了员工的组织公民行为，还是因为员工的忠诚表现而最终赢得了组织的支持。如果不能区分出变量之间的先后顺序，很难判断其间因果关系的方向。在实验法中，研究者能够较为精确地判断自变量和因变量变化的顺序从而避免这种问题。采用横截面数据(cross-sectional data)的问卷研究，由于自变量与因变量的数据来自同一时间点，更多地面临着因果关系方向不清的问题。外部效度考虑的是研究结论在其他情境中的可重复程度，它对应用性的实证研究而言是一个非常重要的评价指标。影响外部效度的因素主要包括：(

19、1)研究样本的选择:研究样本是影响研究结论外部效度的 首要因素。(2)研究环境本身可能具有特殊性，造成我们得到的结果无法推论到整个目标群体。被试预先知道了研究的目的，很有可能以一种角色扮演的心态完成实验任务。 可以选取具有较高代表性的样本来提高研究的外部效度。样本对于总体的代表性是外部效度的主要影响因素之一。外部效度的不足对于研究结论和理论发展并不一定总是坏事。如果能够意识到研究结论的情境边界，有时也许是新研究的开始。现在越来越多的管理学研究已经开始注意到情境因素（如人、环境、时间）对研究结论的影响。 自变量（收入水平）工作变量（工作满意度）误差（被试的心情/测试环境等）外生变异(组织气氛/个人期望/人格特征等)1.人