绩效审计方法之五 ——案例研究方法.doc

国外审计动态第9期（总第266期）审计署审计科研所 2011年4月7日绩效审计方法之五 案例研究方法一、案例研究方法概述美国审计署在诸如城市住房、武器系统测试、社区发展、军事采购合同、对巴西进出口净额的影响、水质改善项目的进展情况等审计项目中采用了案例研究方法。（一）案例研究方法的定义。案例研究方法是一种运用历史数据、档案材料、访谈、观察等方法收集数据，运用可靠技术对研究对象进行分析，从而得出带有普遍性结论的研究方法。它是一种分析性归纳方法，从个别到一般，通过对现实中某一问题的深入剖析，得出具有普遍意义的结论。为方便理解案例研究方法，先看以下两个例子。如果我们要研究导致Three Mile Island三里岛事件1979年发生于美国宾夕法尼亚州的核电站泄漏事件，译者注灾难的原因，并且将工作范围界定为描述要求的安保措施是否得以实施，这不是一项案例研究；但是如果我们把工作定义为考察导致灾难的深层原因、出现了什么错误以及为什么出现错误，这就是一项案例研究。如果我们被要求研究核设施的总体安全性，我们可能选择调查所有的核设施有关的自我符合性报告作为我们的研究方法，这不是案例研究；但是如果将工作界定为深入探讨核电站（包括三里岛以及其他核电站）中最近出现的问题，尝试理解安保措施为什么没有得到执行或者为什么不够充分，那么我们就将选择案例研究作为回答问题的方法。案例研究要求对复杂实例及其环境在全面理解的基础上进行详细的描述和分析。首先，案例研究对象是复杂性问题，如，“机场是否遵循了国内外关于乘客安保程序的要求”就是一个相对简单的问题，而“机场的安保程序是否足以保护乘客和设备的安全”，就是一个相对复杂的问题，就可以作为一个案例研究的对象；其次，案例研究应该尽可能全面地认识案例的进展并解释其原因；再次，案例研究应对运用多种渠道、多种方法获得的不同资料进行广泛深入地描述和分析；最后，案例研究对象可以是某人 （如菲律宾前总统）、某地、某一活动、某一事件 （古巴导弹危机、挑战者号空难等）、一个地区、一个组织或者部门。审计人员在开展绩效审计项目尤其是问题导向型绩效审计项目时，可以将整个审计项目作为一个案例研究项目，或者针对其中的某一审计事项开展案例研究。掌握案例研究方法可以有效地解决问题导向型绩效审计中关于“怎么样”、“什么事”“为什么”之类的问题；通过多案例研究还可以发现一些体制方面的问题，从宏观方面提出审计建议。（二）案例研究的分类。1根据案例研究的功能，案例研究分为探索型、描述型和解释型三种类型。探索型案例研究是在未确定研究问题和研究假设之前，凭借研究者的直觉线索到现场了解情况、收集资料形成案例，然后再根据案例来确定研究问题和理论假设。描述型案例研究是通过对一个人物、团体组织、社区的生命历程、焦点事件以及项目实施过程进行深度描述，以经验事实为支撑，形成主要的理论观点或者检验理论假设。解释型案例研究旨在通过特定的案例，对事物背后的因果关系进行分析和解释。2按照案例研究中使用案例的个数，案例研究分为单案例研究和多案例研究。单案例研究适用于:（1）极端个案分析；（2）对现有理论的批驳或者检验；（3）代表性或典型个案分析；（4）对他人未曾研究过的个案进行分析以启发更深入的研究；（5）对同一个案进行不同时间段的纵向分析。多案例研究遵循复制法则，而不是统计调查中遵循的抽样法则，对于多案例研究，选择的案例要么能够逐项复制，各案例产生相同的结果，要么可以进行差别复制，归纳出与前案例不同的结果；一般可以选择4-10个案例开展多案例研究，每个案例可以是整体性案例，也可以是嵌入性案例。无论单案例研究还是多案例研究，都可以分为探索型案例、描述型案例和解释型案例三种。这样,将两种分类结合起来，建立一个23的矩阵模式，可以形成六种不同的案例研究类型，具体如下表所示。案例研究的不同类型探索性描述性解释性单案例研究探索型单案例研究描述型单案例研究解释型单案例研究多案例研究探索型多案例研究描述型多案例研究解释型多案例研究3针对项目（或者方案）的案例研究可以分为项目实施案例研究和项目效果案例研究。项目实施案例研究一般要进行多样本研究，要回答“发生了什么？项目进程的满意程度如何？实施中存在哪些问题？原因是什么?项目效果案例研究要求测定项目是否有效，并挖掘项目效果的影响因素。美国审计署从事了很多这方面的研究。（三）案例研究的程序步骤。一个完整的案例研究过程包括：界定研究问题、设计研究方案、收集证据、分析证据、撰写研究报告五个步骤。第一步，进行案例研究设计。主要包括定义研究问题、提出理论假设（探索性案例研究可以不用进行理论假设 探索性案例研究遵循“扎根”理论研究方法。扎根理论 Glaser& Strauss(1967)、Strauss& Corbin(1998)的主要宗旨是从经验资料的基础上建立理论。研究者在研究开始之前一般没有理论假设，直接从实际观察入手，从原始资料中归纳出经验概括，然后上升到理论。扎根理论在理论建立的整个过程中不断运用比较原则，从收集到第一份资料开始，研究者就进行比较以刺激思考，并能全面、扼要地抓住研究现象的主要特质。运用比较的方法整理资料，可以发现数据之间的秩序、看到各种现象之间的关系。这是一种自下而上建立实质理论的方法，即在系统收集资料的基础上寻找反映社会现象的核心概念，然后通过这些概念之间的联系建构相关的社会理论。）。提出理论假设的目的是指导资料收集和资料分析，减少研究工作量，避免走弯路。第二步，拟定研究草案。主要包括定义研究对象、形成研究主题、明确案例性质、确定案例选择范围和数量。第三步，证据收集。采用访谈、观察和第三方信息等方法收集相关证据资料。第四步，证据分析。对收集的资料进行深入分析，如果是多案例研究，还应进行案例内分析和交叉案例分析，前者是把每一个案例看成独立的整体进行全面的分析，后者是在前者的基础上对所有的案例进行统一的抽象和归纳，进而得出更精辟的描述和更有力的解释。第五步，提出结论，撰写报告。上述步骤中证据分析与证据收集可以同时进行，形成互动，证据收集是证据分析的基础，证据分析又为下一步的证据收集提供指导和方向。在证据收集和证据分析不断循环的过程中，研究的问题也许会得到重新的提炼，并带来更多的数据和新的发现。二、案例研究方法的适用范围 （一）案例研究方法可以回答哪些问题。一般而言，社会学研究方法主要包括调查法、实验法、历史法、档案研究法和案例研究法五种，这些方法分别适用于解决不同类别的问题。具体到不同研究方法，其不同的适用范围如下表所示：不同研究方法的适用范围调查法实验法历史法档案研究法案例研究法什么谁、哪里如何为什么研究人员必须清楚在什么时候可以采用案例研究方法而不是其他方法；一般而言，在具体选择研究方法时，一般可以遵循的流程如下图所示：上图中确定研究对象是否可控或要不要控制很重要。这些研究对象可以包括个体、组织、过程、制度、事件等。研究对象是否可控主要是考虑影响研究对象的因素是否可控；研究对象是否与当前环境有关，决定了是采用历史研究法还是案例研究法。在进行探索性研究时可以采用上述所有方法，也可以在一项研究中采用多种方法，如在案例研究中采用调查法或者相反。案例研究法与其他社会学研究方法相比有以下特点：以现实问题为研究对象，目的在于对所研究的现实问题有较深入的认识；一般以一个具体的事件为依托，探索事件发生、发展的原因、结果和影响；以实地深入调查为重点，并注重二手资料的收集、整理和分析。（二）几种常用的案例研究法的适用范围。将案例研究作为一种评价方法，必须首先考虑是评价哪一种问题，然后考虑每一种案例研究在回答这类问题时的优势和劣势；下一步，关键就是观察每种案例研究的特点，并决定它是否可以满足特定环境下的方法要求。1示例型 （illustrative）案例研究。示例型案例研究主要描述发生了什么以及为什么发生，通过一两个案例，来展示具体情况。在有理由相信大多数读者对一个项目或者情况知之甚少，以至于不能完全理解通过调查或者其他方法得到的信息时，示例型案例研究可以帮助理解这些信息。如美国审计署曾运用这种方法辅助调查了住房补贴情况，他们选择了三个代表性城市，描述了这些城市的住房情况、住房相关活动、资金使用状况和移居前后对个人的邻居和住所的影响等问题，增强了对该项目运行的共识。这种案例研究所需的样本数量少，证据资料可能包含较多的可视资料。当项目之间存在重大差异，选择典型样本难度较大时，不宜采用这种类型的案例研究。2探索型（exploratory）案例研究。探索型案例研究可以理解为一种缩小了的案例研究，往往在开展大规模调查之前进行。当项目运行和结果存在很大的不确定性时，通过探索型案例研究可以为后续的研究识别问题、制订评价标准，提供案例研究设计和分析策略。因此，这种案例研究的成果一般包括详细的问题描述、数据来源渠道、重要变量、数据库和样本选择标准等内容。探索型案例研究形成的假设有时可以泛化（generalizability）。美国审计署曾经在对巴西市场的研究中运用探索型案例研究考察了出口竞争中出现的问题。通过会见官员和私人机构代表、查阅官方文件、对相关公司发放调查问卷等方式，审计人员发现了影响巴西市场出口竞争的四个关键因素。探索型案例研究样本的选择既要考虑方便性又要考虑差异性，探索型案例研究的成果往往不很成熟，因此主要作为对内报告或者作为更大规模案例研究报告的一部分。3关键案例（critical Instance）研究。关键案例研究用于特定情况下特定的复杂问题的考察，如三里岛事件（1979年美国发生的核电站泄露事件）、挑战者号事件等。这些关键案例研究的结果往往不需要泛化，但可能需要对其进行深入全面地分析，以了解事件的前因后果，提出针对性建议，以防范此类问题的发生。关键案例研究的另一种情况是，通过考察一个关键案例来研究整体情况，提出普遍存在问题的解决方案，这种情况下可以将单个案例的建议推广至总体。如美国审计署曾经检查与货物进出口有关的国家政策和相关程序是否会在港口运作中引发问题，该项目中他们选择了进出口业务具有多样性的、有一定业务规模的纽约港进行测试，这样如果该港口发现问题，那么其他港口可能也会存在这些问题，如果没有发现问题，其他港口也不太可能发现类似问题。这种案例研究适合回答案例中的因果关系，采用这种案例研究应注意避免结论的过度泛化。4项目实施（program implementation）案例研究。这种案例研究常常用于回答项目是否实施了，是否按照委托者的意愿实施的等类似问题。这种案例研究有助于理解项目实施过程中制订了哪些决策、涉及哪些人以及是否满足地方需求等问题；也可以深入挖掘项目实施中发生了什么、为什么会发生等问题的信息，为项目实施结果的变化提供解释，针对项目实施的内控和程序提出改善建议。这种案例研究需要对多样本进行分析，需要投入较多的时间和人力，研究建议可以泛化推广。美国审计署常常紧密地跟踪项目实施和项目活动，如为跟踪人口普查项目的开展情况，审计人员在主要地点协助普查员进行现场调查，深入考察区域办公室的相关工作程序，并提出了改进建议。项目实施案例一般应选择多个样本点，并对相关调研人员进行培训，以提高工作质量5项目效果（program effects）案例研究。项目效果案例研究的重点是测定项目的效果，分析项目成功或失败的原因。这种案例研究方法往往与其他研究方法相结合，对于差异化程度较大的项目应该选择最佳、最差、代表性、典型性案例进行分类研究，并对相关差异进行解释。这种案例研究的结果可以泛化推广。美国审计署于1982年考察了自20世纪70年代开始的国家空气、水质和土地的净化工作进程，发现工作向着既定目标有了很大的进展（更洁净的空气，合理处置的废水，更加适宜饮用的水源），但是截止日期却延长了，一些没有解决的问题加大了这些工作在截止日期前完工的难度。6累积（cumulative）案例研究。累积案例研究相对较新颖并且还未普及，它将不同时间的案例研究发现综合到一起。前面讨论过的案例研究，包括多样本点案例研究都是跨空间的，也就是说，是在同一时间从不同样本点获取信息；相比之下，累积案例研究是将不同时间甚至是很长时间内不同地点的信息汇总起来。从这个意义上来看，有点类似于研究综合法，但它又具有案例研究法的特征。审计人员可以基于审计机构或者其他机构不同时期发布的同一问题的研究报告进行累积案例研究。三、如何运用案例研究方法（一）案例研究设计。1案例研究设计的要素。案例研究设计是案例研究的蓝图，科学的研究设计可以成功地引导案例研究的开展。一个完整的案例研究设计一般包括五个要素：问题界定、理论假设、分析单位、连接数据和假设的逻辑、解释研究结果的标准。案例研究最适合回答“怎么样”和“为什么”的问题，在探索型案例研究中还可以解决“是什么”的问题。因此准确地界定问题性质是确定是否开展案例研究的前提。提出假设可以引导研究者有针对性地收集证据，确保研究方向不发生偏离，减少收集证据的盲目性。对于探索性问题的案例研究可以没有假设，但应明确其研究目的和高质量研究成果的判定标准。进行案例研究之前应构建一个有助于进行研究设计的理论框架，防止出现偏差。这些理论框架无论是描述性的、解释性的或者探索性的，都可以作为对资料进行归纳分析的工具。进行探索型案例研究时，从个案中归纳出理论只能用分析性归纳，而不能采用统计性归纳。一般情况下，案例研究的分析单位可以是个体、事件或者实体。界定分析单位必须与研究问题的性质相联系。当然，分析单位在确定之后也不是一成不变，随着资料收集过程中出现的新问题、新发现，分析单位也应不断修订。另外，前期研究文献可以帮助研究者界定分析单位。连接数据和假设的逻辑实际上就是对各种理论主张（包括研究者的主张）的明确描述。简单的方法是根据几种竞争性假设或者解释设计几种可能的模式并进行描述，然后比较哪种模式与收集的数据更匹配。确定解释研究成果的标准可以明确研究的深度和广度，节约案例研究成本，提高研究质量。2进行案例研究设计。单案例研究可以分为嵌入式单案例研究和整体性案例研究。两者各有利弊，有各自的适用范围。多案例研究要求每个案例都服从于某一目的；遵循复制法则而不是抽样法则；多案例研究中的每一个单独案例可以是嵌入式的，也可以是整体式的。其结论可能更具有说服力，但需耗费更多的精力、时间和经费。研究者选择进行单一案例研究还是多案例研究,主要取决于研究者获取案例素材的能力、时间、精力以及经费支持，还有就是研究团队的规模。在进行案例研究设计时,如果有条件的话应该采用多案例研究；研究设计应具有某种程度的灵活性，在研究过程中也不是一成不变的，但修改前必须确定修改的性质。（二）案例研究实施。1准备工作。l 基本技能培训一个好的案例研究人员应该能够提出好的问题，有刨根问底的精神，是一个好的倾听者，保持灵活性和严肃性，能够牢牢把握问题的本质，同时对研究的问题不能存在偏见。在问题界定和研究设计之后应该针对上述技能对多个研究者（尤其是嵌入式单个案例或者多案例研究）进行培训。培训可以采用专题研讨的方式，使得审计人员了解研究的目的、收集的证据、可能的变数，各种证据目的是为了证实还是证伪。通过培训制订研究草案、发现研究设计和团队方面的问题。在培训过程中，各小组制订不同主题的研究草案，并进行整体讨论。案例研究草案一般包括：对案例研究项目的审查和评估；实地调查的程序；需要研究的问题；撰写案例研究报告原则等。通过培训还可以了解研究设计和研究团队是否存在问题、研究期望或者资料来源是否切合实际。应该尽量在培训活动中将潜在的问题全部暴露出来。l 筛选案例除非那种独一无二的案例或者极端案例，研究者一般要面对很多可供选择的案例，必须选择一个案例作为单案例研究的对象，或者选择一系列案例作为多案例研究的对象，筛选的目的是确保在资料收集之前能确定合适的案例。案例选择直接影响到案例研究的质量，案例选择遵循可采用目的性原则、便捷性原则或者抽样原则，大部分案例的选择是有目的性的选择，如选择极端案例（最佳或者最差案例）、代表性案例、关键案例等。l 试点研究研究者可以根据便利性、可接近性等标准选取案例进行试点研究。通过试点研究可以在资料收集程序和内容方面提供宝贵经验，并据以修订收集资料的方案。试点研究报告要关注研究设计和实际研究程序之间存在的不协调之处，以便进一步改进资料收集程序。2证据收集。l 证据来源案例研究常见的证据来源主要包括：文献、档案记录、访谈、直接观察、参与性观察和实物证据。文献证据可能表现为信件、备忘录、各种公报、布告、会议记录、管理文件、研究和评价报告等。其主要作用是证实或者证伪，通过其他来源获得的资料，可以检验其他方法如访谈中形成的信息，值得注意的是文献并非事件的真实记录。文献的主要优点是可以反复阅读，涵盖面广；主要缺点是可检索性较低，一些人为因素可能会影响资料的获得。案例研究中使用的档案记录包括服务记录、组织记录、地图和图表、个人记录如日记日程表、电话记录等。值得注意的是档案的隐私性和保密性会影响资料的获得和使用。访谈是案例研究不可或缺的信息来源。访谈时要围绕需要解决的问题，力争提问不带有任何偏见。访谈包括开放性访谈、有重点的访谈、包含调查的访谈。在访谈时是否录音应慎重考虑。为了了解项目对当事人的影响，应该从各级人员中获取意见，只访问资深官员的案例研究并不是很好的案例研究。直接观察可以是正式的也可以是非正式的，非正式的直接观察可以与其他方法如访谈同时进行；直接观察的证据载体一般是照片或者摄像资料；直接观察的对象包括会议、人行道上发生的事件、工厂的劳动、教室的教学等。采用直接观察有时需要被观察单位的同意，另外，为了提高观察类证据的信度，也可以安排多人观察。参与性观察的审计人员不是旁观者，而是一个参与者，如可以成为组织中的一名工作人员、决策者等。其主要问题是可能会带有偏见，并耗费大量的精力。实物证据包括物理和文化的人工制品技术装备、工具或者仪器、艺术品等。这些证据一旦使用就会成为案例研究重要的组成部分。l 证据收集的原则（1）尽量使用多种证据来源。使用多种证据来源就是通常所说的证据三角（Triangulation）法，由不同的研究者使用不同的渠道、不同的方法搜集资料，得出的结论更可靠。好的案例研究应尽量通过多渠道收集资料，并相互印证。这一点要求评价人员掌握多种来源资料的收集方法。（2）建立案例研究数据库。案例研究数据库包括案例研究记录、案例研究文献、图表资料、对问题答案的记录等。数据库经过检验应能够反映事实，并且和案例设计中的具体步骤一致。案例研究数据库是案例研究报告的基础，可以增强案例研究的信度。（3）形成证据链。一个优质的案例研究应该使一个外来者能够从最初的研究问题，随着相关资料的引导，一直追踪到最后的结论，反之亦然。这就要求研究者在研究报告中引用数据库中的有关部分，并在引用时清晰地显示数据是在什么情况下收集的。同时要求研究报告应对案例研究数据库进行充分地引用。3证据分析。l 证据分析一般包括检查、归类、列表、检验等。l 证据分析技术 以下五种技术有利于提高证据分析的质量：模式匹配、建构性解释、时间序列分析、逻辑模型和跨案例分析。 第一种分析技术是模式匹配。模式匹配需要在工作开始前利用过去的经验、逻辑或者理论来界定我们的预期发现。分析比较实际调查结果与预期。结果符合预期，模式就得到证实；当发现不符合预期,评价人员调整他们的预期或者解释它们，建设一个子程序来解释意外研究结果。 第二种分析技术是建构性解释。就是提出一套有关某一现象假定存在的因果关系。由观察开始,评价人员获得关于正在发生的事情的印象以及为什么会发生的信息。用这些数据匹配最初预期，来改变它们，或者详述阐述它们，形成假设或者理论。 第三种分析技术是时间序列分析。它是指沿着时间维度，对一段时期内的事态发展进行跟踪性研究，并分析事件变化的原因。与模式匹配相比，时间序列分析在某种意义上要简单的多，因为时间序列中可能只有一个自变量或者因变量。在这样的情况下，当众多资料是相关且可以获得时，可以使用统计技术来检验、分析资料。时间序列分析的内在逻辑是把数据资料的趋势与以下三个趋势进行对比：（1）在调查开始之前就可以推断的某种理论趋势；（2）提前确定的某种相反趋势；（3）其他任一有损于内在效度的趋势。第四种分析技术是逻辑模型。逻辑模型是阐明一个项目或者组织活动从投入、活动或者过程，到产出，再到短期、中期和长期结果，以及诸因素间因果关系假设的一种图表。逻辑模型的基本构成是：“投入活动产出结果”。它可以帮助评价人员搞清单位（或者项目）业务活动诸要素的性质及其背后的因果逻辑联系。一旦建立起关于被审计项目或者单位的逻辑模型，就可以设计出被审计单位或者审计项目的一系列绩效评价指标。逻辑模型可以分为个体层面的逻辑模型，组织层面的逻辑模型，项目层面的逻辑模型。第五种分析技术是跨案例聚类分析。分析不同的案例中同一变量的特征，根据这些特征将案例进行分类研究。对于多案例研究数据的分析方法还包括了类别矩阵、图形技术显示、事件频率表等方法。类别矩阵分析法要求在数据收集前制订编码计划，如果细分问题是“美国移民局如何监控个人营运的羁押机构中的羁押情况？”，编码分类可能包括，由谁负责，这些负责人如何得到信息，他们如何处理得到的信息等，这些分类可能会根据场所规模和收押对象为标准制作矩阵，这种方法和内容分析法类似。图形技术显示是同源技术的应用，评价人员用将关于“发生了什么”和“为什么发生”的故事由一个带有关键路径信息的流程图展示，要展示支持性的证据，在收集反面证据的基础上勾勒出附属的或者分支的路径，当一个样本点的图形得到满意的绘制后，评估员赶赴下一样本点，评估员可以根据在第二个样本点获得的信息修正第一幅图形，或者编制一个新的独立的流程图。当所有样本点的数据都被绘制完毕后要进行加总，这些绘制出的流程图就是加总的数据库。4报告撰写。l 案例研究报告要以读者需求为导向案例研究报告的读者群较多，因此，撰写案例研究报告前必须明确研究报告特定的读者群，了解读者群的需求。在实践中，可以针对不同类型的读者撰写多个版本的研究报告。l 案例研究报告的格式（1）经典的单案例研究报告。这种案例研究报告可采用单人称叙述，可以用表格、图标等形式。（2）经典单案例研究的多案例版本。这种研究报告中，每个独立的章节描述一个案例，最后一个章节做综合分析。（3）问答格式的单案例报告或者多案例报告。这种研究报告中，每个案例遵循一系列问题和答案来编写；在适用于多案例研究时，可以用来做跨案例比较分析。（4）多案例研究报告。在这种类型的研究报告里，每个章节反映的是跨案例分析的问题，同时，每个案例的信息分散在各章节里。（5）整合案例研究和调查的研究报告。如果一个案例中可能存在嵌入式分析单位，或者案例研究只是一个更大范围研究的一部分时，可能会需要多种方法获得相同的例证；研究报告会建立在对档案资料进行调查和定量分析的基础上；也可能需要多个案例研究阐明一些基本过程，并用另外一种方法阐明这一过程的普遍性或频率。这种情况下要编制整合案例研究和其他研究方法的研究报告。l 案例研究报告的结构有五种结构适用于上述所有研究报告类型。具体包括：线性分析结构：适用于解释型、描述型和探索型案例，遵循项目或者问题的顺序，按综述方法成果结论的思路撰写研究报告，是案例研究报告的标准结构。比较式结构：整个案例研究以比较的方法重复两次以上，如联系不同的理论多次重复描述同一案例，适用于各种案例研究类型。时间顺序结构：依照时间顺序陈述案例，在解释型案例中适用较多，其他两种类型也可以适用。理论建构式结构：章节结构按照理论构建的逻辑来安排，多用于解释性或者探索性研究。悬念式结构：与线性分析式结构相反。将结果或者问题答案前置，在后面的章节解释结果或者答案的形成，常适用于解释型案例研究。（三）案例研究复核。1优秀案例研究的质量标准。衡量案例研究质量的标准主要包括建构效度、内在效度、外在效度、信度。l 建构效度：对所要研究的对象形成一套科学的可操作性的测量。要求采集证据多元化并形成证据链，可能的话可以要求证据提供者复核研究报告草案。l 内在效度：案例研究要从纷乱的假象中找出因果关系，内在效度是指自变量与因变量的因果关系的真实程度。在解释型案例研究中一般要检测内在效度，实践中可以采用模式匹配法、建构性解释、提出竞争性解释、使用逻辑模型等方法。探索型和描述型案例不用检测内在效度。l 外在效度：主要指研究结果的可推广性、适用性。可以用理论指导单案例研究或者用复制方法进行多案例研究；应尽量将研究结果归纳为理论。l 信度：要求案例研究的每一个结果都具有可重复性，如果重复这一研究，可以得到相同的结果；信度检验的目标是降低和减少研究中的错误和偏差。可以采用案例研究草案或者建立案例研究数据库等方法提高案例研究的信度。案例研究质量保障策略如下表所示：案例研究质量保障策略质量要求研究策略适用阶段建构效度采用多元化证据来源形成证据链证据主要提供者复核案例研究报告资料收集资料收集撰写报告内在效度模式匹配尝试进行某种解释分析竞争性解释运用逻辑模型证据分析证据分析证据分析证据分析外在效度用理论指导单案例研究使用复制原则进行多案例研究研究设计研究设计信度制订案例研究草案建立案例研究数据库资料收集资料收集2案例研究复核的内容。（1）案例研究设计。l 要研究的问题是否得到明确清晰的陈述？案例研究应当使读者能够在研究报告开始就对所回答的问题和调查的事项有所了解。l 案例研究应用方法是否得到明确描述？是否合理？案例研究应该描述所使用的案例研究方法；应该解释为什么采用这种方法对于所回答的问题类型是合适的。当同时应用几种研究或者调查方法时，案例研究方法同其他方法间的关系应该进行明确的说明。l 研究的时间跨度是否足够长并足以解决核心问题？案例研究应该报告针对实例（或者项目）历史的调查占用了多少时间。旨在获得全面、综合分析的案例研究应该从事件开始跟踪到其结束。l 案例选择的标准是否得以说明？它适用于案例研究的目的吗？案例研究应该提供选择样本点的原因和标准。这些原因应该是考虑了泛化需求而对案例研究方法作出的选择。在评价案例研究准确性方面，选择的样本种类和样本数目同样重要。选择样本案例需要注意物理环境，还需要注意项目服务的对象和在处理中的可变因素。（2）数据收集。l 是否说明了数据收集的方法？这些方法是否适合案例研究的目的？非程式化的方法可能适用于示例型和探索型案例研究。半程式化的方法可能适合关键案例研究，包括多样本点研究，特别是有多个调查员负责收集信息时。l 如果有多个调查员负责搜集数据，其他调查员如何选拔、培训和监管？由不同人员在多样本点收集的数据变量的结果是不确定的，因此对相关人员进行督导是优质案例研究的关键。l 是否清晰、完整地描述信息来源？这些来源是否合适？案例研究应当详细地展示证据的来源。案例研究对这些细节的要求比其他方法对细节的要求要高。优秀的案例研究给出受访者人数和职务，并给出他们为什么适合提供评估问题的证据。读者应该能够从案例研究报告给出的信息来评价案例研究的结论在信息来源合适性和完整性方面的可信程度。（3）数据库信息和数据分析技术。l 是否描述了形成数据库的过程？案例研究应该描述数据库是怎样建成的，并展示如何做出关于质量、精确度和各个样本点数据库的详细信息的决策。l 是否清晰地描述了数据收集和数据处理的技术？它们是否合适？一个好的案例研究应该能让读者知道数据是怎样收集的，并且是如何一步一步得到处理的。如果调查人员运用了半结构化的数据包，一项好的案例研究还应该描述这一数据包，或者将其置于附录中。应该充分描述所有的数据获取和编码的步骤以及数据分析技术。在三角剖分法（证据三角）中使用了怎样的数据来源？按照什么样的顺序使用？如何处理有偏离的结果？在上述每一步骤中，都应该采取相应的措施确保完整性并减少存在偏见的威胁。l 有没有不同的解释？如果有，是如何处理的？好的案例研究应该明确说明调查小组不同成员以及草稿复核人对于证据和事件的不同解释。案例研究方法经常使用评判性、解释性和主观性的数据，这些数据通常无法进行二次分析。所以案例研究报告比使用其他方法的绝大多数报告更直接、更清晰的陈述观点和证据。l 如果针对事件的其他研究、调查或者实验是存在的，它们的结果是否被呈现并同案例研究的结果进行协调？考虑到信息的完整性，案例研究应该陈述相同事件的其他研究方法的发现和结论。当结果不相一致时，案例研究应调和或者尽可能的解释其中的差异。（4）报告。l 方法的优势和缺陷是否得以清晰描述？案例研究应该报告所使用的关于回答评价问题的方法的优缺点，并解释在二者间如何权衡以及谁影响决策。当有几位决策者参与的时候，优秀的案例研究应该描述每位决策者做出的决策类型和这些决策的影响因素。l 对评估问题不同的解决方法是否得以呈现？多数案例研究都是关于一些观点种类形成的问题。好的案例研究识别所考察事件的要素并展现支持这些方法的原始观点和支持这些方法的发现。l 各种反对解决问题方式的观点是否得以呈现？优秀的案例研究应该展现反对问题解决方案的原始观点。案例研究调查员被认为应该搜集证实和反对观察情况和结论的证据。明确的写明支持和反对各种解答方式的观点，可以帮助读者知道调查员是如何全面的考虑事件，以及他们如何从两个方面完整的收集证据l 案例研究是否识别了解释所观察现象的因素？是否清晰地陈述了这些因素的识别是基于深入调查和认知，或者基于定量技术基础之上的？案例研究因为较强的解释能力和他们识别问题原因及事件本质方面的优势而被使用。优秀的案例研究能够明确的识别替代解释，列出证据链，并指明哪些结论是主要基于调查员的深入观察以及哪些是通过其他方法获得。（5）公正性 （Impartiality）和泛化。l 是否有合适的措施保障调查员的胜任能力和公正性？优秀的案例研究应该提供调查员在案例研究方法方面的经验以及他们先前对于回答的问题做了怎样的陈述。调查员经过案例研究方法培训的证据越多，他们以往回答相关问题的方式越公正、越努力减少偏见，读者就越可以信赖他们工作的质量。对于美国审计署的报告来说，工作底稿应该包括评估小组整体具有相关技能、单个组员没有公正性障碍的证据。对于我们计划在研究中使用的他人的报告，我们同样也会从报告本身或者从知情人士处寻找相应的保证。l 对于报告草稿的评价是否可以获得？也许正是因为案例研究比其他方法要求更多的细节，案例研究报告有时会被批评不能确信其公正性。优秀的案例研究应对这种批评的一个方法就是在报告中包含一个技术性的索引，给出复核草稿人的全部评论。l 是否有可供评价泛化能力的足够信息？限制泛化的合理因素是否得到关注？在好的案例研究中泛化的基础是清晰陈述的。它提供评价可泛化能力的证据、种类和细节。四、案例研究的优缺点 （一）案例研究法的优点。 1案例研究法的适用范围较广。案例研究法可以解决大量的现实问题，具体包括“怎么样”和“为什么”的问题，探索型案例还可以解决“是什么”的问题。这些现实问题的前因后果往往是审计人员关注的焦点。2案例研究法有利于研究新问题，构建新理论。案例研究尤其是极端案例研究往往不能用假设或者理论来解释，通过对这些案例开展研究可以发现新问题、新的影响因素等，进而在构建新理论的基础上提出新的建议。（二）案例研究法的缺点。1有时难以对发现进行归纳。案例研究的归纳不是统计性的而是分析性的，这必定使归纳带有一定的随意性和主观性，也增加了归纳的难度。 2存在技术上的局限和研究者的偏见。案例研究没有一种标准化的数据分析方法，证据的提出和数据的解释带有可选择性，研究者在意见上的分歧以及研究者的其他偏见都会影响数据分析的结果。3可能消耗大量的时间和人力。大量的人力和时间耗费是案例研究中一个非常现实的问题。五、应当注意的问题（一）样本点的选择。选择样本的方法有三种：一种是考虑便捷方便，选择信息容易获得和成本最小化的样本案例；第二种是有意识地选择，包括极端案例、代表性案例、关键案例等；第三种是抽样选择。不同种类的案例研究选择样本的方式和数量也不一样。示范型案例研究一般针对重要变量选择典型的或者代表性案例，案例不宜太多；探索型案例研究一般根据便捷性原则，针对每一个重要变量至少选择一个样本点，样本数量要足以体现差异性；关键案例研究一般不用选择即可确定，有时便捷性选择也可以接受，样本一般只有一个；项