文献质量评价具体方法及案例.docx

附1：文献评价参考方案如何评价护理科研论文Evaluating Research Reports在临床护理实践中开展护理科研不仅是一种传递学术信息的手段，同时，也有利于促进护理实践水平的提高。因此，护理科研实际上是与每一名护理专业相关人员都息息相关的，并不是少数专门从事护理研究的人员的责任。作为一名专业护理执业者，我们首先应具备评价专业领域的相关研究报告的能力。因此，本篇旨在为护理专业人员提供对于护理科研论文严谨、深入评价的具体指导。本篇以评鉴量性研究研究报告质量为例，所列评价要点及问题来源于Nursing Research: Principles and Methods（Denise F. Polit, Bernadette P. Hungler.）（以下为本项目组的中文翻译版本）一、 研究报告评价的基本原则1. 对于你所评价的研究报告，不要只评论该研究的缺陷和不足，要看到其优势及价值，任何一项研究的开展都有其对护理实践的独特意义，不要忽略这些闪光点，且应在你的文献评价报告中有所体现。2. 对于你所提出的该项研究的优势及不足之处，应给出具体的实例论证支持。切莫仅仅给出空泛的赞扬或批评。3. 让大家信服你所提出的评价。例如对研究报告中研究者未能合理解决的问题提供一个更好的解决办法或更强大的理论支持。4. 评价应尽可能的客观。不要因为你对该研究的主题不感兴趣，或是你的理论信仰与该研究的理论基础相悖就过度批判。5. 对于提出的否定的评价应措辞恰当，表达清晰明白，语言中肯，应站在研究者的角度来考虑评价的语言是否合适、易于接受，既不要过分谦逊，也不要出言讽刺。6. 给研究者或对未来类似研究的开展提出建议。不要仅仅指出问题，应提出具体的、可实施的建议。7. 对研究的各个方面综合评价研究的本质、理论基础、方法学基础、伦理问题、对研究结果的解释和图表等多方面均应涉及。二、 对研究问题及研究假设的评价1. 研究者是否明确的提出了研究问题；是否对研究的范围给出了合理的限定？2. 该研究问题对护理学科是否具有重要意义？其研究意义具体体现在护理临床实践、护理管理、护理教育等哪些方面？3. 该研究问题与研究开展的理论框架是否合理匹配？4. 研究问题是通过何种方式阐述的，陈述具体的研究目的，提出研究问题，还是提出需要检验的假设条件？另外，问题的阐述是否清晰、明确？在研究报告中，提出研究问题的过程是否合乎逻辑？研究问题的阐述是否在文中位置明显，易于引起阅读者的注意？5. 研究目的或研究问题表述是否完整？例如，是否确定了研究的关键概念及变量，具体指出了研究群体和目标人群？6. 如果该研究报告没有正式的提出研究的目的或假设，这种缺失是否有其合理性？7. 如果提出了研究假设，这项假设是否以理论框架或先前的研究为基础？或者，研究者的这项假设预测的依据是什么？8. 如果提出了研究假设，是否明确预测了两个或多个变量之间的关系？三、 对文献回顾的评价1. 文献回顾是否全面？是否涵盖了该相关专题几乎所有的主要研究？是否包含了近几年的研究文献？2. 在原始的研究文献能够得到的情况下，是否过多的依赖于二次来源的文献？3. 是否过多引用经验性文章，而忽略了研究型文章的结果描述？4. 文献回顾的内容与本次研究的主题是否紧密相关？或者联系并不密切？5. 文献回顾部分是仅仅对既往研究工作的总结概括，还是对该领域主要研究成果予以批判性的评价和比较？是否讨论了以往研究的薄弱环节并指明了此次研究的进步之处？6. 文献回顾部分是对既往文献进行充分的解述还是单纯的引用？7. 文献回顾是否通过恰当、合适的语言指明了既往研究中易引起质疑的方面？文献回顾部分语言是否客观？8. 文献回顾部分组织结构是否合理，逻辑推理是否清晰，蕴含的逻辑关系是否能为新的研究埋下伏笔？9. 文献回顾最终是否概述了关于此研究领域最先进水平的研究成果？四、对理论（概念）框架的评价1. 研究报告是否描述了该研究相关的理论或概念框架？如果没有，该部分的缺失是否会降低本次研究的实用性或重要性？2. 报告中是否详细描述了相关理论的重要特征，从而使读者能更好的理解该研究的概念基础？3. 选用的理论框架是否适合于本次研究的主题？是否有更合适的概念框架可以替换？4. 该研究的理论框架是基于一个护理的概念模型，还是来源于其他学科？研究者对选用该理论框架是否给予了充分合理的解释说明？5. 研究问题和假设是从理论框架中自然衍伸出来的，还是问题与理论之间的关联过于牵强？6. 根据相关理论或概念框架所作出的推理演绎是否合乎逻辑？7. 是否对研究过程所涉及的所有的概念均作出了与理论框架相一致的充分确切的定义？8. 在研究报告的结束部分，是否再次将研究的结论部分与理论框架相关联？研究的结论是支持还是削弱了该理论框架？五、对量性研究研究设计的评价1. 根据研究问题的性质，何种类型的研究设计最为合适？2. 所选择的研究设计类型是否包含了实验性干预措施？如果有，是否对该干预措施进行了详尽的描述？3. 如果研究设计中存在干预，根据干预的类型该研究应该被定性为实验性研究、类实验性研究还是前实验性研究？是否可以选择一种更有说服力的研究方法？4. 如果选择了非实验性研究方法，研究者为什么不对该研究的自变量进行控制处理？选择对研究变量不加干预的方法是否合适？5. 研究设计中具体选用了何种对照方法？（例如，前后对照，或组间对照？）选择这种对照方法是否最有利于揭示研究的自变量与因变量之间的关系？6. 如果该研究设计方法不包含对照，那么在对研究结果的解释方面是否存在困难？7. 该研究设计是纵向研究还是横断面研究？根据研究问题，研究设计中资料收集的方式和时机是否合适？8. 研究者采取了何种措施来控制影响研究设计的外部因素（环境因素）？该措施对于此类研究是否充分且合适？9. 研究者采取了何种措施来控制影响研究设计的内部因素（主观变量）？该措施对于此类研究是否充分且合适？10. 该研究的内部效度如何？哪些因素可能造成对研究内部效度的威胁？该研究设计方案是否能够保证研究者推论出研究变量间的因果关系？11. 该研究的外部效度如何？该研究设计是否因为其过于人为化而应受到批判？12. 该研究设计的主要缺陷表现在哪些方面？研究者是否在研究报告中认识到了研究设计的缺陷，并且对研究结果的解释部分考虑到了这些局限之处？六、量性研究样本和抽样方法的评价1. 对样本的描述是否清晰、明确？是否具体、清楚的指明了样本的纳入、排除标准？2. 对样本采用了何种抽样方法？概率抽样还是非概率抽样？报告中是否予以指明？3. 该研究是如何招募研究对象（样本群体）的？对样本的纳入过程是否暗含潜在偏倚？4. 运用此种抽样方法所选出的样本人群对总体的代表性是否充分？5. 如果选择的抽样方法较为薄弱（例如方便抽样法），在报告中是否指明了因此导致该研究的潜在偏倚？或者根据研究的问题，是否有选择这种抽样方法的依据？6. 除了抽样方法本身，是否还有其他的因素（例如受试对象应答率较低）对样本的代表性有影响？研究者是否为提高受试对象的应答率采取了措施？7. 是否对样本量和样本的主要特征有所描述？8. 研究所选取的样本量是否足够？是否是在效能检验的基础上确定的样本含量？9. 该研究的得出的结果可以合理的推广到怎样的总体？七、资料收集过程的评价1. 请描述该研究所采用的资料收集方法。是否同时采用了多种资料收集方法且有效结合？2. 如何选择资料的收集者？资料收集者的职业、他们与研究对象的关系等因素是否会对收集无偏倚、高质量的研究资料有影响？3. 资料收集者的培训情况如何？对他们的培训是否充分？是否采取了有效措施提高了资料收集者的能力？是否对资料收集者的表现进行了评价？4. 请描述资料收集的环境。该环境对资料收集是否合适？5. 在资料收集过程中是否有其他人群在现场？这种现场的干扰是否对研究结果造成了潜在的偏倚？6. 研究对象在提供研究所需的资料信息时是否将自身暴露于危险因素之下（例如承认自己的犯罪行为或不被社会所认可的行为）？这种暴露过程中的危险因素会导致怎样的偏倚？7. 资料收集过程是否会对研究对象造成负担（例如时间上的、精神压力上的或隐私方面的负担）？这会对收集到的资料的质量产生何种影响？八、对自陈报告收集资料方法的评价l 对访谈和问卷调查式收集资料的评价1. 是否根据研究的问题而选择了自陈报告这种资料收集方式？是否有其他更合适的资料收集方法可以采用？2. 该资料收集方法是如何安排组织结构的？这种组织形式的条理性是否与研究问题的性质一致？3. 对受访者所提出的问题是否充分涵盖了调查现象的复杂性？4. 根据研究问题和受访者的特征，研究者是否采取了最适合的自陈报告形式（面谈法、电话访问或自我设计问卷）？是否可采取其他更合适的方法来提高收集的资料的质量？5. 如果有现成的调查工具可用于资料收集：该调查工具的长度是否合适？是否将开放式问题与闭合型问题有效结合？语言的运用是否清晰敏锐？问题的顺序安排是否合适？回答问题的相关选项是否易于理解？这些问题的提出是否会导致回答的偏倚？6. 调查工具或调查问卷以及资料收集过程是否经过了充分的预实验？l 对量表收集资料的评价7. 如果在资料收集过程运用了量表，选择该量表的理由是否充分？该量表是否充分反映了研究的内容和主题？8. 如果该研究设计了新的量表，是否给出了不采用已有量表的原因？新的量表是否经过了充分合理的预测试和改进？9. 研究报告中是否阐述了运用所选量表的基本原理？（例如，与其他已有量表对比，为什么选择了某一种量表来测试研究对象的压力状况？）10. 研究者是否采取了措施来消除或减少受试者应答时产生的偏倚？九、对观察法收集资料的评价1. 是否根据研究的问题而选择了观察法这种资料收集方式？是否有其他更合适的资料收集方法可以采用？2. 运用观察法的结构安排是否与研究问题的性质相符合？3. 观察者在资料收集过程中隐藏的程度如何？观察者的存在会对他们所观察的行为或事件造成怎样的影响？4. 在该研究中，观察分析的单元是如何界定的？以观察者的角度而言，他们在观察过程中主观推断的程度如何？这会造成怎样的潜在偏倚？5. 请描述实施观察的具体地点。观察的环境会在何种程度上影响到观察的行为的“自然性”？6. 观察到的资料信息是如何记录的（例如是在现场记录还是利用核对的清单）？该种记录的程序是否合适？7. 该研究采取了何种措施来减少观察偏倚？例如，是怎样培训观察者的？记录下的对观察行为的解释要详尽到何种程度？8. 如果采用了分类清单的方法来观察记录，清单的列表是否详尽无遗？该观察清单是否对观察者的工作要求过于苛刻，以至于可能导致不准确的资料记录？如果提供给观察者的记录列表不够详细全面，其中忽略掉的一些研究对象的行为是否会造成对研究所感兴趣的行为了解不准确？观察记录工具中所罗列的条目是否充分覆盖了需要观察的相关行为？9. 对要观察的行为或事件是如何进行计划抽样的？该计划是否能产生对相关行为最具代表性的样本？十、对生物医学测量方法收集资料的评价1. 是否根据研究的问题而选择了生物医学测量这种资料收集方式？是否有其他更合适的资料收集方法可以采用？2. 是否选取了最为合适的生物医学测量工具？研究者是否提出了使用这种特定测量工具的理论基础，给出的理论依据是否令人信服？3. 研究者是否对资料收集的步骤过程给予了详细的描述？这一过程是否恰当？4. 研究报告中是否指明了调查者留心并尽力去收集最准确的资料？例如，如果仅仅使用一般的测量工具系统而没有专门的记录仪器，研究者的行为是否能保证记录到准确的资料信息？5. 研究者是否具备了对该生物医学测量方法结果的必要的合适的解释技巧？十一、对收集的计量资料质量的评价1. 针对该研究的研究变量，是否在引言部分提出的概念化的研究变量与方法学部分实际可操作的研究变量是完全一致的？2. 如果明确指明了可操作的概念或是可予以评分的过程，是否在研究报告中针对这些概念或过程清楚的描述了测量方法的细则？针对这些变量的测量规则是否合理？通过此种方法收集资料是否会使测量的错误最小化？3. 该研究报告是否提供了关于该测量方法的信度证据？如果有，该研究信度证据是源自于研究选择的样本本身，还是基于其他实验？如果是后者，是否有理由相信研究样本与信度数据所来源的样本资料具有足够的相似度？（例如两个研究样本的特征足够相似？）4. 如果报告中提出了研究的信度数据，它是利用何种评估方法获得的？该方法是否最适合本研究对信度的评定？或者是否还应有其他方法应予补充？该信度数值是否达到了此类研究可靠的标准？5. 该研究报告是否提供了研究测量方法的效度数据？如果有，该效度证据是来源于研究的样本本身，还是基于其他相关研究？如果是后者，是否有理由相信研究样本与效度数据来源的研究样本资料具有足够的相似度？（例如两个研究样本的特征足够相似？）6. 如果研究报告提出了有关效度的信息，它是通过何种效度测量方法得到的？这种方法是否适合于本研究？测量工具的效度数值是否达到了证明此类研究有效性的基本要求？7. 如果报告中没有有关该研究信度与效度的基本信息，关于本研究信息资料的质量你能得出何种结论？8. 该研究的假设最终是否成立？若否，是否可能因为研究所收集到的资料信息的质量不合要求所导致？十二、对量性研究统计分析过程的评价1. 是否根据研究收集到的资料信息本身的特点选择了量性研究的统计分析方法？运用质性研究分析方法合适吗？2. 报告中是否包含了描述性统计信息？这些信息是否充分描述了本研究资料的主要特征？3. 研究报告中是否列举了有关研究变量的集中趋势以及变异性的相关指标？若否，该信息的缺失是否会影响到读者对研究变量信息的了解？4. 是否运用了正确的描述性统计方法？（例如，运用中位数的地方是否用均数描述更加合适？）5. 报告中是否包含了统计推断？对于研究问题中的假设，是否分别进行了假设检验？如果研究不包含统计推断，是否加入此类统计分析更合适？6. 根据变量的测量水平，是否选用了合适的统计分析方法？7. 是否运用了参数检验方法？是否满足了参数检验的前提条件？如果该研究运用的是非参检验的方法，是否能用效能更强的参数检验替代？8. 是否运用了多元统计分析方法？如果有，研究者是否选择了最恰当的方法？如果没有，是否加入多元分析方法更合适？运用多元统计分析方法是否会增加研究者得出自变量与因变量之间关系相关结论的力度？9. 总体而言，报告是否指明了运用所选统计方法的理论依据？是否提供了足够的信息帮助辨别应该使用何种统计方法？10. 是否报告了足够的统计信息？统计分析结果是否组织形式清晰、逻辑结构严谨？11. 统计分析结果是否有显著性意义？关于研究假设的合理性相关统计分析得出了怎样的结论？12. 是否合理的运用了表格的形式对大量的统计信息数据作概括？表格是否表述清晰，标题完整，分栏清楚？表格中提供的信息数据是否与文中一致？是否过于冗长累赘？13. 如果在该研究中加入一些质性资料分析是否会更具有说服力？十三、对研究的伦理严密性评价1. 研究对象是否会承受躯体伤害、不适或心理压力？研究者是否采取了措施来预防或减轻这些不适合压力？2. 在该研究中，研究者实际受益是否超过了任何潜在的危害和在研究过程中所经历的不适？该研究对社会或护理学科所带来的福利是否大于研究的成本？3. 是否有通过施加压力或过度的影响力来招募受试者？4. 研究对象是否存在弱势群体？如果有，是否针对他们的弱势特点制定了特殊的保护措施？5. 研究对象是否受到任何程度的欺骗？他们是否充分认识到自己正在参与一项研究并且了解该研究进行的目的？6. 研究对象是否有机会退出研究过程？研究计划中是否有征求知情同意的步骤？若否，是否有不这样做的有效合理的理由？7. 研究对象是否被告知了任何参与该项研究可能承担的风险和实际危害？是否在研究开展前就充分知晓整个研究实施的过程步骤？8. 是否采取措施保护参与者的隐私？9. 该研究项目的资料收集者是否有专业资格？10. 该研究是否得到伦理委员会或其他伦理评审机构的认可和监督？十四、对研究报告讨论解释部分的评价l 对研究结果的解释：1. 是否对所有重要的研究结果都予以讨论？若否，对省略的部分可给予各种可能的解释？2. 解释部分是否与研究结果一致？是否对研究方法的局限性予以解释说明？3. 研究者在解释讨论部分提供了什么类型的证据支持？该证据是否有说服力？对于研究结果的解释是否是基于其他相关研究结论得出的，还是根据研究初始的假设和概念框架？4. 报告中是否提到了与研究初始假设相反的结论？是否给出了拒绝该假设的理由？5. 在量性研究中，结论部分是否针对结果在统计学意义上的显著性意义和实际当中的显著性意义分别给与了解释说明？6. 是否对研究中的因果关系作出了无根据的解释推断？l 研究结果的意义：7. 研究者是否阐述了该研究对于护理实践、护理理论和/或护理研究有何意义？8. 考虑到研究的局限性，报告中所概括的研究意义是否恰如其分？9. 在研究样本的基础上是否对研究意义作出了无根据或过度的概括？研究中的建议：10. 是否针对研究方法可以如何改进给出了具体的建议？是否针对今后类似研究的开展提出了建议？11. 根据本次研究的结论是否对特定护理工作的开展提出了建议？12. 提出的建议是否与研究的结果相一致，且与该研究主题的知识体系相符？十五、研究报告整体表述的评价1. 研究报告中是否包含了研究目的、研究的理论框架、研究设计和方法、伦理相关问题、资料的分析以及解释等所有要素，以利于评价活动的开展？2. 研究报告是否语句通顺？是否通俗易懂，不滥用专业术语？3. 研究报告是否条理清晰、结构严谨？是否思路有序、符合逻辑，前后文表达连接紧密、过渡自然？4. 研究报告是否做到言简意赅？作者是否赘述了许多无关细节，而忽略了某些重要观点？5. 研究报告中是否存在明显的偏见？6. 研究报告中对学科所探索的问题是给出了模棱两可的结论，还是明确表述了该研究证实和否定了何种观点？7. 研究报告语言是否隐含性别歧视？8. 研究报告的标题是否抓住了研究的关键要素以及所要研究对象的全体？如果包含摘要，它是否充分概括了研究的问题、研究方法以及主要的研究结论？附2：文献评价实例分析【实例介绍】 题：王菊吾,严林娟,钱君等. 护士对病人实施关怀照护的效果研究J. 2005, 40(8): 561-563.【摘要】 目的 探讨关怀照护行为对护理工作质量和病人满意度的影响，为进一步改进工作提供依据。 方法 制定护理关怀行为指南，经培训后，在2所三级甲等医院3个病房实施，用修正后的护士关怀行为质量评价表和自编的满意度调查表，于活动前后2次进行访谈和测评比较。 结果 护士的关护行为和病人的满意率在实施前后差异有统计学意义(P0.05)。1.2 方法1.2.1 调查工具1.2.1.1 关怀行为质量评价表(caring behavior assessment)：问卷参考Jean Watson1设计使用的问卷，Radwin2运用此问卷已发表相关文章，有良好的信度和效度。并根据专家意见，结合国情和文字表达的差别由作者对评价表做了少量修改。评价表共有22个项目，每个项目分5个等级，分数从5到1分别代表总是、经常、有时、几乎没有、从来没有，请病人根据自己的感受选择相应的答案并打勾。30例病人同时采用原量表和修改后量表测定，等值性系数为0.873，具较高的信度和效度。1.2.1.2 自编住院病人满意率调查表：共有7个项目，每个项目分5个等级，分数从5到1分别代表非常满意、较满意、满意、不满意、很不满意，最后有一个开放性回答问题，请调查对象具体描述。30例病人7d后复测，重测信度系数为0.815，说明具较高的稳定性。1.2.2 研究方法采用问卷调查法； 在2所三级甲等医院3个外科病房作为实验组。 实施前，用护士关怀行为质量评价表和病人满意度调查表，选择病情稳定，能接受访谈的成年住院病人进行访谈和调查共84例。 对实验组病房护士进行培训，内容有关人性关怀理论，关怀照护的本质和内涵，沟通艺术，建立人文关怀理念，学会关心人和理解人等，并将理念转换为自觉关怀行为，体现在临床护理工作中。培训方式采用授课，讲解关怀照护的概论20个学时，组织学习讨论“护理关怀行为指南”和