医学综合考试中的聚类分析

医学综合考试中的聚类分析

医学考试是我国医疗体制改革的重要组成部分，自1999年正式实施。作为行业准入考试,其设立的目的就是评价申请医师资格者是否具备从事医师工作所必需的职业精神、专业知识与技能。考试分为两级四类,即执业医师和执业助理医师两级;每级分为临床、中医、口腔、公共卫生四类。考试的内容主要包括实践技能考试和综合笔试两部分。医师资格考试医学综合笔试属于标准参照性测验的性质,也即根据从事医生行业所必需的基本知识技能作为基础设计测验,通过此测验者则说明具备了此能力,准入,而未通过者则说明尚未完全具备此能力,不准入。这就自然的衍生出一个问题,达到怎样的水平就属于合格了呢?具体到测验得分上即为多少分可以被定为合格分数。迄今为止,教育和心理测量专家们已经提出了几十种合格标准设定的方法,大致上分为以测验为中心,以及以被试为中心两大类别。以被试为中心的主要有Livingston提出的边界组法与对照组法;而以被试为中心的方法则主要包括Nedelsky法、Angoff法和Ebel法等。其中Angoff法以操作简单、原理易懂而得到最为广泛的应用,具体流程为:让专家形成恰好合格考生的能力水平后,判断此水平考生在每道试题上答对的概率,将所有概率累加即得到合格分数线。Berk1986年从技术的充分性和实用性两大方面对23种合格标准设定方法进行了评价,他认为在最常用的以测验为中心的三种方法中,Angoff法要优于Nedelsky法和Ebel法。医师资格考试医学综合笔试目前也使用Angoff法作为标准分数设定的方法。虽然Angoff法具有不可比拟的优越性,但同时它也存在着一些问题。其中最被学者诟病的即是它的主观性:从恰好合格考生能力的界定,到题目答对概率的估计都是由专家凭借专业经验进行的主观判断,专家本身的专业能力、性格、对行业和测验的看法都可能影响到最后合格分数的准确性。如何验证Angoff法的非主观性,便成为了Angoff法有效性研究的重点。在以往的研究中,人们通常简单计算主观估计值的标准差和标准误,但这实际上计算的是专家评判的信度而非效度。聚类分析结合受试者中心模型方法是近年来研究者以统计原理与技术为基础发展出的一种新的更加客观的合格线有效性衡量标准(Sireci,etal.,1999)。此种方法就是利用聚类分析将考生的成绩划分为几组,再通过不同类别之间的比较得出一个合格分数线区域,通过观察Angoff专家评判得出的合格分数线是否落在这个区域内来评价Angoff法的有效性。此种方法最大的优点就是通过统计计量学的科学计算来评价方法的效度。本研究即尝试使用聚类分析的方法,结合对照组和边界组两种边界分数计算法对Angoff专家判断法得出的合格分数线结果的有效性进行验证。1研究对象和方法1.1随机抽样技术的应用本研究使用了某年参加医师资格考试医学综合笔试临床执业类别考试考生在外科学上的分数,及相应学科上Angoff法专家合格线判断数据。由于考生人数较多,因此本研究采用了随机抽样技术共抽取了21387名考生,为了保证数据的有效性,按照总分下限为:P25-(P75-P25)×1.5;总分上限为:P75+(P75-P25)×1.5(其中P25为第一四分距,P75为第三四分距)进行奇异值筛选,最后得到20666名考生在外科学上138道试题的得分。参与外科类专家合格线判断的专家共10人,得到的合格线分数为82。1.2聚类聚类及边界组法选择聚类算法时,经典的聚类分析方法为:系统聚类法(HierarchicalCiusterizig)和K—均值聚类法(K-meansClust)。两者比较,系统聚类速度慢,适合于规模不大(样本量小于1000)的数据;后者不仅速度快,样本量大,而且使用的统计方法在每次计算组中心值后都将所有数据重新纳入再次分组,比前者每个个案只参与一次聚类过程显然要精确一些。因此,在本研究中使用了SPSS软件中K-meansClust分析模块对考生数据进行聚类分析。选择聚类个数时,由于Edwards和CavallSforza(1965)曾建议把样本分成两类,以使得两类间的离差平方和最大。因此本研究也将分类个数定为2个。选择聚类变量时,本研究的聚类变量使用了如外总、普外等外科学下的三级亚学科试题得分。由于亚学科之间的分值差异较大,多数研究者建议这种情况下应先将变量标准化后再进行分析,因此本研究所用的变量均为标准化后的变量。选择边界分数的计算方法时,一般较常使用的两种方法为“边界组法”与“对照组法”。边界组法具体步骤为:将聚类类别根据测验得分由低到高排序后,将各类被试测验得分的重叠区域作为分界分数区间,将得分落在此区间的考生视做“边界组考生”,取他们得分的中数,作为分界分数。“对照组法”步骤为:建立聚类类别关于测验得分的logistic回归方程,其式为:p=(1+ea+bx)-1。其中,e为自然对数,a为回归曲线的截距,b为回归曲线的斜率。分界分数取被划分为任一类的概率均为0.5时的测验得分,也即:当得到参数a和b后,按p=0.5反解上述方程得分界分数x=-a/b,此分数即为边界分数。本研究将分别采用这两种方法求得的边界分数与Angoff法专家判断合格分数进行比对。研究中使用的Angoff法为对错判断与概率判断相结合:第一步让专家对所有外科题目进行对错判断,也即恰好合格考生能否答对每个题目,能计1,否计0,各人加合后除以专家人数求取平均数;第二步让专家选择恰好合格考生能答对每个题目的概率,各人加合再求取专家组平均数;第三步将对错判断与概率判断的中数作为最后的合格分数线。实际计算所得外科学类别合格分数线为82分。2结果2.1各亚学科基本均数聚类分布根据表1我们可以看出,各亚学科的平均数、中数和众数之间的差异较小,且除了输血的偏度值外,其他亚学科考生得分分布与正态比较的偏度及峰度的绝对值都要小于0.5,因此可以说外科各亚学科基本都为正态分布;如表2所示,各亚学科之间的相关绝对值都小于0.5,因此可以说考生外科各亚学科得分间相关较低,也即各亚学科间基本独立。综上所述,计划用做聚类分析的各聚类变量基本满足K—均数聚类法的前提条件,呈正态分布且彼此独立。同时根据表1可知,各亚学科得分平均数间差异较大,最大值为28.24分,最小值为3.6分,因此需要将各变量标准化后再进行聚类分析。2.2类分析所得两大中心值的分析在将各亚学科得分变量标准化后,使用SPSS软件中的K-meansClust模块分析对抽样数据进行聚类分析,聚类数量定为2个,也即肯定合格考生群体与肯定不合格考生群体。表3为聚类分析所得两类各自的中心值。对聚类分析所形成的两个类别对各个亚学科得分进行单因素方差分析,可得表4。从表4可知,聚类形成的两个类别在各个亚学科上的差异都是具有统计学意义的。图1为聚类分析得出的两类考生分数分布箱形图,表5为两类别考生成绩的最大值、最小值以及类别内考生人数的统计数字。据此可知,第1组考生,也即为高分组考生的外科最高得分为117,最低得分为77,被分到此组的考生为12204人,占考生总体的59%;第2组考生,也即为低分组考生的外科最高分为89,最低分为51,被分到此组的考生为8462人,占考生总体的41%。2.3基于回归方程的预测分类结果如前所述,本研究利用聚类分析所得结果通过边界组法与对照组法分别计算了边界分数线。基于Logisitc回归的对照组法是根据聚类分析所得的类别结果作为协变量,将测验分数,也即本研究中的外科得分作为预测变量,建立回归方程,而分界分数的位置可取“被划分为合格或不合格的概率均为0.5时”的外科总分。为了更好的验证回归分析所得方程的有效性,本研究按照1:1的比例将20666名考生分为计算样本(用于计算回归方程,考生人数共10290人)和验证样本(用于测试回归方程的可靠性)。据此基于计算样本使用SPSS的BinaryLogistic得到的回归方程为:ln(P/1-P)=0.876×x-72.69,其中x为外科学科总分。回归模型的Cox&Snell判定系数和Nagelkerke判定系数分别为0.676,0.910,显示模型有较好的拟合度。表6为根据回归方程对计算样本与验证样本的预测分类结果。根据表6可知,回归分析模型与聚类分析结果有较好的一致性,无论是计算样本还是验证样本的高低分组正确率都达到了90%以上,总正确率都在95%左右。以上结果可以说明此回归方程有较好的分类能力。根据回归方程计算出的边界分数线为:ln[P/(1-P)]=ln(0.5/0.5)=0=0.876×x-72.69,x=82.98≈83,即为边界分数线。边界组法设定分数线的方法,应取聚类分析结果高分组的最小值与低分组的最大值划定为“边界组考生”,然后计算此部分考生分数的中数即为边界分数线。根据表5所得数据,算得边界组法边界考生分数上限为89,下限为77,中数为83,即为边界分数线。2.4聚类分析边界组表7为聚类分析所得分数线与Angoff法专家判定合格线的比较。本研究所采用的Angoff专家判定合格线为82分,聚类分析边界组或对照组所得分数线都为83。如表所示,使用Angoff法所得分数线20666个样本中通过人数为12549人,通过率为60.7%;使用聚类分析所得分数线通过人数为11894人,通过率为57.6%,两者基本相符。计算得出分类一致性Kappa系数为0.934,一致性较高。3聚类分析的有效性检验有关Angoff法判断的质疑声在学术界一致未曾间断。相当多的研究者都认为此种方法太过于依赖专家的主观经验和态度,据此得出的合格线也是主观的、不稳定的。因此越来越多的专家希望能使用客观的统计学方法来验证Angoff法的可信度。聚类分析就是其中的一种。聚类分析作为分组统计学方法,依靠计算样本之间的距离来将被试划分入不同的组别,可以说是完全没有掺杂任何的主观因素。如果聚类分析划分出的组别与Angoff法判断出的合格与不合格考生存在一致性,那么就应该能较好的证明Angoff判断法的效度。本研究以此为理论依据,对某年医师资格考试医学综合笔试临床执业类考试考生在外科学上的得分进行了聚类分析,并采用了边界组法以及对照组法得出的边界分数与Angoff专家判断的合格分数进行了对比,两者对考生分