客观结构化考试的信度及主成分分析.pdf

Vo 1 2 8 N o 1 2 De c 2 0 o 8 上 海 交 通 大 学 学 报 医 学 版 J o u r n a l o f S h a n g h a i J i a o t o n g U n i v e r s i t y Me d i c a l S c i e n c e l 5 7 7 文章编号 0 2 5 8 5 8 9 8 2 0 0 8 1 2 1 5 7 7 0 4 客观 结构化考试 的信 度及 主成分 分析 论 著 鲁威 张剑戈 缪 青 邹 扬 唐红梅 胡翊群 黄钢 上海交通大学 1 医学院教务处 2 医学 院生物 医学工程教研 室 上海2 0 0 0 2 5 3 六院临床 医学院 上海2 0 0 2 3 3 4 医学 院院长办公室 上海2 0 0 0 2 5 摘要 目的 根 据I临床医学专业毕业考试结果分析客观结构 化临床考 试 O S C E 的信度及 站点设 置的合 理性 方 法 毕业考 试采用 O S C E形式 考试对象为 医学 院临床 医学专业五年级全体学 生 考生 人数分别 为内科学 1 7 2人 外科 学 1 6 8人 妇 产科学 7 3人 儿科 学 7 5人 对 内科学 和外科学 两个科 目的考试结果进行信度 以及 主成分分析 结果 内科考试信度值 为 0 5 0 3 7 外科 为 0 6 6 8 4 两科均存在 5个具有代 表性 的主成分和相应的重点考站 根据主成分对学生成绩重新排名 内科学新排名与原总评 分的相关度为 0 7 9 7 6 夕 科学新排名 与原 总评分 的相关 度为 0 8 0 6 3 结论 考试可靠性 良好 站点设置合理 但某些 站点的考 试 内容需要改进 关键词 客观结构化临床考试 信度 主成分 中图分类号 G 4 2 4 7 4 G 6 4 文献标志码 A Re l i a b i l i t y a n d p r i n c i p a l c o mp o n e n t a n aly s i s o f o b j e c t i v e s t r u c t u r e d c l i n i c al e x a mi n a t i o n L U We i Z HA NG J i a n g e MI AO Q i n g Z OU Y a n g T AN G Ho n g me i HU Y i q u n HUA N G Ga n g J A c a d e mi c A ffa i r s Di v i s i o n 2 De p a r t me n t o f B i o me d i c a l E n g i n e e r i n g S c h o o l o f Me d i c i n e S h a n g h a i J i a o t o n g U n i v e r s i t y S h a n g h a i 2 0 0 0 2 5 C h i n a 3 C l i n i c a l Me d i c a l Co l l e g e T h e S i x t h Pe o p l e s Ho s p i t a l S h a n gh a i J i a o t o n g Un i v e r s i t y S h a n g h a i 2 0 0 2 3 3 C h i n a 4 D e a n s o f fic e S c h o o l of Me d i c i n e S h a n g h a i J i a o t o n g U n i v e r s i t y S h a n g h a i 2 0 0 0 2 5 C h i n a Ab s t r a c t O b j e c t i v e B a s e d o n s c o r e s i n t h e g r a d u a t i o n e x a mi n a t i o n o f c l i n i c a l m e d i c i n e ma j o r t h e r e l i a b i l i t y a n d r a t i o n a l i t y o f c o n t e n t s i n o b j e e t i v e s t r u c t u r e d c l i n i c a l e x a mi n a t i o n OS C E w a s a n a l y z e d Me t h o d s A l l o f t h e u n d e r g r a d u a t e s t u d e n t s o f c l i n i c a l me d i c i n e ma j o r i n S c h o o l o f Me d i c i n e t o o k p a r t i n O S C E d u r i n g t h e fi ft h y e a r o f e d u c a t i o n a l p r o g r a m On e h u n d r e d a n d s e v e n t y t wo s t u d e n t s p a rti c i p a t e d i n i n t e r n a l me d i c i n e e x a mi n a t i o n 1 6 8 s t u d e n t s i n s u r g e r y e x a mi n a t i o n 7 3 s t u d e n t s i n o b s t e t r i c s a n d g y n e c o l o g y e x a mi n a t i o n a n d 7 5 s t u d e n t s i n p e d i a t r i c s e x a mi n a t i o n Th e r e l i a b i l i t y a n d p r i n c i p a l c o mp o n e n t a n a l y s i s we r e c o n d uc t e d f o r t h e r e s u l t s o f i n t e r n a l me d i c i n e e x a mi n a t i o n a n d s u r g e ry e x a mi n a t i o n Re s ul t s T h e Cr o n b a c h S c o e ffic i e n t s o f i n t e r n a l me d i c i n e e x a mi n a t i o n a n d s u r g e ry e x a mi n a t i o n we r e 0 5 0 3 7 a n d 0 6 6 8 4 r e s p e c t i v e l y F i v e p rin c i p a l c o mp o n e n t s we r e e s t a b l i s h e d t o d e s c rib e t h i s e x a mi n a t i o n a n d s o me i mp o r t a n t s t a t i o n s o f t h i s e x a mi n a t i o n we r e a l s o f o u n d By t h e p r i n c i p a l c o mp o n e n t a n a l y s i s t h e s t u d e n t s a c h i e v e me n t r a n k wa s r e s o rte d F o r i n t e r n a l me d i c i n e t h e r e l e v a n c e b e t we e n n e w r a n k o f s c o r e a n d o r i g i n a l r a n k o f s c o r e wa s 0 7 9 7 6 a n d t h a t f o r s u r g e ry wa s 0 8 0 6 3 Co n c l u s i o n Th i s e x a mi n a t i o n i s r e l i a b l e a n d r e a s o n a b l e a n d t h e c o n t e n t s o f s o n l e s t a t i o n s s h o u l d b e i mp r o v e d Ke y wo r d s o b j e c t i v e s t r u c t u r e d c l i n i c a l e x a mi n a t i o n r e l i a b i l i t y p ri n c i p a l c o mp o n e n t 毕业考试是上海交通大学医学院临床医学专业 毕业综合考试 中的一部分 在五年级第二个 学期进 行 其 目的是评 价临床医学专业学生经过一 年实习 后 的综合临床能力 传统 的毕业 考试 采取理论 技 术操作 临床技能相结合 的考试形式 由各附属医院 自行组织 这种形式或多或少地存在考试内容随意 性大 因评估教 师培训 不统一而致考试信效度不 明 确 评价内容不全面 考试研究不充分等 问题 为了 更加客观 全面地评价临床专业学生 的临床技能 我 院引 入 客 观 结 构 化 临床 考 试 o b j e c t i v e s t r u c t u r e d c l i n i c a l e x a m i n a t i o n O S C E 形 式 O S C E是 让 考 生 通 过一系列事先设计 的模拟临床场景考站来进行实践 测试的一种考核形式 主要测试 医学生的临床能力 是一种知识 技能和态 度并 重的临床能力评估 的方 法 经过一年多的研讨和试点 医学院在 2 0 0 3级临 床医学专 业 学 生 的 本科 阶段 毕 业 考 试 中采 用 了 作者简介 鲁威 1 9 7 3一 男 上海人 助理研究 员 硕士 电子信箱 l u w e i s h s m u e d u c n 通讯作者 黄钢 电子信 箱 h u a n s 2 8 0 2 1 6 3 c o r fl 上 海 交 通 大 学 学 报 医 学 版 O S C E形式 本研究根据考试结果 对 O S C E的信度 和站点设 置进 行 分析 和讨 论 目的是 进一 步 完善 O S C E的实施 过程 并提 供必 要 的数据 支 撑 促进 O S C E的进一步推广和应用 以求更全面 准确 客观 地 评价 医学生 的临床能 力 1 对 象与方 法 1 1 对象上海交通大学医学 院 2 0 0 3级临床医学 专业五年级全体学生 共 4 8 8人 其中五年制 2 5 7人 七年 制 2 3 1 人 1 2 考试内容 考试 内容 为临床医学专业 的 内科 学 外 科学 妇 产科学 和 儿科 学 教学 大纲 所规 定 的病 种和操作项 目 并按该 4个科 目分别进行考试 1 3考 试方 法 采 用 O S C E形式 由 医学 院统 一 组 织实施 根据学 时和考试管理要求 参加各科考试 的考生人数分别为内科学 1 7 2人 外科学 1 6 8人 妇 产科学 7 3人 儿学 7 5人 考试前两天组织学生随机 抽取内 外 妇 儿科之一为考试科 目 学 生根据抽 签结果于考试 当天在指定 的考点 内完 成本科 目考 试 4个科 目均包括问诊 1 问诊 2 口试 体检 技术 操作 穿刺或缝合等 读图读片 X线 片和心 电图阅 读 病史书写等 8个站点 其中问诊 1 问诊 2和体 检等三站应用标准化病人 s t a n d a r d i z e d p a t i e n t S P 模拟临床场景 技术操作站有一位专业临床医师作 为评分者 口试站有两位专业临床医师作为评分者 除第八站病史书写 3 0 mi n外 其余站点均为 1 0 m i n 每站均以百分制评分 并 以相同的 1 2 5 的权重计 人 总分 1 4 信度估计O S C E的信度估计一般采用内在一 致性信度方法 因考试记分为百分制 故采用 C r o n b a c h 信度系数 通过计算各站及总评分 的方差得 到内在一致性系数 计算方法如式 1 刮 式中 s 是总评分的方差 s 是不同题项的 方差 1 5 主成分分析 利用 J a r q u e B e r a检验 分析各 科考试总成绩 的分布情况 主成分分析是将多个变 量通过线性变换 以选出较少个数重要变量的一种多 元统计分析方法 借助于正交变换 将线性相关 的 原随机向量转化 成线性 无关 的新随机向量 实现变 量的降维处理 突出对最终 结果影 响显 著 的变量 主成分分析的基本步骤 对原始指标数据进行标 准化 使之转化为标准正态分布矩阵 求标准化 阵的相关 系数矩 阵 计 算样本相关 矩 阵的特征 根 特 征 根 的值 反 映 了对 最 终 结 果 影 响 的 贡 献 度 对特征根按大小排序 按照累积贡献度 0 8 5保 留 1T 1 个特征根 并计算相应 的单位特征 向量 利用 单位特征向量将标准化后的指标变量转换为主成分 向量 在所选的前 i n个 主成分 向量中 将指标变量 系数均接近于 0的指标变量删除 1 6统计 学处理 使用 Ma t l a b 2 0 0 7 b的统计 软件 包 计算各科 目总评分及各站点的均 分 标准差 各 科 目信度等 并运用多元统计分析 中的主成分分析 法对相关指标进行统计分析 由于参加妇产科学和 儿科学考试 的人 数明显少 于 内科和外科 不足 1 0 0 人 为了保证统计结果 的可靠 本研究 只对 内科学和 外科 学 两个科 目进 行分析 2结 果 2 1 考试信度各科考试 总成绩分布在仅 0 0 5 的水平下服从正态分布的概率 从成绩频数分布看 为正性偏态分布 计算 出内科 和外科考试各站点以 及总成绩 的均值和方差 并计入表 1 考试科 目以站 点得分为变量 排列如下 内科学 内科问诊 x 外科问诊 x 口试 x 胸腹体检 X 腰穿 x 胸腹穿 X 心 电图和 x线 片阅读 x 病史 书写 x 外科学 外科 问诊 x 内科问诊 X 口 试 X 专 科体 检 x 缝 合拆线 X 消 毒铺 巾 X 心电图和 x线片阅读 x 病史书写 x 根 据式 1 计 算 考 试 的 信 度 内科 考 试 信 度 值 为 0 5 0 3 7 外科考试信度值为 0 6 6 8 4 2 2 各科 目主成分分析 内科 和外科 的主成分 向 量构成和贡献度以及各站点 占主成分向量 的权重如 表 2 3所 示 由表 2可知 前 5个 主成分 向量 的 累积 贡献率 0 8 5 确定 为内科学考试的主成分 在主 成分中病史书写 腰穿和胸腹穿 的变量 系数 0 8 5 确定为外科学考试 的主成 分 在主成 分 中病 史 书写 专 科体 检 的变量 系数 鲁威 等 客观结构化考试 的信度及 主成 分分析 0 7 6 两者结果相似 说 明使用 重点考站的考试结果基本可以反映全部考站的考试 结果 从这个角度可 以认为我们对整个考试站点的 布局是比较合理 的 尤其是 内科学 5个站点分布在 5个主成分中 表明整个科 目考站设置 比较全面 考 查的内容覆 盖 了五 年级学生应 具有 的基本专业 技 能 基本符合毕业考试的要求 除了上述 5 6个 站点 外 其余各站考试得 分对 总成绩的影响不大 整体上看存 在统计意义上的重 点考站和非重点考站 本次毕业考试性质是 了解医 学生对临床基本技能 的掌握程度 不具有选拔性质 非重点考站 如病史书写 部分技术操作等 所考查 的内容亦是毕业考试所需要 的 并不 能因为其对 总 成绩的影响小就忽视其作用 重点考站一方面表明 了该站点的重要性 但另一方面个别站点 如读图读 片站 的权重过 高 过多左右 了考试 的整体结果 在 一 定程度上影响了 O S C E整体 的平衡性 从表 l可 以看出 重点考站的标准差 或方差 均大于非重点 考站 试题量小 x线片和心电图各一题 难度较大 等是造成这种结果的重要原因 应该通过调整命题 评分等手段来进一步提高这些站点的效度 对于非 重点站点而言 考试 的区分度较小 致使这些 站点对 最终 的总成绩影 响不 大 如何提高考试 的区分度 加强命题 工作 是下一步工作所必须考虑的 通过 以上 对 O S C E的定量分 析 在一定 程度 上揭示 了医学 生 目前掌握的临床技能不全面的情况 特别是读图 读片能力不强 也反映了临床教学的薄弱点 上 海交通 大学 医学 院应 用 O S C E起 步较 国 内一 些先进 医学 院校晚 但在设计 规模 组织以及研究 上显示了 自己的特点 目前 国内利用 主成分分 析 法 对 O S C E 站 点 进 行 分 析 的 相 关 研 究 并 不 多 从 2 0 0 8年起 上海交大医学院决定在临床医学专业 各 年制 学生的实习各 阶段有关临床技能考试 全部采 用 O S C E形式 主要包括实习前基本技能考试 实习 出科考试 毕业临床技能考试等三个 阶段 目的是 全面评估 考核学生的临床知识 临床技 能 分析问 题和解决问题的能力及合作 交流能力 本次 O S C E的应用对临床医学 的教 学 管等方 面起到了明显 的导 向作用 因为这种形式 比较接近 真正的临床实际情况 引起 了临床教师和医学生对 临床思维 临床技能 医患沟通等方面的重视 上 海交通大学医学 院将大规模应用 O S C E这一考试形 式 继续探索科 学 客观的医学考试评价体 系 把 传 统的以书面考试为主 的考试方式转变 为包括笔试 口试 技能考查 小组学 习评价等在 内的综合考评方 式 促进教学改革的深化 参 考文 献 1 J u d g