评分一致性训练课件

12012年醫學校院聯合臨床技能測驗

師資訓練工作坊OSCE基本原理說明2012-02-18簡竹君12012年醫學校院聯合臨床技能測驗

師資訓練工作坊OSCE評量方法的基本要件信度指這種評量方法的所得到分數的一致性效度指這種評量方法是否可以忠實測量所指定的項目可行性這項評量方法必須是務實辦得到的具體資訊價值這種評量方法價值能夠真實反映住院醫師能力及專業評量方法的基本要件信度訂定教學內容訂定教學內容到底該具備什麼樣的臨床技能呢符合國家或專業需求忠實反映訓練課程成果技能的範疇包括病史探問身體檢查溝通技巧操作性技能等等到底該具備什麼樣的臨床技能呢符合國家或專業需求能力導向的訓練課程確認醫師應具備的能力ACGME六項能力要件TJCHA核心課程醫學院校校長共識撰寫具體學習目標決定適當教學方法內容方式能力導向的訓練課程確認醫師應具備的能力實見習醫學生臨床技能提升計畫明訂教學部，外科，內科職前訓練內容教學部呼吸音，心音，男女導尿，呼吸道處理，BLS(5)內科部

IV及輸液設立，ABG，死亡確認，胸腹部X-Ray，12導程EKG

(8)外科部傷口縫合，傷口消毒及包紮，拆線及移除引流管，無菌刷手，手術衣手套穿戴，手術部位消毒準備(6)6實見習醫學生臨床技能提升計畫明訂教學部，外科，內科職前訓練內6帶狀課程-內科簡竹君醫師負責1.攜帶型血糖測定，血液抹片level5&4(2)2.支氣管擴張劑的使用，噴霧劑的使用

level3(2)7帶狀課程-內科簡竹君醫師負責77內科部UGY整合核心課程內科部UGY整合核心課程內科部UGY整合核心課程內科部UGY整合核心課程內科部UGY整合核心課程內科部UGY整合核心課程帶狀課程-外科謝明儒醫師負責1.腹部的檢查Level5(1)2.傷口的評量Level4(及骨折的固定處理level3)(2)11帶狀課程-外科謝明儒醫師負責1111帶狀課程-兒科傅仁輝醫師負責1.新生兒檢查，身高及體重測量與曲線圖的標示level4&5(2)2.接觸及檢查兒童之能力，兒童發展評量level4(2)12帶狀課程-兒科傅仁輝醫師負責1212帶狀課程-婦產科林益豪醫師負責1.孕婦的腹部的檢查Level4(2)2.陣痛的分期與評估Level4(2)13帶狀課程-婦產科林益豪醫師負責1313帶狀課程-急診科張玉喆醫師負責1.檢傷分類，緊急處置level3&4(2)2.

ACLS

level3(1)14帶狀課程-急診科張玉喆醫師負責1414試題開發–確保效度試題開發–確保效度試題開發流程優先規劃OSCE整體方針教案數量配比藍圖工作分配OSCE教案開發撰寫人考官與標準病人訓練試演檢討修訂表演與教案試考，檢討修訂評分表與教案試題開發流程優先規劃OSCE整體方針评分一致性训练课件USMLEStep2CS以病歷詢問為考試重點的OSCE測驗站(FocusedhistorytakingOSCEstation),以身體檢查為考試重點的OSCE測驗站(FocusedphysicalexaminationOSCEstation),以提供諮詢為考試重點的OSCE測驗站(FocusedconsultOSCEstation),以急診室情境為考試重點的OSCE測驗站(EmergencyRoomOSCEstation)。USMLEStep2CS以病歷詢問為考試重點的OSC考試藍圖

考試藍圖試題開發依照藍圖安排測驗站數場地設備時間設計場景、劇情安排訓練標準化病人考官、評分者試題開發依照藍圖安排單一試題開發步驟建構試題製作標準與測驗藍圖運用試演、修訂、驗證三步驟，促進教案品質撰寫教案修訂教案試演與討論討論與修正教案驗證單一試題開發步驟建構試題製作標準與測驗藍圖撰寫教案修訂评分一致性训练课件评分一致性训练课件评分一致性训练课件评分一致性训练课件德爾菲法緣起DelphiMethod「德爾菲法」係1950年代，由美國蘭德﹙RAND﹚公司Dalkey以及Helmer提出為預測蘇聯以原子彈轟炸美國時，可能產生的效果，而發展出一種透過群體溝通歷程的預測方法。充分資訊交流利用連續結構化問卷，進行反覆的調查。匿名化群體共識反覆詢問，並提供前次反應情況，供當次回答之參考，是一種介於問卷調查法與會議法之間的研究方法。綜合專家意見每次調查後，填答者再根據回饋資料重新作判斷，最後呈現的群體判斷的意見，可以反應出群體共識的程度和不同意見的分佈情形。目前的應用領域可用於歷史事件、經費預算、都市規劃、教育、政治、社會、心理等人文社會現象的研究。德爾菲法緣起DelphiMethod「德爾菲法」係1950评分一致性训练课件评分一致性训练课件评分一致性训练课件评分一致性训练课件評分一致性訓練–確保信度評分一致性訓練–確保信度考官訓練原則確立臨床技能考官訓練標準與認證制度分階段培育臨床技能專家基本認知課程臨床技能考官認證成為合格臨床考官考官任務與評分一致性訓練x2考官訓練原則確立臨床技能考官訓練標準與認證制度基本認知課程臨考官訓練舉辦臨床技能相關訓練課程與研討會安排參加院(國)外的相關訓練課程增加評分一致性的認證訓練，以確保評分品質鼓勵醫師參加臨床技能訓練課程考官訓練舉辦臨床技能相關訓練課程與研討會评分一致性训练课件评分一致性训练课件評分一致性訓練各科分別遴選至少3位具有良好信度(Intra-raterreliabilityCronbach’sα>0.8)與效度(Validitycoefficient>0.9)的演員。依照各科所提供的具有鑑別度(效度)的OSCE不同個案劇本進行『標準化OSCE示範用範例』的錄影帶製作。提供各科評分者於同日之前測(pre-test)、後測(post-test)及二週後的後測(longtermpost-test)示範用。評分一致性訓練各科分別遴選至少3位具有良好信度(Intra挑選演員與劇本由各科專家(導演)針對OSCE劇本教導、訓練標準病人，訓練後則再進行標準病人的評分及其個人的信效度分析，確定該演員的演出具良好的一致性。擇定案例正式進行『標準化OSCE示範用範例』錄影帶的錄製。錄製鏡頭至少有三個以掌握：學生與標準病人的互動標準病人的表現檢查過程之表現。挑選演員與劇本由各科專家(導演)針對OSCE劇本教導、訓練評分一致性訓練擴大參與對象I所有主治醫師皆需參加考官一致性認證訓練課程，以達全院全面執行之目的。2009年10月12日至2010年1月11日，長庚醫院舉辦34場次訓練課程。訓練成果：共有575位參與訓練。評分一致性訓練擴大參與對象I評分一致性認證I前測訓練上課當天，所有評分者依照標準化OSCE示範錄影帶內容進行評分(前測)，之後由熟悉該錄影帶劇本的專家或編者進行評分重點(Criteria)及OSCE個案進行應注意的細節解說後測待專家解說完畢，則立即進行同日後測，透過另一標準化OSCE示範錄影帶內容進行評分評分方式採LikerttypeScale,1~5分級評量，以分析受試評分者當日前測、後測的一致性(inter-raterreliability,intra-raterreliability)。評分一致性認證I前測評分一致性認證II經統計分析後，具有良好一致性的評分者(Cronbach’sα>0.8)則可於二週後進行再測(intraassay)反之未達一致性良好的評分者則再進行OSCE個案評分重點的再教育。二週後，另播放第三個標準化OSCE示範錄影帶，讓二週前已具有良好一致性的評分者及已再教育的評分者再測一次。評分一致性認證II經統計分析後，具有良好一致性的評分者(C考官資格認證執行現況若分析仍具有極佳一致性的評分者，則可正式成為該科部OSCE測驗的評分老師，並頒發標準化評分者證書予以認證。至2010年1月11日，符合考官訓練要求的共計575位醫師，經臨床技能評分一致性測驗通過的為411位(71%)。認證足以執行臨床技能測驗評量(OSCE)考官任務。截至2011年12月17日，61位考官完成新頒定基礎課程訓練要求，於2012年