后设评鉴理论研究与实务.ppt

2019/4/16,台北科大技職所曾淑惠,1,後設評鑑 理論研究與實務,國立台北科技大學技術及職業教育研究所 曾淑惠,2019/4/16,台北科大技職所曾淑惠,2,重要的議題,後設評鑑理論的推演 當前後設評鑑實務上的問題 後設評鑑理論與實務的奠基與前進,2019/4/16,台北科大技職所曾淑惠,3,起源,後設評鑑的概念，最早源自於一九四O年Orata提出的評鑑的評鑑 Scriven(1969)在一份針對評鑑教育產出所擬定的評鑑計畫中首用metaevaluation一詞,2019/4/16,台北科大技職所曾淑惠,4,定義,對評鑑、評鑑系統或評鑑機制的評鑑(Scriven, 1974) 針對評鑑技術的效用性(utility)、實務性(practicality)、倫理性(ethics)、及適切性(propriety)，進行描述、獲取、和使用敘述性及判斷性資料的過程，以便於指引評鑑的實施，並公開報告評鑑的優缺點(Stufflebeam, 1981),2019/4/16,台北科大技職所曾淑惠,5,操作型定義,依據相關的標準包含評鑑的適切性、可行性、精確性與效用性，以及系統化的本質、正直、尊敬人們、社會責任能力的實踐等描述、獲取及應用敘述性與判斷性資訊，指引評鑑並報告評鑑的優缺點,2019/4/16,台北科大技職所曾淑惠,6,對後設評鑑有需求的人(一),評鑑專業人員 提供改善個別評鑑、發展評鑑取向與工具的方向 獲得並維持對委託人與其他評鑑人員服務的信用 消費者 幫助做成對需取用產品或服務之決定 建立對使用評鑑結果與發現的信心,2019/4/16,台北科大技職所曾淑惠,7,對後設評鑑有需求的人(二),對非專業人員的評鑑系統掌管者 確定其機構所提供的評鑑服務符合倫理的、務實的、可用的、及時的、值得投資的等規準 對評鑑的客體 確保原級評鑑品質與用途，並確認評鑑的影響 確認原級評鑑的人員資格、經驗、能力、績效等，符合個人或學生評鑑標準,2019/4/16,台北科大技職所曾淑惠,8,後設評鑑的功能,評估評鑑工作的品質、影響及運用，降低評鑑結果的不確定性 評估評鑑取向的實用性 說明及控制評鑑實施時的偏差 提供並確保評鑑的績效責任 探討評鑑過程的性質，用以獲得另一種觀點和評鑑獨立的精神 突破學術本位的限制，建立科技整合的研究 糾正對評鑑可能發生的誤用 提供多層面的訓練功能 整體評估各種原始評鑑的效果 促成知識的累積和多元資料的應用 增進評鑑專業的能力,2019/4/16,台北科大技職所曾淑惠,9,後設評鑑的特點,任何評鑑工作都可以受到評鑑 後設評鑑的方法與一般評鑑中的方法並無不同 後設評鑑進行的過程中，通常會以教育評鑑標準聯合委員會所發展的評鑑標準作為評估的基礎 後設評鑑的使用時機必須在評鑑方案實施前、實施中、及實施後分別進行。,形成性後設評鑑可以在造成無法復原的錯誤之前改善評鑑的研究 總結性後設評鑑則可增加評鑑最後成果的可靠性,2019/4/16,台北科大技職所曾淑惠,10,後設評鑑的型式 (一),次級資料分析(secondary data analysis) 依據一套參考標準將評鑑定出等第(ratings of evaluation against a set of criteria) 對研究加以研究(research on research),2019/4/16,台北科大技職所曾淑惠,11,後設評鑑的型式(二),2019/4/16,台北科大技職所曾淑惠,12,常用的後設評鑑標準,方案評鑑標準 人員評鑑標準 學生評鑑標準,效用性（Utility ) 適切性（propriety 可行性（Feasibility ) 精確性（accuracy ),2019/4/16,台北科大技職所曾淑惠,13,不同評鑑階段實施後設評鑑之焦點,2019/4/16,台北科大技職所曾淑惠,14,方案評鑑各步驟關切之評鑑標準,2019/4/16,台北科大技職所曾淑惠,15,方案評鑑各步驟關切之評鑑標準,2019/4/16,台北科大技職所曾淑惠,16,方案評鑑各步驟關切之評鑑標準,2019/4/16,台北科大技職所曾淑惠,17,運用標準與原則的注意事項,是否考量在我國的文化下，何種標準是可接受或具有功能的 美國的JCSEE評鑑標準，焦點在教育方案、個人與學生，並未設計使用於其他領域。其他國家專業團體設定的評鑑標準的適用性亦需同步思考,2019/4/16,台北科大技職所曾淑惠,18,對後設評鑑概念的轉移,總結性評鑑 兼有形成性與總結性評鑑 另類的資料再詮釋 全方位的實證檢視 在原級評鑑之中或之後進行 在原級評鑑的前、中、後各有其不同的任務 以美國JCSEE的評鑑標準為後設評鑑主要的效標 除其他國家其他領域專業團體的評鑑標準外，應有其他更週延的考量,2019/4/16,台北科大技職所曾淑惠,19,後設評鑑的任務(一),決定並安排與評鑑的利害關係人互動 聘請一或多位有資格的後設評鑑人員 界定後設評鑑問題 適切地選定據以評鑑的標準或原則 簽訂可理解的備忘錄或協商正式的後設評鑑契約 蒐集並檢視相關可用的資訊,2019/4/16,台北科大技職所曾淑惠,20,後設評鑑的任務(二),收集必要的新訊息 分析發現 依據選定的標準進行判斷 準備及撰寫必要的報告 適切地幫助委託人及其他的利害關係人解釋和應用發現,2019/4/16,台北科大技職所曾淑惠,21,後設評鑑的十六項原則性步驟,2019/4/16,台北科大技職所曾淑惠,22,有資格的後設評鑑人員,具有專業評鑑標準工作知識且有能力選擇並應用標準，以符合特定評鑑指定任務者 結合方法論的專業及能充份了解受評方案者 具有充份的經驗與能力能滿足後設評鑑委託人的需求者 正直、誠實、尊敬人們及為社會謀福祇者 具協商後設評鑑正式合約能力者 能有效溝通並與其他參與後設評鑑的團體合作者,2019/4/16,台北科大技職所曾淑惠,23,後設評鑑蒐集資料來源,受評者 評鑑者(含承辦單位人員、現場訪評人員 委託人 現有文件及原級評鑑資料,任何評鑑方法都可以用在後設評鑑上,2019/4/16,台北科大技職所曾淑惠,24,判斷後設評鑑結果,HOW? WHO? WHAT? WHERE? WHEN? WHY?,資料蒐集的程序 決策的程序,2019/4/16,台北科大技職所曾淑惠,25,後設評鑑相關名詞,後設分析(meta analysis):指運用量化的統計技術，針對某一問題，綜合以前獨立研究結果的一種評述程序，焦點置於將相同的研究問題且使用變項類似的研究蒐集回顧、將各研究結果的量化資料在考慮效應大小(effect size)下做系統性的結合，最後對此一問題得到統整性的結論 二次分析或次級分析(secondary analysis) :用較佳的統計方法重新分析某項研究，來回答原先的問題 再評鑑(reevaluation): 對原受評主體的另一次評鑑,2019/4/16,台北科大技職所曾淑惠,26,後設分析與後設評鑑的比對,後設評鑑 評估已有評鑑、評鑑系統或機制的優點與價值 存在於後設分析的資料庫中,後設分析 針對一個研究問題，在一群類似的研究中計算並檢驗效應項的大小與重要性 不常用於後設評鑑，因為很少有針對單一受評主體進行多次評鑑的比較行研究,2019/4/16,台北科大技職所曾淑惠,27,當前國內後設評鑑的困境,多見於學位論文的研究 評鑑的委託單位亟思後設評鑑卻有其難處 如何判斷評鑑的價值或優點 誰來評鑑後設評鑑,任一級評鑑都有可能要接受後設評鑑,2019/4/16,台北科大技職所曾淑惠,28,90年以後之後設評鑑碩士論文,基隆市國民小學校務評鑑之後設評鑑研究 臺北縣國民小學校務評鑑之後設評鑑研究 臺北市高職校務評鑑之後設評鑑研究 臺北市國民小學校務評鑑之後設評鑑研究 臺北市幼稚園後設評鑑之研究 國民中學後設評鑑之研究以臺北市為例 桃園縣幼稚園後設評鑑之研究 桃園縣私立幼稚園後設評鑑之研究 桃園縣國民小學校務評鑑後設評鑑之研究 桃園縣國民小學校務評鑑之後設評鑑研究 彰化縣國民中小學身心障礙類特殊教育後設評鑑知覺之研究 高雄市幼稚園評鑑之後設評鑑研究 高雄市國民小學學校評鑑之後設評鑑研究 高雄縣國民小學校務後設評鑑之研究 宜蘭縣國民小學校務評鑑之研究以後設評鑑之觀點 高級職業學校後設評鑑之研究: 以台灣省高職學校為例 國民小學身心障礙特殊教育評鑑後設評鑑知覺研究 國民中小學特殊教育教師和行政人員後設評鑑知覺之研究 國立大學學生事務工作自我評鑑之現況與問題-後設評鑑觀點 我國大學校院系所評鑑之後設評鑑研究,2019/4/16,台北科大技職所曾淑惠,29,90年以後之後設評鑑碩士論文,金融服務從業人員在職訓練成效評鑑之後設評鑑研究 學校評鑑的後設評鑑標準建構之研究 特殊教育後設評鑑指標之建構,2019/4/16,台北科大技職所曾淑惠,30,博士論文,高雄市幼稚園評鑑之後設評鑑研究 我國高級中學後設評鑑指標之研究 我國專科學校後設評鑑之研究 國民小學後設評鑑標準之研究,2019/4/16,台北科大技職所曾淑惠,31,較新的後設評鑑重要文獻,Stufflebeam, D. L. (2000). The methodology of metaevaluation as reflected in metaevaluations by the Western Michigan University Evaluation Center. Journal of Personnel Evaluation in Education 14(1), 95-125. Stufflebeam, D. L.(2001). The metaevaluation imperative. American Journal of Evaluation, 22 (2), 183-210. Widmer, T.(2003). Evaluation standards applied: standards as means to improve and assess evaluation practice in the context of sustainable development. Paper prepared for presentation at EASY-ECO II, Vienna, May, 2003. Program evaluation metaevaluations checklist (/evalctr/checklists/program_metaeval_10point.htm) Stufflebeam, D. L.,& Shinkfield, A. J.(2007). Evaluation theory, model, and applications. San Fancisco, CA: Sage.,2019/4/16,台北科大技職所曾淑惠,32,較新的後設評鑑重要文