训练成效评估探讨

1 訓練成效評估之探討以訓練成效評估之探討以 V 公司團隊建立課程為例公司團隊建立課程為例 周佳慧 國立中央大學人力資源管理研究所研究生 李 誠 國立中央大學人力資源管理研究所教授 壹、研究動機壹、研究動機 在現今知識經濟的時代中，人力資源的重要性已不容忽視，其取代了有形的 土地、資本、設備，成為企業最重要的資產；且隨著產業環境型態的變遷，企業 需要的不再是員工所付出的勞力，而是他們無可取代的知識和創意，這也突顯了 人力資本的觀點，以及企業致勝的關鍵。 而訓練可以視為一項人力資本的投資，企業期望藉由訓練活動進而提升員工 的人力資本，為公司帶來更大的價值；然而，這個期望是否能落實，對於該項訓 練投資又是否值得，這些端看訓練的成效了，因此，訓練成效的評估亦是企業經 營中不可或缺的一環 ，其不僅可以得知訓練對員工所造成的影響以及對公司創造 的價值，亦可以對後續的訓練課程加以規劃與改善，積極地建立企業的組織文化 及提升企業人力素質，增強公司的競爭力。 美國訓練與發展協會(ASTD, American Society for Training and Development) 在 1996 年的一項研究報告中指出，如何衡量訓練對績效提升的影響是二十一世 紀訓練與發展領域中重要的一項課題。該研究指出，組織中的高階主管想了解訓 練在投入大量經費與人力成本後 ，從中到底獲得什麼結果？講師與課程設計者則 想了解訓練課程對每位學員以及組織的影響為何？至於學員以及其主管則想了 解他們從訓練中能獲得什麼？(狄家葳，1999)這些在在都顯示評估訓練成效的重 要性。 2 再者，由於教育訓練較難看出立竿見影之成效，因此，近年來在大環境不景 氣的情況下，教育訓練費用往往成為企業縮減經費的項目之一。所以，如何透過 實際的數據分析證明訓練的成效，讓高層管理者到每位員工皆體認訓練的重要 性，並且使其願於且樂於舉辦並參與訓練課程，已成為從事教育訓練人員當務之 急之事。 然而，國內企業雖相當重視教育訓練課程的舉辦，但對於訓練課程之成效卻 往往沒有加以評估。基於以上的動機，本研究以探討訓練成效之評估方式為主 體，輔以 V 公司之團隊建立訓練課程為例，說明訓練成效之評估方法。 貳、研究目的貳、研究目的 有鑒於目前國內企業甚少作教育訓練成效之評估，然評估教育訓練成效之重 要性已不容忽視，因此，本研究的研究目的在於探討訓練成效之評估方式，除強 調訓練成效評估之重要性外，亦提供一訓練成效評估模式供企業界參考，並且， 以 V 公司團隊建立訓練課程作為例子，用以說明評估運作模式，使企業更加了 解評估訓練成效之內涵與實際應用。 根據學者 Donald L. Kirkpatrick 提出訓練成效可由反應層次(reaction level)、 學習層次(learning level)、行為層次(behavior level)及結果層次(result level)這四個 層次進行評估。另外，由於受訓者的個人特質皆不相同，像是自我效能及參訓動 機等都有所差異 ，而這些是否會影響到訓練成效呢？組織又該如何運用員工的個 人特質進行訓練課程的規劃呢？這些都是本研究想加以探討的。 參、文獻探討參、文獻探討 一、訓練成效評估之定義 學者曾給予訓練成效評估諸多定義：Tyler (1953)將訓練成效評估定義為將學 員的表現與行為目標相比較的過程，亦即評量受訓者改變的情形。Kelly (1958) 3 則將其定義為可判斷一個人工作貢獻的價值、工作的品質及數量、未來發展的潛 能、以及為達成其所需要的幫助。Goldstein (1986)的定義乃是針對特定的訓練計 畫，系統地蒐集資料，並給予適當的評價，作為篩選、採用、或修改訓練計畫等 決策判斷的基礎。Phillips (1991)將訓練成效評估視為一種系統性的過程，用以決 定方案的意義及價值，且是用來對方案的未來情況作決策之用。 而國內學者方面，吳秉恩(1984)將訓練成效評估的定義歸納為三類：第一， 評估與衡量同義，將評估視為衡量學習效果的工具；第二，評估乃指績效評核， 將評估視為對特定目標績效達成度的判斷；第三，將評估視為專家判斷。戴幼農 (1994)則將教育訓練成效評估定義為在訓練過程中或訓練結束後，對於教學活 動，按照一定的標準，作有系統的調查、分析及檢討，以經濟效益的觀點，來研 判訓練的價值與組織的績效之衡量程序。另外，蔡維奇(2002)也說明了所謂的教 育訓練成效評估是指蒐集資訊以判斷組織與學員從訓練獲得多少利益的過程。 綜合以上各家學者的定義 ， 本研究認為訓練成效評估的定義可以界定為 ： 教 育訓練成效評估乃是從訓練的過程中至訓練結束後，針對此訓練計畫與課程，有 系統地蒐集資訊 ，並依據一定的標準判斷且衡量訓練為組織及學員所帶來的改變 與價值，比較是否達成學員的學習效果與組織的績效目標，作為現有方案之檢討 與未來方案之決策的過程。 二、訓練成效評估模式 Donald L. Kirkpatrick (1959,1960)對於訓練成效評估提出四層次的評估模 式，至今最廣被引用；四層次模式包含：第一層次為反應層次(reaction level)，第 二層次為學習層次(learning level)，第三層次為行為層次(behavior level)，第四層 次為結果層次(result level)。這四個層次是評估訓練成效的連續方式，每一個層次 皆有其重要性，當評估從一層次移至下一層次時，評估的過程就愈顯費時與困 難，但同時也愈增加評估的價值。以下分別就四個層次詳加說明： 4 (一) 反應層次(reaction level) 反應層次主要在於衡量學員對訓練課程的喜愛及滿意程度，包含對課程內 容、講師教學方式、口語表達技巧、授課教材、空間設備等的感覺；通常於訓練 課程結束後，以問卷的方式進行評估。 而測量學員對課程的反應之所以重要有下列四點原因： 1. 學員的回饋可以作為訓練成效評估的指標之一，並且學員提供的評述與 建議可作為訓練改善的主要依據。 2. 經由反應評估，可讓學員了解訓練人員辦得訓練是在幫助他們將工作做 得更好，因此需要他們的回饋來明白訓練辦得如何 ，而使將來辦得更好。 3. 課後評估問卷所提供的資訊，可以提供主管及其他關心此訓練的人員， 作為回饋。 4. 評估學員反應問卷所得到的資訊，可作為未來訓練方案的績效指標。 反應層次的衡量不儘重要而且容易執行，所以大部份的訓練課程都會使用反 應問卷得知學員的反應為何。當學員對於訓練課程的反應佳時，雖不表示一定會 有學習產生，但卻可以激勵學習的發生；然而，若學員對於訓練課程的反應不佳 時，是難以對學習產生激勵的效果。 (二) 學習層次(learning level) 學習層次主要在於衡量學員透過訓練學得新知識與技能的程度，亦即學員是 否有學習到受訓以前所不知道的內容，且其了解程度及吸收程度為何；此層次可 藉由紙筆測驗、面談、觀察或實作測試等方式來衡量。 而學習的發生與否，主要依下列三點來決定： 1. 學員學到了什麼知識？ 5 2. 學員發展或改善了什麼技術？ 3. 學員態度上有何轉變？ 評估學習層次是很重要的，因為若非達成某些學習目標，是不可能期望行為 會發生改變；此外，如果跳過學習層次的評估而直接衡量行為層次的話，當學員 行為未有明顯改變時，則難以斷言究竟是學員未學習到課程內容，抑或是其他因 素使學員學習到的知識與技能無法在工作上展現。 (三) 行為層次(behavior level) 行為層次主要在於衡量學員將訓練所學習到的知識與技能應用在工作上的 程度，亦即評估受訓者的行為、能力、效率等是否有所改變，訓練是否得到轉移， 因而使工作績效提高 ；此層次一般可藉由行為導向之績效評估量表或觀察法於學 員回到工作崗位後衡量之。 而衡量工作行為需要把握以下原則：系統而客觀的評量學員培訓前後的工作 表現，由學員本人、其主管、部屬、同事與其他相關人員探知學員工作表現，約 於三個月後進行評量，使學員有充分時間和機會將訓練所學應用於工作中，並可 配合控制組的運用以減少評量的誤差。 再者，受訓者的行為必須在下列四種條件下才會發生改變： 1. 學員有意願想改變。 2. 學員必須知道要做些什麼以及如何做。 3. 學員必須在正確的工作氣氛(right climate)中工作。 4. 學員的行為改變必須被激勵。 另外，行為層次的評估並不像反應層次及學習層次的評估一樣，可以在實施 訓練時立即衡量，因此，在評估此層次時須先決定何時作評估？多久評估一次？ 6 以及如何評估？所以 ，行為層次的評估確實較反應層次和學習層次的評估更為費 時與困難。 (四) 結果層次(result level) 結果層次主要在於衡量學員行為上的改變對組織帶來的利益多寡，亦即學員 參與訓練對組織經營績效有何正面的貢獻，例如產量的增加、銷售量的增加、品 質的改善、成本的降低、利潤的增加、投資報酬率的增加等等；另外，對於一些 較難以用貨幣衡量成果的訓練課程 ，則可用士氣提升或是其他非財務性的指標加 以衡量。此一層次是最不容易評估的一個層次，一般以成本效益分析、生產力指 標、主管訪談、專家評量等方式，於訓練結束而學員回到工作崗位一段時間後進 行評估。 而訓練的目的在於看到結果的產出，但是訓練對結果的影響程度有時是難以 掌握的，雖然如此，訓練人員在設計訓練時，仍應從明瞭組織所欲達成的結果著 手，再決定何種行為可以達到這些結果，進而分析要有這些行為所需具備的態 度、知識與技巧為何，最後再視狀況將訓練的目標設定在結果、行為或是學習的 層次。 然而，此層次評估之進行及鑑定較為不易，且宜謹慎進行，在 Alliger,G. and Janak,E. (1989)所統計之各種文獻所出現之訓練成效評估中，對結果層次有進行 評估之研究僅為 1.5%，因員工的績效表現，受許多因素影響所致，無法完全歸 因為訓練，因而信度與效度易受到質疑，致使進行此評估的企業較少(陳素貞， 1999)。 三、個人特質與訓練成效 個人特質如自我效能與參訓動機都是影響訓練成效的重要因素(Gist, Schwoerer Tannenbaum Campbell ; Noe)。 7 所謂自我效能(self-efficacy)是指人們對於自己是否有能力組織且執行某些活 動以達成特定任務的認知；這並非指一個人是否具有完成任務的技能，而是無論 是否具有此技能，其對於自己能否完成任務的信心與認知。而參訓動機(training motivation)是指受訓者欲學習訓練活動中具體內容所持有的態度(趙惠文，2002)。 四、工作環境與訓練成效 除了學員的自我效能和參訓動機會影響到學習成效外，工作環境對於訓練 成效的影響亦是不容忽視。工作環境的知覺會影響受訓者的學習動機、學習效果 及訓練的移轉；像是支持性的工作環境，如組織氣候的改變及社會關係人(上司 及同儕)所提供的增強與回饋，更有可能使受訓者所學之知識技能由訓練的場所 順利地移轉到工作環境中 ，即受訓者較有可能將受訓時所學之知識技能應用在工 作上；也就是說受訓者回到工作崗位後，其所面對的工作環境能激勵(如給予工 作上的協助或獎勵)或阻止(如同事的嘲笑)受訓者將所學到的新知識與新技術運 用到工作上(Bahn ; Noe Tannenbaum & Yukl)。 而 Noe (1986)認為工作環境包含了兩項要素：一為社會支持(social support)，即組織成員的社會網路對於其移轉訓練所學所提供的支持，包含上司、 工作夥伴、部屬的認知與回饋；另一為工作限制(task constraints)，即受訓者移轉 所學時所知覺到的設備、物料、資金供給之限制。 因此 ， 本研究認為訓練成效的評估除了可以採行 Kirkpatrick 之理論模型進行 四個層次(反應、學習、行為、結果層次)的評估外，亦應加入個人特質(自我效能、 參訓動機)與工作環境(社會支持、工作限制)這兩方面的因素，以全面探討訓練之 成效。 8 肆、本研究之訓練成效評估方法肆、本研究之訓練成效評估方法 根據上述文獻探討，本研究採取下列訓練成效評估模式，如圖 4-1 所示。本 研究的訓練成效評估方法包括了反應層次、學習層次、行為層次、結果層次，以 及個人特質與工作環境等部份。 反應層次(reaction level)方面，在於衡量學員對訓練課程的喜愛及滿意程 度，通常於訓練課程結束後，以問卷的方式進行評估。學習層次(learning level) 方面，在於衡量學員透過訓練學得新知識與技能的程度，可以紙筆測驗、面談、 觀察或實作測試等方式在訓練課程前後進行評估。行為層次(behavior level)方 面，在於衡量學員將訓練所學習到的知識與技能應用在工作上的程度，一般以紙 筆測驗、面談、觀察或實作測試等方式於學員回到工作崗位後進行評估。結果層 次(result level)方面，在於衡量學員行為上的改變對組織帶來的利益多寡，以成本 效益分析、生產力指標、主管訪談、專家評量等方式，於訓練結束而學員回到工 作崗位一段時間後進行評估。 而在評估反應、學習、行為與結果這四層次時，是有連續及階層性的，須 一層次評估後進而評估下一層次。而學習層次的成效不僅受到反應層次的影響， 亦會受到受訓者其個人特質(如自我效能、參訓動機)的影響；同樣地，行為層次 的成效除了受到學習層次的影響外，也會受到工作環境(如社會支持、工作限制) 的影響；因此再評估訓練成效時，亦須納入個人特質與工作環境等因素加以探 討。整個綜合考量後，決定訓練成效的優劣，以得知訓練的成效如何，加以檢討 與改進，並且依據此成效結果規劃後續的訓練課程。 9 圖一 訓練成效評估模式 反應層次反應層次(reaction level) l 衡量學員對訓練課程的喜愛及滿意程度 l 以問卷的方式進行評估 l 於訓練課程結束後立即評估 學習層次學習層次(learning level) l 衡量學員透過訓練學得新知識與技能的程度 l 以紙筆測驗、面談、觀察或實作測試等方式 進行評估 l 訓練課程前後各評估一次 行為層次行為層次(behavior level) l 衡量學員將訓練所學習到的知識與技能應用 在工作上的程度 l 以行為導向之績效評估量表或觀察法等方式 進行評估 l 於學員回到工作崗位後衡量 結果層次結果層次(result level) l 衡量學員行為上的改變對組織帶來的利益多 寡 l 以成本效益分析、生產力指標、主管訪談、 專家評量等方式進行評估 l 於訓練結束而學員回到工作崗位一段時間 後評估 個人特質個人特質 l 自我效能 (self-efficacy) l 參訓動機 (training motivation) 工作環境工作環境 l 社會支持 (social support) l 工作限制 (task constraints) 訓練成效之優劣訓練成效之優劣 l 訓練之效益 l 檢討與改進 l 後續訓練之 規劃 10 伍、個案公司簡介伍、個案公司簡介 個案公司(以下稱之為 V 公司)是以人類基因體為研發重點之生技製藥公司， 創立於 2001 年 3 月 ， 從亞洲族群特有疾病與單一核苷酸多型性(Single Nucleotide Polymorphism，SNP)間的關係著手，進行包括基因功能研究及用藥特性與基因關 聯性分析，藉以預告病人對藥物的可能反應，以達到個體醫療化的目標。 V 公司以成為世界頂尖的基因體研發公司自許，正積極與台灣現有生技研發 資源密切合作，期望發揮整合綜效，以加速帶台灣生技產業走上國際舞台；同時 也將結合兩岸三地及亞太地區資源，建立亞洲人常見的基因資料庫與技術平台， 並與各國研發機構、生技公司及大型藥廠合作，建立與歐美生技大廠並駕齊趨之 基因體研發技術平台，開發具有疾病診斷、預防與治療價值的生技產品，進軍世 界生技市場。而 V 公司目前擁有台北、台南、美國加州三個營運據點，未來將 陸續與各國主要的研發機構與生技公司合作，以強化全球市場的經營佈局。 V 公司的主要產品為： 一、針對亞洲常見疾病，如肝炎、肝癌、氣喘、口腔癌及肺癌等的相關基 因進行研究，尋找導致疾病之基因。 二、運用所建立的技術平台，開發各種新藥或臨床檢驗工具。 三、具家族淵源性之基因標記資料庫，可最為分析藥物毒性與藥效、疾病 發病率之工具。 四、病人檢體基因與用藥關聯性之資料庫，可供下游產業研發，藉以達成 個體化醫療之目標。 五、供基因藥物篩檢之特定技術平台。 V 公司之組織圖如下： 11 圖二 V 公司的組織圖 陸、研究方法陸、研究方法 依據先前的訓練成效評估模式，本研究針對評估 V 公司團隊建立訓練課程 之成效，將研究方法敘述如下： 一、 研究架構 由於時間之限制，本研究對於 V 公司團隊建立訓練課程之成效評估上，僅 分析與說明其反應層次、學習層次，以及個人特質這三部分，探討受訓學員之自 我效能、參訓動機，以及其對於訓練課程之滿意情形和學習狀況。因此，研究架 構如圖三所示： 董事會 董事長 總經理 顧問 秘書 事業發展處 研究發展處 電腦網管處企業整合處 高 速 基 因 定 序 中 心 高 效 能 基 因 定 位 中 功 能 性 基 因 體 研 發 檢 體 採 集 中 心 實 驗 室 品 管 中 心 生 物 資 訊 電 腦 資 訊 財 務 人 事 / 總 務 / 採 購 醫 藥 事 務 事 業 行 銷 企 業 關 係 / 法 務 12 圖三 本研究架構 二、 研究假設 根據以上的文獻回顧，我們將本研究的假設列如下： 假設 1：受訓者在訓練後之團隊知識會優於訓練前。 假設 2：受訓者在訓練後之團隊觀念會優於訓練前。 假設 3：受訓者訓練後的課程滿意度愈高，其團隊知識的了解程度會愈高。 假設 4：受訓者訓練後的課程滿意度愈高，其團隊觀念的了解程度會愈高。 假設 5：受訓者的個人特質愈高，其訓練後之團隊知識的了解程度會愈高。 假設 6：受訓者的個人特質愈高，其訓練後之團隊觀念的了解程度會愈高。 假設 7：受訓者的個人特質在課程滿意度對團隊知識之影響中，會產生干擾 作用。 假設 8：受訓者的個人特質在課程滿意度對團隊觀念之影響中，會產生干擾 作用。 反應層次反應層次(reaction level) l 衡量學員對訓練課程的喜愛及滿意程度 l 以問卷的方式進行評估 l 於訓練課程結束後立即評估 學習層次學習層次(learning level) l 衡量學員透過訓練學得新知識與技能的程度 l 以紙筆測驗、面談、觀察或實作測試等方式 進行評估 l 訓練課程前後各評估一次 個人特質個人特質 l 自我效能 (self-efficacy) l 參訓動機 (training motivation) 13 三、 研究對象 本研究以 V 公司為個案研究的對象，並以他們有全程參與本次團隊建立訓 練課程之三十八位員工作為訓練成效評估之對象。 四、 研究設計 在學理上常用的評估設計有五種(詳見附錄一)，而本研究由於配合公司現有 訓練制度採用其中之一種，名為單組前後測設計(one-group pretest-posttest design)，此評估設計是在研究對象於訓練前先進行知識、技能、態度等之測量， 而在訓練後再進行一次測量，比較前後兩次測量間產生之變化，以作為訓練有效 與否之驗證。選擇此種方法並非此種方法比其他四種方法為優，而是每種方法都 有其特殊的環境與特殊的資料 ，我們選用本方法完全是為配合公司訓練的方式與 資料取得的限制。本研究的評估設計如圖四。 圖四 評估設計圖 五、 施測事項 表一 訓練成效評估之實施時間、研究工具與目的 施測 階段 研究工具 研究目的 施測時間 個人特質問卷 了解受訓學員其個人之自我效能 及參訓動機 訓練課程當 日課程開始 前 團隊知識考題 (前測) 了解受訓學員其團隊知識為何 訓練課程當 日課程開始 前 訓 練 前 團隊觀念問卷 (前測) 了解受訓學員對於團隊的態度、觀 念為何 訓練課程當 日課程開始 前 訓練前評量 訓練後評量 訓練 評量改變 14 課程滿意調查表 了解受訓學員對於課程之講師教 學方式、教材及課程設計、訓練時 間安排與教學設備等之滿意程度 進行調查；用以作為參訓學員於訓 練後反應層次之訓練成效評估 訓練課程結 束後 團隊知識考題 (後測) 了解受訓學員於訓練後其團隊知 識是否有所改變；用以作為參訓學 員於訓練後學習層次之訓練成效 評估 訓練課程結 束後 訓 練 後 團隊觀念問卷 (後測) 了解受訓學員於訓練後其團隊觀 念是否有所改變；用以作為參訓學 員於訓練後學習層次之訓練成效 評估 訓練課程結 束後 六、 問卷發放及回收情形 V 公司之團隊建立課程有三十八位學員參訓，因此發放之問卷共計三十八 份，回收問卷中若有填答不全者則予以刪除，以此方法取得有效問卷三十五份。 這些問卷的發放與回收情形列如表二，由表二的資料中，我們可以得知本次受訓 員工對問卷填寫的配合度都非常高 ，無論是前測或是後測之問卷有效回收率皆高 達 92.1%。 表二 問卷發放與回收情形 團隊知識 團隊觀念 問卷 個人特質 課程 滿意度 前測 後測 前測 後測 發放數量 38 38 38 38 38 38 回收數量 38 38 38 38 38 38 刪除數量 3 3 3 3 3 3 有效數量 35 35 35 35 35 35 有效 回收率 92.1% 92.1% 92.1% 92.1% 92.1% 92.1% 15 表三 樣本特徵 樣本特徵 項 目 人 數 百分比 男 性 19 人 54.29 % 性 別 女 性 16 人 45.71 % 20-25 歲 3 人 8.57 % 26-30 歲 17 人 48.57 % 31-35 歲 7 人 20.00 % 36-40 歲 6 人 17.14 % 年 齡 40 歲以上 2 人 5.71 % 3 個月以下 12 人 34.29 % 3 - 6 個月 5 人 14.29 % 7 - 9 個月 4 人 11.43 % 10-12 個月 6 人 17.14 % 年 資 一年以上 8 人 22.86 % 大 學 11 人 31.43 % 碩 士 18 人 51.43 % 教育 程度 博 士 6 人 17.14 % 曾修習過團隊課程 3 人 8.57 % 是否修習過 團隊課程 未曾修習過團隊課程 33 人 94.29 % 由表三我們可以得知，參與本次教育訓練課程的學員是男女各半，年齡以 26-30 歲的學員最多，且因為 V 公司是新設立的公司，所以員工的年資都很輕， 78%的員工其年資皆在一年以下，也由於 V 公司是高科技產業，因此員工的教育 程度都很高，有三分之二以上的員工具碩士以上的學歷，而參與此次訓練的學員 之前都未修習過團隊相關之課程。 七、 問卷之信度與效度分析 (一) 信度分析(Reliability Analysis) 問卷是衡量員工受訓成效的工具，因此工具本身要有效，否則語意不詳、尺 度標示不清以及分類模糊都會使填答者不知所云，只得就其自己的理解加以填 答，結果造成填答者間不一致的現象，因而喪失了問卷之效度。 為此，本研究先運用信度分析檢驗問卷內容之一致性，確保問卷之有效性。 16 在信度分析方面，本研究先將問卷中所有反向題重新編碼(recode)，以使得填答 者所勾選的數值和正向題所勾選數值之代表意涵一致，再依據刪除本題後，量 表的信度(alpha if item deleted)為準則來決定是否要刪除此題項，因此，當該題 項的刪除本題後，量表的信度會大幅增加者，及予以刪除。各問卷之信度分 析結果如表四。 表四 信度分析結果 變數名稱 保留題項 刪除題項 Cronbachs 信度 教學方式 課程滿意調查表第一部分 第 1-8 題 - 0.8488 教材及課程設 計 課程滿意調查表第二部分 第 9-17 題 - 0.9168 課 程 滿 意 度 訓練時間安排 與教學設備 課程滿意調查表第三部分 第 18-20 題 第 18 題 0.7624 團隊觀念 團隊觀念問卷 第 1,3-4,6,8-20 題 第 2,5,7 題 0.8901 自我效能 個人特質問卷第一部分 第 1-2,4-15,17-21 題 第 3,16,22 題 0.8582 個 人 特 質 參訓動機 個人特質問卷第二部分 第 1-5 題 第 6-10 題 0.7975 由表四的分析結果，我們可以得知課程滿意度的問卷中，第一部分之教學 方式方面，Cronbachs 信度達 0.85，且未刪除任何題項；第二部分之教材及課 程設計方面，Cronbachs 信度達 0.92，亦沒有刪除任何題項；第三部分之訓練 時間安排與教學設備方面，經第 18 題刪除後，其 Cronbachs 信度達 0.76。團 隊觀念的問卷中，經第 2、5、7 題刪除後，其 Cronbachs 信度達 0.89。而個 人特質的問卷中，第一部分之自我效能方面，經第 3、16、22 題刪除後，其 Cronbachs 信度達 0.86；第二部分參訓動機方面，經第 6 至 10 題刪除後，其 Cronbachs 信度達 0.80。 因此，本研究問卷經處理後，Cronbachs 信度皆達 0.75 以上，屬於高信 度值(Wortzl，1979)，表示本研究問卷具有可靠性。 17 (二) 效度分析(Validity Analysis) 本研究之研究工具多數採用其他研究者所發展完成並經公開之問卷(趙惠 文,2002；吳盛金,2002；江婉瑜,1999)，經彙整後保留重複之問項，再依個案公司 實際狀況與課程內容作小幅修改後，並請教校內外學者專家的意見，由他們的建 議修改得最後使用的問卷 ， 因此 ， 問卷的內容應已具備內容效度(content validity)。 另外 ， 茲將團隊觀念問卷進行因素分析 ， 以主成份分析法(principle component analysis)抽取因素，並以最大變異法(varimax)進行正交轉軸，然後取特徵值(eigen values)大於 1 的因素，其結果可分為團隊決策、團隊參與、團隊領導、團隊認知 與團隊溝通等五個因素，其分析結果摘要列於表五。 表五 團隊觀念因素分析 內 容 因素一 團隊決 策 因素二 團隊參 與 因素三 團隊領 導 因素四 團隊認 知 因素五 團隊溝 通 1. 對於組織所倡導的政策，我能清楚了解並 落實於團隊中。 2. 我在思考自我時，是以團隊的成員為 出發點。 3. 當個人事務與團隊臨時會議衝突時，我會 以團隊任務優先。 4. 我認為參與式團隊是一種有效領導的方 式。 5. 當我要作決策時，我會先考量團隊整體目 標。 0.847 0.776 0.712 0.622 0.551 - - - - - - - - - - - - - - - - - - - - 6. 我認為與工作相關的決策可由團隊成員決 定，而不是由主管個人決定。 7. 我認為團隊的成員應該有機會參與決策。 8. 我認為由上級長官直接決定是不尊重團隊 成員。 - - - 0.815 0.814 0.557 - - - - - - - - - 18 9. 我認為團隊成員對於工作上的建議，都應 該受到重視。 10. 我認為領導者應該善於鼓勵別人。 11. 我認為團隊合作比個人努力更有利於目 標達成與任務完成。 12. 我認為領導者應該是一個會適當授權的 人。 - - - - - - - - 0.806 0.744 0.662 0.546 - - - - - - - - 13. 腦力激盪是團隊問題解決與決策的方法 和技巧之一，可提高團隊決策的品質。 14. 團隊的成敗和我息息相關。 15. 有衝突時，我會先釐清個人目標與團隊目 標。 - - - - - - - - - 0.723 0.716 0.632 - - - 16. 我認為傾聽是溝通的開始。 17. 當團隊有衝突時，為團隊和諧起見應盡量 避免溝通。 - - - - - - - - 0.795 0.748 特徵值 3.146 2.662 2.472 2.271 1.941 個別解釋變異量(%) 18.503 15.659 14.544 13.357 11.419 累積解釋變異量(%) 18.503 34.162 48.706 62.063 73.481 本研究的團隊觀念問卷可分為團隊決策、團隊參與、團隊領導、團隊認知與 團隊溝通等五個構面，而由表五可以得知，團隊決策構面(如：我在思考自我 時，是以團隊的成員為出發點等)能解釋此次團隊訓練成效的 18.50%；團隊參與 構面(如：我認為團隊的成員應該有機會參與決策等)能解釋此次團隊訓練成效的 15.66%；團隊領導構面(我認為領導者應該善於鼓勵別人等)能解釋此次團隊訓練 成效的 14.54% ，團隊認知構面(團隊的成敗和我息息相關等)能解釋此次團隊訓練 成效的 13.36%，團隊溝通構面(如：我認為傾聽是溝通的開始)能解釋此次團隊訓 練成效的 11.42%；這五個因素的累積解釋變異量達 73.48%，表示此份團隊觀念 問卷對於此次團隊訓練成效具有相當高的解釋力。 19 柒、研究結果分析柒、研究結果分析 在證明問卷的可靠性與有效性後，我們再以此問卷的資料來檢驗本次研究 的八個假設。 一、假設 1： 受訓者在訓練後之團隊知識會優於訓練前 表六 團隊知識前後測之 T 檢定結果 變數名稱 平均數 標準差 T 值 前測 40.0000 15.1463 團隊知識 後測 78.5714 16.8283 -10.782* 註：(1) 2-tailed test (2)* ：p0.001； * ：p0.01； * ：p0.1 根據表六成對樣本 T 檢定(paired-samples t-test)的結果，顯示受訓者在訓練 前後之團隊知識上有顯著差異，達統計上 0.1%的顯著水準，且訓練後之平均分 數為 78.57 分，遠高於訓練前之平均分數 40.00 分，由此可知，本次訓練有效地 提升了受訓者的團隊知識。 因此， 受訓者在訓練後之團隊知識會優於訓練前之假設成立。 20 二、假設 2受訓者在訓練後之團隊觀念會優於訓練前 表七 團隊觀念前後測之 T 檢定 變數名稱 平均數 標準差 T 值 前測 5.8891 0.5942 團隊觀念 後測 6.0067 0.4592 0.137 前測 5.6286 0.7869 團隊決策 後測 5.9143 0.5745 -2.787* 前測 5.2667 1.0810 團隊參與 後測 5.4000 0.8849 -0.905 前測 6.2786 0.6324 團隊領導 後測 6.3143 0.4387 -0.442 前測 6.0381 0.6897 團隊認知 後測 6.1714 0.5200 -1.125 前測 6.4714 0.6960 團隊溝通 後測 6.2857 0.8852 1.098 註：(1) 2-tailed test (2)* ：p0.001； * ：p0.01； * ：p0.1 (3)團隊觀念包含團隊決策、團隊參與、團隊領導，團隊認知與團隊溝通， 為五項觀念之總平均。 根據表七成對樣本 T 檢定的結果，顯示受訓者在訓練後其團隊觀念之平均 分數高於訓練前之平均分數，但是未達統計上 10%的顯著水準，所以我們並無證 據證明受訓者在訓練後之團隊觀念優於訓練前。然而，分別就團隊觀念問卷中各 構面加以探討後，發現受訓者在訓練前後之團隊決策在統計上有顯著差異，達 1%的顯著水準，且訓練後之平均分數遠高於訓練前之平均分數，由此可知，受 訓者在訓練後的團隊決策觀念的確優於訓練前。 因此， 受訓者在訓練後之團隊觀念會優於訓練前之假設部分成立。 21 三、假設 3 至假設 8 之多元迴歸分析 表八 假設 3 至假設 8 之多元迴歸分析 假 設 依 變 數 常數 自 變 數 RA2 F 值 3 團 隊 知 識 44.242 教學 方式 17.472 教材 及課程 設計 -11.656 訓練時 間安排 與教學 設備 -0.636 - - 0.036 1.425 4 團 隊 觀 念 4.052 教學 方式 0.442 教材 及課程 設計 -0.217 訓練時 間安排 與教學 設備 9.98E-02 - - 0.103 2.299* 5 團 隊 知 識 79.593 自我 效能 0.510 參訓 動機 -1.011 - - - -0.059 0.057 6 團 隊 觀 念 4.515 自我 效能 0.238 參訓 動機 4.76E-02 - - - 0.046 1.826 7 團 隊 知 識 -442.526 課程 滿意度 87.647 自我 效能 137.649 參訓 動機 -60.368 課程 滿意度 自我 效能 -22.711 課程 滿意度 參訓 動機 9.596 0.306 3.994* 8 團 隊 觀 念 -5.427 課程 滿意度 1.739 自我 效能 1.925 參訓 動機 -7.8E-02 課程 滿意度 自我 效能 -0.292 課程 滿意度 參訓 動機 1.70E-02 0.061 1.440 註：(1)* ：p0.001； * ：p0.01； * ：p0.1 (2)表變數間之交互作用 22 假設 3 至假設 8 之內容如下： l 假設 3受訓者訓練後的課程滿意度愈高，其團隊知識的了解程度會愈高 l 假設 4受訓者訓練後的課程滿意度愈高，其團隊觀念的了解程度會愈高 l 假設 5受訓者的個人特質愈高，其訓練後之團隊知識的了解程度會愈高 l 假設 6受訓者的個人特質愈高，其訓練後之團隊觀念的了解程度會愈高 l 假設 7受訓者的個人特質在課程滿意度對團隊知識之影響中，會產生干擾 作用 l 假設 8受訓者的個人特質在課程滿意度對團隊觀念之影響中，會產生干擾 作用 表八是檢驗假設 3 至假設 8 之多元迴歸分析的結果。從表八第二列的資料 中，我們可以得知，在檢驗假設 3 之時，是以團隊知識為依變數，以課程滿意度 的三個構面(教學方式、教材及課程設計、訓練時間安排與教學設備)為自變數， 作多元迴歸分析，結果 F 值未達統計上 10%的顯著水準，因此，本次受訓者的 課程滿意度對於團隊知識的增加不具解釋變異與預測之能力，換言之， 受訓者 訓練後的課程滿意度愈高，其團隊知識的了解程度會愈高之假設不成立。 從表八第三列的資料中，我們可以得知，在檢驗假設 4 之時，是以團隊觀 念為依變數，以課程滿意度的三個構面(教學方式、教材及課程設計、訓練時間 安排與教學設備)為自變數，作多元迴歸分析，結果 F 值達統計上 10%的顯著水 準，表示此一模型在解釋團隊觀念上具有影響力，因此，團隊觀念的成效受到課 程滿意程度多寡的影響，且其中以教學方式的影響最大(值為 0.455)，表示訓 練中的教學方式愈佳，其團隊觀念(學習層次)之成效也愈佳，換言之， 受訓者 訓練後的課程滿意度愈高，其團隊觀念的了解程度會愈高之假設成立。 從表八第四列的資料中，我們可以得知，在檢驗假設 5 之時，是以團隊知 識為依變數，以個人特質的二個構面(自我效能、參訓動機)為自變數，作多元迴 23 歸分析，結果 F 值未達統計上 10%的顯著水準，因此，本次受訓者的個人特質 對於團隊知識的增加不具解釋變異與預測之能力，換言之， 受訓者的個人特質 愈高，其訓練後之團隊知識的了解程度會愈高之假設不成立。 從表八第五列的資料中，我們可以得知，在檢驗假設 6 之時，是以團隊觀 念為依變數，以個人特質的二個構面(自我效能、參訓動機)為自變數，作多元迴 歸分析，結果 F 值未達統計上 10%的顯著水準，因此，本次受訓者的個人特質 對於團隊觀念的增加不具解釋變異與預測之能力，換言之， 受訓者的個人特質 愈高，其訓練後之團隊觀念的了解程度會愈高之假設不成立。 從表八第六列的資料中，我們可以得知，在檢驗假設 7 之時，是以團隊知 識為依變數，以課程滿意度 、 自我效能 、 參訓動機 、 課程滿意度自我 效能之交互作用及課程滿意度參訓動機之交互作用為自變數，作多元迴 歸分析，結果 F 值達統計上 10%的顯著水準，表示受訓者的個人特質在課程滿 意度對團隊知識之影響中，會產生干擾作用，因此， 受訓者的個人特質在課程 滿意度對團隊知識之影響中，會產生干擾作用之假設成立。 從表八第七列的資料中，我們可以得知，在檢驗假設 8 之時，是以團隊觀 念為依變數，以課程滿意度 、 自我效能 、 參訓動機 、 課程滿意度自我 效能之交互作用及課程滿意度參訓動機之交互作用為自變數，作多元迴 歸分析，結果 F 值未達統計上 10%的顯著水準，表示受訓者的個人特質在課程 滿意度對團隊觀念之影響中，不會產生干擾作用，因此， 受訓者的個人特質在 課程滿意度對團隊觀念之影響中，會產生干擾作用之假設不成立。 24 捌、結論與建議捌、結論與建議 這部份將針對上述研究分析結果作彙整性的結論，期望能提供個案公司在 實施訓練活動時的參考，同時也希望能以本研究為基礎，提供未來後續研究者方 向及建議。 一、實證結果 本研究的研究結果主要驗證本研究先前提及的訓練成效評估模式，其包含 了 Kirkpatrick 所提出之四層次訓練成效評估模型的前二層次(反應層次、學習層 次)，以及探討個人特質(自我效能、參訓動機)變項對於受訓者訓練成效之影響。 根據統計分析的結果，本研究所得到的結論如下： 表 8-1 本研究之各項研究假設驗證結果彙整表 假設項次 假 設 內 容 驗證結果 假設 1 受訓者在訓練後之團隊知識會優於訓練前 成立 假設 2 受訓者在訓練後之團隊觀念會優於訓練前 部分成立 假設 3 受訓者訓練後的課程滿意度愈高，其團隊知識的 了解程度會愈高 不成立 假設 4 受訓者訓練後的課程滿意度愈高，其團隊觀念的 了解程度會愈高 成立 假設 5 受訓者的個人特質愈高，其訓練後之團隊知識的 了解程度會愈高 不成立 假設 6 受訓者的個人特質愈高，其訓練後之團隊觀念的 了解程度會愈高 不成立 假設 7 受訓者的個人特質在課程滿意度對團隊知識之 影響中，會產生干擾作用 成立 假設 8 受訓者的個人特質在課程滿意度對團隊觀念之 影響中，會產生干擾作用 不成立 25 二、結論與建議 由上述的統計資料分析結果，本研究有下列之結論： (一) 本課程訓練成效之評估 在團隊知識方面，學員在受訓後之測驗成績明顯高於受訓前，達到顯著水 準；而團隊觀念方面，也顯示學員於訓練後的團隊決策構面之團隊觀念的了解程 度優於訓練前。因此，總體而言，我們可以得知此次的團隊建立訓練課程的確有 助於受訓者團隊知識及團隊決策觀念的建立。 (二) Kirkpatrick 之訓練成效評估模型驗證 本次研究在驗證課程滿意度(反應層次)方面，顯示其對團隊觀念(學習層次) 具有正向線性關係，達到顯著性。因此，證實 Kirkpatrick 所提出之受訓者的反 應層次會影響其學習層次的理論在東方的社會背景中仍然有效；換言之，學員會 受教學方式 、 教材及課程設計 、 訓練時間安排與教學設備等課程安排上 之滿意情形影響其學習成效，受訓者的反應層次之訓練成效愈佳，其學習層次的 訓練成效也愈佳。 (三) 個人特質對於訓練成效之影響 本研究假設受訓者個人特質之自我效能及參訓動機對於團隊知識與觀念的 了解程度會有影響，但是由上述的分析結果並不支持此項假設，究其原因可能是 因為員工的參訓動機不高(平均值 3.7，最高為 7)，其只將此次訓練課程視為例行 性的教育訓練，且是公司規定必須出席參加，並非打從心底相信此次訓練課程會 滿足個人求知慾及提升個人地位與收入而參訓 。另一項假設受訓者的個人特質在 課程滿意度對團隊知識之影響中，會產生干擾作用，此項假設則成立；因此，在 評估訓練成效時，亦應考量學員的個人特質，因為學員的個人特質對於訓練的成 效是有影響力的，其在反應層次對學習層次的影響中，會產生干擾作用。 26 而針對個案公司及後續研究，本研究擬出以下之建議： (一) 如何提高訓練成效方面 本研究之研究結果顯示，學員在訓練後的課程滿意度愈高，其學習成效愈 佳，尤其是教學方式方面影響最大。因此，企業在舉辦訓練課程時，必須特別加 強教學方式及課程設計，以提升訓練的學習效果；其實際推行的方法是，在規劃 課程時先做問卷調查，了解員工對於訓練課程的心理期待，將公司需求及問卷結 果與講師作充分的溝通，以利於課程活動的安排，及課程的內容與員工的需求能 作充分的配合。所以，企業應特別注意教學方式及課程設計，以提升學員對課程 的滿意度，進而提高訓練的學習成效，達到訓練目標。 (二) 後續研究方面 本研究提出之訓練成效評估模式包含了 Kirkpatrick訓練成效評估四層次(反 應層次、學習層次、行為層次、結果層次)，以及個人特質(自我效能、參訓動機) 和工作環境(社會支持、工作限制)等部份。然而，由於時間之限制，本研究對於 V 公司團隊建立訓練課程之成效評估上，僅分析與說明其反應層次、學習層次， 以及個人特質這三部分，探討受訓學員之自我效能、參訓動機，以及其對於訓練 課程之滿意情形和學習狀況；因此，其他研究者若欲進行訓練成效評估之研究， 建議可以進一步針對訓練成效評估模式之行為層次 、結果層次以及工作環境這三 部分作探討，以對訓練成效作完整的評估。 27 參考文獻參考文獻 一、中文部分 江婉瑜(1999)，訓練成效評估之研究，國立中央大學人力資源管理研究所未出版 之碩士論文。 李 誠(2002)，人力資源管理的 12 堂課，第二版，天下文化出版。 狄家葳(1999)，訓練成效評估之研究以台灣跨國企業為例，國立台灣大學商學 研究所未出版之碩士論文。 吳秉恩(1984)，管理才能發展方案實施與成效關係之研究，國立政治大學企業管 理研究所未出版之博士論文。 吳盛金(2002)，訓練成效評估與影響訓練移轉因素之探討，國立中央大學人力資 源管理研究所未出版之碩士論文。 郭芳煜(1989)，怎樣做好員工培訓，聯經出版社。 陳素貞(1999)，企業訓練績效評估研究國內外標竿企業之比較，國立中央大學 企業管理研究所未出版之碩士論文。 黃誌瑩(2001)，教育訓練制度規劃之個案研究以 K 公司為例，國立中央大學企 業管理研究所未出版之碩士論文。 楊香容(2001)，企業訓練與組織績效關係之探討以製造業為例，國立中央大學 人力資源管理研究所未出版之碩士論文。 趙惠文(2002)，團隊建立訓練評估，國立中央大學人力資源管理研究所未出版之 碩士論文。 戴幼農(1983)， 訓練成效評核 ，就業與訓練，第一卷，第四期，頁 55-60。 28 二、英文部分 Bahn, A. (1973), “The Countertraining