设计w习v程分析与试题批改c制於远距教w系统之.doc

設計學習歷程分析與試題批改機制於遠距教學系統之經驗The Experience in Designing Portfolio Analysis and Grading Mechanism for Distance Learning Systems張靖宜 趙 銘 楊東麟臺灣逢甲大學Tel: 002-886-4-24517250-3725 Fax: 04-24516101E-mail: .tw, *mingchao, .tw為改善遠距教學系統的功能，本系統的重點在強化記錄學生學習歷程檔案，以便能朝向適性化的做到因材施教，並且改善了原本只能有是非和選擇題的出題型態，擴充成為可以呈現填充申論題之出題機制。另外也設計了一個可提供老師線上批改填充申論題的介面，以三等級評分標準來便利老師批改試題和檢視成績。關鍵词：遠距教學 學習歷程檔案 批改機制 SCORM 引言網際網路於今日知識爆炸的社會上，幾乎是無所不在的境界，將網路應用在教育上讓人人接受教育的機會更為普及化。遠距教學的形成使得學習的行為可以在任何時間及地點，對任何人，只要透過電腦連接上網路就能進行。而我們期望電腦輔助學習的設計，應當能幫助學生培養邏輯思考能力，並且注重提供更多元的問題解決、推理、溝通、以及跨越學科意義關連的學習機會在虛擬的學習情境中6。對於遠距教學的種類，可分為兩種：一種是同步（Synchronous）遠距教學，另一種是“非同步”（Asynchronous）遠距教學。顧名思義，同步遠距教學實施的方式，可以看成是在一個虛擬的教室中學習，常是透過視訊（Video）的方式來做線上訓練（Teletraining）或線上會議（Teleconferencing）1。這種方法必須要求學生在固定時間內到某一處地方上網學習，當然學生實際上可能是分散在各個地方的，這種同步遠距教學的方式，可算是較傳統的遠距教學方式。另一種非同步的遠距教學，則不需要在特定時間集合所有的學生一起上課，學生在時間、空間上都可以自由選擇與控制。非同步遠距教學特別強調教學內容、輔助學生做決定、提供諮詢機制等，這種服務必需倚賴電腦科技來傳送和呈現教材。未來遠距教學的趨勢，應是朝著非同步的方式，加強教材的物件化使提高教材再使用性（Reuse），以及教學系統的個人化（Personalized）和適性化（Adaptive）的學習功能。資訊與網路的環境，支援了許多突破傳統的教學和學習的方法，若是老師能提供學生適當的學習引導，不致使學生迷失在資訊的汪洋中，則學生可利用網路超連結（Hyperlink）的功能，無拘無束的在網路世界中遨遊，知識的取得也不再受限於傳統教科書上的內容。以個別化教學的觀點而言，這樣更便於學生對於學習的內容與過程做到完全的自我控制。所以老師們如果能妥善運用網路學習之遠距教學系統，將可使以往一成不變的學習活動，蛻變成數個活動內容不同、而且同時進行的學習小組，學生甚至可以在電腦教學的程式中，自由控制自己的學習過程與進度3。世界上對於遠距教學平台的研究已經有一段時間。到目前為止許多研究都已漸漸朝向個別化教育、減少時空限制、適應人格發展和教材發展與應用，一個成功的遠距教學系統，定有完善的教學機制與學習功能，再搭配上良好的教學策略，才能滿足時勢所需，這也正是許多專家還在努力與追尋的境界。為使教材的再使用性、互通性等性質提升，SCORM2的標準已成為重要的焦點。 研究目的近年來許多教育技術研究者，都致力於發展功能更為強大的網路化學習環境，譬如LearningSpace（Lotus Software from IBM）、CanLearn（肯心資訊科技股份有限公司）、TrainingASP 3.0（育碁數位科技股份有限公司）、TopLearn（創意家資訊有限公司）、Wisdom Master智慧大師（旭聯科技股份有限公司）、智慧網路評量系統、教育訓練管理系統（維晟資訊股份有限公司）、LanStar21st多媒體網路教學平台（北軟股份有限公司）、eIDEA3.5教育訓練管理平台及知識管理系統（天下趨勢知識網路股份有限公司）、網育通互動式教學系統（網育通科技有限公司）、Learning XP Solutions（一宇數位科技股份有限公司）、為智線上教學系統（為智科技股份有限公司），以及Oracle iLearning（Oracle）3等。然而若只是單純的記錄網路學習行為對現在的科技來說，已經不是什麼困難的事情。我們認為要讓網路學習者有更完善的學習效果，就要隨時觀察學習者的學習行為與過程，並將這些學習歷程中的事件記錄、建檔，並儲存，之後再使用這些大量學習者的記錄來進行資料探勘（Data Mining），探勘出每位學習者在學習時的偏好路徑及習慣順序等樣式（Patterns）。藉得到所需要的學生學習習性及效果等資訊，並能將這樣的資訊當作一種經驗，幫助我們了解現在與預測未來學習者的學習態度與方式，為因材施教做準備。此外，在SCORM標準之執行環境的資料模型（Data Model）中，對需記錄的內容正在研究分析中。2.1 掌握學習歷程檔案所謂的學生學習歷程檔案（Learning Portfolio），依據Graves and Sunstein4的說法，它可以是許多東西，從學生的作文簿到剪貼簿都屬之。或者可以說是為了某些特定的目的或用途，而來收集學習者在學習過程中各方面表現的資料，以表示或反應出學習者的真實表現，以及進步或者改變的情形9；也有人說學習歷程檔案就是有系統有目的地去收集學生的作業或作品，藉由記錄呈現出學生努力的過程，和學生學習中的自我成長。而其中收集的作品格式，要視應用在哪一種類課程之需要而定，通常可能是以文字為主的書面資料、聲音、影像、程式碼或圖畫等10。考試，最多只能評斷學習完成後的結果；而歷程檔案，記錄了整個學習過程中的點點滴滴，包括整個學習的心路歷程，因此，它是相當完整的評量依據。學習歷程檔案並不一定要記錄在網路上，但是藉由網路，老師與學生、以及學生與學生間都比較容易獲得良好的溝通。已有許多相關文獻指出，學習歷程檔案在網路化學習環境中佔有越趨明顯的重要地位，因為在網路學習環境中，要掌握及瞭解學習者的學習進度和情形是相當重要的，但是這些資料卻又常不易獲得，所以如能善用學生學習歷程檔案，不僅可以提供老師在教學以及製作教材時一些指標，還可以提供學習者更充份的自我學習與反思的機會5，如此將能使網路學習的成效更加卓越。2.2 改善線上出題與批改機制一個遠距教學系統可能由好幾個模組所組成，其中的老師模組和學生模組，必然是整個系統最主要的核心角色，本文著眼在記錄學生的多種學習歷程並予以統計分析，用來評估學生學習情況，還可以此分析結果作為老師設計教材時的參考依據。再者，以目前許多已成形的遠距教學系統之線上測驗來說，由於受限於自然語言辨認的問題，因此填充申論題無法在沒有人工的介入下，由系統自動批改，所以目前所有的測驗型式都為是非題、單選題，和複選題。但是在遠距教學系統之線上測驗，若只能提供是非題和選擇題，顯然是不適用的。好比數學課程的應用計算題，老師可能要求學生從定義、定理推廣，一步步把題目解出來；或者計算機概論中，將邏輯概念轉化成程式碼流程；甚至演算法的編寫等，便不能只以是非或選擇題就測驗出學生的理解程度。於是在本系統中，加入了填充申論題的機制，讓考試題型更多元化。另外由於填充申論題的答案並非是標準制式化的，所以無法由系統直接批改，因此本系統提供了一個可供老師線上批改填充申論題的介面，讓老師可以在任何地方，只要透過網路登入系統，便能批改學生的填充申論題。 系統架構與設計本系統的建構上，是以CanLearn教學平台為既有的基底8，並因應逢甲大學遠距教學系統之需求而進行的改善。CanLearn裡，總共將遠距教學系統分成四個角色與其相對應的模組，分別是：學生模組、老師模組、行政人員模組，以及系統管理者模組，以此四種不同身份登入到系統中，亦會有所屬四種不同的操作介面環境，以下將逐一介紹此四個模組之特色。圖1是擴充後的系統功能架構圖。圖1CanLearn系統及新增功能之架構圖，圖中灰色區塊為新增之單元在擴充的部份，主要是針對其中的學生模組與老師模組做深入的探索與強化。學生與老師之間的互動是非常緊密且相輔相成的，老師努力規畫製作的教材，是要提供給學生做知識的學習；老師編輯的題庫、設計的考卷，是用來評斷學生學習的成效為何。而學生所有學習行為和成果的記錄，都是要交由老師來研究及分析，這之間的關係就如圖2所示。圖2老師與學生之互動關聯圖3.1 系統管理者模組系統管理者相當於資訊維護人員，他也是整個系統中第一個擁有所屬帳號的角色。當系統剛開始上線時，系統管理者要負責建立其他不同身份人員之帳號；而當系統在作用中，系統管理者要確保此系統能穩定地運作，以及硬體方面的保養、維護、維修和升級擴充等。3.2 行政人員模組本系統中的行政人員角色，與實際校園中處理校務之行政人員是很相似的。行政人員的工作首要是先安排選課事務，提供學生目前開出的課程有哪些、各個課程的注意事項，諸如選課日期、上課日期、課程結束日期、授課教師、需繳費用等。待學生完成選課動作時，行政人員需檢核學生條件（若需繳費，則是否已繳費），審核通過後，開放學生進入課程中學習。接下來一旦課程開課了之後，行政人員要輔助老師上傳教材或考題，供修課學生使用。3.3 學生模組學生要進入系統上課前，需先經過註冊的動作，待通過註冊的手續後，系統會指定每位學生一個內建的識別碼，並且要求登錄學生的個人基本資料，如此之後便成為本系統之合法使用者了，而網站內的線上學習或聊天室等功能，學生皆能自由運用。在本遠距教學系統中，用來掌握學生的學習情形可以分為以下三種方法：（1）對學生進行學前測驗或問卷調查：藉以明白學生的固有知識及背景、學生學習習慣和喜好，甚至是學生期望在遠距課程中能學到些什麼等需求，這個活動是在學生正式進入本遠距教學系統前，即可以先行實施。（2）觀察學生在學習中的各種學習行為：也就是記錄其學習的歷程及態度，這個階段應是整個網路學習過程中最重要的一環，系統所記錄下來的各種資訊將來都可以用來分析、評斷及預測現在學生學習的習性以及未來可能適合學生的學習內容和方式。（3）在學習完一個段落後，可以對學生實行考試及測驗：測驗所得到的成績將作為評估學生學習成效的依據，並以學生的表現作為修正教材內容及觀念呈現的參考指標。3.3.1 記錄學習歷程檔案經由適當的設計學習檔案評量系統，我們可以記錄下整個學生的學習歷程，與在各階段的學習成果，在各方面的學習研究都可以很方便的進行。然而不同的學習模式，不同的研究需求，仍然需要對系統作慎密的規劃，並且在資料產生時便進行適當的編碼，而後才能進行資料的分析。一旦學生正式進入本網站學習後，關於學生在網站上的學習活動都將開始被記錄下來，我們所利用的技巧是當學生登入本系統之後，系統就會派出一個觀察代理人（Agent）到每位學生的終端個人電腦上，來抓取我們所需要觀察的時間特性，也就是執行一個Java Script程式來抓取各種屬性，像是使用者IP、使用者正在觀看的網頁之URL、使用者在該網頁停留時間等，這些資訊都將整理統計之後，呈現給所屬之負責老師，做為瞭解學生學習情形之用。目前所記錄的項目為：（1）登入系統資訊第幾次登入。登入帳號。登入時間。登出時間。此帳號此次登入依序瀏覽過的網頁之URL。（2）上課資訊學生瀏覽每個網頁的時間。學生在每個單元停留的時間。學生在整個章節停留的時間。（3）作業資訊每次所指定之作業內容。學生每次繳交作業之成品內容。學生每次繳交作業時間。學生每次所繳交作業的成績。（4）測驗資訊每次線上可重複考的測驗成績。每次線上不可重複考的測驗成績。（5）問卷調查資訊問卷發出時間。問卷內容。學生對於問卷問題之評比。上述之記錄是SCORM標準中提及所需必要的項目，對於其他項目的記錄，我們還在研究規劃中。這些記錄不僅會提供給學生本身作為檢視自我學習態度與成效，並作為學習自省的工具以外，還要讓老師可以觀察每位學生的上課情形，老師將可在他的介面中得到分析整理後的學生表現。而這些學生學習歷程檔案的記錄，將不止是短程的呈現給學生和老師參考。長程的來說，這些資訊還要留作往後作為資料探勘的來源，以資料探勘的技術得到不同特性的學生之學習型態與習慣，並可藉此預測出新進學生可能的類型和學習習性，如此更能將本遠距教學系統更推向適性化與個人化的階段。3.3.2 擴充的考試機制學生在考試時，以往一般線上測驗的模式都是只能考是非題、單選題或複選題，在本系統中，我們擴充了考試機制，使得老師的出題型態多了填充申論題，並設計了一個讓老師可以線上批改填充申論題的介面。無論是是非、選擇或填充申論題，所有的測驗題目都是依據老師的指定，譬如指定題型、題數、難易度、配分等，再隨機（random）從題庫中出題，包括題目本身和其選項都是以亂數選取。換言之，每位學生考試的題目皆不盡相同，題目順序也不同，同一題之選項也不會出現在同一個位置上，如此可避免學生作弊或習慣性背頌答案的情況，考試的流程如圖3所示。圖3 學生線上測驗流程圖進行線上測驗時，只要學生一旦送出考卷，是非題和選擇題的部份可以由系統立即自動批改，隨之顯示出學生在這次測驗中答對了哪幾題，以及是非選擇部份的總分為何。至於填充或申論題的部份，則是在學生送出考卷後，系統先將學生的作答內容存入資料庫中，待老師上線批改完後，再行統計結算總成績。在學生送出考卷同時，系統會自動發出一封電子郵件通知老師，某位學生已經完成此次線上測驗，並已經交出考卷，提醒老師可以上線來進行批改的動作。待老師進入線上批改填充申論題的介面時，系統再由資料庫中取出學生的答案供老師批改。這樣的設計可以便利老師無論在什麼地方，只要透過網路進入本系統，就能隨時進行批改學生的填充申論題。老師批改完填充申論題後，系統立即結算最後的總分，即是先前由系統批改之是非題和選擇題的分數，再加上老師所批改的填充申論題之得分。而學生考完試後，可以馬上進行檢討考卷，檢討畫面中會顯示學生原本作答內容以及該題是否答對，並且每一道題目均附有詳解，以幫助學生釐清觀念。3.4 老師模組在老師模組的部份，系統提供老師可以設定行事曆來規定本學期的注意事項（安排考試時間、繳交作業規定與期限、線上諮詢等），老師還可以在線上進行批改學生填充申論題的分數，以下將針對製作教材、編輯題庫與考試，以及檢視學生學習情況來加以探討。3.4.1 製作教材在CanLearn系統中，可支援多種軟體所開發的教材，其格式包括有Microsoft Word、PowerPoint、Flash、Java等，並且還支援多媒體程式，老師所製作的教材可以是靜態的文字呈現，也可以是動態的動畫或影音等多媒體影片檔案。教材一旦製作完成，老師需將教材壓縮成ZIP檔並上傳給行政人員，再由行政人員安排到該課程中。教材（Courseware）的製作亦是遠距教學系統中相當重要的一環，通常讓老師們耗去最多的時間，就是在編輯教材的步驟。電子化的教材可以重複利用，並且統一由資料庫系統化地集中控管，對於教材的儲存、管理與再使用方面來說，是相當便利的。3.4.2 編輯題庫與考試老師一旦開班後，除了安排該班級的上課內容以外，接著便是要設定考試。在設定線上測驗之前，老師必需先建立屬於該課程的測驗題庫。題庫的產生可透過離線編輯器來編輯，題目可由老師設定成難、中、易三個等級，並且可以註解出此題之詳解為何。編輯之題目是以XML檔案型式儲存於系統資料庫中，再上傳到所屬之課程裡。考卷指定給學生考試後，接下來的工作就是要批改其中填充申論題的部份。老師在線上批改介面中，可以針對學生的回答情形給一個分數，之後系統會自動將填充申論題之得分與是非選擇題之得分相加，得到最後此次測驗的總得分。為了便利老師能直觀地觀察學生的成績表現，所以我們的做法是將填充申論題的得分區分為三個等級，分別是A（學生得分佔該題配分之2/3以上）、B（學生得分佔該題配分之1/3到2/3之間）和C（學生得分佔該題配分之1/3以下）。當填充申論題的分數給定後，系統會在成績資料庫中存入學生於每個填充申論題實得分數，以便計算考試總分及作為分等的依據。此時系統亦自動計算出填充申論題每題之得分相對於該題之配分所佔比例為何，再將學生之填充申論題得分歸類等級。本系統之所以採用這樣的三等分顯示成績，能使老師在檢視學生考試作答情形時，提供一個更直覺的圖形表示法介面，並且可以輕易地看出班上填充申論題部份總體測驗得分概況。3.4.3 檢視學生學習情況對於學生在遠距學習上的表現，老師可由以下五個方面來瞭解學生：（1）學生於問卷之回答。（2）學生上課記錄。（3）學生作業成績。（4）學生測驗成績。（5）學生測驗之作答情況。這些記錄讓老師可以瞭解每位學生的上課情形，關心學生的學習過程，在適當的時候，給予學生一些幫助，像是透過線上討論、留言板或者安排助教與學生座談，以增加老師與學生之間的互動，彌補遠距教學較傳統教學所不及之處。此外，老師還能以學生的作業、考試成績和測驗之作答情形為依據，思考教材的表達和呈現是否有缺失之處，以做為修正改進的參考。圖4檢視學生測驗作答情形之畫面其中我們特別提出一個與眾不同的觀察指標，即是檢視學生測驗之作答情形。也就是說，老師在此介面上，可以看出同一個班級裡每位學生在每個問題上是如何作答，以及每題被答對或答錯的人數是多少，並且以長條圖加以表示，如圖4。（1）是非題：最簡單的一種，記錄了每題是非題被所有答題學生作答的情形，包括答對有幾人，答錯有幾人。（2）選擇題：記錄了每題選擇題中，每個選項被選擇的人次，即可知單選題答對的人數有幾人，以及若是複選題時，此題作答完全正確的有幾人。（3）填充申論題：在這個部份則是記錄了每個填充申論題被學生得分為A級、B級和C級的人數各為多少。填充申論題採用三等分來觀察，主要是讓老師能較容易的對填充申論題部份整體考試情況有個概觀的了解與感受。譬如有一填充申論題之配分為10分，此時有五名學生同樣回答到此題目，經過老師評定後，分別給出3、5、6、8與10分。當老師要檢閱學生於此次考試之整體表現時，若是系統將每位學生所作答每題填充申論題的實得分數都一一列出，老師不但無法看出整體的分數分佈情況，甚至若參與考試的學生人數以及全部被作答到的題目次數太多時，反而讓老師看得眼花撩亂，對老師來說並沒有太大的幫助。因此在這個例子中，我們將呈現給老師的是，此填充申論題的得分在A區的學生有一名（3分那位），得分在B區的學生有二名（5分及6分這兩位），得分在C區的學生有二名（8分及10分這兩位）。另外有一種考試，像是期中考或期末考，則修習同一科目所有班級之學生所考試的內容必需要完全一樣，如此一來才不會失了考試的公平性。對於這類統一題目的考試，我們不僅有如上所述之記錄以外，還多了一個具有比較性的評比，同時呈現正確數字與圖形化的表示法（長條圖）。也就是負責某班的老師在檢視該班學生作答情形時，還可以同時看到其他同樣科目、不同班級之作答情形（圖5），這樣的設計讓老師方便觀察與比較每個班級的學習成效，此亦是個相當具有參考性的記錄資料。圖5相同考試內容時，與不同班級相互比較的成績以長條圖表示4 結論遠距教學之趨勢銳不可擋，現今世界上對於遠距或線上學習（E-learning）平台的研究已發展得相當有規模，本文即是在現有的遠距教學系統上，改良了學生模組和老師模組上的一些機制，以期使系統功能更完善，使老師與學生之間在遠距系統上關聯更為密切。另外我們在系統中使用了填充申論題的出題與批改機制，使得線上測驗的型式變得更多樣化，也更能符合線上測驗的需求。本系統之特色有以下幾點：（1）記錄多樣學生之學習歷程，以利加強學生的學習效果，並達到更加適性化和個人化發展。（2）線上測驗上，在是非與選擇題型以外，多加入了填充申論題之出題機制。（3）提供老師一個線上批改填充申論題的介面，方便老師批改學生成績。並且當學生一完成測驗題，系統會立即發出電子郵件，通知老師可以進行批改之動作。（4）在檢視學生學習效果方面，提供圖形化介面顯示學生考試作答結果與分數之情形，除了很直觀地了解本班學生之表現，還能輕易地比較不同班級的表現。有一些研究文獻指出，其系統可以記錄許多種學生學習歷程檔案，譬如：學生的自我評估、學生瀏覽過哪些討論區的資訊、老師依學生對問題的回答所提出的評估、老師依學生在討論區發表言論的評估、同儕之間的互評等1072，本系統將來亦朝著記錄更多學習歷程來發展。但若只是單純的記錄一堆需要老師一一來審視與分析的資訊，而沒辦法自動統計與過慮，則這樣的做法反而是徒增老師許多負擔，因此在發掘更多學習歷程的同時，也要發展自動分析整理和呈現的工具，以減輕老師在遠距教學系統中工作的負擔。另外，我們可以根據11中所提之FAQ系統，應用在老師批改考卷的設計上，也就是在批改填充申論題時，使用簡單的句型比對方式，若是學生的作答內容包含了老師提出的幾組關鍵字或句型，系統就自動批改正確，至於其他一些真的無法由系統自行判別的答案，再交由老師親自批改。如此一來，便能大大分擔老師線上批改填充申論題的時間和負擔。未來的工作項目，我們還要朝著以下的目標來邁進：（1）收集更多方面的學生學習歷程資料，使往後的分析工作能更精確。（2）加強網路閱卷系統之批改能力，使老師節省許多在批改簡單問題的時間上面。（3）課程內容方面，依照ADL（Advanced Distributed Learning）所制定之SCORM（Sharable Content Object Reference Model）標準，來編寫教材，以達到教材高度再使用。（4）以資料探勘技術分析出學生之學習樣式、習慣和規則後，再配合導入學生輪廓（Profile）中，以健全學生模型（Student Model）。參考文獻1 Advanced Distributed Learning Initiative, Sharable Content Object Reference Model（Version 1.2）The SCORM Overview 2001.1-19-1-20.2 Jim Greer, Gordon McCalla, John Cooke, Jason Collins, Vive Kumar, Andrew Bishop, and Julita Vassileva,The Intelligent Helpdesk: Supporting Peer-Help in a University Course.http:/julita.usask.ca/Texte/Jim-html/I-Help.htm.3 工業局推動線上學習旗鑑計畫. 資訊傳真周刊. 2001.(626): 42-47.4 王健華. 資訊網路科技應用與小班化教學. .tw/small_info/11/11-p2.htm.5 卓宜青, 劉旨峰, 林珊如, 袁賢銘. 網路化學習歷程檔案系統之設計