基于正交试验设计的网络课程教学质量的评价

1、基于正交试验设计的网络课程教学质量的评价沈阳师范大学计算中心 张 岩 池 洁摘 要 在研究网络课程教学质量评价问题的基础上，提出了基于正交试验设计的网络课程教学质量的评价模型和分析方法，同时根据网络课程的基本构成要素，设计了一个具体的网络课程教学质量的评价方案，进一步结合计算机文化基础课程的教学，采用该评价方案进行了教学过程的实施，并对教学效果进行了分析和总结。关键词 网络课程 正交试验设计 实验评价法 0 引言网络教育是当今国际、国内教育发展新的生长点，也是现代教育技术的主流发展方向。网络课程是实施网络化教育的基本形式。与传统课程相比较而言，网络课程具有其特殊的属性和规律，它创造的是一个有利

2、于学习者自主和创新的动态环境，在网络课程的实施过程中，学习者和教育者是伙伴式的多元化的相互促进的协作关系，学习者成为学习的主体，但是由于教学过程中的师生分离，学习者的个体差异及学习的个别化，对网络课程的教学效果的测量和评价成为难点。因此，我们试图通过研究，找到一个关于网络课程的教学质量评价的方法，建立评价的模型，并且设计具体实现评价的解决方案。1 网络课程的教学评价方法概述及正交试验设计原理网络课程的教学评价方法主要有四种，即分析评价法、指标体系评价法、观察评价法和实验评价法。这些方法各有优缺点，其中指标体系评价法是人们普遍关注和研究的方法且已逐渐形成评价标准体系，相比之下，由于分析评价法很大

3、程度地受到评价人员的主观影响，观察评价法有失评价的准确性，实验评价法需要投入较多的人力、物力和时间，所以没能得到广泛的应用。但是，从网络课程的实施来看，学习者是进行网络课程学习的主体，可以说对主体的学习质量的评价是进行网络课程的教学质量评价的根本，而所谓实验评价法就是以学生为实验对象，将他们分成试验组，分别选用以不同教学方案进行设计的网络课程进行教学，然后对学生的学习效果进行测量和评价，最后收集数据进行分析比较，从中找到最优的教学方案，并据此设计和完善网络课程。正交试验设计是解决多因素、多水平试验问题的一种有效方法，是一种试验的优化设计技术。所谓因素指可能对试验结果有显著影响的因子 ；水平指在

4、试验中对某一因素设定的取值。正交试验设计方法是利用正交表来设定试验，它能够以很少的试验次数和很短的试验时间得到相当满意的试验结果。2 基于正交试验设计的网络课程的教学质量评价方案实例 我们以计算机文化基础课程为基点，进行网络课程的教学质量评价方案的相关方面的探索和研究，本课程在我校已经实现网上教学，其网络学堂的主页面如图1所示。图1 网络学堂的主页面2.1 设定试验的各因素及其各水平在实施网络课程评价的正交试验时，可依据实际的具体情况设定因素及其水平，如网络课程中主题的选择、网络课程中内容的容量、学习者的范围、导航系统的分级、媒体运用合理性等等。这里我们主要以网络课程的基本构成要素（学习内容、

5、学习者、学习模式）加以讨论，同时为了适用于正交试验设计，又不失评价的一般性，提出3因素3水平的无交互作用（假定各因素的组合不会影响试验结果）的正交试验设计方案。1、学习内容因素及其水平在网络教育环境下，学习内容是网络课程的主要构成要素，学习内容安排的适当合理是决定学习者学习效果的关键，所以在网络课程的设计时，在保证基本教学内容的基础上，教育者应认真分析课程内容的内在结构，既注重内容的纵向深入，又注重内容的横向联系。但是由于课程内容的增加，可能会分散学习者的精力，影响学习者对主要内容的理解和掌握，所以内容的增加要恰当适度。一般地课程内容可分为以下几种水平：（1）基本扩展模型 指以基本内容为主体，

6、重点知识的扩展也仅限于本课程内容范围之内，以保证学习者对整个课程内容的前后贯穿，形成较为完整的知识结构。（2）相关扩展模型 指以基本内容为主体，对重点知识进行相关内容的扩展，扩展内容既可以是本学科的也可以是跨学科的，注重广度，浅显易懂，有利于开阔学习者的眼界，丰富学习者的知识。（3）探索扩展模型 指以基本内容为主体，对重点知识进行探索性扩展，扩展内容主要选自本学科知识，注重深度，引导学习者逐步深入地研究问题，促进学习者在本学科领域内的整体知识水平的提高。 根据上述三种类型，我们以三种方案设计和组织网络课程的教学内容。方案一，以辽宁省计算机文化基础教学大纲和考试大纲为依据，以重点掌握和掌握的知识

7、为基本内容来设计和组织网络课程。方案二，在方案一的基础上，设计和组织计算机文化基础教学大纲中了解知识的内容扩展，如网络基本知识及操作、多媒体基本知识及操作和计算机安全基本知识等。方案三，在方案二的基础上，设计和组织探索性的知识和操作技能的内容扩展，如网络常用工具（Netants 等）、多媒体工具（CoolEdit、RealPlayer、AcdSee等）、压缩工具（WinZip等）、杀毒工具（KV系列、金山毒霸系列等）。2、学习者因素及其水平 学习者因素主要是指学习者已有的相关知识基础和学习技能，为了贯彻“因材施教”的教育原则，教育者必须对学习者的知识构成和学习能力进行判断，在完成教学计划和实现

8、教学目的的前提下，为不同的学习者设计不尽相同的教学内容，并引导不同的学习者采用不同的学习模式进行有效的学习。在网络课程中，可以设计测试答卷，并对学习者进行测试，根据测试成绩划分学习者的水平。一般地可分成三个水平，即初级水平、中级水平、高级水平。 由于计算机文化基础普及的地区性差异，学生的已有知识和操作技能的水平很不平衡，所以我们对教学对象进行了普遍的水平测试，确定了学生的三个水平层次，并选用参加测试态度认真（可以通过答题的时间、答题的分布以及各方面的了解信息反馈等情况进行判断）的学生进行试验。网上测试的主页面如图2所示。图2 网上测试的主页面3、学习模式因素及其水平在网络教育环境下，学习者可以

9、根据实际情况自主地选择学习内容、学习过程和学习方式，就相同课程的学习内容而言，不同的学习模式会产生不同的学习效果。所以在网络课程设计时，合理地运用恰当的学习模式是非常重要的。该因素具体地有以下几种水平：（1）指导式学习模式 指导模式可以在老师和同学之间异步地实现，也可以网上在线交谈的方式实时进行，学习者提出相关问题或要求，教师给予回答或辅导。（2）合作式学习模式 指由教师在站点上建立相应的学科主题讨论组，根据课程的内容拟定专题，设定专题讨论区、公告栏，学习者可以参加讨论，并对其他人的意见提出评论，也可以由多个学习者针对同一学习内容彼此交流合作，以达到对教学内容比较深刻的理解与掌握。（3）探索式

10、学习模式 利用网络和多媒体技术，教育者为学习者提供丰富的优良的媒体资源环境，学习者可以在已有知识的基础上，开阔眼界，探索研究。 虽然在实际的网络教学活动中，各种学习模式并不是彼此完全孤立的，但为检验出不同学习模式对学习效果的影响，我们严格按照三种学习模式，对学生进行试验。2.2 选择正交表，进行试验正交试验设计提供根据因素数和水平数构造的若干相应的正交表，选择正交表时，首先要求正交表中水平数s与每个因子水平数一致，其次要求正交表中因子数r大于或等于实际因子数，然后适当选用试验次数n较小的正交表。在本例中，我们将进行3因素、3水平的无交互作用的试验，所以选择如表1所示的正交表L9(34)，表中字

11、母L表示正交表；数字4表示试验中至多考虑4种因素，而这里考虑3种因素，因此省略了Factor D一列；数字3表示每个因素有3种水平；数字9表示该表有9行，对应于9个试验方案，每个试验方案的效果用试验效果值来表征，这里的试验效果值可以是学习者的网络课程的阶段或最后的测试成绩。表1 正交表OrderFactor AFactor BFactor CResult1111y12122Y23133Y34212Y45223Y56231Y67313Y78321Y89332Y92.3 数据的方差分析算法及试验结论通过数理统计理论中的方差分析方法，可以确定哪些因素对试验结果有显著的影响。具体算法如下： 1、计算总

12、平均数 p=(y1+y2+y3+y4+y5+y6+y7+y8+y9)/92、计算各因子在各水平上的试验值的平均数 k1A=(y1+y2+y3)/3 k2A=(y4+y5+y6)/3 k3A=(y7+y8+y9)/3 k1B=(y1+y4+y7)/3 k2B=(y2+y5+y8)/3 k3B=(y3+y6+y9)/3 k1C=(y1+y6+y8)/3 k2C=(y2+y4+y9)/3 k3C=(y3+y5+y7)/3 3、计算总离差平方和 Q=(y1-p)2+(y2-p)2+(y3-p)2+(y4-p)2+(y5-p)2+(y6-p)2+(y7-p)2+(y8-p)2+(y9-p)2) 4、计算

13、各因素引起的离差平方和及试验误差 QA=3(k1A-p)2+(k2A-p)2+(k3A-p)2 QB=3(k1B-p)2+(k2B-p)2+(k3B-p)2 QC=3(k1C-p)2+(k2C-p)2+(k3C-p)2 QE=Q-QA-QB-QC 注意QA，QB，QC的表示式中的系数3是指每一种水平上的试验次数，即为n/s。 5、计算FA，FB，FC的值FA=QA/QE FB= QB/QE FC= QC/QE 依据数理统计理论，QA、QB、QC、QE的自由度分别为2，FA、FB、FC服从自由度为（2,2）的F分布。 6、检验各因素对试验有无显著作用，并构成最优试验方案 给定显著水平(1-即为置

14、信概率)，查表可得F(2,2)的值。若FAF(2,2)，则认为因素A对试验结果有显著作用；若FA< F(2,2)，则认为因素A对试验结果无显著作用。同样，可以确定因素B和C分别对试验有无显著作用。 根据上述算法，具体地我们对部分理论知识（不含需要较长时间逐步熟练掌握的操作知识）进行学习内容设定和考核，分别抽取两组（为了避免所学专业对试验结果的影响，我们在两个专业各选取9人）进行了二组试验，对试验数据进行了处理分析，试验结果表明学习内容、学习方式、学习者三个因素对学习效果都有显著的影响。对于不同的学习者，以方案一设计和组织的教学内容，教学效果是最好的；以指导性为主的教学模式，教学效果是最好

15、的。2.4 试验结论的实际应用依据我校学分制的管理方式，为充分实现教学质量和效率的最大化，我们对学生进行了分层次并分阶段教学，即在统一采用以指导式为主以合作式、探索式为辅的教学模式前提下，对初级水平学生采取方案一的教学内容，并指导和督促他们在一学年的时间内，分阶段完成方案二和方案三的教学内容的学习；对中级水平学生采取方案二的教学内容，并指导和督促他们在一学年的时间内，完成方案三的教学内容的学习；对高级水平学生采取方案三的教学内容，并指导他们对相关的内容或感兴趣的内容进行探索和研究。与此相应地，经学校有关部门的批准，我们允许学生申请提前考核和考试，提前获得本门课程的学分。3 结束语通过理论的研究和实践的探索，我们认为将正交试验设计的数理统计理论整合到网络课程的教学质量的评价中，是具有实用性、有效性和可操作性的。由此种评价方法得到的结论不仅可以表明在网络课程的实施中，哪些因素对教学效果和教学质量有着显著的影响和作用，帮助教育者抓住问题的关键，而且有利于教育者及时准确地把握学习者的学习效果反馈，改善网络课程的教学设计，提高网络课程的教学质量。Evaluation of Web Courses Instruction Quality Based on Orthogonal Test Designs 参考文献1