DST公司E-Learning系统效果评价体系研究

DST公司E-Learning系统效果评价体系研究摘要近年来，使用E-Learning系统进行员工培训已经成为企业知识管理的重要工具之一，对它的研究也已经成为一个热门的研究领域，得到了学术界和企业界的普遍关注。越来越多的企业都开始在企业实施知识管理时推广E-Learning系统，并逐渐加大企业在E-Learning系统方面的投资力度。在国内，虽然E-Learning这个概念进入我国的时间跨度还不是很长，但是我国对于E-Learning的管理实践却已经从一个起步阶段，逐步进入一个关注度逐渐提升的快速发展阶段。对于企业来说，企业实施E-Learning系统是以提高企业的知识管理水平和组织知识管理绩效为目的的，以求在激烈竞争的市场环境中利用企业所拥有的知识和较高的员工技术水平为企业创造竞争优势和持续竞争优势，进而谋求组织的长远发展。然而，由于受到各种各样原因的影响，不少企业虽然构建了E-Learning系统，但却往往没有收到预期的效果。那么企业的E-Learning活动与E-Learning系统效果评价之间的关系到底如何？为什么企业实施了E-Learning培训却没能够有效提高员工的技术水平？如何有效和有说服力的去评价企业E-Learning培训系统的效果？组织该如何运用有效的评价手法，对E-Learning系统的效果进行整体考量，并进而影响到企业的知识管理活动？对于这些问题经学术界屡有探讨，但多聚焦于逻辑推理，偶有实证研究，却未能够将E-Learning系统和评价体系二者有机结合起来。对这些问题的正确认识和理解，关系到企业E-Learning实践的成功与否，同时也有助于我们对国内企业有关E-Learning系统效果评价方面进行了解与掌握，对企业的E-Learning系统培训效果的评价和E-Learning系统的改善都具有一定的指导意义。本文研究的课题是如何运用科学的管理方法进行E-Learning系统培训效果评价方法的选择，通过对DST公司现有E-Learning系统培训效果评价的困境进行分析研究,指出存在的问题,结合DST公司实际情况,提出了运用德尔菲法和层次分析法相结合的方法给DST公司设计新的E-Learning评价指标，并且将模糊综合评价法和层次分析法相进行有机结合，对DST公司E-Learning系统培训效果的整体状况进行科学的评价，为系统的后续完善和改进提供有依据的建议和指导意见。关键词:德尔菲法;层次分析法;E-Learning;E-Learning评价指标；评价指标权重确立;模糊综合评价法。AStudyonEffectivenessEvaluationofDSTCompany’sE-LearningSystemAbstract

Inrecentyears,tousetheE-Learningsystemforemployeetraininghasbecomeoneofthemostimportanttoolsofenterpriseknowledgemanagement,theresearchonwhichhasbecomeabuzzingfield,receivingwidespreadattentioninacademiccirclesandbusinesscircles.MoreandmoreenterprisesarebeginningtopromotetheE-Learningsystemintheimplementationofknowledgemanagement,andgraduallyincreaseinvestmentinE-Learningsystem.InChina,althoughthetimespanofE-Learning’sarrivalinChinaisnotverylong,China’sattentiontoitsmanagementpracticehasenteredthestageofrapiddevelopmentgraduallyfromastartingstage.Forenterprises,theirpurposeoftheimplementationofE-Learningsystemistoimprovetheperformanceofknowledgemanagementandorganizationalknowledgemanagement,inordertocreatecompetitiveadvantagesandsustainablecompetitiveadvantagesforenterprisesinthehighlyfiercemarketenvironmentusingtheirknowledgeandemployeeshightechnicallevel.However,duetotheimpactofvariousreasons,althoughestablishtheE-Learningsystem,manyenterprisesoftendonotachievethedesiredresults.SowhatistherelationshipbetweentheE-LearningactivityandtheevaluationoftheE-Learningsystem?WhydotheenterpriseswhohaveimplementedE-Learningtrainingfailstoimprovetheemployees’technicalleveleffectively?HowtoevaluatetheeffectivenessofE-Learningtrainingsystemeffectivelyandconvincingly?HowtheorganizationtoconducttheoverallconsiderationontheeffectivenessoftheE-Learningsystemandthenaffecttheenterpriseknowledgemanagementactivities?Theseproblemshavebeendiscussedfrequentlyinacademiccircles,butmoreoflogicalreasoning,lackofempiricalresearch,whichisunabletocombineE-Learningsystemwithevaluationsystemorganically.CorrectunderstandingoftheseissuesisnotonlyrelatedtothesuccessfulpracticeofE-Learningsystem,butalsohelpsustoknowandgrasptheeffectivenessevaluationofE-Learningsystemindomesticenterprises,meanwhile,ithasacertainguidingsignificancetotheevaluationofthetrainingeffectandtheimprovementofE-Learningsystem.TheresearchtopicofthispaperishowtousethescientificmanagementmethodtoevaluatethetrainingeffectofE-Learningsystem.Inthispaper,theexistingproblemsarepointedoutthroughtheanalysisandresearchonthepredicamentsoftrainingeffectevaluationoftheexistingDSTcompany'sE-Learningsystem,thenewevaluationindexofDSTcompany'sE-LearningsystemisdesignedcombiningwiththeactualsituationofDSTcompany,thescientificevaluationontheoverallsituationofthetrainingeffectofDSTcompany'sE-Learningsystemisconductedusingthecombinationoffuzzycomprehensiveevaluationmethodandanalysishierarchyprocess,soastoprovidethesolidsuggestionsandguidancefortheimprovementofthesystem.Keywords:Delphymethod;analytichierarchyprocess(AHP);E-Learning;evaluationindexofE-Learning;establishmentofevaluationindexweight;fuzzycomprehensiveevaluationmethod.目录第一章:绪论1.1国内外研究现状及文件综述1.2研究目的和意义1.3研究用的方法和思路第二章：DST公司E-Learning系统效果评价现状和存在的问题2.1行业背景2.2公司背景2.3E-Learning系统效果评价现状2.4存在的问题第三章：评价理论基础及相关文献综述3.1Delphi法3.1.1Delphi法名称来源3.1.2德尔菲法的发展过程3.1.3德尔菲法的原理3.1.4德尔菲法使用方法3.2层次分析法3.2.1层次分析法的起源和应用领域3.2.2层次分析法的原理和构成3.2.3使用AHP的方法3.3Saaty标度法3.4模糊评估法第四章：评价指标体系的设计和权重的确立4.1评价指标体系构建原则、方法及框架4.1.1评价指标的概念和评价指标体系的构建原则4.1.2评价指标体系构建方法4.1.3评价指标体系框架4.2指标的标度方法4.2.1采用Saaty标度法对指标进行赋值4.2.2利用delphi法构建判断矩阵4.3AHP层次分析法计算权重4.3.1求解最大特征根和特征向量4.3.2矩阵的一致性检验4.3.3综合权重计算结果第五章：系统的综合评价5.1问卷统计5.2模糊关系矩阵的构建5.3确定因素重要程度模糊集5.4计算模糊综合评价集5.5模糊综合评价结果 结论第一章：绪论人力资本是指劳动者通过学校或者职场的正规和非正规教育、以及人生经验所积累和孕育的技能、技巧、判断能力、领导能力集合起来的非物理资本的总和，根据舒尔茨的人力资本理论，人力资源作为企业无形资产的一种，与资源、技术、资金等传统生产要素一样，在企业发展中，担当着非常重要的角色。当人力资源作为一种资本深入地渗透到企业运行系统中时，所创造出的竞争优势越来越难明显和难以被复制，这种竞争力有较好的持续性和传承性，当这种竞争力作用在企业参加行业竞争的运作中时，往往有着较为明显的效果。企业培训作为提升人力资源水平的一个重要因素的重要性由此可见一斑。在企业培训的过程中，考虑到常规的面对面培训所面临的时间、空间限制，越来越多的企业都开始采用E-Learning系统进行人力资源培训。E-Learning是一种有别于传统远程教育、依托于网络进行的、可以进行实时沟通的教育方式。区别于传统的教育方式，E-Learning不需要面对面的进行教授，它倾向于对信息资源的网络化，利用网络的及时通讯功能和留言功能，完成及时沟通和信息反馈。。E-Learning不会取代传统教育,但是会从根本上改变传统教育的功能，并且可以完善和弥补传统教育的不足之处。[注1]出处上海市教科院智力开发研究所，美国教育部教育技术白皮书，2001年4月。E-Learning中的E在英文上有两重含义，一重是electronic（电子的）的意思，主要表达出这种学习方式是依托电子智能设备（如个人电脑、光盘、DVD、数码电视、手机终端、移动电话、PDA等）进行学习，另外一重含义是指Ethernet（以太网），主要是指这种学习方式需要依赖网络进行必要的信息传输和讨论交流。进行E-Learning学习时，可以通过连接到网络的电脑或者其他电子设备，运用电子邮件、电子会议、视频送信等的技术方式的灵活沟通。E-Learning的起源，可以追溯到1980年代火爆全球的电视教育和广播教育，为了能够很好的提供远程教育和降低区域教育成本，美国1980年代已经开始使用广播通信和卫星通信技术，构筑出“在全美范围内的同一时间内播放同一讲座”的远程教育结构。这种结构在传输知识的时候依托卫星或者广播通讯，相比传统课堂来讲，互动的及时性不能保证，教师也没办法很好的掌握学员的进度和接受程度，为了弥补传授这些缺陷，在意见反馈和学习交流的时候，往往依托电话技术或者邮政信函的方式进行，但是相对的时间成本和通讯成本较高，学员的互动性不强。在个人电脑普及的初期，美国就有机构开始开发出利用电脑进行的各种形态学习和教育的系统，最早被称为计算机支援教育计划（以computerassistedinstruction或computeraidedinstruction等计划为首）。随后，逐渐发展出CBT（computerbasedtraining）和WBT（webbasedtraining）等教育方式。但是由于缺乏相关的互动性和较高的硬件成本，一直没有得到很好的普及。不过，1990年代随着使用个人电脑的成本降低和互联网的双向互动性，依托电脑进行远程教育的E-Learning一词开始出现在人们的视野中，E-Learning系统开始被广泛关注和应用。日本于2001年被提出的E-Japan构想，中国在1990年代末期也开始了E-Learning的研究和应用。[注2][注3]出处先進学習基盤協議会（ALIC）編著（2003）『eラーニングが創る近未来教育』P4,オーム社,ISBN4-274-06541-3荒木浩二著（2002）『実践eラーニング』P4,毎日新聞社,ISBN4-620-31524-91.1国内外研究现状为了更好的了解过内外的研究现状，本人借助知网平台，将检索范围设定为期刊和博硕士论文，关键字设置为E-Learning效果评价，截止到2017年1月，以此为关键词的只有四篇文章。将关键字设置为培训效果评价，共检索出23297篇相关文章。在日本论文和书籍检索网站CINII（http://ci.nii.ac.jp/）上输入【E-Learning效果评价】的日语关键词，得到的36篇博硕士论文和期刊文章。综合考虑论文的引用次数、院校等级并且根据题目进行分类筛检，本文重点分析了12篇相关文章，这些文章分别从理论和实践的角度对评价手法的选择、评价指标体系的建立等进行细致的分析，反应出了目前国内外学者对于企业E-Learning培训效果评价的研究状态。为了更加直观的介绍上述文章的研究状况，本文将从理论分析和实践调研两个角度对相关文献的状况进行简述。其中，楼旭明等认为企业E-Learning培训效果评价模型在从反应层、学习层和转化层的构建角度分析，从参与培训者的主观角度出发，主要考察参加培训者的知识技能的掌握程度，并关注培训后学习内容的转化状况；[注4]出处：楼旭明企业E-Learning培训效果评价模型及指标体系研究中国远程教育2015-10-30段金菊等从过程性评估的角度对E-Learning培训效果评价提出了新的思考角度；[注5]段金菊\o"紫色刊名为"电化教育研究2014-10-01谢东闻等利用kirkpatrick的方法确立了四层评估指标模型[注6]出处谢东闻；综上所述不难看出，对于企业培训的效果评价，国内的研究较为广泛，但是很少有人将其扩展到E-Learning培训效果评价这个领域，结合一些其他的企业知识管理论文来看，目前我国对企业E-Learning培训效果评价研究还处于起步状态。1.2研究的目的和意义1.2.1研究的目的本文研究的课题是如何运用科学的管理方法对企业E-Learning效果评价方法进行选择，目的是通过对DST公司及国内其他企业现有E-Learning系统学习效果评价困境进行分析研究,指出存在的问题,结合DST公司实际情况,提出了运用德尔菲法建立评价指标，层次分析法和模糊综合评价法相结合的方法对DST公司的E-Learning培训体系的效果进行客观科学的评价。1.2.2理论意义1、全面梳理了企业E-Learning系统培训效果评价及其模型建立的相关理论依据,探讨了企业E-Learning系统培训效果评价的理论方法,提出了创新的研究思路。2、本论文通过对文献资料的提炼、采取德尔菲法完成了企业E-Learning效果评价指标的选取和确定的工作,丰富和完善了企业E-Learning效果评价指标。3、运用层次分析方法,通过数学建模和计算，结合MCE和ExpertChoice等软件进行辅助确认,合理计算出企业E-Learning系统培训效果评价的各项指标的权重。建立出完善的企业E-Learning系统培训效果评价指标体系。1.2.3现实意义4、企业E-Learning效果评价体系的构建和指标体系的建立,可以为企业提供可操作性的E-Learning培训效果评价的理论指导,从而为同行业企业E-Learning培训的有效性和企业E-Learning培训系统的完善提供理论上的指导。5、准确的识别出企业E-Learning培训系统各环节中存在的问题,可以帮助企业提高E-Learning培训工作的有效性。E-Learning系统培训效果的整体评价是培训工作体系中的最后环节,具体的评价涉及到内容分析、目标确定、评价方法的选择等。因此,本论文在对企业E-Learning培训效果评价的现实状况现状进行细致分析的同时,有针对性的对企业E-Learning系统培训效果评价体系中存在问题的地方,提出了相应的改善意见。这对我国企业E-Learning培训系统效果评价和系统完善都有一定的指导意义。1.3论文的研究方法、研究思路和主要内容1.3.1论文的研究方法通过用Delphi专家评分法，确定出评价的指标，通过指标聚类分析方法，查询指标的归类状况，然后用AHP法确定各个指标的权重，最后校验指标权重的一致性比例是否符合预期。最后制定评分规则和评价体系，对于接受培训的人员的培训效果进行综合评价，给出较为可续的评定。评价时将模糊综合评价法(（FuzzyComprehensiveEvaluation，FCE）和层次分析法（AnalyticHierarchyProcess，AHP）相结合的，先用层析分析法确定因素集，然后用模糊综合评判确定评判效果。模糊法是在层次法之上，两者相互融合，对评价有着很好的可靠性。1.3.2论文的研究思路本文在进行研究的时候，主要可以分成如下几个步骤，首先确定出企业在E-Learning系统运行和培训效果评价时的困境，发现要解决的问题，第二，采用德尔菲专家调查法和Saaty1-9标度法，对专家意见进行整理，确定出系统的评价指标。第三，采用层次分析法，对上述指标进行确立权重份额。建立权重分配表。最后，通过对调查问卷表的收集和数据汇总，对系统的整体效果进行评价。1.3.3论文的主要内容本论文共分为理论研究、企业E-Learning系统培训效果评价体系的建立，数学建模及一致性检验、问卷汇总综合评价四个部分,分六章阐述整个论文。第一章绪论。主要对目前E-Learning效果评价研究方面国内外现状的进行了介绍；从企业E-Learning系统培训效果评价的现状分析出发,阐述了研究的理论和现实意义；概括了论文的主要研究内容、研究方法、研究思路和主要创新点。第二章问题和研究背景描述。在对企业背景、行业背景进行了充分介绍的基础上,发现并指出影响企业E-Learning系统培训的因素，通过对行业及企业企业E-Learning系统运行状况的分析，指出DST公司E-Learning系统效果评价体系存在的问题。第三章评价理论基础及相关文献综述。本章着重介绍所采用的各类手法的应用领域和优缺点。对德尔菲法、层次分析法以及模糊评价法的使用方法也作出了详细的介绍，在结合前人研究结果的前提下，提出了将层次分析法和模糊综合评价法相结合的评价方法。第四章评价指标体系的设计和权重的确立。本章构建了DST公司E-Learning系统效果评价体系的理论模型,具体的操作步骤是：通过合理的利用德尔菲法，全面的采集专家们的意见，充分的考虑出影响到系统运行的各项因素，综合制定出评价指标集合。结合层次分析法中的1-9标度原则，对指标进行分层归类，利用层次分析法合理的确定出各个评价指标的权重。通过对权重分配状况的确认，可以为企业在进行后续改善的时候转移工作重心分配时提供必要的参考。第五章系统的综合评价。本章详细阐述了问卷的设计与实施过程，在收集到学员的意见进行汇总的基础上,以模糊综合评价法进行相应的数学建模，并完成数学模型的解答，根据最大隶属度的原则，确定出整体系统的整体评价结果。第七章结论和后续的研究方向。通过对DST公司E-Learning系统效果的科学评价，可以得出对DST公司E-Learning系统培训效果评价体系的整体评价，针对模糊综合评价法的缺陷，认识出研究的不足，为后续研究提供了方向。第二章：2.1行业背景介绍伴随着人类文明的发展，人类科技水平也在不断的向前进步。英国18世纪开始的工业革命拉开了世界工业化进程的序幕，标志着人类社会从此已经进入了工业化社会。进入20世纪以来，工业化开始迅速发展，世界经济规模得到了极大的提高。特别是20世纪末期开始的全球一体化的迅速发展，很大程度的改变了全球政治、经济的运行方式，极大程度的促进了世界经济的蓬勃稳固发展。与此同时，为了适应工业大生产的快节奏以及确保产品品质的统一性和稳定性，各类智能自动化的流水线应运而生，为了完善流水线的设置和减少人力的同时增加产业能力，大量的自动化产品被研发和安装到生产车间。自动化技术广泛用于工业、农业、军事、科学研究、交通运输、商业、医疗、服务和家庭等方面。采用自动化技术不仅可以把人从繁重的体力劳动、部分脑力劳动以及恶劣、危险的工作环境中解放出来，而且能扩展人的器官功能，极大地提高劳动生产率，增强人类认识世界和改造世界的能力，因此，制造装备的自动化程度是工业、农业、国防和科学技术现代化的重要条件和显著标志。我国的现代自动化进程可以追溯到1957年成立的自动化学会筹备委员会，以来，工业产业的自动化进程已经延续了近60年，由于常年的战乱以及收到当时科技水平的限制，我国的自动化进程在前期主要依赖苏联的技术援助，二十世纪五十年代开始大量二战期间留学美国的专家学者归国，又将欧洲和美国的控制理念带回中国，基于以上两个特殊的历史背景原因，我国自动化产业在学术和应用上同时沿袭美国和苏联的模式，一直以来都没有形成自己的总线控制协议。作为最具发展潜力的产业之一,近几年我国工业自动化行业一直以惊人的速度在发展。自1998年起,整个工业控制自动化市场的平均增长率保持在30%以上,PLC的增长速度更是高达50%。近两年,西门子、ABB、松下、施耐德等几主要品牌的产值增长率都超过了10%。在2015年,整个工业自动化行业的增长都超过了15%的增长,富士等新进入者的增幅都在50%以上。[注]此数据来源于2016年变频器行业分析报告和中国变频器行业发展调研与市场前景分析报告(2016版)1980年以后，伴随着改革开放的脚步，大量的自动化公司携产品抢滩中国市场，随之而来的是各种协议的约束，不同公司的产品采用不同方式的控制协议，给自动化产品的通用性带来了极大的困难，同时由于掌握每种协议所需要学习的时间较长，对图纸设计和对从业人员的专业性要求更为严格，伴随着市场竞争的日益严峻，在各个自动化产品公司，技术人员掌握两种以上的协议和相关控制方法，已经成为从业人员的必备技能。目前国内自动化从业人员的层次构成主要如下几类:A：由生产厂家培训的技术人员，掌握单一的或者竞争公司的产品技术，单一品牌的技术水平较高，对于主要竞争对手的产品的技术也有一定程度的把握，但是对于不同品牌之间的搭配与成套装备的设计，存在技术缺陷，无法单人完成技术设计。B：装备制造厂家的设计技术人员，掌握主流大部分产品的控制技术，单一品牌产品的技术水平较低，但是掌握不同品牌混合使用的技术，在厂商技术人员的指导下，有能力设计出混合使用不同品牌自动化产品的设备。C：各品牌代理商和分销商的技术人员，对单一产品的技术水平处于中游水平，技术支持和上门服务主要依赖厂家技术人员的电话或者邮件支持，但是现场经验比较丰富，能够在短时间内发现技术问题。虽然基于集团整体利益和更好的控制市场销售状态等多方面的考虑，各个品牌的厂家都将代理机制定格为区域代理，并且严格禁止跨区域的销售和服务，但是由于各个代理店的主要客户集中在设备商和中间商，设备商和中间商的销售范围比较广泛，这就导致了无论厂家还是代理商还是设备制造商的工程师的服务覆盖范围比较广泛。随着经济体系全球化的不断扩大，在广大自动化行业工程师的职业生涯中，长期的出差已经成为一种常态，因此从业工程师的地域归属感不强，跨区域跨城市的移动性较大，这直接导致整个行业人员的流动性相对较高。2.2公司背景作为DST公司的母公司，三菱电机株式会社的发展历程就是现代日本工业的发展史。公司成立于1921年，契机是当时三菱造船公司（即现在的三菱重工业株式会社）将位于日本神户的一家分厂从脱离出去，组建成为一家名为三菱电机株式会社的新公司，专门为远洋船舶制造电动机和配套电气产品。在同一年，三菱电机株式会社开始了电风扇的生产和销售，从而进军消费品市场，电风扇产品在日本的热销，为三菱电机株式会社的发展奠定了坚实的基础。在随后的十年间，在各关系会社的提携下，成功签下了多个重要合同，包括大功率的电动机设计制造和开发电气铁路变电站的合同。到了20世纪30年代，三菱电机开始生产、安装和维护电梯和自动扶梯，同时开始生产发电设备。技术能力在较短时间得到了迅速的积累和提升。1945年后，伴随着日本战后重建，三菱电机公司以惊人的速度发展壮大，在20世纪60年代已经成为日本最具创新精神的多元化电子设备制造商之一。在随后的20年间里，三菱电机不短开始扩张海外业务，将自身树立为多个行业的发展先行者，包括工业控制、计算机、先进空调系统、汽车电子、卫星与核能发电。从20世纪80年代至今，三菱电机始终以惊人的速度推出和完善突破性的技术和产品，造福整个社会、行业和个人。如今，三菱电机已然成为全球巨头，在40个国家/地区经营业务，拥有超过12万名员工，综合净销售额超过4兆3,943亿日元。（数据源自三菱电机株式会社2016年CSR年报http://www.mitsubishielectric.co.jp/corporate/csr/backnumber/pdf/2016/csr_r2016.pdf）三菱电机在自动化行业作为世界领先品牌企业之一，其产品和系统在众多领域和应用场合中得到广泛使用。作为日系工业自动化品牌的领军企业，三菱电机的自动化产品在日本的市场占有率为50%左右。三菱电机的中国业务，最早可以追溯到1978年，当时的三菱电机联合三菱商事和三菱重工一起为宝山制铁制造发电机设备，此后先后接受到了空调机和电梯的业务订单，1981年和1985年先后开设驻北京事务所和驻上海事务所，随后随着中国市场的业务扩展，三菱电机集团于1986年与上海机电股份有限公司及中国机械进出口（集团）有限公司合资成立股份公司（上海三菱电梯有限公司），开展电梯制造和销售业务。为了更好的销售和推广三菱电机的自动化产品，同时也为了缩短中国市场客户的维修和技术指导周期，三菱电机集团于1993年成立中国全资分公司DST，公司业务内容非常复杂，具体表现为：1、自动化产品的设计与制造（涉及到工业断路器、数控系统、变频器、触摸屏、伺服电机系统、PLC等）2、销售和售前售后服务(具体业务体现为：产品的售前指导、使用中技术支持、售后服务)3、售后零配件进出口业务4、从业人员的技术培训等。[注]摘自三菱电机官方网站。目前经由DST生产和销售的三菱电机集团的自动化产品占据中国自动化市场的份额在7%左右，市场排名在前三名的位置。[注]此数据来源于2016年变频器行业分析报告和中国变频器行业发展调研与市场前景分析报告(2016版)2.3问题的提出世界经济的快速发展，也反映了企业的发展。特别是跨国公司的出现又极大地推动了世界经济的前进。而随着科学管理理论、组织管理理论、行为管理理论及各种现代管理理论的产生，企业管理的各种思想、方法等越来越科学规范，也促进了全球企业的发展。正是经济与企业的快速发展，企业间的竞争也越来越激烈。特别是20世纪90年代以来，企业对人才资源的竞争尤为明显。或者说，当今世界的企业竞争，说到底是人才的竞争。企业要想取得可持续竞争优势，就必须依靠人才来维持和培育竞争力。基于公司规模和产品技术水平处于行业上游的原因，国内以及国外自动化行业中的公司对于DST公司的工程师和技术人员比较青睐，自2005开始专业人员的流失成为DST公司经常面对的问题，随着人员的流失，后续而来的新人招聘、培训成本等问题所涉及到的费用占了人事费用很大的比重。为了弥补人员流失带来的培训滞后等问题，公司于2007年及时引入E-Learning系统，来完成新晋员工的初期培训工作，但是由于缺失相关的评价和考核系统，对于新员工的培训效果的评价以及业务掌握能力的判断一直没有很好的解决方法。而对外培训时，经常出现学习人员在结业测试时。表现较好，但是实际应用或者解决后续问题时，经常出现技术能力不足，后续问题很多，DST公司的培训业务分为对内培训和对外培训两个方面，按照授课方式主要分为面对面教学和E-Learning在线培训，其中E-Learning培训方式由于不受时间和地域的限制，以及丰富的课程内容，备受行业内人士推崇，深受好评。但是由于行业秩序的混乱，从业人员流动性大，以及作业环境恶劣，导致涉业人员素质相对较差，而且大量公司都是外资独资公司，对员工要求较为严格，各公司经常出现人员离职后相关业务需要重新培训的窘境，公司管理层虽然发现该问题但是一直没有找到适当的处理方法，纵观行业内部，通常采用退职人员工作办理交接结束后才结算薪酬的方式，但是效果并不明显。大量退职人员的离开，带走的不仅仅是技术的积累，客户资源的同时流失也是这个行业必须经历的的痛苦历程，所以，如何减少因为人员流动造成的知识损失和减少重复的培训成本，成为困扰各个自动化行业公司的首要问题，于是大部分自动化公司都引入了E-Learning系统，但是对系统的检验和学习效果的评价，以及平台背后的大数据处理都处于盲区。当前企业采用现代化的E-Learning系统对员工进行培训，有效地实现了从业人员接受校园外的继续教育，为构建学习型组织、培养员工具备终身学习的素质，构建了一个高效的网络平台。但是，从调查中也还反映了E-Learning培训系统本身还存在的一些有待完善的问题，如学习资源的呈现方式、培训系统的个性化体现、学习导航的设置等方面。因此，我们还需要依托多媒体技术和人工智能技术，更好地强化学习资源的多样性呈现、学习过程的智能化学习路径导航和实现培训方式的个性化；利用网络技术，不断地提高学习资源浏览和检索的速度，提升E-Learning系统运行的可靠性、可维护性。另外，人力资源部门还应不断地完善人力资源的培训制度、考核制度，以保障和发挥E-Learning系统在企业培训中的重要作用，使其成为打造企业核心竞争力的有效武器。对于企业来说，企业实施E-Learning系统是以提高企业的知识管理水平和组织知识管理绩效为目的的，以求在激烈竞争的市场环境中利用企业所拥有的知识和较高的员工技术水平为企业创造竞争优势和持续竞争优势，进而谋求组织的长远发展。然而，由于受到各种各样原因的影响，不少企业虽然构建了E-Learning系统，但却往往没有收到预期的效果。而企业对于E-Learning系统培训效果的评价往往并没有足够重视，在本文中，笔者试图从一个研究者的角度，对DST公司的E-Learning系统培训效果评价体系进行研究，以期得出科学客观的评价结论和有可操作性的改善意见。第三章：评价理论基础及相关文献综述在确定评价指标和建立评价体系这个问题上，国内外专家学者，采取了大量的方法进行理论和实践的探讨和论证，比较常见的手法主要有：专家意见法，运用德尔菲(Delphi)法、层次分析(APH)法、等级相关分析、指标聚类分析、分层矩阵加权法、典型指标乘积总分,分析和研究确立人才评价指标体系中有代表性的典型指标及其人才评价方法。以下着重对本研究所采用的手法进行细致的介绍：3.1Delphi法德尔菲法最早是在20世纪40年代由赫尔默(Helmer)和戈登(Gordon)共同提出，最初用于科技领域，在不见面的前提条件下匿名收集专家的直观意见和经验判断，进行有组织性的意见归纳，进而对技术革新和社会变动等相关的预测的进行定性调查。3.1.1名称来源德尔菲是古希腊的一个地名。传说太阳神阿波罗曾经在德尔菲杀死了一条巨蟒，因此成为德尔菲之地的主人。在德尔菲有一座阿波罗神殿，传说是一个神谕之地，可以预卜未来。因为德尔菲法同样拥有较为准确的预测性，所以人们便使用德尔菲这个地名来命名这种预测方法。3.1.2德尔菲法的发展过程1946年，出于对当时世界局势的前端考量，美国空军专家开始研究苏联的军事战略，美国著名军事智库兰德公司受委托为美国空军“德尔菲计划”进行预测时，为避免专家会议讨论时存在的屈从于权威或少数容易盲目服从多数的缺点，首次采用这种方法进行定性预测。德尔菲计划的主要研究内容是:“从一个苏联战略计划者的观点看,应如何选择美国工业体系中的最佳轰炸目标,并且估计出,使美国工业产量减少到预定的数量时所必须的原子弹数目。”在50年代初期,如果使用其它方法对该问题进行预测需要花费大量的时间、经历和资金来收集基础资料,同时还需要编写极其复杂的计算机程序,用以建立庞大的数学模型,这几乎是当时的电子计算机所难以胜任的。即使使用了电子计算机,仍然需要对苏联的政策和谍报工作作出许多主观估计,这些主观估计对预测结果有举足轻重的影响，伴随着这些影响，预测的准确性和及时性不能得到很好的保证。在这种情况下,采用德尔菲(Delphi)法则可以进行代价小而可靠性较高的预测。德尔菲法得到迅速发展的契机是20世纪中期，在当时美国的杜鲁门政府执意发动朝鲜战争的时候，兰德公司提交了一份使用德尔菲法做出的预测性报告，提前告知美国政府在这场战争中失败概率较大。但是杜鲁门政府并没有采纳，结果朝鲜战争联合国军队非但没有完成预期目标，而且直接损失也远远超出最初预期，美国经济也因此受到很大程度的影响。自此以后，德尔菲法得到了广泛的认可。后来逐渐被扩展应用于任何需要主观判断的预测场合，如军事后果预测、人口增长性预测、医疗保健预测、经营和需求预测、教育预测等。此外，还被大量企业用来进行企业战略评价、决策、管理沟通和规划工作等。[注]出处是DalkeyN,BrownB,CochranS.TheDelphiMethod,III:UseofSelfRatingstoImproveGroupEstimates.SantaMonica,Calif:RandCorp;November1969.PublicationRM-6115-PR.3.1.3德尔菲法的原理通常情况下，在索取专家意见时，为了统一专家的意见，通常会召开审议会或者讨论会，使用这些方法经常受到「对小组的优势者和权威者、声音的大的人、不一样的意见是不是叫对方难堪」等的影响。德尔菲法是为了克服专家会议法的缺点而产生的一种专家预测方法。其核心是通过匿名方式经过有控制的几轮函询征求专家意见,在预测过程中，研究者使用匿名函征的方式向专家们询问和收集相关意见，进而得到“重复和被控制的反馈”，然后对每轮专家意见进行汇总整理，将其作为参考资料再寄发给每位专家,供专家们分析判断,提出新的意见,重复这个过程，最终使专家意见趋于一致,得到较一致、可靠的评价指标。简单来讲，德尔菲法可以看作是专家意见法的一个改良版本。它取消了需要见面博弈的专家讨论会，取而代之的是采用匿名函征的方式采集意见，这样的话即使存在师徒关系和朋友关系这样的问题也不会影响到意见的统一，克服了在专家会议法中经常发生的专家们不能充分发表意见、权威人物的意见左右其他人的意见等弊病。各位专家能真正充分地发表自己的预测意见。[注]出处日本维基百科3.1.4德尔菲法使用方法在使用德尔菲法进行时，应该首先需要确定要预测或者要确立的主题及内容，然后根据该主题作成第一轮德尔菲法调查票。这个调查票可以是投票方式也可以使问卷形式，最终的目的是为了迅速和准确的得到专家的反馈意见。然后需要选定德尔菲法参加的专家，研究者选定的专家的管理经验或者从也经验必须丰富，在这个领域的必须有较高的权威性，以便保证预测结果的准确性，对于从事过相关理论研究和教学的高校教授等也会被列入被考量在范围内，通过邮件或者电话沟通初步确定参加人员名单，对名单进行甄选和合理的分配，最终选定适合参与德尔菲法预测的专家。第三，开始对专家们进行意见的函征，此过程要求对专家、学者们进行详细的征求意见。将得到的回答进行统计、汇总，形成整体意见汇总表，总结出存在的问题以及各专家的意见冲突，要求参与的专家们重新进行考虑。然后将这些问题和反馈意见、以及意见的重新考虑过程，重新汇总，再将重复意见划定就在一定的范围内，再次发送给参与的专家们。然后重复上述过程，指导得出专家意见趋于一致,得到较一致、可靠的评价指标。最后，对上述意见或者指标，按照研究的思路，进行专家打分法或者采用AHP分析等手法进行数学建模计算，得出相应的权重。对于学习效果评价这类目前尚无较为公认的定义及成熟的评价指标的研究来说,运用德尔菲(Delphi)法,广泛听取和借鉴相关领域专家的意见与建议,可以减少评价的主观性、片面性,能够更加全面、客观、科学、高效的到达研究目的。3.2层次分析法层次分析法是一种定性与定量分析相结合的多准则决策方法。这一方法首先对复杂的问题层次化，将各元素进行分类，相同属性元素组成一组，按照不同组构建不同层次，形成递阶层次机构。3.2.1层次分析法的起源和应用领域层次分析法（AnalyticHierarchyProcesss：简称AHP），1971年最早由由美国运筹学家\o"托马斯·塞蒂"托马斯·塞蒂（ThomasL.Saaty）正式提出，是一种定性和定量相结合的、系统化、层次化的分析手法，层次分析法为分析相互关联和相互制约的复杂问题提供了一个一种简单实用的方法。在没有评价标准的、需要进行主观判断的等场合使用层次分析法会是非常有效的和迅速的。由于它在处理复杂的\o"决策"决策问题上的实用性和有效性，很快在世界范围得到重视。最初于现代商业中各种各样的意志决定和公共事业的意见统一等场合中得以应用。目前层次分析法在经济\o"计划"计划和\o"管理"管理、\o"能源政策"能源政策和分配、\o"行为科学"行为科学、军事指挥、运输、农业、教育、人才、医疗和环境等领域的需要用主观意思进行决定的场合中，都得到了广泛的应用。通过使用层次分析法，可以将人类的主观性、感觉性的判断模型化，通过建模后进行相关计算，得出相对理性和数据化的结果。这一点相对其他主观判断方法来说要准确很多。3.2.2层次分析法的原理和构成层次分析法的主要原理就是通过分析复杂系统的有关要素及其相互间的关系，简化为有序的递阶式层次结构，并将要研究的各类要素，分归成不同的层次，最终形成一个多层次的分析结构模型，最终把系统分析的形式归结成最低层（供决策的实施方案或者措施等）相对最高层（总目标或总指标）的相对重要性权值的确立问题，即将相对复杂的关系结构，转化为可以确立权值的数学结构模型。AHP的构成主要是代表所要达到目标的最高层、代表为实现目标所做决策和约束的中间层，以及代表实际解决问题的最低层。在讨论问题时，需要进行构造的相应的层次框架，分析问题中含有的各个因素，将要素的评价进行数量化。层次被构建之后，决定者需要对系统各因素的相互关系和重要性质进行两两比较。在比较时，决策者可以对要素具体的数据进行对比，也可以判断因素之间的相对意义和重要性。这样，不仅仅是客观的信息和数据，主观的人的判断和评价可以体现出来。对于AHP的要素比较，需要将上述因素所得的评价或者数据在全体因素中进行数量化。实际操作时，把各个层次中的各个要素的重要度或优先度按照同一标准进行衡量，对各个因素的按照重要度和优先度分配出具体的数值，在赋值时，需要用到的时Saaty1-9标度法，关于Saaty1-9标度法的介绍将在下一节进行。[注]此处出自Saaty,ThomasL.(2008-06).“RelativeMeasurementanditsGeneralizationinDecisionMaking:WhyPairwiseComparisonsareCentralinMathematicsfortheMeasurementofIntangibleFactors-TheAnalyticHierarchy/NetworkProcess”.RACSAM(ReviewoftheRoyalSpanishAcademyofSciences,SeriesA,Mathematics)102(2):251–3183.2.3使用AHP的方法运用AHP分析问题大体要经过以下五个步骤：(1)建立系统的递阶层次结构模型；(2)构造两两比较判断矩阵；(3)层次单排序；(4)层次总排序；(5)一致性检验。1、建立系统的递阶层次结构模型对于要决策的问题，通常可以将其划分成层次结构模型。将要决定的问题进行模型化，在这个层次上，建立一个要达到的目标，然后设定为了达到这个目标的所需要的环节和方案以及对那些方案的一些评价标准。这些就是层次分析法的各层要素。运用AHP进行系统分析时，要将所包含的因素分组，每一组作为一个层次，按照最高层、若干有关的中间层和最低层的形式排列起来。其中：最高层：表示解决问题的目的，即应用AHP所要达到的目标。中间层：它表示采用某种措施和政策来实现预定目标所涉及的中间环节，一般又分为策略层、约束层、准则层等。最低层：表示解决问题的措施或政策(即方案)。标明上一层因素与下一层因素之间的联系。如果某个因素与下一层次所有因素均有联系，那么称这个因素与下一层次存在完全层次关系。有时存在不完全层次关系，即某个因素只与下一层次的部分因素有联系。层次之间可以建立于层次。于层次从属于主层次的某个因素，它的因素与下一层次的因素有联系，但不形成独立层次，层次结构模型往往用结构模型图表示。在各个阶层的各个要素，确定要素之间的优先度。这个时候要素之间要进行两两比对确定优先度。2、构造两两比较判断矩阵任何系统分析都以一定的信息为基础。AHP的信息基础主要是人们对每一层次各因素的相对重要性给出的判断，对各指标之间进行两两对比之后，然后按9分位比率排定各评价指标的相对优劣顺序，依次构造出评价指标的判断矩阵。判断矩阵是AHP工作的出发点。构造判断矩阵是AHP的关键一步。判断矩阵表示针对上一层次某因素而言，本层次与之有关的各因素之间的相对重要性。3、层次单排序，计算各层因素的权重所谓层次单排序是指，根据判断矩阵计算对于上一层某因素而言，本层次与之有联系的因素的重要性次序的权值。它是本层次所有因素相对上一层次而言的重要性进行排序的基础。层次单排序可以归结为计算判断矩阵的特征根和特征向量问题，即对判断矩阵B，计算满足BW=λmaxW的特征根与特征向量，式中λmax为B的最大特征根，W为对应于λmax的正规化特征向量，W的分量Wi是相应因素单排序的权值。为了检验矩阵的一致性，需要计算它的一致性指标CI，定义CI=(λmax－n)/(n－1)显然，当判断矩阵具有完全一致性时，CI=0。λmax－n愈大，CI愈大，矩阵的一致性愈差。为了检验判断矩阵是否具有满意的一致性，需要将CI与平均随机一致性指标RI进行比较。4、层次总排序，计算当前一层元素关于总目标的排序权重。利用同一层次中所有层次单排序的结果，就可以计算针对上一层次而言，本层次所有因素重要性的权值，这就是层次总排序。层次总排序需要从上到下逐层顺序进行，对于最高层下面的第二层，其层次单排序即为总排序。5、一致性检验构造好判断矩阵后，需要根据判断矩阵计算针对某一准则层各元素的相对权重，并进行一致性检验。虽然在构造判断矩阵A时并不要求判断具有一致性，但判断偏离一致性过大也是不允许的。因此需要对判断矩阵A进行一致性检验。计算出判断结果的一致性。最后得出用AHP分析出的最终结论。[注]出自Saaty,ThomasL.(1999-05-01).DecisionMakingforLeaders:TheAnalyticHierarchyProcessforDecisionsinaComplexWorld.Pittsburgh,Pennsylvania:RWSPublications.\o"ISBN"ISBN\o"特別:文献資料/0-9620317-8-X"0-9620317-8-X.另外，为了简单地使用这个手法，一些企业开始开发并销售相应的计算机软件。比较著名的是MCE和ExpertChoice软件等。这些软件能够综合多样的利益关系者的资讯与提供必要的能力加以分析，按优先顺序处理，以及交流这些决策。能够帮助用户构建常规或非常规的层次图，并且方便用户在个准则层中加入判断矩阵，层次图用来组织所有相关的准则，以逻辑化和系统化的方式解决决策问题，即，从目标层到准则层最后选择方案这一过程。用户也可以自己定义问题并且在层次图中输入所有的相关信息。基于AHP方法提供数学上严谨的应用与经证明的优先顺序化过程与决策制定。把复杂的决策简化为一系列成对的比价，然后整合结果，这些软件不仅能够帮助决策者作出最好的决定，而且为决策提供一个清楚的基本原理。提供决策者经验证明过的整合资料程序并通过一个简单的应用程序发展优先顺序，而不需要高级程度决策学专业就可以实现。3.3Saaty1-9标度法19标度系统是层次分析法使用的基础.Saaty教授最早提出的，对层次分析法的理论与应用研究起到了十分巨大的作用.。1-9因方法简洁、实用且有坚实的数学基础而得到广泛研究与应用.层次分析法是一种定性与定量相结合的对多目标多准则系统进行分析与评价的决策方法,它根据给定的数字标度,将人的主观判断转化为数量的形式进行处理,得到有效的决策方案.由于数量化的结果是决策的依据,量化方法的科学性至关重要,所以将定性与定量相结合的桥梁Saaty1-9标度法，是确认因素价值的一种重要方法，1-9标度法不仅能对因素之间的重要性及重要性大小进行明确的判断和评价，而且可以检验并保持评价过程的一致性。按下述标度进行赋值。aij在1-9及其倒数中间取值。aij=1，元素i与元素j对上一层次因素的重要性相同；aij=3，元素i比元素j略重要；aij=5，元素i比元素j重要；aij=7，元素i比元素j重要得多；aij=9，元素i比元素j的极其重要；aij=2n，n=1,2,3,4，元素i与j的重要性介于aij=2n−1与aij=2n+1之间；，n=1,2,...,9，当且仅当aji=n。Saaty1-9标度法选用1-9的数字（及其倒数）作为评价要素，对人的主观判断进行量化，将各层次两两对比进行重要性判断，构成两两比较判断矩阵，然后用矩阵原理计算方法，计算出各层次相应权重。层次分析法通过把问题层次化、数量化，再运用数学进行分析，为复杂问题提供简便、科学的决策方法，在社会、管理、经济、教育等方面得到广泛运用。具体标度方法是，使用1-9及其倒数作为标度进行赋值，在判断两个元素重要性区别。1表示相等、3表示较强、5表示强、7表示很强、9表示绝对强……，将思维判断数量化，具体见表2。表21-9标度原则标度含义1表示两个元素相比，具有同样的重要性3表示两个元素相比，一个元素比另一个元素稍微重要5表示两个元素相比，一个元素比另一个元素明显重要7表示两个元素相比，一个元素比另一个元素强烈重要9表示两个元素相比，一个元素比另一个元素极端重要2,4,6,82，4，6，8为上述相邻判断的中值上述数字的倒数表示相应两因素交换次序比较的重要性然而,在实际应用的过程中，人们也逐渐意识到1~9标度存在了一些缺陷。具体表现为以下几个方面：（1）对于权重的计算太粗糙。（2）受主观因素影响，容易出现矩阵一致性与思维一致性的不协调的问题。（3）一致性矩阵的容量太小，对于相对复杂的矩阵无法进行合理的建模。（4）1-9标度的数学结构在某些领域较差。为了弥补1~9标度存在的缺陷,国内外学者们相继提出了一些改善手法，也有学者们提出了一些不同的数字标度方法。但是到目前为止，在对主观因素进行客观标度这个问题上，依然没有完美的方法出现。本论文讨论的评价指标体系中，其总体权重评价结果相对比较协调，在指标内部相互关系较为和谐。另外，采用Satty1-9标度法会使标度较为简单清晰，对于矩阵的计算也比较方便，得出的权重可以精确到了0.0001位，已经符合了基本的评价精度要求。因此，本论文为了方便计算和加权，仍然采取Satty1-9标度法进行标度和计算。3.4模糊评估法1965年美国计算机与控制专家LotfiAskerZadeh教授发表的论文中首次提出表达事物模糊性的重要概念：隶属函数,从而突破了19世纪末\o"勒内·笛卡尔"勒内·笛卡尔（\o"ReneDescartes"ReneDescartes）的经典集合理论,奠定模糊理论的基础。而模糊集合概念，则可以看作是模糊综合评价法等其他模糊理论的起源。3.4.1模糊综合评价法的发展及应用模糊综合评价法基于模糊数学衍生而来。模糊综合评价法是一种基于模糊数学的综合评标方法。该综合评价法根据模糊数学的隶属度理论把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价。它具有结果清晰，系统性强的特点，能较好地解决模糊的、难以量化的问题，适合各种非确定性问题的解决。模糊综合评价法是在模糊的环境下，考虑了多种因素的影响，根据模糊数学的隶属度理论把定性评价转化为定量评价，即用模糊数学的方式对受到多种因素制约的事物或对象做出一个可以量化的综合评价的方法。综合评价法具有结果清晰，系统性强的特点，能较好地解决模糊的、难以量化的问题，适合各种非确定性问题的解决。在模糊理论50多年的发展过程中，国内外的学者在模糊理论做了大量卓有成效的工作，使得模糊理论得到了迅猛的发展。虽然该理论在发表的初期，遭到了很多质疑和批评，但是它的实用性已经在各种各样的实用案例中的得到了成功的运用。20世纪80年代后期，日本开始有学者将模糊技术应用于智能装备、机器人、过程控制、地铁机车、交通管理、故障诊断、医疗诊断、市场预测等众多领域。模糊理论及相关衍生的模糊法在日本的应用和巨大的市场前景，对于世界企业界产生了很大震动。现在，模糊综合评价法作为模糊理论的一个分支也已经得到了广泛的认可。和熵权法一样，成为研究不确定问题的几种重要方法之一。3.4.2模糊综合评价的基本原理首先确定被评价对象的因素（指标）集合评价（等级）集，在分别确定个因素的权重及他们的隶属度向量，获得模糊判断矩阵；最后把模糊判断矩阵的权向量进行模糊运算并进行归一化，得到模糊综合评价结果。其特点在于评判逐对象进行，对被评价对象有唯一的评价值，不受被评价对象所在对象集合的影响。综合评价的目的是要从对象集中选出优胜对象，所以还需要对所有评价对象的综合评价结果进行排序。3.4.3模糊综合评价法的模型和步骤（1）确定评价对象的因素论域上述因素论域表示有m个评价指标，我们会从m个角度对评价对象进行综合判断描述。（2）确定评语等级论域实际上就是对被评价对象变化区间的一个划分。其中vi代表第i个评价结果，n为总评价结果数。具体等级划分可以根据评价对象和内容用适当的语言进行描述，比如竞争力体系可以用强、中、弱等。经济效益可以用好、较好、一般、差等。（3）进行单因素评价，建立模糊关系矩阵R单独从一个因素出发进行评价，以确定评价对象对评价集合V的隶属程度，称为单因素模糊评价。在构造等级模糊子集后，就要逐个对被评价对象的每一个因素进行量化，也就是确定从单因素上来看被评价对象对各等级模糊子集的隶属度，进而得到模糊关系矩阵R。其中Rij表示某个评价对象从因素UI来看对vi等级模糊子集的隶属度。一个被评价对象在某个因素ui方面是通过模糊向量r来刻画的（在其他评价方法中，多由一个指标的实际值来刻画，因此从这个角度讲，模糊综合评价要求更多地信息）RI称为单因素评价矩阵，可以看作因素集U和评价集V之间的一种模糊关系，即影响因素和评价对象之间的“合理关系”在确定隶属关系时，通常由专家或者评价问题相关的专业人员依据评判等级对评价对象进行打分，然后统计打分结果，然后根据绝对值减数法求得RIJ。3.4.4模糊综合评价法的最显著特点是：1、从实际问题的具体特征出发,总结和吸取人们长期积累的实践经验,特别要重视那些专家的经验。虽然隶属函数的确定容许有一定的人为技巧,但最终还是要以符合客观实际为标准。2、在某些情况下,隶属函数可通过模糊统计试验来确定。一般来说,这种方法是较为有效的。3、隶属函数还可以用概率统计的处理结果来确定。4、在一定条件下,隶属函数也可以作为推理的产物,只要实验符合实际即可。5、有些隶属函数可以经过模糊运算“并、交、余”求得。6、在许多应用中,由于人们认识事物的局限性,因此开始只能建立一个近似的隶属函数,然后通过学习逐步修改使之完善。7、判断隶属函数是否符合实际,主要看它是否正确地反映了元素隶属集合到不属于集合这一变化过程的整体特性,而不在于单个元素的隶属数值如何。8、能够通过精确的数学手段处理模糊的评价对象，能对蕴藏信息呈现模糊性的资料做出比较科学的、合理的、贴近实技的量化评价。9、评价结果是向量型式，而不是一个具体的点或者值，包含的信息量相对比较丰富，即可以比较准确的刻画被评价的对象，有可以进一步加工，得到相关的参考信息。第四章：评价指标体系的设计和权重的确立4.1评价指标体系构建原则、方法及框架指标是一个名词，指的是衡量目标的单位或方法。从知识管理的角度来讲，评价指标体系指的是可以用来表述出被评价对象各个方面特征并且能够体现出这些特征之间联系的多个指标构成的集合体。[注][朱振中石志敏.新产品开发中评价指标体系的建立与模糊综合评价.山东工程学院学报,2001,15(3)]通俗来讲，指标根据选定的性质可以表述出被评价对象的某些特征性质或者某些具体数值，进而可以观察出所研究现象的某一特征，或者反应出某个简单的事实。指标体系则是将具体的指标进行科学的分类，进而形成的一系列相互联系、相互制约的指标集合体。按照表征内容能否被数量化这一原则进行区分，可以将评价指标归类为可计量指标和非可计量指标两种。可计量指标指的是可以通过用数值或者数量的方式对指标进行剖析。对于可计量指标，根据考察时采取的不同方式或者分类规则可以进行更为细致的分类：按照所计量的内容不同，可计量指标还可以细分为价值量指标和实物量指标；按照所计量的数据处理方式不同，则可以细分为数量化指标和比率化指标。非可计量指标指的是人们无法按照常规的定量分析来确立出的指标，即通常研究人员所说的定性指标，一般按照被评价对象的特征属性、常规定义、运行方式等原则对指标进行定义，进而通过对被评价对象的某个特征进行语言描述或者判断分析，达到剖析问题和解决问题的目的。在使用非可计量指标的进行评价时需要科学严谨的定义出该指标的标度范围，才能有效的将主观经验判断合理的进行数值转换。4.1.1评价指标体系的构建原则指标体系作为内部相互作用的一个有机整体，不但应从不同的角度反映出被评价系统的主要特征变化，还要能体现出系统的发展趋势。对于任何一种指标体系的建立都有其依据的理论基础，E-Learning系统培训效果评价指标体系的设计必须以科学管理理论、统计理论为依据，进而实现评价指标体系规范性和科学性。为了保证DST公司E-Learning系统培训效果评价指标体系设置的科学性和规范性，我们在设计DST公司E-Learning系统培训效果的评价指标体系时，一直遵循如下价格原则：全面性原则（系统性原则）企业E-Learning系统培训效果的评价指设定时标应把握系统整体性的立场出发，全面地、客观地、系统地反映企业E-Learning系统中的各个子系统，及其相互协调以及整体运作。为体现E-Learning培训效果模型的全面性、完整性，在充分调研的基础上，还要求我们把评价指标体系视为一个系统，以评价指标体系整体目标的优化为准绳，协调体系中各个子指标的相互关系，使体系完整、平衡。科学性原则具体指标的选取要以科学思想为指导，以一定的事实为依据，使所选课题具有理论和实践基础。指标应目的明确、定义准确。有科学依据，以科学思想为指导，规范定量指标的计算及其涵义，规范资料数据来源。同时所运用的计算方法和模型也必须科学规范，这样才能保证评价结果的真实和客观。纳入E-Learning培训效果评价体系的每一个指标都需要有明确的内涵和科学的解释，要考虑指标选择、指标权重确定、数据选取时的可比性和计算方法的科学性，客观全面地反映企业E-Learning培训系统的运行状况。简明性原则从理论上讲，指标越多越细越全面，反映客观现实也越准确。但是，随着指标量的增加，带来的数据收集和加工处理的工作量将成倍增长，而且，指标分得过细，难免发生指标与指标的重叠，相关性严重，甚至相互对立的现象，这反而给综合评价带来不便。可操作性原则在各指标子系统中，存在较多难以定量、精确计算或获取的数据。指标的设计既要考虑有数据的支持、数据获取的难易程度和可靠性，又要考虑计算方法的简易性等。评价指标过于复杂，会给评价带来困难，甚至不可操作；过于简单，又不能反映评价对象的基本情况。因此，在构建评价指标体系时，应挑选一些易于计算、容易取得并且能够在要求水平上很好地反映E-Learning培训效果实际情况的指标，使得所构建的指标体系具有较强的可操作性。从本质上说，可操作性定义就是详细描述研究变量的操作程序和测量指标。在实证性研究中，操作性定义尤为重要，它是研究是否有价值的重要前提。动态性原则E-Learning培训效果评价是一个动态过程，对于同一个方法，不同时期预示着不同的指标维度以及发展的目标、发展模式、为达到目标而采取的手段均不相同，指标体系的过程中侧重点自然也不同。稳定性原则指标体系的稳定性，可在E-Learning培训效果评价中维持可持续的衡量、评价和调控，从而使其发展更有利于向可持续标准的方向发展，避免出现评价中的不确定性。可比性原则评价指标要具有横向和纵向的可比性，即具有企业之间的可比性和区域纵向时间上的可比性，这样才能客观、全面地反映企业E-Learning系统培训效果所处的水平。4.1.2评价指标体系构建方法评价指标体系的设计过程是首先采用德尔菲专家意见法，进行匿名函征，进而完成评价指标的初步设计；然后将所以的意见汇总，再次以匿名函征的方式，征询专家们的意见，剔除普遍认为不符合实际和操作性较差的选项；最后，统一专家们的意见，选取直观的、易于获得的可评价信息，确定出最后评价指标。为了得到一个合理的指标权重，本研究课题邀请了十位相关领域的专家和实际工作者，其中，厂商从业者占3%，高校教职人员占2%，人力部门主管和日方技术专家占3%，代理店客户服务经理占1%，业内资深分析师占1%。在Delphi原理下按照严格的流程对本课题的指标体系进行打分，最后经过严格的数学处理，确定了指标的相对权重。这些专家全程参与目标的设定，见证了德尔菲法的全部的过程。4.1.3评价指标体系框架为全面建立一个评价指标体系，笔者对专家们进行了反复的函征意见，最终通过专家们反复推敲和商议，达成一致性结论，评价指标体系分为4个一级指标（知识内容、培训方式、实训操作、培训收获）和18个二级指标，以下是讨论出的指标评价内容：表1E-Learning培训效果评价指标体系一级指标二级指标指标释义A1知识内容A11最新性能够反映出该行业或该技术的最新成果A12权威性、专业性所授内容保证符合专业要求，数据和技术能够保证绝对的权威性A13系统性、接续性能够系统的教授技能，跟往期培训或者受训者技能能源良好衔接A14实用性、针对性对工作或者生产有实际效果，对现实工作有针对性，有指导意义A2培训方式A21培训效率可以在短期内得到较好的培训效果，培训效率高A22灵活性随时可以进行学、网络需求小，有手机APPA23可靠程度较为稳定的系统，即使退出也容易继续接续学习，受外界干扰较小A3实训操作A31容易检索知识和培训内容容易被检索到，易于分类和汇总A32导航性能有明确的指引功能，容易操作和用户亲和力，有记忆功能A33容易交流方便与同时接受培训的人或者讲师进行互动和交流，有bbs功能A4培训收获A41掌握程度提高对专业领域内的最新成果和发展趋势的了解程度，更新自身现有知识结构。A42实操能力提高动手能力，将培训上学习的知识活用到实际生产中去，提高现场解决速度。A43创新能力提升创新意识，结合培训内容，触类旁通，在后续应用在提升自身的创造能力。A44工作质量提高在工作中处理问题的准确性和办公质量。A45工作效率有效的提高各环节的操作效率和更有效的切入问题。A46客户满意客户（或下一工序）对工作的评价情况A47企业竞争力能够更好的提升企业竞争力，在同行业内得到好评4.2指标的标度方法4.2.1采用Saaty标度法对指标进行赋值本论文的指标标度选用Saaty标度法进行，为了得到判别矩阵，利用1-9标度对人的主观判断进行量化，将各层次两两对比进行重要性判断，构成两两比较判断矩阵，然后用矩阵原理计算方法，计算出各层次相应权重。层次分析法通过把问题层次化、数量化，再运用数学进行分析，为复杂问题提供简便、科学的决策方法，在社会、管理、经济、教育等方面得到广泛运用。在进行指标标度时，需要向专家发度加权意见问询表，对赋值的方法和标准向专家们进行详细的说明，请专家们在指标之间采取两两比较的方法，进行逐层次的比较，然后使用1-9及其倒数作为标度进行赋值，在判断两个元素重要性区别。1表示相等、3表示较强、5表示强、7表示很强、9表示绝对强……，将主观做出的判断进行数量化，具体见表2。表21-9标度原则标度含义1表示两个元素相比，具有同样的重要性3表示两个元素相比，一个元素比另一个元素稍微重要5表示两个元素相比，一个元素比另一个元素明显重要7表示两个元素相比，一个元素比另一个元素强烈重要9表示两个元素相比，一个元素比另一个元素极端重要2,4,6,82，4，6，8为上述相邻判断的中值倒数表示相应两因素交换次序比较的重要性构造判断矩阵构造判断矩阵:采用Delphi法对各层指标的相对重要性成对打分,构成判断矩阵。相对于企业E-Learning系统培训效果评价指标体系这个总目标(A),选择准则层(B)中的因素两两相对比较,得出对于总目标的相对重要性比较的数值判断,构造该级别数值判断矩阵A-B。同样,相对于B1,B2,B3,B4这4个方面的准则层,选择各相对应的指标层(C)中的因素两两相对比较,分别构造出数值判断矩阵B1-C,B2-C,B3-C,B4-C。例如,创新型企业知识管理评价指标A的下一层B1⋯B5构成的判断矩阵见表1。Bij是判断矩阵的元素,表示指标