（计算机软件与理论专业论文）基于svm多分类的教学质量评价研究.pdf

山东师范大学硕士学位论文 摘要 随着我国高等教育扩招的逐年增加，如何保证教学质量是一个迫需研究的问 题，伴随着教育部五年一次的教学评估，各个高校不断进行改革，以达到评估的 要求，并提高自己的教学质量。伴随着评估活动，高校自己也应有自己的一套教 学质量评价体系，以便对自己的教学进行预评估及在两次教学评估之间来保证教 学质量。 支持向量机是一种新的机器学习算法，是在有限样本下统计学习理论的一种 成功实现，它建立在统计学习理论的v c 维理论和结构风险最小化原理基础上， 根据有限样本在模型复杂性和学习能力之间寻求一种折中，以期达到最佳的推广 性能。由于出色的学习性能，以及在小样本识别等许多方面有其独特的优势，现 已应用在许多领域。 本文主要工作： 1 、结合目前教学质量评价研究现状，利用s v m 在小样本情况下数据处理的 优势，结合教育部的评估体系提出了一个基于s v m 的教学质量评价模型。 2 、将s v m 多分类应用在教学保障体系的w e b 系统中，提高了系统对评价数 据处理的客观性。 3 、从w e b 系统中读取数据，并通过s v mt r a i n 进行训练，验证获得的训练 结果是较好的，将训练好的参数和支持向量进行保存，并对新的数据进行评价。 关键字：支持向量机、s v m 、教学质量、评价 山东师范大学硕士学位论文 a b s t r a c t w i t ht h eh i g hi n c r e a s i n ge x p a n s i o no fh i g h e re d u c a t i o ni no u rc o u n t r ye v e r y y e a r ，e n h a n c i n gt h eq u a l i t yo fe d u c a t i o ni sam o r ev a l u a b l ep r o b l e mt ob es t u d i e d a l o n gw i t ht h ef i v e y e a rr o u n da s s e s s m e n to ft e a c h i n gb yt h em i n i s t r yo f e d u c a t i o n ， v a r i o u su n i v e r s i t i e sc o n t i n u et or e f o r mt om e e tt h er e q u i r e m e n t so fa s s e s s m e n t t h e r e f o r m a t i o nc a ni m p r o v eq u a l i t yo ft h e i re d u c a t i o n b yt h ew a y ，a f t e rt h ea c t i v i t yo f a s s e s s m e n t ，u n i v e r s i t i e ss h o u l dm a k et h e i ro w ns y s t e mo fe v a l u a t i o ns y s t e mo f t e a c h i n gq u a l i t y t h es y s t e mc o u l dh e l pt h e mt od op r e a s s e s s m e n tt h e m s e l v e sa n dt o c o n t i n u ee n h a n c et h e i rq u a l i t yo fe d u c a t i o na tt h et i m eo u t s i d eo ft h ea s s e s s m e n t s u p p o r tv e c t o rm a c h i n e ( s v m ) i san e wa l g o r i t h mo ft h em a c h i n el e a r n i n g ， w h i c hi sas u c c e s s f u li m p l e m e n t a t i o no fs t a t i s t i c a ll e a r n i n gt h e o r yu n d e rl i m i t e d s a m p l e s s v m i sb a s e do nt h ev c d i m e n s i o n a lt h e o r ya n ds t r u c t u r a lr i s k m i n i m i z a t i o np r i n c i p l eo ft h es t a t i s t i c a l l e a r n i n gt h e o r y i ta t t e m p t st o f i n da c o m p r o m i s ef i o mm o d e lc o m p l e x i t ya n dl e a r n i n ga b i l i t yw i t hl i m i t e ds a m p l e sa n d p r o m o t e st oa c h i e v et h eb e s tp e r f o r m a n c e s v mi sa p p r o p r i a t ea tm a n yf i e l d sb e c a u s e o fi t su n i q u ea d v a n t a g e sa te x c e l l e n tp e r f o r m a n c eo f l e a r n i n g ， i d e n t i f i c a t i o no fs m a l l s a m p l e sa n dm a n yo t h e ra s p e c t s t h em a i nw o r ko ft h ep a p e ri sa sf o l l o w s ： i c o m b i n i n gt h ec u r r e n tr e s e a r c hs t a t u so ft h eq u a l i t ye v a l u a t i o no ft e a c h i n g ，t h e a d v a n t a g e so fd a t ap r o c e s s i n go fs v mi nt h ec a s eo fs m a l ls a m p l e s ，a n dt h e e v a l u a t i o ns y s t e mp r o p o s e db yt h em i n i s t r yo fe d u c a t i o n ，t h ep a p e rb r i n g su pa s v m - b a s e dm o d e lo ft e a c h i n gq u a l i t ya s s e s s m e n t 2 s v mm u l t i c l a s s i f i c a t i o ni su s e di nt h ew e bs y s t e mo ft e a c h i n gq u a l i t y a s s e s s m e n ti nt h ep a p e r , i te n h a n c e st h eo b j e c t i v i t yo ft h ed a t a - p r o c e s s i n go ft h e e v a l u a t i o n 3 f i r s tt og a t h e rt h ed a t af r o mt h ew e bs y s t e m ，a n dt h e nt r a i nt h ed a t ab yt h e c l a s so fs v mt r a i n t h er e s u l t so b t a i n e db yt r a i n i n ga r ev e r i f i e di sg o o d t h e ns a v e t h ep a r a m e t e r sa n ds u p p o r tv e c t o rb yt r a i n i n g ，a n de v a l u a t et h en e wd a t ab yt h e m k e yw o r d s ：s u p p o r tv e c t o rm a c h i n e ，s v m ，t e a c h i n gq u a l i t y ，e v a l u a t i o n i i i 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得( 注：如 没有其他需要特别声明的，本栏可空) 或其他教育机构的学位或证书使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 学位论文作者签名：家涵杯 导师签字：冽寥 学位论文版权使用授权书 本学位论文作者完全了解堂撞有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。 本人授权趁可以将学位论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在 解密后适用本授权书) 学位论文作者签名： 卒趣杯 签字日期：2 。夕年5 月g 日 导师签字铡勿 签字日期2 。夕年5 月厂珈 山东师范大学硕士学位论衷 1 1 课题提出的背景 第一章绪论 近几年，我国高等教育不断扩招，根据“积极稳步发展高等教育”和“通过 各种形式积极发展高等教育 的发展思路，1 9 9 9 年全国高等教育本专科共招生 1 7 3 万人，比1 9 9 8 年增长了3 2 1 ，这是国家在高等教育发展政策上的一次重大 调整。随后的几年，高等学校逐年大幅度扩大招生规模，到2 0 0 8 年，全国参加 高考人数达到约1 0 0 0 万，本专科招生达到6 0 0 万人，比上年增加5 。因为如 此快速的规模扩张，各个高校不同程度的出现教育资源短缺、生均教育资源占有 量减少、扩招后的生源总体质量下降等问题，这必然给高等教育质量带来影响， 使长期存在于高等教育中的教学质量问题因扩招而更加突出。高等院校的教学质 量关系着我国整个高等教育未来的发展，教学质量是高等学校的立校之本，是学 校生存与发展的生命线n 1 。因此，“规模扩大与质量保证 成为了目前高等教育 最核心的问题，备受教育界、学生、家长以及社会有识之士的广泛关注，并展开 积极的研究和讨论，教育主管部门也积极组织专家学者开展研究，探索如何加强 高等学校教学基本建设，深化教学改革，不断改进和提高人才培养质量，实现高 等教育的规模、质量、结构、效益的协调发展叫1 。 另外，当前我国高等教育正面临着前所未有的发展机遇和严峻挑战，国内外 高校之间的竞争越来越激烈，优胜劣汰成为高校生存和发展中必须面对的重要问 题，这种竞争的焦点和核心，是高校的教学质量。高校必须立足于本校的办学定 位和服务方向，树立与时俱进的教学质量观，把实施优质教学作为教学工作的首 要任务来抓，不断提高学生的学习能力、创新能力、实践能力和国际竞争力。因 此，把握教学的内涵，明确教学的质量标准，加强对教学质量的内部评价，将有 利于高校教学改革的进一步深入，从而实现以质量求生存，求发展，求效益，求 创新的目标。 为了实现我国高等教育规模、质量、结构和效益协调统一的发展，教育部确 定了“巩固、深化、提高、发展 的方针，要求教育系统全面落实科学发展观， 在前一个时期规模快速发展基础上，将工作重心转移到更加注重提高高校教学质 山东师范大学硕士学位论文 量上来。作为教育部正在实施的“质量工程”的一个重要环节，5 年一轮的“本 科教学工作水平评估”活动正在进行中，教学评估对增强高校教学质量意识，进 一步提高人才培养质量，具有积极的推动作用。作为被评估高校，不仅能够认识 到评估的意义所在，而且更加深刻地意识到评估的利害关系，它关系到高校的社 会声誉，关系到高校自身的生存和可持续发展。因此，凡是被评估的高校都遵循 教育部提出的“以评促建、以评促改、以评促管、评建结合、重在建设 的基本 方针，正在扎扎实实地展开迎评工作或评后的整改工作，不敢丝毫怠慢，无不积 极迎评，认真整改。教学评估已经形成上下呼应、上下共振的态势，对促进高校 本科教学质量和教学工作水平的提高，作用和效果是相当明显的。 作为高校，应在配合教育部进行高校评估的基础上，寻求一个评价教学质量 的方式，当评估结束，还能通过内部评价继续保持自身的教学质量。当前，我国 高校教学质量评价方式主要有以教学主管部门领导的教学督导小组评价、教师互 评、教师自评、学生对教师的评价等。评价形式有听课、找学生座谈、问卷调查、 学生评分、同行互评等。其中因为教学的主体是教师和学生，体验教师教学效果 的不是教师同行，也不是专家，也不是管理者，而是学生，并且只能是学生，因 此，由学生来评价教师教学工作的质量和态度就比较全面和客观晗1 ，所以，以学 生为主体的教学质量测评工作更能客观合理地反映教师的教学水平与教学质量。 而评价方法也是多种多样，例如有组织专家评、领导评、同行评、学生评等。评 价内容有教学准备、教学态度、教学方法、教学内容、教学语言、教学效果等。 这类评价方式的优点是多元化，可以从多方位、多角度对教师教学活动进行更全 面、更客观、更科学的评价。为科学有效地评价学校教学质量、促进学校教学质 量的提高做出了其应有的贡献。 但是，现行的教学质量评价体系也存在诸多问题。其中，如何制定一个全面 准确的评价模型和指标体系是一个比较复杂的问题，如何衡量其中每个指标所占 比重的问题也是具有较大研究价值的问题。目前需要做的是将评价模型做成一个 系统，并在校园网上发布，号召学校师生参与评价，以此监督学校的教学质量。 1 2 研究现状 2 在国外，2 0 世纪3 0 4 0 年代，随着教育测验遭到指责，教育评价应运而生， 山东师范大学硕士学位论文 但由于此时的教育评价关注点主要在于学生的评价上，教育评价的产生对课堂教 学质量评价的影响并不大，课堂教学质量评价仍按原来的路子继续前进。从2 0 世纪5 0 年代开始，一些研究者基于更准确地评价教师的课堂教学质量的考虑， 开始了对教师有效教学行为的研究，并取得了不少的研究成果，提炼出许多具有 实用价值的有效教学行为和无效教学行为。从6 0 年代起，一些研究者还提出了 许多课堂观察方法并研制了不少相应的观察工具。从这些对课堂教学质量评价的 研究来看，研究者的指导思想是深受自然科学研究方法的影响的，他们认为从教 师教学行为的好坏中可以线性地“推导 出课堂教学质量的优劣，在这一“推 导 过程中，研究者有这样一个假设，即只要保证方法和过程的客观性，就可以 保证对课堂教学质量评价的准确无误。根据这一假设，在整个研究过程中，研究 者都努力保持研究的价值中立不至于受研究者主观因素的干扰，无论是课堂教学 质量评价标准的制定，还是评价的具体实施都努力向客观和科学的标准靠拢，并 认为只要做到这一点，就一定能够正确、合理地评价课堂教学质量。 在国内，教学评价的研究大致经历了以下几个阶段： 1 起步阶段( 1 9 8 4 - 1 9 9 0 年) 我国高校教师的教学评价始于8 0 年代中期，1 9 8 4 年，北京师范大学在计算 教师的工作量的同时，进行了简单的关于教师教学的质量评价，作为衡量教师教 学的参考依据。这是我国高校中最早的关于教师教学的评价。1 9 8 5 年5 月，国 家颁布了中共中央关于教育体制改革的决定，明确提出要对教育进行评价的 问题。同年6 月，原国家教委在黑龙江省召开了高等工程教育评价问题专题讨 论会，这是第一次全国性的教育评价研讨会。国内教育评价界一致认为，我国 的高等教育评价研究和实践自1 9 8 5 年开始真正起步。随后，我国的高等教育理 论和实践工作者对高等学校内部的教师教学评价的理论和实践展开了广泛深入 的研究，取得了不少成果。 据1 9 9 0 年的不完全统计，约有4 8 0 多所高等学校不同程度地开展校内以课 程评估和教师教学质量评价为重点的教学评估试点实践活动，约占当年高等学校 总数的4 4 6 。此阶段的课程评估和教师教学质量评价是各高校开展的最多的教 学评价。此时的教师教学评价的特点是：以课程评估为主，教师教学质量评价为 辅，评价内容都是依据高校教学管理人员的教学管理经验确定，般分为一级评 价指标、二级评价指标的形式。一级评价指标中包含有教学内容、教学手段、教 3 山东师范大学硕士学位论文 学方法、教学态度等内容，二级评价指标中包含相应的教学管理者认定的重要的 具体评价项目。此阶段的高校教师教学评价的理论研究工作明显落后于评价实践 工作。 2 、正规化开展阶段( 1 9 9 1 - 1 9 9 5 年) 1 9 9 0 年l o 月，原国家教委正式颁布了普通高等学校教育评估暂行规定， 这是我国第一个关于教育评价的行政法规性质的专门文件，为在全国正规开展评 价工作提供了制度保证。 作为原国家教委“八五 重点研究课题“高校教学评价的理论和实践研 究 组长单位的北京师范大学，于1 9 9 1 年最早在国内提出：通过实证研究，确定 教学效果好的教师的行为特征，并以此作为教师教学评价的指标。为此，他们从 全面提高教师的素质出发，把重点放在研究教师的有效教学行为上。通过对国内 外已有的研究文献的内容分析，根据教师的心理行为结构以及教学心理学的基本 原理，并综合大量研究结果和专家调查意见，编制了大学教师行为特征调查问 卷，分别于1 9 9 1 年和1 9 9 2 年对近千名理、工、师范、综合类院校的学生和近 2 0 0 名学术造诣较深的教师进行调查测试，确定了五大维度( 教师的教学技能， 教师所教学科知识的深、广度，教学中的教风，教师的积极向上的个性心理特征， 师生之间的交流) 共3 0 多个项目的教师行为特征作为教师教学评价的指标体系。 对这些特征进行进一步的研究分析表明，这些项目具有较高的区分度，是教学效 果好的教师具备的而教学效果差的教师不具有的行为特征：对这些行为特征的差 异考验表明，这些特征是文、理、工科教学效果好的教师所共同具有的特征。 北京师范大学的教师教学评价很快在国内得到推广运用。很多高校直接采用 其评价表及评价程序或根据本校特点对之加以改进，制定出适合本校的评价指 标。到1 9 9 5 年时，国内大多数高校均开展了不同程度的教师教学评价工作。同 时，在此阶段，研究者们对高校教学评价中许多理论问题进行了分析探讨，这些 研究包括教学评价的本质及其功能作用、教学评价的标准、教学评价的程序模式、 教学评价的主要信息来源及收集信息的方法、教学评价在改善教学系统中的作 用、教学评价的哲学方法论问题、教学评价的教学理论基础和心理学基础、中外 高校教学评价的比较研究等等。此阶段我国高校教师教学评价的特点是，理论研 究与评价实践并重，各高校开始以教师教学的有效行为特征作为评价指标，进行 正规化的科学的教师教学评价工作。 4 山东师范大学硕士学位论文 3 、深入开展阶段( 1 9 9 6 年一一) 从已有的理论研究和实践经验可以看到，在对教师教学的评价中，学生评价 比同事评价、教师自评更具可靠性，因而，在国外，学生评价结果除反馈给教师 外，还被广泛用于教师的聘任、提职和决定薪金。在国内，学生评价结果虽没有 直接用于教师的聘任、提职和决定薪金，但由于衡量教师的教学没有其他的指标， 学生评价结果常被高校间接地用于教师的人事决策。因此，在此阶段，研究者们 对学生评价的效度问题和学生评价结果的效用等问题进行深入探讨。对高校教师 教学质量评价的效果分析发现，教师的教学质量经过学生评价结果的反馈有了明 显的提高。 除理论研究外，我国高校的教师教学评价实践在此阶段也得到了深入开展， 大多数高校都开展了对教师教学质量的评价，评价内容和方式大同小异又各具特 色，呈现十分可喜的前景。北京大学于1 9 9 6 年初，率先在全校范围内公布学生 评价结果。中国人民大学于1 9 9 9 年9 月，北京师范大学于2 0 0 0 年3 月，先后在 其学校范围内公布学生评价结果，并成为常规性工作。三所高校评价结果的公布， 促使教师和校系教学管理工作者更加重视以学生为本的教育思想，认真分析教学 工作中的优点和存在的问题，进一步改进和提高教学工作。 尽管关于教学质量评价的研究与实践取得了一些成就，但在当前的社会和教 育环境中，教学质量的评价方面仍然存在着一些不足之处： ( 1 ) 当前的教学质量评价多是奖惩性评价、事后评价，而不是发展性评价， 不利于教学质量的提高 许多高校都将教师评价结果作为奖励和惩罚的依据，这种奖惩性评价是终结 性评价，其特点主要是面向过去，特别注重教师在评价前的工作表现，并根据教 师的工作表现，判断他们是否已经具备奖励或处罚的条件。而发展性教师评价， 以促进发展为目的，是一种依据目标、重视过程、及时反馈、促进发展的形成性 评价。针对现行教师教学评价存在的诸多弊端，建立发展性教师教学评价体系无 疑是我们应采取的措施与对策。 ( 2 ) 评价主体和评价对象的多元化差 虽然评价主体开始朝着多元化方向发展，但评价主体多是以学生为主。由于 受到量化项目和学生认知、态度等因素的影响，仍有较大的局限性和偏差。评价 对象方面，目前的评价体系中主要是对教师的教学态度、内容、方法、能力和效 山东师范大学硕士学位论文 果等进行评价，对影响教学质量的其他方面评价较少。 ( 3 ) 当前的教学质量评价方法没有注重对教学过程的评价 教学评价中重结果轻过程的现象较为普遍，它只看学生最后对教师的评价结 果，不重视教师施教过程中的教学行为，这种评价也就是重终结性评价，它既不 能考察教师教学行为过程的测定值和学生学习成果测定值之间的相关因素，也没 有捕捉到教师教学行为的状态性信息和学生学习行为的输出信息，更谈不上对信 息材料进行分析，以达到促进教学的效果。 ( 4 ) 当前的教学质量评价系统实时性差，反馈周期长，交流困难 传统的教学评价通常采用填表打分、谈话听课等方式进行，具有工作量大、 操作困难、统计复杂周期长等缺点，因而教学评价往往受到限制。随着计算机网 络的普及，通过网络进行评价和监督的网络系统越来越多。虽然网上教学评价系 统能够让学生从网上对教师的教学情况进行评价，但因为程序设计的原因以及教 学评价本身的不确定性造成了评价结果的偏离，反而没有起到应有的作用。 ( 5 ) 对教学质量计划监督和执行不利 大多数院校在学期初安排了许多教学质量监督和控制计划，但常因其他工作 而耽误，所以计划的多，执行的少，并且很少能针对发现的问题与教师进行交流， 帮助教师分析问题、总结经验、提高教学质量。 此外，一些监控和评价手段也或多或少地存在着走过场的现象。 1 3 研究意义 教学质量是高校的生命线，提高教学质量是高校永恒的主题。对教学实行卓 有成效的管理，既要靠教学过程控制，又要靠建立一套完整的规范化的教学质量 监控与评估体系。科学的教学考核与教学评估可以有效地促进教学工作水平和教 学质量的提高。目前，随着高校招生的扩大，教学质量有下滑的趋势。因此，如 何保证本科生的教学质量是一个迫切需要研究的问题。这就需要在本科教学过程 中，建立起一种有效的质量保障体系，使得教学过程中的每一个环节得到有效的 监督和评价，从而保证教学质量。在这方面，教学监督及教学评价机制是一种有 效的途径。前者保证各门课程的教学计划按照预定的教学环节进行，避免教师在 教学过程中的随意性。而教学评价与评估可以有效地促进教学工作水平和教学质 6 山东师范大学硕士学位论文 量的提高。 本文在教育部评估体系的基础上提出个基于支持向量机的评价模型，并用 c # 的s v i i i 工具箱进行训练、测试、评价，从本人参与的学校教改项目取得数据利 用支持向量机的多分类算法进行训练，并进行应用。 山东师范大学硕士学位论文 第二章支持向量机 2 0 世纪9 0 年代以来，随着信息技术和数据库技术的迅猛发展，人们可以非 常方便地获取和存储大量的数据。面对这些大规模的海量数据，传统的数据分析 工具如信息管理系统只能进行一些表层的处理，而不能获得数据之间的内在关系 和其中隐含的信息。为了摆脱“数据丰富，知识贫乏”的困境，人们迫切需要一 种能够智能地把数据转换成有用信息和知识的技术和工具。机器学习就是针对这 种对数据分析的迫切要求应运而生的，是近几年来兴起的一个热门课题，也是现 在智能技术中的重要内容。它是关于理解与研究学习的内在机制、建立能够通过 学习自动提高自身水平的计算机程序的理论方法的学科。它的主要任务是研究从 观测数据样本集出发寻找规律，并利用这些规律来对未来的数据或者无法观测的 数据进行预测和分类。近年来，机器学习理论在诸多应用领域都得到了成功的应 用与发展，如模式识别、信号处理、控制、数据挖掘等。实际上，在任何有经验 可以积累的地方，机器学习方法都可以发挥作用。至今为止，关于机器学习还没 有一种被共同接受的理论框架，关于其实现方法大致有以下三种： 1 经典的统计参数预测方法：这一类方法主要包括模式识别，现有机器学习 方法共同的理论基础之一是统计学。参数方法正是基于统计学的，在这些方法中， 参数的相关形式是已知的，训练样本用来估计参数的值。这种方法有很大的局限 性。首先，它需要已知样本的分布形式，这需要花费很大的代价，另外，传统统 计学习研究的是样本数目趋向于无穷大时的渐进理论，现有学习方法也多是基于 此假设。但在实际问题中，样本的数目往往都是有限的，因此一些理论上很优秀 的学习方法在实际中表现可能不尽人意。 2 经验非线性方法：这一类方法利用己知样本建立非线性模型，克服了传统 参数估计方法的困难，主要的代表如人工神经网络。但是这种方法缺乏一种统一 的数学理论基础，容易陷入局部极小、网络泛化能力不强、结构的设计依赖于设 计者的先验知识和经验等问题。 传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多 是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很优秀 的学习方法实际中表现却可能不尽人意。 传统的统计模式识别方法是样本数目足够多的前提下进行研究的，所提出的 9 山东师范大学硕士学位论文 各种方法只有在样本数目趋近于无穷大的情况下其性能才能得到理论上的保证。 传统统计学所研究的是渐进理论，即当样本数目趋向于无穷大时的极限特征。而 在多数实际应用中，样本数目通常是有限的，这时很多方法都难以取得理想的效 果。这实际上是包括模式识别在内的所有机器学习理论和方法中存在的一个根本 问题。 近年来，在有限样本情况下的机器学习理论逐渐成熟起来，应运而形成了一 个较完善的理论体系统计学习理论。 3 统计学习理论：与传统统计学相比，统计学习理论是一种专门研究小样本 情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体 系，不仅考虑了对渐进性能的要求，并且追求在有限信息的条件下得到最优结果。 v v a p n i k 等人从2 0 世纪六、七十年代开始致力于这方面的研究，到2 0 世纪九 十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论 上缺乏实质性的进展，统计学习理论开始受到越来越广泛的重视n 匐。 在统计学习理论的基础上发展了一种新的机器学习方法一支持向量机。该 方法根据有限的样本在模型的复杂性和学习能力之间寻找最佳折中，以期获得最 好的推广能力。而且，只要定义不同的核函数，就可以实现其他现有的学习算法。 因为支持向量机广泛的适用性和它在小样本数据方面表现出来的优势，支持向量 机已经在众多领域得到了成功的应用。 2 1 机器学习的基本问题 基于数据的机器学习是现代人工智能技术中的一个重要研究内容和方向，其 主要研究方向是从观测数据样本出发寻找规律，并利用这些规律对未来数据或无 法观测的数据进行预测。基于数据的机器学习就其实现方法可大致分为三种：第 一种是经典的参数统计估计方法。第二种是经验非线性方法，如人工神经网络。 第三种方法是统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y ，s l t ) 。 机器学习的研究和发展主要经历了如下四个阶段： l 、学习机器的产生【引； 2 、学习理论基础的创立： 3 、神经网络的创立； 1 0 山东师范大学硕士学位论文 4 、统计学习理论h 一。 学习的目的是根据给定的训练样本求解系统输入输出之间的依赖关系。学习 问题可以一般地表示为输出变量和输入变量之间存在的未知依赖关系，即遵循某 一未知的概率测度f ( x ，y ) 。机器学习问题就是根据，个独立同分布观测样本： ( 玉，y 1 ) ，( 而，咒) ，( 西，y t ) 在一组函数 f ( x ，w ) 中，求一个最优的函数f ( x ，w o ) ，对依赖关系进行估计， 使期望风险r ( 们= j 三( y ，厂( 工，w ) ) d f ( x ，y ) 最小。其中， ( 工，w ) ) 称作预测函数集， w 为函数的广义参数， f ( x ，w ) ) 可以表示任何函数集，l ( y ，f ( x ，w ) ) 为由于使用 f ( x ，w ) 对y 进行预测而造成的损失函数，不同类型的学习问题有不同形式的损 失函数。 学习问题的形式化表述涉及面很广，它包括了很多特殊的问题。最基本的机 器学习问题有三类：模式识别( 分类) 、函数逼近( 回归估计) 和概率密度估计。 对于模式识别问题，输出可分别表示为y - - o ，1 ) 或 1 ，- 1 ) 。被预测函数称作指示 函数，损失函数可以定义为 ( y ，厂( 工，w ) ) = o , i fy = f ( x , w ) 对于这个损失函数，上式的风险泛函数确定了训练机器和指示函数f ( x ，们 所给出的不同概率。把训练机器的输出和指示函数的输出不同的情况称作为分类 错误。所以对模式识别问题来讲，学习问题就是根据给定的样本数据，在概率测 度f ( x ，y ) 未知的情况下，寻找使得分类错误概率最小的函数f ( x ，w o ) 。 在函数回归估计问题中，y 是连续变量，损失函数定义为 l ( y ，f ( x ，w ) ) = ( y f ( x ，w ) ) 2 回归函数就是在损失函数下使风险泛函式最小的函数。 对于概率密度估计问题，学习的目的是根据训练样本确定z 的概率密度，被 估计的密度函数记做为p ( x ，们，此时的损失函数可定义为 三( 少，f ( x ，川) = - l o g p ( x ，w ) 山东师范大学硕士学位论文 2 1 1 经验风险最小化 在上面的问题表述中，学习的目标在于使期望风险最小化，但是，由于概率 测度f ( x ，j ，) 未知，我们可以利用的信息只有样本数据，公式所表示的期望风险 r ( 叻= i 三( 少，厂瓴计) 积瓴力无法计算，因此传统的学习方法中采用了所谓经验 风险最小化准则，即采用样本误差定义的经验风险： 1， r e m p ( w ) = 三( m ，厂( 五，w ) ) i = i 作为对上式的估计，设计学习算法使它最小化。对函数逼近中的损失函数来 说，经验风险就是训练样本错误率，而回归问题中的损失函数，经验风险就是平 方训练误差，而概率密度问题中损失函数的e r m 准则就等价于最大似然方法。一 些经典的方法，如回归问题中的最d 、- - 乘法、极大似然法都是经验风险最小化原 则在特殊损失函数下的应用。传统的神经网络学习方法也应用了经验风险最小化 原则。 事实上，用e r l d 准则代替期望风险最小化并没有经过充分的理论论证，只是 直观上合理的想当然做法，但这种思想却在多年的机器学习方法研究中占据了主 要地位。人们多年来将大部分注意力集中到如何更好地最小化经验风险上，而实 1， 际上，即使可以假定当趋向于无穷大时风险( 川= 三瓴，厂( 五，功) 趋近于风 i = l 险三o ，瓴川) = o 一厂“训2 ，但在很多问题中的样本数目无法接近无穷大。 2 1 2 复杂性与推广能力 e r m 准则不成功的一个例子是神经网络的过学习问题。开始，很多注意力都 集中在如何使经验风险( ) 更小，但很快就发现，训练误差小并不一定能得 到好的预测效果。某些情况下，训练误差过小反而会导致推广能力的下降，即真 实风险的增加，这就是过学习问题。出现过学习现象原因，一是因为样本不充分， 二是学习机器设计不合理，这两个问题是互相关联的。设想一个简单的例子，假 1 2 山东师范大学硕士学位论文 设有一组实数样本，不存在相同的 x ，y ) ，x 取值在 o ，1 之间，那么不论样本是 依据什么模型产生的，只要用函数f ( x ，口) = s i n ( a x ) 去拟合它们( 口是待定参数) ， 总能够找到一个口使训练误差为零，但显然得到的“最优”函数f ( x ，口) = s i n ( a x ) 并不能正确代表真实的函数模型。原因是试图用一个十分复杂的模型去拟合有限 的样本，而丧失了推广能力。在神经网络中，若对有限的样本来说，网络学习能 力过强就会足以记住每个样本，此时经验风险很快就可以收敛到很小甚至零，但 却很难保证它对未来样本能给出好的预测。 在有限样本情况下 1 、经验风险最小并不一定意味着期望风险最小； 2 、学习机器的复杂性不但应与所研究的系统有关，而且还要和有限数目的 样本相适应。 这就是有限样本下学习机器的复杂性和推广能力之间的矛盾。有限样本情况 下学习精度和推广能力之间的矛盾几乎是不可调和的，采用复杂的学习机器容易 使学习误差更小，但却往往丧失了推广能力。因此，我们需要一种能够指导我们 在小样本情况下建立有效的学习和推广方法的理论。统计学习理论的发展和完善 为此问题的解决提供了坚实的理论基础和有效的学习方法。 2 1 3 统计学习理论 统计学习理论就是研究小样本统计估计和预测的理论，主要内容包括四个方 面： 1 经验风险最小化准则下统计学习一致性的条件； 2 在这些条件下关于统计学习方法推广性的界的结论； 3 在这些界的基础上建立的小样本归纳推理准则； 4 实现新的准则的实际算法。 其中，最有指导性的理论结果是推广性的界。与此相关的一个核心概念是 v c 维，为了研究学习过程一致收敛的速度和推广性，统计学理论定义了一系列 有关函数学习性能的指标，其中最重要的是v c 维( v a p n i kc h e r v o n e n ki s d i m e n s i o n ) 【8 】o 1 3 山东师范大学硕士学位论文 模式识别方法中v c 维的直观定义是对一个指示函数集，如果存在h 个样本 能够被函数集中的函数按所有可能的2 五种形式分开，则称函数集能够把h 个样 本打散函数集的v c 维就是它能打散的最大样本数目h 。若对任意数目的样本都 有函数能够将它们打散，则函数集的v c 维是无穷大。有界实函数的v c 维可以通 过用一定的阀值将它转化成指示函数来定义。 v c 维反映了函数集的学习能力，v c 维越大则学习机器越复杂即容量越大。 遗憾的是，目前尚没有通用的关于任意函数集v c 维计算的理论，只是一些特殊 的函数集知道其v c 维。比如在，z 维实数空间中线性分类器和线性实函数的v c 维 是n + i ，而f ( x ，a ) = s i n ( a x ) 的v c 维则为无穷大。对于给定的学习函数集，如何 用理论和实验的方法计算其v c 维是当前统计学习理论中有待研究的一个问题。 统计学习理论系统地研究了对于各种类型的函数集，经验风险和实际风险之 间的关系，即推广性的界。关于两类分类问题，结论是：对指示函数集中的所有 函数包括使经验风险最小的函数满足，经验风险r e m p ( w ) 和实际风险尺( 川之间 以至少1 一r l ，0 7 7 线性内积函数： k ( x ，y ) = x y 多项式形式的内积函数： 配力= 力+ 邗 径向基内积函数： 融力= 印 _ i x 2 d 2 - y 1 2 l ， 采用s 型函数作为内积函数： 讯五力= t a 址后 力+ 刃 核函数对偶方程为一个二次规划方程，解此二次规划方程需要使用库恩一塔 克条件。使用库恩一塔克条件来求解以上二次规划问题，得到对应的最优的a 幸， 只有不为零的口宰对应的样本决定分类结果，这些样本称为支持向量。 此时阈值为： 1 8 f b * = y i 咒才尼( 玉，_ ) 山东师范大学硕士学位论文 构造的决策函数为： f ( x ) = s g n ( c o x i + b ) - - s g n ( t m , 彳咒尼( 玉，x j ) + b + ) f 在上面的问题中只涉及训练样本之间的内积运算，这样，在高维空间实际上 只需要进行内积运算，可以用原空间中的函数实现的，甚至没有必要知道交换的 形式。 支持向量机有以下特点： ( 1 ) 构造s v m 能够解决一些其它方法无法解决的问题。 ( 2 ) 构造s v m 可加快学习过程。 ( 3 ) 构造决策规则的同时，得到了支持向量。 ( 4 ) 新的决策函数只通过改变定义特征空间的核函数即可实现。 2 3 支持向量机多分类 基本的支持向量机仅能解决两类分类问题，一些学者从两个方向研究用支持 向量机解决实际的多类分类问题：一个方向就是将基本的两类支持向量机 ( b i n a r y c l a s ss v m ， b s v m ) 扩展为多类分类支持向量机( m u l t i - c l a s ss v m ， m s v m ) ，使支持向量机本身成为解决多类分类问题的多类分类器；另一方向则相 反，将多类分类问题逐步转化为两类分类问题，即用多个两类分类支持向量机组 成多类分类器。 现有的多分类支持向量机算法 2 3 1 一对多s v m 分类( o n e - a g a i n s t t h er e s t ) “一对多 方法( o n e a g a i n s t t h e - r e s tm e t h o d ) ，支持向量机多类分类方 法最早使用的算法就是“一对多 方法。要得到多类分类机，通常的方法就是构 造一系列两类分类机其中的每一个分类机都把其中的一类同余下的各类分开。 然后据此推断某个输入x 的归属。“一对多 方法是对于类问题构造多个支持向 量机子分类器。在构造第k 个子分类器时，将属于第k 类别的样本数据标记为正 类，不属于k 类别的样本数据标记为负类。测试时，对测试数据分别计算各个子 1 9 山东师范大学硕士学位论文 分类器的决策函数值，并选取函数值最大所对应的类别为测试数据的类别。第k 个支持向量机需要解决下面的最优化问题： m i n 寺( ) r + c 占； f 一。l = l s 7 ( c o ) ，矿( 石j ) + 6 芝i 一，痧j = f ( c o ) r 缈( 工，) + 6 一1 + 占j ，i f y j i 占：o ，j = i , a ， 解决上式的最优化问题后，就可以得n k 个决策函数： ( c 0 1 ) ，缈( x ) + 6 1 ， ( c o 席) 2 够( x ) + b 七 对于待测样本，将其输入这k 个决策函数中，得到k 个值，取得最大的函数 对应的类别即为该样本所属类别。通过以上叙述，我们可以看到这种算法一个明 显的优点是，只需要训练k 个两类分类支持向量机，故其所得到的分类函数的个 数较少( 只有k 个) ，所以其分类速度也相对较快。 但是该算法的缺点也是很明显的，每个分类器的训练都是将全部的样本作为 训练样本，这样就需要求解k 个n 个变量的二次规划问题，因为每个支持向量机 的训练速度随着训练样本的数量急剧减慢，因此，这种方法的训练时闻比较长。 该算法还有一个缺点就是一类对多类的这些两类问题是很不对称的，比如在0 到9 的数字识别中，要建立把 7 这个数字( 正类) 和其他数字( 负类) 划分开的 决策函数，此时的训练集合中负类点就比正类点多的多。处理这种不对称，可以 通过对不同类别使用不同的惩罚因子卜对样本点来说较少的正类采用较大 的惩罚因子c 。 2 3 2 一对一s v m 分类( o n e - a g a i n s t - o n e ) 这种方法也是基于两类问题的分类方法。不过这里的两类问题是从原来的多 类问题中抽取的。具体做法是：分别选取两个不同类别构成一个s v m 子分类器， 这样共有k ( k 一1 ) 2 个s v i v i 子分类器。在构造类别i 和类别j 的s v m 子分类器时， 在样本数据集中选取属于类别i 、类别j 的样本数据作为训练数据，并将属于类 山东师范大学硕士学位论文 别i 的数据标记为正，将属于类别j 的数据标记为负。“一对一方法需要解决 如下的最优化问题： m i ni 1 ( 国“) r 彩9 + c 占? ，f，z-t j j ( c o 驴) r 9 ( x ，) + 6 盯1 一占? ，痧，= i ( c o 扩) 7 矿( x ，) + 6 9 一1 + s ? ，痧，：， 占? 0 ， 解决这一优化问题后，即用训练样本进行训练后就可以得到k ( k 一1 ) 2 个 s v m 子分类器。测试时，将测试数据对k ( k - 1 ) 2 个s v m 子分类器分别进行测试， 并累计各类别的得分选择得分最高者所对应的类别为测试数据的类别。在这种 方法中，需要多个两类问题的分类器。对k 类问题就有k ( k 一1 ) 2 个两类分类 器，这要比上面的“一对多方法得到的分类器的数目大很多。比如说k = l o 这 种方法需要4 5 个分类器，而上一种方法只需要1 0 个就可以了。 尽管如此，“一对一 方法的每个分类问题的规模却小了很多，要学习的问 题也比较简单。但是如果k 很大，需要的分类器的数目就会非常大，这时此方法 的速度就会慢许多。总的来说，这种方法的优点是其训练速度较“一对多方法 快，缺点是分类器的数目k ( k 一