（通信与信息系统专业论文）基于文本分类的播存网络信源组织技术研究.pdf

西南科技大学硕士研究生学位论文第l 页 摘要 随着网民和网页数量的急剧增加，互联网出现了“带宽瓶颈”和“信息 垃圾”等问题。播存网络通过镜像并广播互联网上特定的主流资源或高热度 信息资源，实现无冲突的信息共享。论文针对播存网络源端海量网页信息的 组织开展了具体理论和实验研究。 论文首先分析了网页信息组织相关技术，主要研究了网页元数据规范、 自动标引技术及文本分类技术。 其次，论文研究了基于朴素贝叶斯的文本分类算法，提出基于权重的贝 叶斯算法，该算法采用权重计算特征词的先验概率。同时，提出基于贝叶斯 的多分类器组合算法，该算法利用特征词构造多分类器组，降低特征词不独 立给算法带来的影响。基于以上两种算法，设计和实现了中文文本分类系统， 将该分类系统在搜狗及构建的新华网语料库上进行实验，实验结果表明两种 改进算法都较好提升了分类的效果，为进一步信源组织系统的实现奠定了基 础。 最后，论文根据播存网络源端的需要，基于改进的文本分类算法，设计 并实现了播存网络信源组织原型系统。该系统基于r s s 或用户访问日志获得 网址；提取网页的元数据和正文，对网页正文进行文本分类和自动标引后， 以r d f x m l 文档作为信息组织的表现形式。该系统为信息过滤和主动信息 服务提供了良好的信息源。 关键词：播存网络文本分类贝叶斯算法 信息组织信息标引 西南科技大学硕士研究生学位论文第1 i 页 a b s t r a c t i n t e m e te m e r g e do ft h e b a n d w i d t hb o t t l e n e c k ”， ”w o r t h l e s si n f o 珊a t i o n ” a n do t h e r p r o b l e m s w i t ht h e r a p i d i n c r e a s eo fn e t i z e n sa n dw e b p a g e s b r o r d c a s t s t o r a g e ( b s )n e t w o r ki s an e wa r c h i t e c t u r ef b ri n f b m a t i o n s h a r e t h em a i nr e s o u r c eo rm o s ti n t e r e s t i n gi n f o m a t i o nr e s o u r c eo fi n t e m e ta r e m i r r o r e da n db r o a d c a s t e di n t h i sa r c h i t e c h t u r et or e a l i z et h ec o n n i c t f 色e i n f o n n a t i o ns h a r e t h eo r g a n i z a t i o nf o rm a s sw e bi n f | o m a t i o na tt h ef r o n t e n do f b sn e t w o r ka r es t u d i e di nt h i sp a p e rf r o mt h et h e o 巧a n de x p e r i m e n ta s p e c t f i r s t l y ， t h er e l a t e dt e c h n 0 1 0 9 yo fo r g a n i z a t i o nf o rw e bi n f o n n a t i o ni s s t u d i e d t h et e x tc l a s s i f i c a t i o nt e c h n 0 1 0 9 y ，w e bm e t a d a t as t a n d a r d sa n da u t o m a t i c i n d e x i n gt e c h n o l o g ya r em a i n l ys t u d i e d s e c o n d l y ，t b ew e i g h t - b a s e dn a i v eb a y e sa l g o r i m mi sf i g u r e do u ta f t e rt h e r e s e a r c ho ft h et e x tc l a s s i f i c a t i o n a l g o r i t h m s b a s e do nn a i v e b a y e s c l a s s if ie r t h ea l g o r i t h ma d o p t sw e i g h t st oc a l c u l a t et h ep r i o rp r o b a b i l i t yo f s i g n a t u r ew o r d s a tt h es a m et i m e ，t h em u l t i c l a s s i 6 e rc o m b i n a t i o na l g o r i t h mi s f i g u r e d o u t t h e a l g o r i t h ma d o p t s t h e s i g n a t u r e w o r d st oc o n s t 九】c t m u l t i - c l a s s i f i e r ，w h i c hr e d u c e st h ea f f e c to ft h en o n - i n d e p e n d e n ts i g n a t u r ew o r d s t h ec h i n e s et e x tc l a s s i f i c a t i o ns y s t e mi sd e s i g n e da n dr e a l i z e db a s e do nt h e a b o v et w oa l g o r i t h m s t h es y s t e me x p e r i m e n ti sc a r r i e do u ti nt h es o g o uc o 叩u s a n dt h ec o n s t n l c t e dx i n h u a c o 叩u s t h e r e s u l t sd e m o n s t a t et h a tt h et w o a l g o r i t h m si m p r o v e dt h ee f f e c t i v e n e s so fc l a s s i f i c a t i o n i t1 a y st h ef o u n d a t i o nf o r t h ei m p l e m e n t a t i o no fs o u r c ei n f o m a t i o no r g a n i z a t i o ns y s t e m f i n a l l y ，b a s e do nt h et e x tc l a s s i f i c a t i o na l g o r i t h m ，t h ea n t e t y p es y s t e mo ft h e s o u r c ei n f o m a t i o no r g a n i z a t i o ni nt h eb sn e t w o r ki sd e s i g n e da n di m p l e m e n t e d a c c o r d i n gt ot h ed e m a n do fs o u r c e e n di nt h en e t w o r k t h es y s t e mo b t a i n st h e u r lb yt h er s s0 r u s e r a c c e s sl o g s ，e x t r a c t sm e t a d a t aa n dt e x t 仔o mw e b p a g e s ，r e p r e s e n t sr d f x m ld o c u m e n ta si n f b m a t i o no r g a n i z e df o m a ta r e rt e x t c l a s s i f i c a t i o na n da u t o m a t i ci n d e x i n g t h es y s t e mp r o v i d e sag o o di n f o m a t i o n s o u r c ef o ri n f | o m a t i o nf i l t e n n ga n da c t i v ei n f b m a t i o ns e r v i c e k e yw o r d s ：b r o r d c a s t - s t o r a g en e t w o r k ；t e x tc l a s s i f i c a t i o n ；n a i v eb a y e s ； 西南科技大学硕士研究生学位论文第1 il 页 i n f o m a t i o no r g a n i z a t i o n ；i n f o m a t i o ni n d e x i n g 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得西南科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名： 代磊 觌：矽为舌f 易 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学 校有权保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布 该论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：戗鼐导师签名：马z 奇 b 觌；汐s 占7 易 西南科技大学硕士研究生学位论文第1 页 1绪论 鬈。承谚? 1 1课题来源 ， 论文的研究工作来源于国家8 6 3 计划项目“具有语义标引的互补结构网 络 ( 2 0 0 5 a a l 2 1 5 2 0 ) 。 “具有语义标引的互补结构网络 项目主要完成互补网络的结构研究， 具有语义标引的网络协议研究，播存网络的网络仿真研究，基于互补结构实 验网络且具有语义解析的智能代理研究。项目旨在实验室构造具有语义标引 的互补结构实验网，为构造规模化网络积累必要的理论依据与实验仿真数据。 本课题正是以上述项目为背景开展理论和实验研究的，重点研究播存网 络信源组织技术。 1 2 课题研究背景及意义 1 2 1 播存网络源端的需要 互联网已经成为了人类学习、工作和生活必不可少的信息资源宝库。信 息数据保持高速增长的同时，我们接受信息的能力却并没有随之增强。同时， 由于各网站互相转载、引用的信息，w e b 上存在许多内容相同或者相似的网 页，网上信息冗余问题变得越来越严重。面对如此巨大而冗余的信息资源， 要快速从中寻找到自己感兴趣的信息，用户越来越感觉到吃力。“数据丰富， 知识贫乏”的现象广泛存在。 最近几年，美国科学家a l b a r a b a s i 等人用统计物理学的实验方法发现， 网络运作的数学模型为服从幂次分布的无尺度( s c a l ef r e e ) n 1 1 模型，表明了互 联网是具有核心的。 近几年来李幼平院士领导的研究小组，提出了双结构互联网的思想删， 如图1 1 所示，互联网在保留t c p i p 的主结构的基础上，增添一种“卫星广 播和分布存储”的“播存结构 作为次级结构，通过卫星广播主流资源直达 全国城乡，让主流信息资源以广播的形式直达用户，克服“数字鸿沟 ，实现 “适当的人在适当的时候享用适当的信息”的目标，营造“存文化于民间” 的全国环境，实现信息共享的历史性跨跃。 中国工程物理研究院马卫东博士等人，通过计算中国互联网中心c n n i c 发表的实测数据，初步描绘了我国万维网网站连接数的无尺度数学模型，并 西南科技大学硕士研究生学位论文第2 页 得出结论：j9 95 以上的m 站连接数均低于l0 0 次时，却有万分之四的刚 站大于1 0 0 0 次，十万分之三的网站超出l o o o o o 次。因此，尽管中国向网民 提供内容的网站有 卜七万个，然而且联网j h 户的日常访问具有明显的“群 聚性”，只要整合数干个热门网站作为 流资源，就可以在很大的碰度上满足 普通用户的几常需求。 ，信息日目 ， ， f l p 联目括存h 格 敬# 目 二、。f 像 一一、：+ 口 川 龋。 图1 1 双结构互联网示意图1 ( 有改动 graph ica if e w orko fc 0 m 日l n tar y r c h l t e c t n e t w ork 播存网络由信源、信道2 i 信宿= 丈部分组成，它们分别称为网负信息资 源组织平台、覆盖全国的广播信道和透明计算的结构终端。播存网络的源端 涉及如下1 作：主流网站的判别、信息采集、信息的分类和组织、信息发布 等。论文选择信息组织技术作为课题的研究点。 122网页信息组织技术研究现状 信息组织足将无序的信息按其外部特征和内容特征有序化，然后进行重 新控制，以提供可控、高效信息服务的活动。 目前，对信息组织主要侧重于组织的方法和组织的实现方式，其中组纵 的方法研究是网络信息组织的热点，传统的信息组织方法如分类法、主题法 仍足信息组织的主要方法，很多研究者均致力于研究这些传统方法在网络环 7。心。 一 西南科技大学硕士研究生学位论文第3 页 境下的改进与优化n 1 ”，。此外，也有专门针对网络信息组织的新方法，如信息 自组织 ”。 信息组织的具体实现方式有很多种，如文件方式、数据库方式、主页( 链 接) 方式等。文献【3 0 】将网络信息组织的方法分为三级：网络搜超【擎是一 级组织方法，它利用知识结构分类和主题描述语言实现，优势在于简便易行， 然而描述深度有限，因而检索效率不尽如人意。用元数据方案描述和组织信 息资源为第二级组织方式，由于成本低、效率高而受到人们的青睐。而采用 复杂格式如x m l 数据库进行信息组织是第三级的组织方法。它以描述深度 好、检索效率高而备受用户的称赞。目前这方面的研究多集中在这些组织方 式的介绍和技术性研究上n ”，。 目前信息组织较为成熟的领域是数字图书馆，但还没有出现较为成熟的、 具有广泛影响力的网页信息组织系统。本文研究网页信息组织的目标是为播 存网络源端提供快速有效的信息组织系统。 1 2 3 文本分类技术研究现状 文本分类技术是信息组织系统中不可少的一部分，该研究最早可以追溯 到2 0 世纪6 0 年代初。早期的文本分类技术主要采取词汇匹配法，根据文献 和类名中共现的词汇来决定文献的归属类别。8 0 年代后期，人们主要集中于 知识工程方法的研究。9 0 年代以后，机器学习在文本自动分类中的应用研究 受到越来越多的关注。 贝叶斯、线性分类、决策树及k n n 等经典方法模型简单、效率较高， 这些方法的改进和优化引起了人们持续的关注。 支持向量机模型( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 是文本分类近年来最 重要的进展之一。虽然s v m 的训练收敛速度较慢，需要大量的存储资源和 很高的计算能力，但它有效地克服了样本分布、冗余特征等因素的影响，具 有较好的效果隋，。近年来又有很多模型或方法被提出或应用，如最大熵模型，、 模糊理论 ，等，但它们仍局限于惯用的相似性度量的分类模式。 多分类器组合的方法被普遍接受；分类器组合也称为多重学习或集成学 习，如b a g g i n g 和b 0 0 s t i n g 等方法；在b o o s t i n g 方法的迭代过程中，每一 轮都关注上一轮的分类错误，用于提升较弱的分类方法并获得了较好的结果， a d a b o o s t m h 和a d a b o o s t m r 等具体算法都有着广泛的应用。 尽管文本自动分类技术己经比较成熟，但分类的精度和速度仍不够理想。 目前较好的分类算法通常是以消耗大量分类时间为代价的。这些算法往往有 西南科技大学硕士研究生学位论文第4 页 非常复杂的参数，而且训练参数时需要较长的时间，导致实验效果很好的分 类算法往往不能投入实际应用。本文主要致力于快速高效的分类算法的研究， 以满足信息组织系统中实时分类的需要。 1 2 4 课题的研究意义 互联网是一个巨大的信息与知识储存库，是一个庞大而混沌的网络，信 息发布者的言论自由和快速、无序的信息增长对于信息的使用者来说却意味 着混乱的开始，造成了“数据丰富，知识贫乏”的现象广泛存在。用户为了 更好的使用互联网需要主动的“信息找人”，需要高效的信息加工、过滤和 整理。 深入研究播存网络源端的网页信息组织技术技术，建立完整的网页采集、 自动分类和标引、主动信息服务机制，为播存结构的实际应用奠定理论和实 验基础，更加有利于信息资源的和谐整合，对高效准确的提供主动信息服务， 缓解现有网络的带宽压力等都有重大的实际意义。 1 3论文的研究内容与结构 1 3 1论文的研究内容 本文在深入理解播存结构原理、网页信息组织技术、网页分类技术基础 上，选择“基于文本分类的播存结构信源信息组织技术作为研究方向，进 行了理论和实验研究。本文深入研究了文本分类原理，以及信息组织中涉及 到的信息采集、自动标引等技术，研究并设计了一个源端网页信息组织系统。 系统从少量热门网站入手，对采集的网页信息进行信息组织，论文的主要工 作包括以下几个方面： ( 1 ) 改进了基于贝叶斯的文本分类算法 ( 2 ) 实现了基于改进算法的中文文本分类系统 ( 3 ) 网页u r l 的采集 ( 4 ) 网页元数据及正文的提取 ( 5 ) 符合u c l 规范的x m l 信息组织 ( 6 ) 符合都柏林核心元数据的r d f 信息组织 1 3 2 论文的结构 第一章介绍了论文的课题来源、背景及研究内容与论文章节安排。 西南科技大学硕士研究生学位论文第5 页 第二章介绍了系统的关键技术，主要讨论了信息组织相关技术，具体描 述了文本分类相关技术、网页信息描述规范及自动标引技术。 第三章主要研究了朴素贝叶斯算法，并针对其不足之处进行改进，提出 了兰王壑重垡垭址嵫塑星玺坌耋堡垒全笪丞生堑篁鎏；论文还详细描述 了基于改进算法的中文文本分类系统的设计和实现过程，给出了详实的实验 结果证明了算法的有效性。 第四章对播存结构信源组织系统的几个方面：网页获取技术、正文和元 数据的提取以及信息组织形式进行了研究。论文对r s s 新闻链接和关键节点 用户日志的分析，得到了大量新闻网页的u r l ，根据提取的元数据，采用 u c l 和都柏林元数据两种方式，分别生成符合规范的x m l 和r d f 文档作为 信息组织的形式。 结论是对论文工作的一个总结，并讨论了进一步的工作。 西南科技大学硕士研究生学位论文第6 页 2 信息组织相关技术 2 1文本分类相关技术 2 1 1中文分词 不同于西方文字用空格自动区分词汇，中文语义处理首先遇到的是分词 问题。正确的中文分词、断句对海量信息处理，如信息分类、搜索引擎、信 息推荐、个性化信息服务和主动服务起着事半功倍的效果。 现有的中文分词算法可分为三大类：基于字符串匹配的分词方法、基于 统计的分词方法和基于理解的分词方法。 基于字符串匹配的分词方法也称为查字典法，又称为机械分词方法，即 按照一定的策略将中文语句串与一个充分大的机器词典中的词条进行匹配， 若在词典中找到某个字符串，则匹配成功( 识别出一个词) 。按照扫描方向 的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照长度优先匹配 的情况，可以分为最大匹配和最小匹配。统计结果表明，单纯使用正向最大 匹配的错误率为l 1 6 9 ，单纯使用逆向最大匹配的错误率为1 2 4 5 。 基于统计的分词方法成为当前中文分词研究的热点。从统计学的角度来 说，词是稳定的字的组合，上下文中相邻出现频率高的字组成词的概率高， 因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。通过对大 量语料相邻共现的字的组合频度进行统计，计算它们的互现信息和相邻共现 概率，可以较好的体现成词的特性。互现信息体现了汉字之间结合关系的紧 密程度。当紧密程度高于某一个阈值时，便可认为此字组可能构成了一个词。 这是一种基于语料的字组频度统计方法，是一种无词典分词法或统计取词方 法。 基于理解的分词方法是通过让计算机模拟人对句子的理解，即进行句法、 语义分析，利用句法信息和语义信息来处理歧义现象，达到识别词的目的。 这种模拟人对句子理解过程的方法需要使用大量的语言知识和信息，由于中 文语言知识的笼统和复杂，如何将各种语言信息组织成机器可直接读取的形 式成为这种分词的关键。常见的如采用基于本体的方法、基于常识的方法、 基于h n c ( 概念层次网络) 的方法等等n7 l ，研究语言知识的形式化表达。 对于任何一个成熟的分词系统来说，都需要综合不同的算法来实现。中 科院计算所的i c t c l a s 是采用的层次隐马尔科夫模型实现的分词系统。搜索 引擎巨头g o 0 9 1 e 的中文分词采用的是美国一家名叫b a s i st e c h n 0 1 0 9 y 的公司 西南科技大学硕士研究生学位论文第7 页 提供的中文分词技术，百度使用的是自己公司开发的分词技术，中搜使用的 是海量科技提供的分词技术，。业界评论海量科技的分词技术目前被认为是 画内最好的中文分词技术，其分词准确度赫嘉e 一一一一 论文采用的便是海量科技提供的海量分词研究版，它提供了c c + + 的访 问接口，用户可以定义分词颗粒度、使用自己的词典以及获取关键词词性和 属性等。 2 1 2文本表示 计算机智能还远远达不到自然语言理解的地步，所有机器学习问题都需 要将问题转化为计算机所能理解的问题。对于自动文本分类而言，就需要把 一篇文本表示成一个个特征，比如词( 包括字) 、n g r 锄、词组、概念等等。 虽然这将丢失大量关于文章内容的信息，但是这种表示可以使文本的处理形 式化且便于计算，并且可以在文本分类中取得较好的效果。 词是文本分类中使用最广泛的特征。对汉语及类似语种来说，由于词与 词之间没有空格，因此词的获取必须通过分词来实现。目前，研究者多倾向 于以词为单位，用向量空间模型来表示文本。 2 1 2 1 向量空间模型 s a l t o n 等人于6 0 年代末提出了向量空间模型v s m ( v e c t o rs p a c em o d e l ) ， 使用向量来表示文本，并成功的运用在s m a r t ( s y s t e mf o rt h em a n i p u l a t i o n a n dr e t r i e v a lo f t e x t l 系统中。从那之后，向量空间模型取得了广泛的应用， 并逐渐成为最简洁最高效的文本表示模型之一n “。 在该模型中，将每一个文本表示为一个向量：j = 似小，慨吲，聊是 文档d 中的特征词个数，w t 是第七个特征词的权重。为了突出向量中关键特 征项的作用和抑制次要特征项的影响，要为向量中的每一个特征项赋一个权 值，也就是计算每个特征项的w 七，以确定该特征项的重要程度。特征项的作 用越重要，其相应的权值w 七就越高。 目前常见而又高效率的权重计算方式为t f i d f 模型。其中t f 为词频 ( t e mf r e q u e n c y ) ，i d f 为反文档频率( i n v e r s ed o c u m e n tf r e q u e n c y ) 。单词“ 的权重w e i g h t ( “) 计算公式为： w e i g h t ( “) = t f i d f = 碾l o g ( n 刀七+ 0 0 1 ) ( 2 1 ) 碾表示词条在文档d 中出现的频率，i d f 的计算方式为：i d f = l o g ( n 肋七) 。 西南科技大学硕士研究生学位论文第8 页 其中，n 为全部文档数，以| 表示包含词条“的文档频率。t f i d f 模型中的i d f 函数本质上是一种试图抑制噪音的加权。该模型朴素的认为：如果某个词或 短语在一篇文档中出现的频率高，并且在其他文档中很少出现，则认为此词 或者短语具有很好的类别区分能力，其权重应该较高。 为消除文档长度不一对文本表示方式的可能影响，往往需要对加权后的 向量进行规范化处理。归一化公式如下： 形，：兰竺堕丝型竺一 ( 2 2 ) 形= 1 ：兰竺：三竺：三兰；：竺一 ( z z ) “：j ( 坑l o g ( 心+ o 0 1 ) ) 2 论文选择了向量空间模型对文本进行了表示，对文本进行中文分词、去 停用词后，合并数字和人名等词汇；然后统计词频，计算权重( t f i d f ) ，最终 表示为形如( 词条如，权值w 七) 的向量。 2 1 2 2 n g r a m 模型 如前文所述，用向量空间模型表示文本文档首先需要对各个文档进行分 词处理，分词技术在西方语言中显得非常简单的分词问题，在中文等东方语 言中却显得十分困难。中文分词是一项具有相当大难度的工作，给向量空间 模型的使用及准确率造成了一些不利的影响。 n g r a m 模型是一种独立于语言的文本表示方式n ”，不考虑组成文本的 语义单位是字、词还是词组，而是将整个文本看成是由不同字符组成的字符 串，因而可以方便地表示包括汉语在内的各种语言文本文档。实验结果表明， 两种方法可得到近似的检索效果| z 。 用n g r a m 方式表示文本通常包括如下几个步骤：取字符串、生成索引 向量、选择或抽取特征、确定特征权向量、进行规范化处理等。 取字符串：根据事先确定的正整数n ，取出训练样本中出现的所有长度 为n 的不同字符串。当n = 2 时，“我是中国人”一句中包含“我是”、“是中 、 “中国”、“国人 等长度为2 的不同字符串( 2 g r a m ) 。通过对训练样本进行 取字符串处理，我们得到一个训练样本中出现的所有不同n g r a m 构成的集 合一文本表征词典。 n g r a m 表示方式中索引向量的生成、特征的选择或抽取、特征权向量的 确定以及特征向量的规范化等处理，与向量空间模型中的情况类似，只不过 此时的特征不再是词根，而是字符串。 n g r a m 模型显著的缺点就是它的计算量大。同时还存在着数据噪声大、 西南科技大学硕士研究生学位论文第9 页 特征生成复杂、易于过学习等缺点。通常认为其表示能力远不如向量空间模 型。然而随着计算机硬件水平的迅速提高，计算量大的缺点已不象过去那么 可怕。另外，支持向量机学习算法的出现使得过学习或过训练的现象大大减 少。在此背景下，考虑到字符串表示方式具有语言无关性这样一个显著优点， 有必要重新审查其文本表示能力。 2 1 2 3 语义网络模型 语义网络模型相比词语和n g r a m 模型而言，具有更高的抽象性。一个 语义可以对应文中的一个词，也可以对应若干个有语义联系的词。通过将关 键词空间映射到语义空间会大大降低分类空间的维数，从而节省了分类器的 训练和相似度计算的时间，因此在时间效率上要优于基于关键词的分类；同 时避免一个重要的分类特征因关键词的分散而削弱其分类的权重；再次，将 一个多义关键词映射到多个语义，可以避免只采用关键词作为特征所产生的 特征歧义，即虽然都是采用同一个关键词，但所代表的意义完全不同，从而 提高分类的准确性心“。 目前，具有代表性语义网络有英文的w o r d n e t 旧“、中文如知网( h o w n e t ) 幢“， 其中知网是一个以汉语和英语的词语所代表的概念为描述对象，以揭示概念 与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库。知 网对汉语词汇的描述是基于“义原”这一基本概念，义原可以被认为是汉语 中最基本的不易于分割的最小语义单位。由于汉语中词在不同的语境中会表 达不同的含义，因此知网把汉语中的词理解为若干个义项的集合。该语义词 典中每条记录都是由一个词的一条义项及其描述所组成，即一条记录对应一 个词语的一个义项，而每一个义项又是由多个义原来描述的。知网还提供了 义原分类树，在父节点和子节点之间存在上下位语义关系，因此广泛应用在 计算相似度、文本分类聚类等处理方向，并得到较好的应用”。 然而，语义网络的建立极其复杂，比如知网凝聚了董振东先生等人数十 年的心血。其次，概念的建立依赖于专家，或者领域专家。这就不可避免地 带来很强的主观性。 2 1 3特征选择 经过分词之后的文档被排列成词的组合，当文档中的特征词过多之后， 便造成了多维空间，从而大大的增加了聚类算法的时间复杂度和空间复杂度。 而文献【2 4 指出每篇文档保留5 0 一l o o 个词就能很好的保证聚类算法的需要， 西南科技大学硕士研究生学位论文第10 页 而不会对聚类算法产生影响。同时把所选择的特征做为文档的标引字段存储 起来，以方便下一步的存储和知识组织。 特征选择就是从特征集r = 卜“，中选择一个远小于t 的真子集t 。 选择的准则是经过特征选择后能有效的提高文本准确率。选择没有改变原始 特征空间的性质，只是从原来的特征空间选择了一部分重要的特征，组成一 个新的低维空间。常用特征选择的统计量大致有如下几种： ( 1 ) 特征频度( t e mf r e q u e n c y ，t f ) 指训练集中特征“出现的次数，这是最简单的特征选择方法，主要用于 过去某些低频特征。 ( 2 ) 文档频度( d o c u m e n tf r e q u e n c y ，d f ) 指含有词条氏的文本数在总文本中出现的概率，其理论依据是出现频率 小的特征所含信息量小，然而事实上这个假设显然是不全面的。 ( 3 ) 互信息( m u l t i i n f o m a t i o n ，m i ) m i ( 缸，c j ) 表示事件“和c f 发生时的互信息，即特征与类型之间的相关程度。 埘( ) - l o g 揣乩g 尸( 盼l 。g 尸( 纠( 2 3 ) 其中，p p 七，c 为c f 中出现特征“的文本数除以训练集的文本数，p 以为 训练集中出现如的文本数除以训练集的文本数，p 忙为训练集中属于类型c j 的文本数除以训练集的文本数。可见当特征的出现只依赖于某一类型时，二 者相关程度较大，互信息很大；当特征与类型相互独立时，互信息为o 。用 m i 选择特征时，应该选择互信息大的特征。由于m i 有利于低频特征，因此 容易引起过学习。 ( 4 ) 信息增益( i n f o n i l a t i o ng a i n ，i g ) 特征在文本中是否出现都将为文本分类提供信息，计算不同情况下的条 件概率以确定提供的信息量的大小。 硒( f ) = 一尸( c f ) l o g 尸( c f ) + 扛1 ( 2 4 ) p ( r ) 喜户( a l r ) 。g p ( a i ，) + 尸( ；) 喜尸( a l ；) o g 尸( a i ；) 其中，尸七) 为训练集g 中不出现特征如的文本数除以训练集的文本数， p 忙川彬为类型c f 中出现“的文本数除以训练集中出现缸的文本数。 ( 5 ) p 统计量( c h i s q u a r e ，c h i ) z 统计量表示特征如和类型白之间的相关程度，c h i 值越大，表示特征 西南科技大学硕士研究生学位论文第11 页 玖和类别c f 越相关。 c兹，c气，q，：二：!专i；乏；三亨；i；三群c25， 其中，n 为训练集的文本数，p 一七，c 为训练集中不出现特征“并且不属 于类型c f 的概率，p 以女，c ) 为训练集中出现特征如并且不属于类型c f 的概率， p 仇c 为训练集中不出现特征“并且属于类型c f 的概率。 ( 6 ) 特征权( t e ms t r e n g t h ，t s ) 首先定义了“相关文本 ，然后认为同时在多个“相关文本 中出现的 特征是重要的特征，具有较大的强度。 嚣( ) = 户( 叱i 以) ( 2 6 ) 其中，厶、以为任意相关文本对。在特征权统计量中，没有类型信息， 特征权完全基于文本之间的相关性来度量。它的理论依据是基于特征“在邻 近相关文本中出现的概率来测试特征的效率。进行特征选择时，选择t s 值 大的特征。 此外还有诸如期望交叉熵( e x p e c t e dc r o s se n t r o p y ，e c e ) 、文本证据权 ( w e i 曲to fe v i d e n c ef o rt e x t ，w e t ) 、几率比( o d d s r a t i o ，o r ) 的等特征选择方 法，在此不做赘述。 文献 2 5 分析和比较了d f 、i g 、m i 和c h i 等5 种方法，结合l l s f 和 k n n 分类器，得出i g 和c h i 方法效果相对较好的结论。文献【2 6 】比较了d f 、 m i 、i g 、c h i 及t s 五种特征选择方法，结果显示d f 、i g 和c h i 要优于m i 和t s 。 从上述研究看，没有哪种方法对分类效果有绝对优势，这是因为文本分 类本身涉及到训练数据集合本身的特点，同时不同的分类器对文本分类的效 果也不尽相同。本文使用了信息增益( i g ) 的方法进行特征提取。 2 1 4 文本分类算法 文本分类是文本处理领域的重要研究内容之一，其任务就是：在预先给 定的分类样本下，系统在学习各个类训练文档的基础上，根据文本的内容让 计算机自动判断、预测未知类文档的类别。自动文本分类技术已经应用于信 息检索、信息抽取、信息过滤、数据组织、网上信息快速定位等多个领域。 文本分类的方法根据分类器的构造方法的不同，主要划分为简单向量距 西南科技大学硕士研究生学位论文 第12 页 离方法、朴素贝叶斯算法、决策树算法、支持向量机模型、b o o s t 算法等。 2 1 4 1简单向量距离算法 该方法的分类思路十分简单，根据算术平均为每类文本集生成一个代表 该类的中心向量，然后在测试文本来到时，确定测试文本向量，计算该向量 与每类中心向量间的距离，最后判定文本属于与文本距离最近的类。该算法 首先计算每类文本集的中心向量，计算方法为所有训练文本向量简单的算术 平均。测试文本到来后，先进行预处理，包括清洗、分词，然后将文本表示 为特征向量，计算新文本特征向量和每类中心向量间的相似度。公式为： 叫) 煮函 q - 7 ) 其中，如为第f 个测试文本的第后个特征向量，如为第类的中心向量 的第后个特征向量。比较每类中心向量与测试文本的相似度，将测试文本归 到相似度最大的那个类别中。 2 1 4 2k n n 算法 k 最近邻法( k n e a r e s t n e i 曲b o r ，k n n ) 算法是一个理论上比较成熟的方 法，最初由c o v e r 和h a r t 于1 9 6 8 年提出，它是一种有监督学习的分类算法，它 并不需要产生额外的数据来描述规则，它的规则就是数据( 样本) 本身。它 并不是要求数据的一致性问题，即可以存在噪音。k n n 根据未知样本的k 个 最近邻样本来预测未知样本的类别，k 个最近邻样本的选择是根据一定的距 离公式判定的。 分类算法的基本原理为：首先将待分类样本y 表达成和训练样本库的样本 一致的特征向量；然后根据距离函数计算待分类样本y 和每个训练样本的距 离，选择与待分类样本距离最小的k 个样本作为y 的k 个最近邻；最后根据y 的k 个最近邻判断y 的类别。 k n n 算法必须明确两个基本的因素：最近邻样本的数目k 和距离的尺度。 k 表示选择参考样本的数目，距离尺度对应一个非负的函数，用来刻画不同 数据问的相似性程度。在k n n 算法里对于模型的选择( 尤其是k 值) 往往是 通过对大量独立的测试数据、多个模型来验证最佳选择。 西南科技大学硕士研究生学位论文第13 页 2 。1 。4 3 支持向量机 支持向量机方法是由v a p n i k 提出的一种机器学习方法，其理论基础来自 于v a p n i k 等提出的统计学习理论。s v m 寻找将训练数据分成二类的最佳超平 面o s h ( o p t i m a ls e p a r a t i n gh ) ，p e r - p l a n e ) ，在训练集中以支持向量( s u p p o n v e c t o r ) 为基础来作决定。1 9 9 8 年，j o a c h i m s 将支持向量机引入自动文本分类 研究领域，取得了非常理想的文本分类效果，本质上是一个两类分类器，其 实质是寻找一个最优超平面( 或最优超曲面) ，使得两类样本之间的间距 ( m a r 西n ) 达到最大。在分类过程中，s v m 依o s h 而不是整个训练集作决定。 因此s v m 与传统的方法相比，有更高的计算效率和准确率。 另外，通过引入核函数( k e m e lf h n c t i o n ) ，可以将线性支持向量机推广到 非线性情况。常用的核函数有多项式核、径向基核和两层神经网络核等。大 量实验结果表明，线性支持向量机的文本分类效果与非线性支持向量机的文 本分类效果相差无几，均明显高于其它文本分类算法。而且，线性支持向量 机的分类效率比非线性支持向量机的效率要高得多。 2 1 4 4b o o s tin g 算法 为了提高分类的效果，人们越来越倾向于采用多分类器的组合，其核心 思想是：七个专家判断的有效组合应该优于某个专家个人的判断。典型的算 法主要有两种：b a g g i n g 算法和b o o s t i n g 算法。其主要思想是：构建归并一 系列弱假设以生成准确的分类规则。b o o s t i n g 算法类似b a g g i n g 算法，所不 同的是分类器的组合方式，b o o s t i n g 是级联的而b a g g i n g 为串联的。 a d a b o o s t m h 是一种用于文本分类的b o o s t i n g 算法，通过多重迭代为每类产 生多分类器。b o o s t i n g 系列分类器的优势在于分类的精度较高，然而由于对 训练集的多次迭代而造成学习过程不能快速的收敛。 2 2 网页信息的描述规范 2 2 1元数据及其定义 元数据( m e t a d a t a ) 一词最早出现在1 9 8 8 年美国国家航空航天局( n a s a ) 发布的目录交换格式手册中( d i f ) ”，是为了解决网络资源无序化而提出 来的。目前国际上关于元数据的定义有很多种，一般认为比较确切的说法是 国际图联提出的“元数据是关于数据的数据或关于数据的结构化的数据，该 术语可以指任何用于描述网络电子资源识别、描述和定位的数据船”。从已 西南科技大学硕士研究生学位论文第1 4 页 有的论述看，元数据的含义是逐步发展的。早期主要指网络资源的描述数据， 用于网络信息资源的组织：其后，逐步扩大到各种以电子形式存在的信息资 源的描述数据。由于传统的书目数据与数字信息资源的描述数据本质上并无 不同，因此元数据这一术语实际上适用于各种类型信息资源的描述记录阳”。 按照元数据所表达的语义信息的丰富程度，元数据大致可分为语法级元 数据、结构元数据和语义元数据三大类瞳”。 语法级元数据是一类简单的元数据，通常用于描述比较笼统的资源信息。 例如，文档资源的存储位置、创建时间、使用的语种等属性。语法级元数据 提供了较少的上下文信息，它们对于理解资源的内容本身帮助不大，对于理 解文档本身的内容意义不大。都柏林核心元数据是目前语法级元数据的典型 代表。 结构元数据主要用于描述资源的内在结构属性。例如h t m l 文档中的结 构标记( t a g ) ： 、 等。这一类元数据比起语法级元数据能够在 一定程度上有助于理解文档内容的信息。这一类元数据的典型代表是i e e e 的学习对象( l o m ，l e a m i n go b j e c tm e t a d a t a ) 元数据标准1 。 最后一类语义元数据是指描述资源本身的领域相关的属性，通常它传递 了丰富的语义信息，能够很好地用于确定资源的上下文环境，帮助理解资源 的内容。一般语义元数据与领域的本体知识有紧密联系，基于语义元数据可 以实现精确的资源检索、分类以及异构资源的语义互操作等。语义元数据的 设计和抽取可以在相关领域本体的基础上实现阳“。 2 2 2 都柏林核心元数据 都柏林核心元数据( d u b l i nm e t a d a t ac o r ee 1 e m e n ts e t ，d c ) 是一个典型的 元数据方法，它是跨领域的信息描述标准，由于d c 的易于理解性、可扩展 性、较好的通融性，使它成为一个良好的网络资源描述元数据集。未限定的 都柏林核心元素集共包括1 5 个比较稳定的元素，它们不包含子元素、命名域 或其它限定词。都柏林核心元素集d c 5 将其1 5 个未限定元素分为三类：资 源内容、知识产权、外部属性。这些类别从广义上概括了资源的性质，在许 多领域上如信息组织、知识库的检索等，都是十分广泛的应用。表2 1 给出 了都柏林核心元数据集的定义及解释| 3 “。 西南科技大学硕士研究生学位论文 第15 页 表2 1都柏林核心元数据及其类属 t a b 2 1d u blinm e t a d a t ac o r eeie m e n ta n dc a t e g o r ie s 2 2 3x m l r d f x m l ( e x t e n s i b l e