（计算机应用技术专业论文）面向专利文献数据的文本分类若干关键技术研究.pdf

摘要 在当今全球化经济的时代，专利技术已成为国家或地区竞争力的核心，专利知识产权越来越受 剑企业的重视。随着企业竞争越米越激烈，企业用丁专利开发的力度不断加人。冈此，近年来的专 利中请量迅速增人，但是目前专利分类的方法是采心传统的手i ：分类方法，这种分类方法效率低卜， 存在许多弊端。专利中请量的激增一方面增加了对快速、自动文本分类的迫切需求，另一方面义为 数据挖掘技术的文本分类方法准备了充分的资源。因此，计算机辅助专利分类成为人势之所趋。 中文文本分类技术已趋成熟，在相关领域有着很好的应用，这为专利自动分类系统的实现提供 了有力的技术支持。虽然该技术目前还没有实际应用在专利信息上，但是专利信息与其他文本信息 有着很多相同的特点，而且更加具有类别的可分性，因此本文提出了将该技术虑刚在专利文本上的 新应用。 本文介绍并分析了文本分类的若干关键技术。结合专利数据的特点提出了一种基丁后缀数组的 领域词汇抽取方法，并在此基础上利刚词典和统计相结合的方法米进行中文分词。本文基丁向鼙空 间模型，将文本表示为以特征项权重为项的向量集合，并在权重计算公式中加入了位置信息，使得 计算出的特征项权重能够更好地表示文本内容。对丁文本分类算法，在结合分类准确度最盘r 的分类 算法k n n 算法薷1 分类速度最快韵分类算法r o c c h i o 算法的基础上，设计了一个层次分类算法，并给 出了面向专利文献数据的文本白动分类系统的框架模型。实验表明，该系统具有较好的分类精度与 效率。 关键词专利。国际专利分类码，文本分类，k 近邻 1 1 1 a b s t r a c t i nt h e s ed a y so fe c o n o m yg l o b a l i z a t i o n p a t e n tt e c h n o l o g yb e c o m e st h ec o r ec o m p e t i t i v e n e s so f c o u n t r i e so rr e g i o n s m o r ea n dm o r ee n t e r p r i s e sh a v ep a i da t t e n t i o no nt h ei n t e l l e c t u a lp r o p e r t yi np a t e n t a n da f f o r dm o r ei n p a t e n td e v e l o p m e n t ，w h i c hc a u s e st h er a p i di n c r e a s eo ft h ep a t e n ta p p l i c a t i o n n o w a d a y st h ep a t e n t sa r et r a d i t i o n a l l yc l a s s i f i e db yh a n d ，w h i c hi s am e t h o do fl o we f f i c i e n c ya n d d i s a d v a n t a g e 。t h er a p i dg r o w t ho fp a t e n ta p p l i c a t i o na m o u n ta c c e l e r a t e st h en e e do fs p e e d ya n da u t o m a t i c c l a s s i f i c a t i o nm e t h o d so i lt h eo n eh a n da n dp r o v i d e ss u f f i c i e n ts o u r c e sf o rt e x tc l a s s i f i c a t i o nm e t h o d so n t h eo n eh a n da n dp r o v i d e ss u f f i c i e n ts o u r c e st ot e x tc l a s s i f i c a t i o nm e t h o d so nt h eb a s eo fd a t am i n i n g t e c h n o l o g yo nt h e o t h e rh a n d c o n s e q u e n t l y , t h e r ei s at r e n dt oc l a s s i f yt h ep a t e n t st h r o u g h c o m p u t e r - a s s i s t e dm e t h o d s c h i n e s et e x tc l a s s i f i c a t i o nt e c h n o l o g yi sb e c o m i n gam a i ns t r e a ma n di sw i d e l yu s e di nm a n yf i e l d s i t s u p p l i e sp o w e r f u lt e c h n o l o g ys u p p o r tw i t hp a t e n ta u t o m a t i cc l a s s i f i c a t i o ns y s t e m a l t h o u g ht h a t t e c h n o l o g yi sn o ta p p l i e dt op a t e n ti n f o r m a t i o n ，t h ep a t e n ti n f o r m a t i o nh a ss a m ef e a t u r e si nm a n ya s p e c t s a so t h e rt e x ti n f o r m a t i o nd o e s ，e v e nm o r ec l a s s i f i a b l e t h e r e f o r e ，t h i sa r t i c l ef o c u s e st h en e w a p p l i c a t i o no f t h a tt e c h n o l o g yo np a t e n tt e x t t h i sp a p e rf i r s t l yi n t r o d u c e ss e v e r a lk e yt e c h n i q u e sa b o u tt e x tc l a s s i f i c a t i o n w i t ht h ef e a t u r e so f p a t e n td a t a ，af i e l dw o r d s e x t r a c t i o nm e t h o db a s e do ns u f f l xa r r a yi sp r o p o s e d t h i sp a p e rs e g m e n t st h e c h i n e s ew o r d sw i t ht h ed i c t i o n a r i e sa n ds t a t i s t i c a lm e t h o d t ot e x tf e a t u r e s m o d e l ，i nt h i sp a p e r , at e x ti s t r a n s l a t e di n t oav e c t o ro fl e x i c a li t e m s w e i g h tw h i c hc o n t a i n si n f o r m a t i o no fp l a c ei no r d e rt oe x p r e s st h e t e x tb e t t e r f o rc a t e g o r i z a t i o na l g o r i t h m ，at w o l a y e ra l g o r i t h mi sd e s i g n e d ，w h i c hm i x e dt h er o c c h i o a l g o r i t h mw h i c hi st h ef a s t e s tm e t h o di nv s m a n dk n n a l g o r i t h mw h i c hp r e c i s i o ni st h eh i g h e s ti nv s m t h ea r c h i t e c t u r eo fa ni m p l e m e n t e da u t o m a t i ct e x tc a t e g o r i z a t i o ns y s t e mf o rp a t e n td a t ai sp r o v i d e d t h e e x p e r i m e n tt e s t i f i e st h a tt h es y s t e mh a sag o o dc l a s s i f i c a t i o na c c u r a c ya n de f f i c i e n c y k e yw o r d s p a t e n t ， ip c ，t e x tc a t e g o r i z a t i o n ， k n n 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名：蔓滋 e l 期：2 嫂左：磐3 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文本，可以采用影印、缩印或其他复制手段保存论文。本人电子文本的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：盘避导师签名：日期：2 o o 铅矿 第一章绪论 1 1 专利信息的简介 第一章绪论 随着社会从i ：业时代步入信息时代，以科学技术为核心，利川信息技术生产、加i ：和传播知识 进行财富创造的知识经济，成为当今时代的主流和特征。而专利信息作为国家科技信息系统中重要 的组成部分，是信息资源开发的重点。在知识经济崛起的今天，人 j 更加充分地认识到专利信息的 重要价值以及在企业竞争中所起的重要作用i l j 。 专利信息从本质上讲是属于一种科学技术信息，泛指从事一切专利活动所产生的相关信息的总 和。它可分为“静态”专利信息和“动态”专利信息两人类，主要包括专利文献、有关专利的法律 和法规、专利审批程序中的文f ，l ：、专利管理、服务、实施、合同等信息。专利信息主要记载，专利 文献中，集技术、法律、经济信息丁：一体，充分体现了专利制度的法律保护功能和文献公开功能， 是人类社会一摩巨人的知识宝库，是最具权威性的世界技术百科全二 妒l 。 专利信息分析，也称作专利分析。实质是在预先设定的问题的指引下，通过对专利文献中所反 映出米的各种信息进行解凄，以找出对相关问题的解答的一种情报分析p 】。根据世界知识产权组织 ( w i p o ) 的统计专利文献中包含了世界上9 0 9 5 的研究成果，其他技术文献( 例如论文或期 刊) 仅包含5 1 0 的研究成果，如果能够有效地利州专利情报，不仅可以缩短6 0 的研发时间， 更可以1 y 省4 0 的研究经费【4 1 。由此可见，专利文献对丁研究管理和技术情报的重要性。进行专利 信息分析，就是要充分利川专利文献这一巨人的情报资源，挖掘其所蕴含的丰富内容，利刚提炼出 的各种信息为专利战略的研究和应埘服务。 1 2国际专利分类法( i n t e r n a t i o n a lp a t e n tc l a s s i f i c a t i o n ，i p c ) 国际专利分类( i n t e r n a t i o n a lp a t e n tc l a s s i f i c a t i o n ，缩弓为i p c ) 是世界各国专利机构都采用的专 利分类方法，它对于专利检索儿乎是必不可少的i ：具。i p c 按五级分类：部、人类、小类、主组、 分组。i p c 形式为：部( 1 个字母) 人类( 2 个数字) 小类( 1 个字母) 主组( 1 至3 个数字) 分 组( 2 至4 个数字) 。例如专利“臼动人造花叶”( z l 9 4 2 3 0 9 8 7 1 ) f i 勺i p c 为a 4 1 g i 0 0 ，专利“双排 电话按键盘”( z l 0 1 2 5 7 1 8 3 0 ) 的i p c 为h 0 4 m l 2 3 。 i p c 共分8 个部，分别为： a ：人类生活需要 ( h u m a nn e c e s s i t i e s ) b ：作业，运输( p e r f o r m i n go p e r a t i o n ，t r a n s p o r t i n g ) c ：化学，冶金( c h e m i s t r y , m e t a l l u r g y ) d ：纺织和造纸( t e x t i l e s & p a p e r ) e ：l i i i l 定构造 ( f i x e dc o n s t r u c t i o n s ) f ：机械l ：程，照明，加热，武器，爆破( m e c h a n i c a le n g i n e e r i n g ，l i g h t i n g ，h e a t i n g ，w e a p o n s ， b l a s t i n g ) g ：物理( p h y s i c s ) h ：l i i 学 ( e l e c t r i c i t y ) 每一个部卜面设不同的类，对专利类别进行细分，如 c 0 1 无机化学 c o l b 非金属元素；其化合物 c 0 1 c 氨；氰；其化合物 c 0 1 d 碱金属，即锂、钠、钾、铷、铯或钫的化合物 c 0 1 f 金属铍、镁、铝、钙、锶、钡、镭、钍的化合物，或稀十金属的化合物 东南大学颁十学t 7 = 论文 c o i g 含有未列入c o l d 或c 0 1 f 小类之金属的化合物 1 3 课题背景 根据世界知识产权组织的统计，世界每年的中请譬以1 0 0 多万件的速度递增，目前累计总鼙已 近4 0 0 0 万件1 5 l 。为了尽快从这些海量数据中找到所需的专利信息，每什被核准的专利都会依其计 划内容被分类至某一个国际专利分类码i p c ( i n t e m a t i o n a lp a t e n t c l a s s i f i c a t i o n ) 中，藉此加快检索速度。 同时透过国际性的i p c 技术分类，进行各类技术研究趋势与动向跟踪、分析竞争对手的情况提供了 自己依据1 6 7 1 。 i p c 分类表包括了与发明创造有关的全部知识领域，仅中国专利目前已使刚的分类类别有近5 万 个。知识产权部门的专利审奄员需要对新申请的专利分类，赋予相应的i p c 分类类别，人：l ：完成动作 量很人。目前专利分类仍然采用传统的手j i ：分类，：i ：作人员根据专利信息内容，对照国际分类表， 手! l ：检索出其所属的部、人类、小类、主组和分组。这种分类的方法效率比较低下，存在着许多弊 端：周期k 、费用高、效率低，而且往往需要具有专业知识的人员才能胜任。存在分类结果一 致性不高的问题，对于相同的专利文献由不同的人米分类，其分类结果可能不相同；甚至是同一个 人，在不同时间做相同的分类也可能会有不同的结果。 专利中请鼙的激增以及现有专利文献分类方法存在的缺陷，迫切需要研究和实现有效的计算机 辅助专利文献分类方法。本课题将利刈数据挖掘中的文本挖掘和分类挖掘方法，对专利文献数据的 臼动分类进行研究，以期推进计算机理论和技术在专利知识产权领域的应埘和推j 。 1 4 系统涉及的关键技术及研究现状 1 4 1 文本挖掘相关概念 文本挖掘( t e x tm i n i n g ，t m ) ，义称为文本数据挖掘( t e x td a t am i n i n g ，t d m ) ，是数据挖 掘的一个分支，是指为了发现知识，从文本数据中抽取隐含的、以前朱知的、i 稀在的有刚的模式的 过程。它是个分析文本数据、抽取文本信息、进而发现文本知识的过样。文本挖掘涉及多个研究领 域，如信息检索、信息过滤、臼动摘要、数据挖掘、人1 ：智能等，它的出现为文本信息的处理、分 析、挖掘提供了有效的手段。 文本挖嵇f f 的主要目的是获得文本的主要内容特征，如文本涉及的主题、文本主题的类属、文本 内容的浓缩等。目前，这些技术在处理网络信息资源是1 常有效。文本挖掘的具体实现技术主要有 如卜儿种： 1 特征抽取 文本特征分为一般特征和数字特征，其中一般特征主要包括名词和名词短语；数字特征主要包 括日期、时间、货币以及单纯数字信息。特征是概念的外在表现形式，特征抽取是识别潜在概念结 构的重要基础。 2 主题标引 利圳传统的关键词标引技术米表示文本。影响文本标引的质域，导致同义标引词的泛滥，影响 检索的奄全率。同时也会影响特征抽取的准确度。利川主题词标引替代关键词标引可以提高标引的 质鼙，对改善文本的检索效果十分有益。 2 第一章绪论 3 文本分类 文本分类的任务是基于内容将臼然语言文本自动分配给预定义的类别。文本分类技术类似丁数 据库挖掘中的分类计数，不同之处在丁它需要预先对文本进行特征抽取，它利朋文本特征向餐对文 本进行分类。 4 文本聚类 聚类就是将一个数据对象的集台分组成为多个类或簇。它的分析并不依赖丁已知类标记的数据 对象。在通常情况下，通过聚类可以产生这种类标记。文本聚类是对给定的文本集根据文本相似度 进行聚类的方法。 5 自动摘要 自动摘要是利用计算机分析文章的结构。找出文章的主题语句，然后经过整理、组合、修饰、 构成文摘的过程。人1 ：编制复杂、量人而且费时，特剐是目前，对信息昔巨人的w e b 资源进行入1 ：编 制摘要是很不实际的，因此，自动摘要对网络信息资源的处理具有重要的实际意义。 1 4 2 文本挖掘的过程 文本挖掘i ：程一般包括文本准备、特征标引、特征集缩减、知识模式的提取、知识模式的评价、 知识模式的输出等过程。 1 文本准备阶段是对文本进行选择、净化和预处理的过程，用米确定文本信息源以及信息源中 刚丁进一步分析的文本。具体任务包括词性的标注、句子和段落的划分、信息过滤等。 2 特征标引是指给出文本内容特征的过程，通常有计算机系统选择一组主题词或关键词可以作 为文本的特征表示。 3 特征集缩减就是自动从原始特征集中提取出部分特征的过程，一般通过两种途径：一是根据 对样本集的统计分析删除不包含任何信息或包含少量信息的特征；二是将若干低级特征合成一个新 特征。 4 知识模式的提取是发现文本中的不同实体、实体之间的概念关系以及文本中其他类型的隐含 知识。 5 知识模式评价阶段的任务是从提取出的知识模式集合中筛选出用户感兴趣的、有意义的知识 模式。 6 知识模式输出的任务是将挖掘出米的知识模式以多种方式交给川户。 文本挖掘中涉及很多技术，其中有一些技术在文本挖掘的不同分支都有廊川，如分词技术、文 本表示、特征选择笛在文本关联、文本分类、文本聚类等领域都有川剑，这里介纠几个主要的相关 技术及其发展状况。 1 4 3 文本预处理与分词技术 文本预处理指将文本转换为特征项的集合。实验表明，以词条作为特征项能够较好地反应文本 内容，冈此文本预处理的关键就是从文本内容中抽取特征词。文本特征词抽取是以中文分词技术为 基础的。中文文本没有类似英文空格之类的显示表示词的边界标志，冈此中文分词是一个专fj 的研 究课题m 1 。中文分词研究有将近一二十年的历史，目前主流的分词技术有基丁词典的分词、基丁统计 的分词、基丁专家系统的分词等，这些分词技术都有其优点和局限性，不同的廊州需要采用不同的 分词技术。对于文本分类，分词的主要目的是提取对分类有影响的词，忽略与分类无关的词，文献 3 东南大学顾十学何论文 9 采j l j 舣向最人匹配法进行臼动分词，然后利川数据采掘方法获取汉语的词性规则，只保留名词和 动词作为文本的特征词。文献e 1 0 则采用一种称为2 元语法短语标引的无词典分词方法对分类文本进 行分词，这种方法在一定程度上解决了词典朱登录词的识别问题，但需要对文本进行多边扫描，时 间复杂度较高。 1 4 4 文本表示 文本预处理将文本映射为特征词的集合。文本特征词集合虽然能很好地对文本内容进行概括， 但计算机无法对特征词进行直接的计算，冈此文本表示的目的是将文本转换为可计算的对象。 目前普遍采心的文本表示模型是g s a l t o n 等人提出的向鹫空间模型，在向最空间模啦中，文 本被表示成以词条权重为项的向量。文本表示的关键问题是词条权重的计算方法。目前已经提出了 多种词条权重计算方法，如布尔型权重、t f _ i d f 型权重、基于熵概念的权重等。 1 4 5 特征选择 文本表示不是孤立的。它依赖r 训练文本集包含的特征项集合。对于人规模文本集合，特征项 数鼙巨人，从而导致文本向量维数极高。标准的分类算法无法处理这样高维的向餐，冈此必须进行 降维处理，特征选择是文本处理领域常川的降维技术。人多数特征选择方法的原理是采刖某个评价 函数对特征项进行评分，选取分值较高的若干特征项作为等价特征项集合，冈此特征选抒的研究是 丽绕不同的评价函数展开的。_ 目前研究者已经提出了多种评价函数，如文本频数( d f ) 、信息增盗 ( i g ) 、z 2 统计量、互信息量( m i ) 等，文献 1 2 对这些评价函数进行了比较，指出了i g 、c h i 和 m i 丁文本分类性能最好，而d f 方法最差。 1 4 6 自动分类技术 文本自动分类技术起源丁上个世纪5 0 年代，h p l u h n 在这方面作了开创性的研究，提出了词频 统计的思想，6 0 年代g s a l t o n 等人提出的向量空间模型成为后米进行文本表示的土要方法，7 0 年代 以后，硒e s t e v e n s ，s k e e n a n ，l b 。d o y l e 等人也住这个领域进行了卓有成效的研究3 1 。早期的 臼动分类研究冈为受计算机发展水平的限制，更多的是可行性的研究。 2 0 世纪8 0 年代，文本分类的研究进入实验阶段，当时士要采川基丁知识的分类方法。基丁知识 的分类系统需要知识库作为支撑，而知识提取、更新、维护及臼我学习的相关技术尚未达剑实川化 程度，冈此其应圳领域较为狭窄，目前在实际应刚中已经很少单独采川这种方法。 2 0 世纪9 0 年代以来，随着世界范围内数字幽一1 5 馆研究的兴起，特别是9 0 年代末互联网的迅速浮 及和发展，出现了人量的需要进行分类的语料使得文本臼动分类技术得剑了迅猛的发展，逐渐由 可行性研究转向实心化研究阶段。目前研究者从不同角度己经提出了很多行之有效的文本分类方法 这些方法人多是基丁机器学习方法的，根据其分类原理的不同分为线性分类器、统计学习分类器、 基丁实例的分类器、决策树方法、神经网络方法、支持向量机方法等烈。如r o c c h i o 方法属丁线性分 类器方法、朴素贝叶斯分类器是典型的统计学习分类器、k 一近邻算法是基丁实例的分类器，i d 3 算法 是一种基本的决策树方法，支持向颦机与神经网络都是从经验数据集中进行学习的，但神经网络从 某种意义上说是一种具有启发式的学习机，本身有很人经验的成分，而支持向餐机具有严格的数学 理论基础，是一种通圳知识发现方法，目前已成为文本分类领域的一个研究热点。 在我国，文本自动分类的研究开始l 丁上个世纪8 0 年代，由丁中文文本词间没有间隔，需要专门 的算法对文本进行分词，所以很多国内学者把中文文本分词作为文本臼动分类的研究重点利研究特 4 第一章绪论 色。1 9 8 1 年，侯汉清教授对计算机在文本分类i ：作中应用作了探讨和阐述l 。此后，我国陆续研究 产生了一些文本分类系统”，其中具有代表性的有上海交通人学研制的基丁神经网络算法的中文臼 动分类系统，清华人学的臼动分类系统等等。同时在不同的分类算法方面也展开了j 泛的研究和实 现，中科院计算所的李晓黎、史忠植等人麻h j 概念推理网进行文本分类h 引。中国科技人学的范嵌等 人在k n n 、贝叶斯和文本相似性研究的基础上提出了一个超文本协调分类器射，它的特点是适当的考 虑了h t m l 文本中结构化信息。复口人学和富+ 通研究中心的黄萱箐、吴立德等人研究了独立语种的 文本分类，并以词汇和类别的互信息鼙为评分函数，考虑了单分类和多分类。上海交通人学的刁 倩、于永成等人结合词权重和分类算法进行分类“。目前，一些比较成熟的文本分类算法已经被庶 用到实际分类中，其中有基y - v s i 的向量距离法、贝叶斯分类算法、k n n 分类算法、支持向量机分类 算法、决策树分类算法和神经网络分类算法等，近些年还出现了基丁粗糙集合理论的文本分类算法 和一些结合多种方法的混合分类方法。 1 5 本文研究内容及组织结构 1 5 1 论文的工作 本文的课题来源为江苏省自然科学基金项日分布多专利数据集智能知识发现及应用研究，项 目编号为b k 2 0 0 6 0 9 5 。 本文的研究目的是对系统所涉及的主流关键技术进行综合研究的基础上，将有关技术进行改进 并转化为切实可行的实现方案，最终构建一个能对人规模中文专利文本进行自动分类处理的原删系 统。 根据以上的研究目的，本文的研究内容主要包括以。r 儿个方面： 1 中文文本分词技术。总结和门纳现有中文分词算法，研究适合丁专利文献数据的中文分词 技术，考虑剑专利数据涉及到多个领域，专业词汇的不断更新，提山了适合丁专利数据的基于词典 和统计相结合的中文分词技术。 2 基丁专利文本表示的权重计算。总结和l 门纳现有文本权重计算方法，结合专利文本的特点， 提出包含位置信息的特征词权重计算方法。 3 基于专利数据的文本分类挖掘。分析已有的典型文本分类方法：k n n 方法、贝州斯方法、 支持向鼙机分类算法等，提出适合| 丁专利数据的分层的中文文本分类方法，要求算法具有较好的分 类的效率和分类精度。 1 5 2 论文的组织结构 本文按如下方式进行组织： 第一章论述课题背景、领域研究现状，确定本文的研究目的及研究内容。 第二章讨论文本预处理技术的研究。介绍了中文分词技术，并住现有的分词技术基础上，结合 专利文本的特点，提山了适合于专利数据的基丁词典和统计相结合的中文分词技术。 第二章是讨论文本表示和特征选择。对丁各种特征选抒技术进行了分析，并且提出了一种包含 位置信息的特征词权重计算方法。 第四章讨论了中文自动分类技术，分析已有的典型文本分类方法。提山适合r 专利数据的分层 的中文文本分类方法，并通过试验加以分析。 第无章是全文的总结以及朱米的f ：作。 5 尔女人学顺i ：毕伸陪文 第二章专利文本预处理 # 利文本j ! ：! 处理的i ；i 的是从国家专利侔- lz 扣j 取x m l 文本格式竹数据，计将其转换为立奉在此 肚础j 将其# 化为特祉嗣的集台为史丰表示做准薪。 2 1 专利文献抽取 耻在中例使川的0 u 数据阼址i 酶全文数槲库，t hj 暖数拊怍怕 蛛性止注对j 数蜊进行d 拨访问。这里采j “通过x 札格式转换来问接捩褂- 利教槲。 首先将1 r s 数据库中的0 利作一息的相应字段导入创x m l 文hq - ，可将x 札立什中的信息导入剑 数据席s q ls e r v e r2 0 0 0 巾上。这皿选取了 j 川的字段导入数抛库，这些宁段乜括：中l 号、鼎称、 上分类弓、分类号、摘要，t 权项然j 亓编丐f ，序将存放在x 儿文件中的0 利信4 进 i 消理肝导入 s q ls e r v e r2 0 0 0 中，作为文丰挖制的数据滁。 r 倒2 一l 所小为t r s 数槲库的界叫，陶中吐定脊控条什为“分类日= a 6 1 8 5 ”，指的是卉控 分炎号阿j 忙为a 6 i b 5 的所有专利，削中f a 界面显示了0 利名为“一种人体生理一心理状况啁h 手 段f 自诎m 训价 浊”的摘要帛j t 权项的内弃。 。= 二= ：= = = = = 忑：i = 蚓2 一lir s 利数据l 牛界【自】 f 幽22 所班为lr s 数州二的数据导i i i 界断- 如幽所小设，t 丁叶们儿个f 段山l l l i 0 、私h ： 1 分类叶、分类0 、i i 蔚婪、l 权项f 将数曲 以x m l 格导n ， 垃r 束的数据粘埋做准器。 二二二二二二二二二互 幽2 - 2 将t r s 数据j 牛敏据导入x m l 巾 f 幽2 3 所示为保存在x m l 文f l , t ，的桀利数捌的信息。 口0 hw l t i 口v m 0 r ) 4 t ” 埔* o - t 侧杜悄r ，# # k ，r n + 6 0 p t ) f b f ， ， * ； db ，h - 。：f 】” i9 。0 u ，* b b z ， f 卅* 一咖j4 l 一* o m c t t ，i $ me h f i i i m j 一# # 4 e j b “ 1 * i ：# c q m e * f 目口一b “i t 一q t w * 咖q h ”# 1 t 1 【b “ f 1 7 ：1 ) 一h i1 1 | t $ # 枷 r ， * & q n 1 1 i1 i 1 】l ij=ol ，s ) i n t ， 肿，i m 6 nv i r 煳it ，b r ， _ 目 二dw ：日n 自p 删“t “， 幽2 3 从t r s 数据库中抽墩出怕一条记采，井j t j 圳l 格式表示 r 幽24 所币山将圳l 文“- l 一帕信丘l 导入s 吼s e r v e r2 0 0 0 数制阵，属性id 山争利号属性 为专利名称，属性a h s l f a c t 为专利摘要埘性m a i n r ig h t 为号利土权项，属性m a i n t y p e 为号 利上分类号，】i ：己性t y p e 山- 利分类叶。 7 口u】 9j_ln 。、 幽2 - 4 将数据导入主叮s o ls e r v e l2 0 0 0 中 7 一一一蒌一一一 耐燮谶鬻糍骥蒜戳 东南大学顾十学位论文 2 2中文分词 对于中文文本，文本预处理的关键问题是中文特征词的抽取，中文特征词的抽取是建立在中文 分词技术基础上的。词汇处理是臼然语言处理的基础。汉语的忙写以汉字作为基本单位，词与词之 间没有明显的形态界限，要进行汉语的计算机处理，首先必须将汉语的词语区分隔开。即分词。可 见，自动分词是中文信息处理的基本步骤，很人程度上影响了整个中文处理系统的性能。 自动分词是汉语特有的研究课题。英语、德语等语种，词与词之间存在着自然的分割，一般不 存在着分词问题。在词汇数量上，一般的印欧语中的词汇量最多为几十万词，而汉语的词汇蟮高达 儿百万甚至上千万。一个汉字的序列可能有儿种不同的切分结果，产生歧义现象。这些给白动分词 产生了极人的凼难。 如何把文章切分为词条，并从中提取特征词条构成特征向量已经成为文本处理的关键。因此， 词条切分和特征词条的获取构成了文本处理的两个主要的前期i ：作。 所谓汉语自动分词( a u t o m a t i cs e g m e n t a t i o no f c h i n e s ew o r d ) ，是把输入计算机的汉语语句自动 切分为词的序列过程。特定情况下，分词结果中也可以包括一些词组和词素。由于现代汉语没有明 显的形态标；占，词素组合成词也没有严格的规律可以遵循，这就给计算机分词造成很人的困难。在 汉语自动分词中，刚的术语有： 词：最小的能运用的语言单位。 词组：有两个或两个以上的词，按一定的语法规则组成，以表达一定意义的语言单位。 分词单位：指汉语信息处理使川的、具有确定的语义或语法功能的基本单位，包括词和少鲑词 组。 臼动分词过样：从信息处理山发，按j ! 特定的规范，对汉语按分词单位进行划分的过程。 2 2 1 自动分词的原则 白动分词是中文信息处理的一部分，分词本身并不是目的，而只是后续过程的必备手段。一般 情况卜，分词单位的选取，以1 9 8 8 年我国制定的信息处理川现代汉语分词规范为准，但还要考 虑具体的应川环境，灵活地加以控制，此外，还需兼顾人规模语料库处理的特殊要求。网此，自动 分词原则应包括以i j l 点： 1 分词单位的选取必须有利_ 丁标注等后续过程的处理。这一点具体体现在某些词组的处理上， 这些词组包括数字词组( 如：二分之一) ，时间词组( 六月一日) ，人名等。分词规范规定：构成分 词单位的词组必须具备结合紧密的特征，而分开后不改变原有组合意义的词组，则一律加以切分。 按照这些规定，这些词组将被进一步切分。另外，在前缀词平后缀词的处理上，分词规范也作了类 似的规定。实际上，这些词组在具体的上卜文环境中合起米表达一个概念，作为一个分词单位更能 符合后续处理的需求，没有必要在分词阶段把它f i j 分开，然后义费很人的精力在分析阶段再把分词 单位合成为短语。 2 分词的准确率是分词系统最重要的标准指标。单纯的分词系统一般要同时兼顾切分精度幂l 切 分速度两个指标。而作为中文信息处理系统的分词系统，其准确率直接影响着后续过科的准确率， 同时，分词速度远远高丁后续过程，不会构成系统的处理瓶颈，即使采瑚较为复杂的方案，所需的 处理时间仍少于后续过稃。 3 为处理人规模的语料，要求系统有较好的容错性能。另外，分词词典必须有良好的可扩充性， 具备从语料库中白动学习的能力。 4 分词系统必须具有较女f 的可移植性。可移植性表示从一个计饽机系统或环境转移剑另一个系 统或环境的容易稃度。一个好的分词系统不应该只能在一种环境卜运行，而应该在稍作修改的情况 卜，就能一直剑另一个系统中。 现有的分词算法可以分为以。卜三类：基丁词典、词库匹配的分词方法、基于词的频率的统计分 8 第二章专利义本颅处理 词方法、基丁知识理解的分词方法。 2 2 2 基于词典、词库匹配的分词方法( 机械分词法) 这种方法按照一定策略将待分析的汉字串与一个“充分人的”机器词典中的词条进行匹配，若 在词典中找到某个字符串，则匹配成功( 识别出一个词) 。根据扫描方向的不同分为止向匹配和逆向 匹配；根据不同长度优先匹配的情况，分为最人( 最长) 匹配和最小( 最短) 匹配；根据与词性标 注过程是否相结合，义可以分为单纯分词方法和分词与标注相结合的一体化方法 1 止向最人匹配法( m m ) 最人匹配法( m m ，m a x i m u mm a t c h i n gm e t h o d ) 的基本思想是：设d 为词典，m a x 表示d 中 的最人词长，s 打为待切分的字串。m m 是某次从s t r 中取k 度为m a x 的字串与d 中的词进行匹配。 若成功，则该字串为词，指针后移m a x 个汉字后继续匹配；否则，匹配字段去掉最后一个汉字， 剩卜的字符作为新的匹配字段，在进行匹配，如此进行卜去，直剑匹配成功为j ：。 2 逆向最人匹配法( r m m ) 逆向最人匹配法( r m m ，r e v e r s e dm a x i m u mm a t c h i n gm e t h o d ) 的基本原理与m m 法相同， 不同的是分词的扫描方向，它是从以至左取字串进行匹配。统计结果表明，单纯使川止向最人匹配 的错误率为1 1 6 9 ，单纯使川逆向最人匹配的错误率为1 2 4 5 ，显然r m m 法在切分的准确率上比 m m 法有很人提高。该方法要求配置逆序分词词典。 3 逐词遍历法 该方法将词典中的所有词按由艮剑短的顺序在文章中逐字搜索，考虑到文章结束，也就是不管 文章多长，词典有多人，都要将词典遍历一遍。 4 设定切分标忠法 设定切分标志法，这种方法首先要收集标点符号( 成为自然切分标忠) 以外的众多1 卜自然切分 标志，例如，只充当词首字或词尾字的字，对这些北自然切分标忐进行搜索，根据这些标忐，把句 子切分为若干的较短的字段，然后再使用m m 或者r m m 等方法进行进一步的切分。准确地说，这 种方法并不是一种真止意义上的分词方法，只不过是自动分词的一种前处理方式而已。而且，这种 前处理并没有提高分词精确度，却要额外消耗时间扫描切分标忠，增加分词的时间复力导度。 5 最佳匹配法( o m ) 最佳匹配法( o m ，o p t i m a lm a t c h ) 分为止向最佳最人配法和逆向最佳匹配法。最住匹配法的出 发点，是在词典中按词频的人小排列词条，以求缩短对分词词典的搜索时间，达剑最佳效果，从而 降低分词的时间复杂度，以加快分词速度。实际上，这是对分词词典预先进行的一种加i ：，也不是 纯粹意义上的一种分词方法。 6 二次扫描法 二次扫描法是：取待处理的文本中两个切分标：畚之间的部分作为样本串，检查分词词典中是否 有一个词，它的前两个汉字和该样本串相同，若有的话，取样本串的前二个汉字作为匹配串，重新 在分词词典中寻找能匹配子串的词，若有，则重复卜去，直剑进行剑i 个汉字为i ：，( 设i 为分词词 典中最长词所含有汉字的个数) ，则切分出一个i 字词；若没有，则完成一次扫描。把匹配串的最后 一个汉字去掉，作为新匹配串，进行第二次扫描，第二次扫描心m m 法或r m m 法进行。 9 尔南大学硕十学位论文 2 2 3 基于词的频度统计的分词方法 从形式上看，词是稳定的字的组合，冈此在上下文中，相邻的字同时出现的次数越多，就越有 可能构成个词。冈此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中 相邻共现的各个字的组合的频度进行统计，计算它们的互现信息。定义两个字的互现信息，计算两 个汉字x y 的相邻共现概率。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高丁某一 个阂值时，便可认为此字组可能构成了一个词。这种方法只需对语料中的词组频度进行统计，不需 要切分词典，冈而义叫做无词典分词法或统计取词方法。但这种方法也有一定的局限性，会经常抽 出一些共现频度高、但并不是词的常川字组，例如“这一”、“之一”、“有的”、“我的”、“许多的” 等并且对常川词的识别精度差，时j 空开销人。实际应埘的统计分词系统都要使用一部基本的分词 词典( 常h j 词词典) 进行串匹配分词，同时使用统计方法识别一些新的词，郎将串频统计和串匹配结 合起来，既发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上卜文识别生词、 自动消除歧义的优点。到底哪种分词算法的准确度更高，目前并无定论。对于任何一个实用的分词 系统米说，不可能单独依靠某一种算法来实现，都需要综合不同的算法。 2 2 4 基于知识理解的分词方法 该方法主要基丁句法、语法分析，并结合语义分析，通过对上下文内容所提供信息的分析对词 进行定界，它通常包括二个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下， 分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断。这类方法试图让机 器具有人类的理解能力，需要使州人鼙的语言知识和信息。由- 丁汉语语言知识的笼统、复杂性，难 以将各种语言信息组织成机器可直接读取的形式，冈此目前基丁知识的分词系统还处在试验阶段。 2 3 基于后缀数组的未登录词识别 所谓朱登录词是指分词系统中的词典中没有收录的词。汉语词汇是一个开放集合，无论建立多 么庞人的词典，都不可能穷举所有的词。而且，随着时间的推移，还会源源不断地出现人量的新词， 这就需要一种方法米收集这些词汇。 2 3 1 后缀数组的概念 后缀数组是作为一种文本索引结构提出的，它记录了一个字符串中各后缀的字典序索引。通过 对字符串的编码，可以删厉缀数组进行字符串集序列的处理。近年来，在基冈匹配、文本处理等领 域中，后缀数组倍受关注。m a n b e r 和l m y e r s ”圳给出了一个利j 4 j o ( n ) 的额外空间，在o ( n g n ) 时间内同 时构造出后缀数组及最艮公共前缀信息数组l c p 的算法“札圳。 定义2 - l 厉缀数组( s u f f i xa r r a y ) 令s 1 n 为一有序字符集上的字符串，i s l = 1 1 ，j s l 表示s 的k 度。s i 表示s 中能置i 上的字符。令s i n 为s 的第i 个后缀，简记为s i 。如：s = 文本挖 掘，其后缀数组为s l = 文本挖捌，s 2 = 本挖掘，s 3 = 挖掘，s 4 = 捌。 定义2 - 2 设两个字符串s l = “g l a 2 口m ”和s 2 = “岛6 2 。也”称“a i a 2 露p ”为s l 和s z 的展 长公共前缀( l c p ) t 如果p m i n ( m n ) ，i ：t a f 2 岛( 1 i p ) 且口p + i ! = 屯+ ia 记为l c p ( s ， s 2 ) 。 1 0 第- 二章专利文本颅处理 表2 一l 给出了中文字符串“数据挖掘及文本挖掘中的文本分类”相对麻的后缀数组及l c p 。我们