（管理科学与工程专业论文）基于模糊逻辑和神经网络的数据及文本挖掘的方法研究.pdf

中文摘要 数掘挖掘和文本挖掘是当前信息技术中的个重要研究领域； 将模糊逻辑理论应用于数掘及文本挖掘方法研究，具有较大的理论 意义和实用价值。本文研究了基于模糊逻辑和神经网络的数掘挖掘 和文本挖掘方法，所做主要工作内容包括： 采用自组织特征映射( s o f m ) 网络来自动确定样本数掘隶属 函数，并根据相似性的概念，给出了相似度的计算公式，结合a p r i o r i 算法，提出了一种挖掘模糊相似关联规则的新算法。 针对传统的模糊聚类需要预先确定聚类数的问题，提出一种新 的动态模糊聚类的方法。该方法采用动态自组织映射神经网络来确 定聚类数，并通过文本向量空l 日j 模型和t f i d f 方法来确定文本的 特征向量，再将动态自组织映射神经网络得到的聚类数，用模糊c 均值算法( f c m ) 函数处理，得到聚类的结果。本算法具有聚类精度 高的优点，模糊聚类更适合处理语义的多样性和文本归属的模糊性 的问题。 提出了一种新的动态模糊自组织神经网络模型( d f k c n ) ，并将 其用于文本聚类中。针对传统模糊自组织神经网络需要预先确定聚 类数的问题，d f k c n 采用了可包动确定聚类数的动态自组织神经 网络( t g s o m ) 的结构，在d f k c n 网络结构中提出新的学习率计算 公式，并以模糊聚类中心作为d f k c n 网络中对应的神经元的权值， 从而提高了聚类的精度，并可提高收敛速度。将d f k c n 模型应用 到中文文本聚类中，文本的特征向量的表示采用隐含语义分析理 论，以体现特征词的语义关系并实现特征词的降维。 提出了一种新的模糊竞争神经网络聚类模型( n f c n n c ) ，并将 其应用到文本聚类中。n f c n n c 将模糊中心聚类( f c c ) 算法得到的 模糊聚类中心向量作为神经网络的权值，获胜神经元通过比较隶属 度值得到。按照f c c 算法调整模糊聚类中心向量值( 即权值) 和 神经元的隶属度，当网络稳定时，即可确定聚类数。n f c n n c 具有 结构简单，运行效率高，聚类精度高的优点，同时克服了传统算法 需预先指定聚类数的局限性。 提出一种新的模糊文本关联规则挖掘算法( n f a r ) 和文本关键 字的获得方法，当文本集中存在大量文本，传统的模糊关联规则中 的支持度的计算公式不再适用，因而提出新的支持度计算公式。通 常用的关联规则在涉及语义问题时，会有冗余规则，隶属函数是预 先指定的，引入模糊聚类可克服上述问题：根据t fi d f 首先计算 文本特征词的权重，然后计算文本的平均权重作为阈值，权重大于 阈值的特征词作为该文本的关键字，将关键字的权重划分成三个属 性：高、中、低。利用模糊c 均值对关键词的权重进行聚类。再由 n f a r 算法抽取出文本关联规则。 则的精度高的优点。 关键词：隶属度模糊关联规则 n f a r 算法具有运算效率高，规 模糊聚类数掘挖掘文本挖掘 a b s t r a c t r e c e n t l yd a t am i n i n ga n dt e x tm i n i n ga r ei m p o r t a n tr e s e a r c h a r e a si ni n f o r m a t i o nt e c h n o l o g y 。a p p l y i n gf u z z yl o g i ct h e o r yt od a t a m i n i n ga n dt e x tm i n i n gh a sag r e a tt h e o r ys i g n i f i c a n c ea n dp r a c t i c e v a l u e ，s e v e r a lm e t h o d so fd a t am i n i n ga n dt e x tm i n i n gh a v eb e e n s t u d i e di nt h i sp a p e r t h em a i n l yw o r k sa r es h o w na sf o l l o w s ： i nt h e a l g o r i t h m t h e s e l f o r g a n i z i n g f e a t u r em a p sn e t w o r k ( s o f m ) i su s e dt od e t e r m i n et h em e m b e r s h i pd e g r e eo fs a m p l ed a t a p o i n t i n gt o t h em a i nd e f e c to ft r a d i t i o n a lm e t h o d so ff u z z y c l u s t e r i n gi st ok n o wt h en u m b e ro fc l u s t e r i n gi na d v a n c e ，an o v e l d y n a m i cf u z z yc l u s t e r i n g i s p r e s e n t e d f i r s t ，t e x te i g e n v e c t o r sa r e a c q u i r e db a s e do nt h ev e c t o rs p a c em o d e l ( v s m ) a n dt f i d fm e t h o d t h e nt h en u m b e ro f c l u s t e r i n g i s a c q u i r e db y a d y n a m i c s e l f - o r g a n i z i n gm a p ，a n di t i si n t r o d u c e di n t ot h ef u z z ycm e a n a l g o r i t h m ( f c m ) f i n a l l y ，t h er e s u l to fc l u s t e r i n gi so b t a i n e db y f c m t h ep r e s e n ta l g o r i t h mp o s s e s s e sm u c hh i g h e rp r e c i s i o nt h a nt h e t r a d i t i o n a lf c m an e wm o d e lo f d y n a m i cf u z z y k o h o n e nn e u r a ln e t w o r k ( d f k c n ) i sp r o p o s e d ，w h i c hi sa p p l i e dt ot h et e x tc l u s t e r i n g d f k c na d o p t st h es t r u c t u r eo ft h ed y n a m i cs e l f - o r g a n i z a t i o nm a p s ( t g s o m ) w h i c hc a nd e t e r m i n et h en u m b e ro f c l u s t e r i n g a u t o m a t i c a l l y an e wc a l c u l a t i o nf o r m u l ao ft h el e a r n i n gr a t e o f d f k c ni s p r o p o s e di nt h ed f k c n d f k c nu s e sf u z z yc l u s t e r i n g c e n t r a lv e c t o r sa st h ec o f r e s p o n d i n gn e u r o n w e i g h t s b o t ht h e p r e c i s i o no fc l u s t e r i n ga n dt h er a t eo fc o n v e r g e n to ft h en e t w o r ka r e i m p r o v e d t h em o d e ld f k c ni su s e df o rc h i n e s et e x tc l u s t e r i n g t e x te i g e n v e c t o r sa r e r e p r e s e n t e db yu s i n gt h e l a t e n ts e m a n t i c a n a l y s i s ( l s a ) ，w h i c he m b o d i e st h es e m a n t i cr e l a t i o no ft h ee i g e n w o r d s ，a n dr e a l i z e st h ed i m e n s i o nr e d u c t i o no ft h ee i g e n v e c t o r an e w f u z z yc o m p e t i t i v en e u r o nn e t w o r kc l u s t e r i n g ( n f c n n c ) m o d e li sp r o p o s e d ，w h i c hi sa p p l i e dt ot h et e x tc l u s t e r i n g n f c n n c u s e st h e f u z z y c e n t r a lv e c t o r s a c q u i r e db y t h e f u z z y c e n t r a l c l u s t e r i n g ( f c c ) a l g o r i t h ma st h ew e i g h t so ft h en e u r o nn e t w o r k t h e w i n n e ru n i ti nt h em o d e li sa c q u i r e db yc o m p a r i n gt h em e m b e r s h i p d e g r e ev a l u e sb e t w e e nn e u r o n s a c c o r d i n gt ot h ef o r m u l ao ff c c a l g o r i t h m ，b o t ht h ef u z z yc e n t e rc l u s t e r i n gv e c t o r s ( w e i g h t so fn e u r o n n e t w o r k ) a n dt h em e m b e r s h i pd e g r e e sa r ea d j u s t e d ，a n dt h en u m b e ro f c l u s t e r i n gi sd e t e r m i n e da f t e rt h en e u r o nn e t w o r kr e a c h e ss t a b l e n f c n n cm o d e lp o s s e s s e ss i m p l e r s t r u c t u r e ，h i g h e rp r e c i s i o na n d h i g h e re f f i c i e n c y ，a n do v e r c o m e st h ed e f e c to ft h a tt h et r a d i t i o n a l a l g o r i t h m sn e e dt ok n o wt h en u m b e ro fc l u s t e r i n gi na d v a n c e an e wf u z z ya s s o c i a t i o nr u l em i n i n ga l g o r i t h mi nt e x t m i n i n g a n da c q u i s i t i o nm e t h o do fk e y w o r d sa r ep r o p o s e d w h e nt h ea m o u n t o ft e x t si sl a r g e ，t h ef o r m u l ao ft h es u p p o r td e g r e eo ft h et r a d i t i o n a l f u z z ya s s o c i a t i o nr u l ei sn o ts u i t a b l e an e wf o r m u l ao ft h es u p p o r t d e g r e ei sp r e s e n t e d a c c o r d i n gt ot f 。i d fm e t h o d ，t h ew e i g h t so ft h e e i g e n v e c t o r sa r ec a l c u l a t e d t h ea v e r a g ew e i g h to ft h et e x ti su s e da s t h et h r e s h o l dv a l u e ，t h ee i g e n v e c t o rw h o s ew e i g h ti s l a r g e rt h a nt h e t h r e s h o l dv a l u ei su s e da st h ek e y w o r do ft h et e x t t h ew e i g h to ft h e k e y w o r di sc l a s s i f i e di n t ot h r e ea t t r i b u t e s ：h i g h 、m i d d l e 、l o w t h e f u z z yem e a n sa l g o r i t h mi sa p p l i e dt oc l u s t e r st h ew e i g h to ft h e k e y w o r d s n f a ra l g o r i t h mi sp r e s e n t e dt om i n et h ea s s o c i a t i o nr u l e s o ft h et e x t s n f a ra l g o r i t h m p o s s e s s e sh i g h e re f f i c i e n c y a n d p r e c i s i o n k e y w o r d ：m e m b e r s h i p ，f u z z ya s s o c i a t i o nr u l e ，f u z z yc l u s t e r i n g ， d a t am i n i n g ，t e x tm i n i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得盘鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢悫。 学位论文作者签名：舣瓤者 签字日期：2 口口6 年月z 日 学位论文版权使用授权书 本学位论文作者完全了解鑫壅盘堂有关保留、使用学位论文的规定。 特授权岙洼盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存，汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：黟、季l 考 签字日期：即缉f 月2 日 导师魏彩让 签字日期： g 年2 月2 日 第一章绪论 第一章绪论 本章首先介绍选题的研究背景和意义，然后对数据挖掘和文本 挖掘的重要概念、过程、技术等进行阐述，接下来重点论述了模糊 逻辑的基本概念及其在数据挖掘和文本挖掘中的应用，最后介绍了 本论文的主要工作和未来研究方向。 1 1 选题的研究背景和意义 数据挖掘是从大量原始数据中发掘出隐含的、有用的尚未发现 的信息和知识( 如规则、规律、模式、约束等) ，帮助决策者寻找 数据间潜在的关联，发现被忽略的因素，因而被认为是解决现代社 会“数据爆炸”和“数据丰富，信息缺乏”的一种有效方法 1 , 1 0 , 1 9 , 2 5 , 8 5 , 8 6 l 。数据挖掘可以在任何类型的信息存储上进行，包括 关系数据库，数据仓库、事务数据库、高级数据库系统、展开文件 和万维网。 数据挖掘是一门跨学科的技术。统计学、数据库技术、机器学 习、模式识别、人工智能、可视化技术都在数据挖掘中起着作用。 数据挖掘提出了具有挑战性的问题，并应用到机器学习，统计学， 数据库系统。正确高效的实施数据挖掘是从这些海量的、以不同形 式存储的数据资料中发现有价值的信息或关键知识，从而确保人们 获得所需要的信息和规律，以制定解决方案。 模糊逻辑是最早、应用最广泛的软计算方法，模糊逻辑技术在 数据挖掘领域占有重要地位。模糊逻辑也是一种简单的将一空间的 输入映射到另一空间的输出的一种规则。模糊性反映事物的不确定 性和不精确性，确定性和不确定性可归结为相对的概念，在某种条 件或范围内是确定和精确的，在另一种条件或范围内就是不确定和 不精确的。模糊逻辑系统是充分利用语言信息和数据信息的有效工 第一章绪论 具，能完成从数据库大量数据信息中挖掘出有价值的信息的任务。 数据挖掘中的数据分析经常同时分析不同种数据，即符号数据和数 字数据。随着模糊技术的发展，模糊逻辑被认为是数据挖掘的另一 种不同功能方法。 模糊数据挖掘f d m ”，是选择模糊模式的发现方法，说明要发 现哪一种知识及进行有关参数的选择，运用选定的知识发现算法， 从数据中提取出有价值的、用户感兴趣的、带信度的知识。根据用 户的目的对发现的知识进行分析，并以用户能了解的方式呈现给用 户，包括对知识的信度进行修正，以确保本次发现的知识的信度与 以前发现的知识的信度不抵触。 数据挖掘的大部分研究主要针对的是结构化的数据，如关系 的、事务的和数据仓库的数据。然而在现实世界中，可获取的大部 分信息是存储在文本数据库( 或文档数据库) 中的，由来自各种数 据源( 如新闻文章、研究论文、书籍、数字图书馆、电子邮件消息 和w e b 页面) 的大量文档组成。由于电子形式的信息量的飞速增长， 如电子出版物、电子邮件、c d - r o m 和万维网( 它也可以被视为一 个巨大的、互联的动态文本数据库) 等，文本数据库得到迅速的发 展。文档数据库中存储最多的数据是所谓的非结构化数据。文本挖 掘由两步组成：预处理过程和发现过程。文本挖掘是从大量文本中 发现新的知识，文本处理的新的研究领域”1 。 数据挖掘方法的提出，让人们认识到数据的真正价值，即蕴含 在数据中的信息和知识。数据挖掘是目前国际数据库和信息决策领 域的最前沿研究方向之一，已经引起了学术界和工业界的广泛关 注。 综上所述，数据挖掘和文本挖掘是当前的一个重要领域，目前 将模糊逻辑理论应用到数据挖掘和文本挖掘中，已提出了一些方 法，还存在很多值得研究的内容，故基于模糊逻辑的数据及文本挖 掘具有较大的理论意义和实用价值。 1 2 模糊逻辑理论概述引”1 第一章绪论 集合论是德国数学家乔康托( g e o r g ec o n t o r ，1 8 4 5 1 9 1 8 ) 于 1 9 世纪末创立的，它已经成为现代数学的基础。 所谓集合指具有某种特定属性的对象的全体。将组成集合的对 象( 或事物) 称为集合的元素，对于域上的任何一个对象，它与集 合之问的关系只能是属于或不属于的关系。一个对象对于一个集合 来说，要么属于，要么不属于，二者必居其一，且仅居其一，决不 模棱两可，即一个对象对于一个集合来说，它只能在 0 ，1 ) 中取值。 其中0 表示该对象属于该集合，l 表示该对象不属于该集合。由此 看出：c o f l t o r 的集合论只能处理“非此即彼”的现象。 c o n t o r 集合论是对现实世界经过高度抽象后，所创立的一种数 学理论。然而“胖和瘦”，“快和慢”“美和丑”等概念，c o n t o r 集合论不能描述。 美国加州大学伯克莱分校的l a z a d e h 教授对c o n t o r 集合论实 现了革命性的大变革。他认为c o n t o r 集合论实质上扬弃了模糊性 而抽象出来的数学概念，是把思维绝对化，从而达到精确和严格的 目的。l a z a d e h 在1 9 6 5 年提出了模糊集的概念”，模糊集是一 种边界不分明的集合，模糊集与普通集合既有区别又有联系。对于 普通集合而言，任何一个集要么属于该集合，要么不属于该集合， 有明确的边界，对于模糊集合，一个元素可以既属于该集台又不属 于该集合，边界是模糊的。一个模糊系统是建立在自然语言的基础 上，自然语言中常采用一些模糊的概念，如“温度偏高，压力偏大” 等。如何描述这些模糊概念，并对它们进行分析、推理，这正是模 糊集合与模糊逻辑所要解决的问题。 1 2 1 隶属函数”1 模糊集使得某元素以一定程度属于某集合，某元素属于某集合 的程度由“0 ”与“1 ”之间的一个数值一隶属度来描述。把一个具 体的元素映射到一个合适的隶属度是由隶属函数来实现的，隶属函 数可以是任意形状的曲线，隶属函数的值域为 0 ，1 ，一般常用的 有以下几种隶属函数： 第一章绪论 ( 1 ) 高斯型隶属函数 ( 2 ) 钟形隶属函数 r j ，口 c ，2 i ：i 圭i i ( 3 ) s i g m o i d 函数型隶属函数 k 删2 南 ( 4 ) 差型s i g m o i d 隶属函数 差型s i g m o i d 隶属为两个s i g m o id 隶属函数之差： f ( x , a l , c l , a 2 , c 2 ) = 南一百丽i ( 5 ) 积型s i g m o i d 隶属函数 积型s i g m o i d 隶属函数为两个s i g m o i d 隶属函数的乘积： 低a l , c l , a 2 , c 2 ，= 南，南 ( 6 ) 梯形隶属函数 f 讧，d b ，c ，d 、= ( 7 ) 三角形隶属函数 o 工一口 凸一口 i d 一工 d c o ，s 口 a z s b b 工s c c s 工s d f 彳 f b ；q b 。c 。= 1 2 2 模糊集的表示 x s 口 4 j s 6 6 x c c ， 如果集合a 的论域为x ，a 的元素为x ，x 属于a 的程度由隶属 函数映射为0 与l 之日j 的某一隶属度”。( ，) ，则论域x 中的模糊集a 有三种表示方法： ( 1 ) z a d e h 表示法： ：丛生+ 堕丝+ + 丝螳：宇丛生或一：f 业，。x 而x2h智x ， j x ( 2 ) 向量表示法 ( 3 ) 序偶表示法 1 2 3 模糊蕴含运算 a = 陋 o i ) ，“( x 2 ) ，“( j ) 】 彳= “( x ) f j 工 模糊蕴含可以看作一种模糊算子，其输入是规则的前件被满足 的程度，输出是一个模糊集，规则“如果x 是a ，则y 是b ”表示 了a 与b 之间的模糊蕴含关系。记为：a b ( 1 ) 最小运算( m a m d a n i ) 一_ 口= m i n ( u ( j x 口( y ) ) ( 2 ) 代数积( l a r s e n )a _ 口= ( x ) ( 3 ) 算术运算( z a d e h )a _ 口= m i n ( 1 ，l u a ( x ) + 口o ) ) ( 4 ) 最大最小运算 爿_ 占= m a x ( m i n ( u ( x ) ，“口) ) ，l 一 ( x ) ) ( 5 ) 布尔运算_ 占= m a x o l o ) ，b o ) ) ( 6 ) 标准法运算( a ) j 一 ：甏器；z 器 第一章绪论 ( 7 ) 标准法运算( b ) 1 2 ，4 基本运算 f i _ b = 日 l i 丽 当o ) s o ) 时 当( 砖 。口时 并运算：并a u b 的隶属函数。口对所有u e u 被逐点定义而取最 大运算： ”m 5m a x u a ，u b 交运算：交a n b 的隶属函数“口对所有u e u 被逐点定义而取最 小运算： “m = m i n u ，u b 补运算；模糊集合a 的补的隶属函数。j 对所有”e u 被逐点定义 为： “i = l 一 直积运算：如果a ，a ：，a 。分别为u 。，u u 。中的模糊集， 其直积为空间u ix u ：“x u 。中的模糊集，其隶属函数为： u a 。 “ = m i l l 越 ，h ，“ 或 x i = 村 “ 模糊关系；一个疗维的模糊关系是在u 。x u 2x 以中的模糊集， 并且表示为： r u l x r j ，x - f f = 0 l 毪，x 池，”2 。11 0 1 搿2 ，一) 乍u i u 2x x ， s u p s t a r 合成运算：若r 和s 分别为u x y 和v x w 中的模糊关系， r 和s 的合成是一个模糊集合，表示为： r o s = ( 眩田，s u p ( u s 0 ，v ) + 虬化研) ) ，材以v e 矿，w 式中，为以下中的任意一个运算符号，即取小、代数积、有 界积和聚积 凸模糊集：一个正规的模糊集，其隶属函数在论域中至少有1 个元素x ，其隶属值为1 。随着论域中元素的增加，隶属函数的隶 属度也随之严格单调增加，或严格单调减少，或先严格单调增加后 严格单调减少换言之，如果在模糊集a 中有任意元素x ，y 。z ，且 关系x 数掘挖掘 进行实际的挖掘操作。包括的要点有： ( a ) 解决如何产生假设，是数掘挖掘系统为用户产生假设，还 是用户自己对于数掘库中可能包含的知识提出假设。前一种称为发 现型的数据挖掘；后一秘- 称为验证型的数据挖掘。 ( b 选择适合的工具。 ( c ) 挖掘知识的揉作。 ( d ) 证实发现的知识。 ( 3 ) 结果表达和解释 根据最终用户的决策目的提取信息，把最有价值的信息区分开 来，并且通过决策支持工具提交给决策者因此，进一步的任务不 仅是把结果表达出来，还要对信息进行滤处理。如果不能令决策者 满意，需要重复以上的数据挖掘过程。 1 3 2 文本挖掘概述 1 3 2 ，1 文本挖掘的定义 文本挖掘( t e x tm i i i i n g ，t m ) 是数据挖掘的一个研究分支，用 于基于文本信息的知识发现“。文本挖掘和文本数据库中的知识发 现被认为具有相同含义的两个词，最早由r o n e nf e l d m a n 等人提出 ”，其含义为：文本挖掘即文本数掘库中的知识发现，是从大量文 本的集合或语料中发现隐含的，令人感兴趣的，有潜在使用价值的 模式和知识。 文本挖掘是利用智能算法，如神经网络、基于案例的推理、 可能性擢理等，并结合文字处理技术，分析大量的非结构化文本源 ( 如文档、电子表格、客户电子邮件、问题查询、网页等) ，抽取或 标记关键字概念，文字间的关系，并按照内容对文档进行分类，获 第一章绪论 取有用的知识和信息。文本挖掘的早期研究是信息检索，包括了基 于关键字检索和全文检索。数据挖掘是揭示存储在数据库中的结构 化数据的数值属性之间的关系，而文本挖掘则是分析和发现大量非 结构化文本中的关系。文本挖掘研究的关键在于文本内容的量化表 征。 。 从文本挖掘的定义可以看出，文本挖掘就是从文本或文本集 合中提取有用知识的过程，而知识的表达方式是多种多样的。例如， 可以是概念，规贝| j ，规律。模式，约束等。 1 3 2 2 文本挖掘的处理过程 文本挖掘的处理过程分为三步：文本挖掘过程包括文本集合的 预处理( 文本数据的选择、清洗、分类、特征提取等) 、索引与存储、 中间表示分析( 聚类、趋势分析、关联规则发现等) 、后处理( 知识 的评价与取舍、知识的解释与知识的可视化表达) 等步骤。文本数 据挖掘的一般处理过程可以用图1 - 1 来概括描述。首先选取待处理 和分析的文本，对挖掘的文本进行分词处理，把文本切分成特征词 条，建立挖掘对象的特征表示。特征表示一般采用文档特征向量， 但是分词后的初始特征向量具有惊人的维数，因而特征向量的缩减 处理成为文本挖掘处理过程中一个必不可少的环节。在完成特征向 量维数的缩减后，确定应用范围，包括收集应用所涉及领域内的背 景知识，理解应用要求并且确定应用所要达到的目标，便可以利用 机器学习的方法来提取面向特定应用的知识模式。最后对获取的知 识模型进行质量评价，若评价的结果满足一定的要求，则存储该知 识模式，否则返回到以前的某个环节分析改进后进行新一轮的挖掘 工作。 特征集 的建立 特征硬 的缩蕞 学习与知识 模式的获取 援式质 量的评 价 图卜1 文本数据挖掘的处理过程 1 0 知识模 式 第一章绪论 1 3 2 3 文本挖掘的研究内容： 文本挖掘的主要研究内容：文本分类，文本聚类，文本结构分 析，胃e b 文本数据挖掘。 ( 1 ) 文本分类指按照预先定义的主题类别，为文档集合中的 每个文档确定一个类别，用户不但能够方便地浏览文档，而且可以 通过限制搜索范围来使文档的查找更容易、快捷。目前用于中文文 本分类的方法较少，主要有朴素贝叶斯分类、向量空间模型t ( 2 ) 文本聚类没有预先定义好的主体类射，目标是将文档集 合分成若干个簇，要求同一簇内文档内容的相似度尽可能的大，而 不同簇之间的相似度尽可能小。 ( 3 ) 文本结构分析目的是为了更好地理解文本的主题思想， 了解文本所表达的内容以及采用的方式，包括识别文本的各个层次 及分析各个层次闯的联系。以结构分析为基础，拨出文本主题句， 经整理组合构成文本摘要。 ( 4 ) w e b 文本数据挖掘，w e b 已经发展成为拥有3 亿个页面的分 布式信息空间，在这些大量、异质的w e b 信息资源中，蕴含着具有 巨大潜在价值的知识，人们迫切需要从w e b 上快速、有效的发现资 源和知识的工具。 1 3 2 4 文本挖掘的特点 ( 1 ) 文本挖掘处理的是大规模的文本集合，而不是一个或少 量的自然语言文本。 ( 2 ) 文本数据的高维是文本最重要的特点，一般的数据挖掘、 数据检索的方法由于计算量过大而不具有可行性，有必要对现有的 方法加以改变以适应高计算量、高资源消耗的文本处理特点，也可 以研究文本表示的新方法或有效的维数约简方法。 ( 3 ) 文本挖掘抽取的知识是具有潜在价值的，是直接可用的， 它或者是某个特定用户感兴趣的，或者对于解答某个特定问题是有 用的。 ( 4 ) 由于文本数据的特点，文本挖掘算法的复杂度必须在时 第一章绪论 日j 和空间上是多项式的，并且应具有很强的鲁棒性。 ( 5 ) 文本挖掘是个多学科交叉的研究课题，包括数掘挖掘、 机器学习、统计擎、自然语言处理、信息抽敬、可视化技术、数据 库技术等。 1 3 2 5 文本挖掘常用技术 文本挖掘一般可采用下面几种方法： ( 1 ) 人工丰枣经髓络：仿造生理神经网络结构的菲线性预测模 型，通过学习进行模式识别。 ( 2 ) 决策树：代表着决策的树形结构，可以利用信息熵建立 最小的分类树。 ( 3 ) 遗传算法：基于进化理论，并采用遗传结合、遗传变异、 以及自然选择等设计方法的优化技术。 ( 4 ) 近邻算法；将数据集合中每个记录进行分类的方法。 ( 5 ) 规则推导：从统计意义上对数据中的“如果一那么”规则 进行寻找和推导。采用上述技术的某些专门的分析工具已经发展了 大约十年的历史，不过这些工具所面对的数掘量较小。而现在这些 技术已经被直接集成到许多大型的工业标准的数据仓库和联机分 析系统中去了。 1 3 2 ，6 文本挖掘中面临的课题 文本挖掘目前面临的问题包含挖掘算法的效率和可扩展性、遗 漏及噪声数据的处理、私有数据的保护与数据安全性。 文本挖掘中的许多问题并不是在该领域内首先提出的，因此， 文本挖掘与许多领域都有密不可分的关系，其中关系最密切的包 括：数据挖掘，统计学，机器学习，模式识别，神经网络，可视化， 自然语言处理等。然而，许多其它领域提出的算法主要针对结构化 数据，并且现在文本挖掘要处理的文本集合可能非常大因此要求 处理速度快，随着i n t e r n e t 的发展，出现了大量的半结构化h t m 文档，文本挖掘面临许多新的研究课题： ( 1 ) 文本的表示 第一章绪论 文本挖掘处理的是自然语言表示的文本，是无结构或半结构 化数掘，缺乏计算机可理解的语义，在进行文本挖掘之前，需要对 文本进行预处理，对文本进行特征提取，从而把文本表示为计算机 可读的一种中b j 形式。目前，虽然自然语占处理领域的研究已取得 很大进展，但还没有一种能够完全表示文本语义的一种中问形式。 对于不同的挖掘目的，也需要使用不同复杂度的中问表示形 式。对于细粒度的、领域特定的知识发现任务，需要进行语义分析， 以得到足够丰富的表示，抓住文本中对象或概念之间的关系。但是 语义分析计算量大，如何使计算机更快地进行语言分析并且对于大 文本集合具有可扩展性是一个挑战性的问题。 ( 2 ) 降维问题 通常文档的特征向量会达到数1 0 万维的大小，高维的特征可能 会大大增加机器学习时i 日j ，因此，降维是至关重要的。 ( 3 ) 跨语言问题 数据挖掘算法是以数据库中的结构化数据作为输入的，语言是 独立的，而文本挖掘是以自然语言文本作为输入的，依赖于自然语 言。由于自然语言的多样性，各种语言各有其特点，在一种语占中 有效的文本挖掘功能却很可能不适用于其他语占，待处理的文本集 合中可能存在多种语言写成的文本，因此，文本挖掘功能要考虑至 找能够语言之间的语义转换，需要一个语言模型及系统的方法，这 将构成跨语言文本挖掘的重要部分。 ( 4 ) 大规模文本集合 i n t e r n e t 的发展，电子商务和数字图书馆的兴起和广泛应用， 永久存储设备价格的不断降低，所以这些都使得各公司各机构储存 的文本信息的规模越来越大，电子文本库中文本数量达几十万，几 百万之多。对如此之大的文本集合进行处理，必须有快速高效的文 本挖掘算法。 ( 5 ) 模式的理解和可视化显示 在许多应用中，发现的模式的可理解性对于用户来说是很重要 的，提高可理解性的解决方法通常包括以图形方式显示结果，提供 相对少量的规则，或者生成自然语言以及利用可视化技术等，提供 第一章绪论 。更友好的用户界面。而目前的文本挖掘系统主要针对有经验的专 家，一般人很难使用。 ( 6 ) 算法运行中参数的设定和调节 很多算法运行时需要用户设定许多参数，有些参数是很难理解 的，因而也很难j 下确设定，如何让算法自动选择相对较好的参数值， 而且在算法运行的过程中自动地选择相对较好的参数值，而且在算 法运行的过程中自行调节参数的取值，是很多算法能否被广泛使用 的一个关键问题。 ( 7 ) 算法的选择 面对多种多样的文本挖掘算法，各种算法各有其特点，如何从 中选择一个适合于具体应用的算法是一个尚待研究的问题。 ( 8 ) 领域知识集成 当前的文本挖掘系统大都未采用领域知识，领域知识很有用， 可以提高文本分析效率，有助于以更紧凑的表示形式等，因此，考 虑把领域知识集成到文本挖掘系统中。 ( 9 ) 中文文本分词技术 在印欧语系语言中，词与词之问有空格作为固定的分隔符，因 此容易进行分词，而在中文中，词与词之日j 没有分隔符，一个句子 是由一串连续的汉字组成，加之汉语中的词具有不同的长度，相同 的字可出现在许多不同的词中，还有许多词是由单个字组成，这使 得中文分词是一项很难的工作，需要快速有效的技术。 1 3 2 7 文本挖掘的应用领域 由于目前绝大多数信息均表现为文本方式，文本挖掘技术，随 着信息时代的发展而得到重视和研究，具有广发的应用价值和商业 前景。典型的各领域内的常见应用可归纳如下： ( 1 ) 网站管理，信息分流和过滤 网站对大量文本集合进行层次结构的组织和管理，如y a h 0 01 等，限定搜索范围，从而提高查询效率和查询结构的质量。对查询 结果进行聚类分析，把主题类别返回给用户，用户可选择最感兴趣 的类别进一步浏览，不仅可以提高查询结果的质量，还可大大减少 第一章绪论 网络数据传输量。信息传播、分流和过滤、组织和总结商业信息， 发给感兴趣的用户。 ( 2 ) 市场管理，质量管理和顾客关系管理 挖掘用户的购买模式，根掘用户购买模式来安排商品的进货和 促销策略，从而进一步提高商品销售量，降低运营成本。分析专利 数掘库等，发现重大技术趋势和机会，识别在特定领域中最活跃的 公司，特定技术领先的国家，以及技术是如何发展等。 ( 3 ) 风险预测 利用文本挖掘技术发现的知识可以引导投资的方向，预测股票 行情，解释经济指数的变化，成功的案例给许多人带来可观的经济 利润。 1 。4 基于模糊逻辑理论的数据及文本挖掘研究综述 1 4 1 模糊逻辑用于聚类 聚类分析是多元统计分析的方法之一，也是统计模式识别中非 监督模式识别的一个重要分支，聚类分析也被称为无监督分类。聚 类是将物理或抽象对象的集合分组成为由类似的对象组成的多个 类的过程被称为聚类。目前已提出了很多不同的聚类方法来解决聚 类问题。聚类分析技术大体上分为硬聚类方法、模糊聚类方法和可 能性聚类方法。 硬聚类方法4 1 ，4 2 ，4 3 “i 将样本对各个类的隶属度分成0 和l 两种 值，取值为0 表示该样本不属于这一类，取值为l 表示该样本属于 这一类。传统的硬聚类方法包括c 均值，i s o d a t a ，f o r g y - , w i s h 等，这些方法大体上可分成二大类：启发式和划分式。启发式方法 将数据进行树状分类，常常给出数据的几种可能的分类情况；划分 式则不同，它将数掘按照某种标准划分成单一的结果，划分技术包 括目标函数法( 平方误差) 、密度估计( 模型搜寻) 、图结构和最近 邻法。硬聚类算法具有花费时间少的优点，但其缺点也是很明显的。 山于硬聚类割断了样本与样本之间的联系，无法表达样本在性态和 第一章绪论 类属方面的中介性，使得所得的聚类结果偏差较大，而且易陷入局 部最优解。 由于客观世界中大量存在着界限并不分明的聚类闯题，如区分 “青年人”和“中年人”就需要模糊划分，因此模糊聚类应运而生。 模糊聚类方法将样本对各个类的隶属度扩展到区间【0 ，l 】，该类方法 是基于z a d e h 在1 9 6 5 年提出的模糊集理论。模糊聚类顾及到样本 与样本之间的联系，认为每一个样本与各个聚类中心都有一个隶属 关系。模糊聚类能够有效的对类与类间有交叉的数据集进行聚类， 所得到聚类结构明显优于硬聚类，模糊聚类方法1 4 5 , 4 6 1 大体上分层 下面几种：基于相似关系的聚类方法、基于数据集的凸分解、基于 目标函数的聚类方法、基于目标函数的聚类方法1 8 3 , 8 4 】、基于模糊 关系的传递闭包、聚类神经网络和基于先进的优化算法 1 2 4 l 的聚类 方法。模糊聚类一般要求每个样本对各个类的隶属度之和为1 ，这 一要求是对划分情况的概率约束。这一约束反映不出样本的典型 性，对含有噪声的数据机的分类结果很不理想。与硬聚类算法相比， 模糊聚类司法的收敛速度要慢得多。 可能性聚类 4 7 , 4 8 1 也将样本对各个类的隶属度取成区问【0 ，1 】，但 可能性聚类不要求每个样本对各个类的隶属度之和为l 。可能性聚 类不仅顾及到每一个样本与各个聚类中心的隶属关系，而且考虑到 样本的典型性对分类结果的影响，能够对含有噪声的数据集进行聚 类。最近的研究表明1 40 1 ，可能性聚类与传统的鲁棒性统计理论有 密切的关系。可能性聚类对初始化非常敏感，需要借助其它方法( 如 模糊聚类技术) 对数据集进行预处理。 从数据集的划分空间上看，硬聚类是超立方体的顶点上搜寻最 优解；模糊聚类是在超立方体的一个超平面上搜寻最优解；可能性 聚类是在超立方体内搜寻最优解。 模糊聚类分析的开创性工作是由r u s p i n i1 4 9 ，5 0 ，5 1 1 于1 9 6 9 年作 出的。该项工作基于z a d e h 于1 9 6 5 年提出的模糊集合论。b e z d e k 和d u n n 于1 9 8 7 年提出了c 均值模糊聚类法t 8 8 , $ 9 , 9 0 ，之后人们提 出多种模糊聚类方法，并应用于生物学、商业、经济、工程、信息 科学、医药学等许多领域。 第一章绪论 在1 9 8 1 年模糊c 均值算法( f c m ) 由b e z d e k 提出并广泛应用。 文献【7 】指出其有三个主要缺陷：( 1 ) 需要确定聚类数；( 2 ) 选择 初始聚类中心；( 3 ) 处理球状的数据。在不同的隶属度定义方法下 最小化目标函数，就得到不同的模糊聚类方法。文献【l l 】提出一种 基于球形的模糊c 均值算法的中文文本聚类方法，聚类方法能充分 考虑了文本隶属于类的程度，并能通过用户给定的阂值将给定的文 本归到多个类；文献【1 2 】提出模糊c 原型算法和竞争凝聚算法，该 模糊聚类能充分体现汉语的多样性和大量性。然而球形模糊c 均值 和模糊c 原型算法需预先指定聚类数，在迭代过程中聚类数不再改 变；竞争凝聚算法需预先指定聚类数，在迭代过程中改变聚类数和 k 值，直到中心的参数不再改变。 在确定聚类数的问题方面目前已作了很多研究工作，文献【5 2 】 提出 u n s u p e r v i s e d r o