文本数据挖掘与Python应用 课件 第1章 绪论

第1章绪论文本挖掘是从数据挖掘发展而来的。绪论文本挖掘中涉及到的文档主要存储文本信息，即为文字信息，在微软在操作系统可以直接存取。文本挖掘的对象是文档的集合。文档本身是半结构化或非结构化的，无确定形式并且缺乏机器可理解的语义；而数据挖掘的对象以数据库中的结构化数据为主，并利用关系表等存储结构来发现知识。1.1文本挖掘研究背景及意义截至2018年12月，我国网民规模达8.29亿，普及率达59.6%，较2017年底提升3.8个百分点。信息产生的速度远远超过了人们收集信息、利用信息的速度，使得人们无法快速有效地查找到自己真正感兴趣的信息。有研究表明，网络中超过80%的信息包含于文本文档中。文本挖掘能够对Web上大量文档集合的内容可以使人们比较准确地找到需要的资料。

1.2文本挖掘的国内外研究现状利用词频统计用于文本自动分类

——50年代末，H.P.Luhn。文本自动分类

——1960年，Maron随后，以K.Spark,G.Salton以及K.S.Jones等人为代表的学者也在这一领域进行了卓有成效的研究工作。

1.2文本挖掘的国内外研究现状目前，国外的文本挖掘研究已经从实验阶段进入到实用化阶段。著名的文本工具有：IBM的文本智能挖掘机，其主要功能是文本特征提取、文档聚类、文档分类和检索，支持16种语言多种格式的文本检索，采用深层次的文本分析和索引方法，支持全文搜索和索引搜索，搜索条件可以是自然语言和布尔逻辑条件，是Client/Server结构，支持大量并发用户做检索任务，联机更新索引。Autonomy公司的核心产品ConceptAgents经过训练以后，能够自动从文本中抽取概念。TelTech公司的TelTech提供专家服务、专业文献检索服务及产品与厂商检索服务，TelTech成功的关键是建立了高性能的知识结构等。

1.2文本挖掘的国内外研究现状我国学术界正式引入文本挖掘的概念并开展针对中文的文本挖掘研究是从最近几年才开始的。清华大学计算机科学与技术系的汉语基本名词短语分析模型、识别模型、文本词义标注、语言建模、分词歧义算法、上下文无关分析、语素和构词研究等。中国科学院计算机语言信息工程中心的陈肇雄研究员及其课题组在汉语分词、自然语言接口、句法分析、语义分析、音字转换等方面做出了突破性贡献。哈尔滨工业大学计算机科学与工程系研究的自动文摘、音字转换、手写汉字识别、自动分词、中文词句快速查找系统等。上海交通大学计算机科学与工程系研究的语句语义、自然语言模型、构造语义解释模型（增量式）、范例推理、树形分层数据库方法（非结构化数据知识方法）等。

1.2文本挖掘的国内外研究现状东北大学计算机学院的中文信息自动抽取、词性标注、汉语文本自动分类模型等。对文本挖掘的理论方法和技术实现，国内外都在进行深入的研究和探讨，研究表明文本挖掘技术可以应用于以下几个方面:信息智能代理。主要为分布式信息网络环境下的信息査询服务。用户可以不知道所要检索的信息的具体形式和存储于何地、何种介质中，只要用户提出査找要求，文本挖掘技术会自动把信息源中各种形式的相关信息都检索出来。文本信息文摘。用包括题目和具有代表性的关键词进行抽取、计算和表达，自动选择重要的句子，产生文本信息摘要。

1.2文本挖掘的国内外研究现状基于内容检索。传统的基于几个关键词的检索很难描述具有丰富内涵的信息，而文本挖掘采用基于内容的检索技术可以从文本信息中抽取一些更为详细的、经过特殊加工的特征信息，大大提高了信息检索的全面性和准确性。信息过滤。根据用户需要，通过对多个不同信息集之间的比较进行信息过滤，产生适量的、合乎用户需求的信息。我国在文本挖掘方面特别是其商业化应用方面的研究仍明显落后于国外，因此，如何尽快提高我国的文本挖掘研究水平以及应用能力，是计算机科学领域迫切需要研究的重要课题之一。

1.3文本挖掘概述

文本挖掘的根本价值在于能把从文本中抽取出的特征词进行量化来表示文本信息。文本挖掘的概念文本挖掘属于多交叉科学研究领域，它涉及数据挖掘、信息检索、自然语言处理、计算机语言学、机器学习、模式识别、人工智能、统计学、计算机网络技术、信息学等多个领域。文本挖掘是指从大量文本数据中抽取事先未知的、可理解的、最终可用的信息或知识的过程。文本数据挖掘其主要目的是从非结构化文本数据中提取满足需求的、有价值的模式和知识，可以看成传统数据挖掘或知识发现的扩展。

1.3文本挖掘概述文本挖掘的任务

（1）文本挖掘预处理有效的文本挖掘操作取决于先进的数据预处理方法。事实上，为了从原始非结构化数据源给出或抽取结构化表示，文本挖掘可以说是非常依赖于各种预处理技术，甚至在某种程度上，文本挖掘可由这些预处理技术定义。当然，对文本挖掘来说，为了处理原始的非结构化数据，需要不同的预处理技术。文本挖掘预处理技术的类别繁多。所有方法都以某种方式试图使文本结构化，从而使文本集结构化。所以，同时使用不同的预处理技术从原始文本数据产生结构化的文本表示是很常见的。

1.3文本挖掘概述

（2）文本模式挖掘文本挖掘系统的核心功能表现为分析一个文本集合中的各个文本之间概念共同出现的模式。实际上，文本挖掘系统依靠算法和启发式方法跨文本考虑概念分布、频繁项以及各种概念的关联，其目的是使用户发现概念的种类和关联，这种概念的种类和关联是文本集合作为一个整体所反映出来的。一般来说，信息不是任何单个文本提供的，而是文本集合作为一个整体所提供的。模式分析的文本挖掘方法致力于在整个语料库中发现概念之间的关联。基于大规模和高维度特征集的文本挖掘方法，通常生成大量的模式。这将导致在识别模式时出现严重的问题，这个问题比目标是结构化的数据源的数据挖掘应用所面临的问题还要严重得多。

1.3文本挖掘概述

（3）挖掘结果可视化挖掘结果可视化是文本挖掘系统的表示层，简称浏览，充当执行系统的核心知识发现算法的后处理，当今的大多数文本挖掘系统都支持浏览，这种浏览是动态的和基于内容的。浏览是通过特定文本集合对实际原文内容加以引导，而不是通过严格预先定义的结构。一般来说，以层次结构形式用图形来表示概念模式可以方便用户浏览，这种层次结构形式通过为科学研究有效地组织概念来改善交互性能。文本挖掘系统将面对用户从潜在巨大的文本集合中获取的极其庞大的概念集。因此，文本挖掘系统必须能够使用户跨越这些概念，随时可以选择以“图”的方式浏览文本集概貌或局部细节。

1.3文本挖掘概述文本挖掘与数据挖掘的联系与区别目前，文本挖掘已经成为数据挖掘的一个重要研究方向，但它又区别于传统数据挖掘。传统数据挖掘面对的是结构化非文本数据，采用的大多是非常明确的定量方法，其过程包括数据取样、文本特征提取、模型选择、问题归纳和知识发现。而文本挖掘是以非结构化和模糊的文本数据为研究对象，利用定量计算和定性分析的办法，从中寻找信息的结构、模型、模式等隐含的具有潜在价值的新知识的过程。由于文本数据具有不同于一般数据的无结构或半结构化、高维数等特点，所以原来的数据挖掘的有些算法不再适合于文本挖掘，文本挖掘比传统数据挖掘要复杂得多。

1.3文本挖掘概述比较项数据挖掘文本挖掘研究对象用数字表示的、结构化数据无结构或半结构的文本对象结构关系数据库自由开放的文本目标获取知识、建立应用模型预测以后的状态提取概念和知识方法归纳学习、决策树、神经网络、关联规则等提取短语、形成概念，关联分析、聚类、分类成熟度1994年开始得到广泛应用从2000年开始得到广泛应用

1.4文本挖掘的过程文本挖掘过程一般从收集文档开始，然后依次为分词、文本特征提取和文本表示、文本特征选择、模式或知识挖掘、结果评价、模式或知识输出。文本挖掘的一本过程如图所示。

（1）文档收集。这个阶段进行数据采集，主要是收集与挖掘任务有关的文本数据。（2）分词。对中文文档来说，由于中文词与词之间没有固定的间隔符，需要进行分词处理。目前主要存在两种分词技术：基于词库的分词技术和无词典分词技术。（3）文本特征提取及文本表示。文本数据集经过分词后有大量文本特征组成，并不是每个文本特征对文本挖掘任务都有益，必须选择那些能够对文本进行充分表示的文本特征。

1.4文本挖掘的过程目前存在多种文本表示模型，其中最经典的就是向量空间模型(VectorSpaceModel,VSM)，该模型认为文本特征之间是相互独立的，因而忽略其依赖性，从而以易理解的方式对文本进行简化表示：D=（w1,w2,…,wn），其中wk（k=1,2,…,n）是文档D的第k个文本特征词，两个文档Di和Dj之间内容的相似度Sin(Di,Dj)可以通过计算文档向量之间的相似性来获得，一般用余弦距离作为相似性的度量方式。（4）文本特征选择。文本特征提取后形成的文本特征库通常包含数量巨大且冗余度较高的词，如果在这样的文本特征库上进行文本挖掘，效率无疑是低下的，为此，需要在文本特征提取的基础上进行文本特征选择，以便选择出冗余度低又较具代表性的文本特征集。

1.4文本挖掘的过程（5）模式或知识挖掘。经过文本特征选择之后，就可根据具体的挖掘任务进行模式或知识的挖掘。常用的文本挖掘任务有文本结构分析、文本摘要、文本分类、文本聚类、文本关联分析、分布分析和趋势预测等。（6）结果评价。为了客观地评价所获得的模式或知识，需要对它们进行评价。现在有很多评价方法，比较常用的有准确率(Precision)和召回率(Recall)。准确率是在全部参与分类的文本中，与人工分类结果吻合的文本所占的比率。其数学公式表示如下：

1.4文本挖掘的过程召回率是在人工分类结果应有的文本中，与分类系统吻合的文本所占的比率，其数学公式表示如下:

在某些情况中，我们也许需要以牺牲另一个指标为代价来最大化准确率或者召回率。例如，在对患者进行随访检查的初步疾病筛查中，我们想找到所有实际患病的患者，即希望得到接近于1的召回率。如果随访检查的代价不是很高，我们可以接受较低的准确率。然而，如果我们想要找到精度和召回率的最佳组合，我们可以使用F1值来对两者进行结合。F1值是对精度和召回率的调和平均：

（7）知识或模式输出。

1.5文本挖掘主要研究领域文本特征选择文本特征选择就是从原始的文本特征集中选择具有代表性、冗余度较低的文本特征子集的过程。当利用经典的的向量空间模型为基础对文本挖掘进行研究时，并且文本集经过文本特征抽取并用空间向量表示之后，其向量往往会达到数万维，如此高维数的文本特征集对后续的文本挖掘任务，如文本分类是很不利的，不仅大大限制了分类算法的选择，降低了分类算法的性能，影响了分类器的设计，为此需要进行文本特征选择以避免“维数灾难”。在文本特征选择过程中，通常是设计一个文本特征评价函数，然后计算每个文本特征的评价值，如果这个评价值高于给定的阈值，则选择该文本特征，否则放弃不用。国内主要是在国外技术的基础上研究适用于中文文本集的文本特征选择。

1.5文本挖掘主要研究领域文本结构文本结构分析的目的是为了更好地理解文本的主题思想，了解文本所表达的内容及采用的方式。它包括识别文本的标题、子标题、段落、句子、词汇以及文本层次的划分，分析文本主题与层次、段落，句子之间的关系。最终结果是建立文本的逻辑结构落。文本摘要文本摘要是指从文档中抽取关键信息，用简洁的形式对文档内容进行解释和概括。这样，用户不需要浏览全文就可以了解文档或文档集合的总体内容。任何一篇文章总有一些主题句，大部分位于整篇文章的开头或末尾部分，而且往往是在段首或段尾。因此文本摘要自动生成算法主要考察文本的开头、末尾，而且在构造句子的权值函数时，相应的给标题、子标题、段首和段尾的句子较大的权值。

1.5文本挖掘主要研究领域文本分类文本分类是文本挖掘中一种最常用最重要的技术，它是一种有监督机器学习技术，主要让机器记住一个分类模型并利用该模型给未知类别的文本分配一个或多个预先给定的类别，从而以较高的准确率来加快检索或査询的速度。这样，用户不但能够方便地浏览文档，而且可以限制搜索范围来使文档的搜索更容易、快捷。近年来，随着互联网技术的发展和普及，文本信息积累得越来越多，使得文本分类成为文本挖掘中的一个研究热点，出现了许多分类算法，不过，这些算法大多适用于英文文本分类，如基于案例的推理、K-最临近、基于中心点的分类方法等，但也有少量适用于中文文本分类的算法，如向量空间模型、朴素贝叶斯分类等。

1.5文本挖掘主要研究领域文本聚类本分类的目的是将未知类别的文档归入预定义的类中，而文本聚类是一种无监督机器学习技术，没有预先定义的类别，目的是将文档集划分成若干个簇，要求同一簇内文档的内容尽可能相似，而不同簇间的尽可能不相似。这样看来，它们的目的基本上是一致的，只是实现的方法不同。文本聚类也是文本挖掘中的一个研究热点，近年来出现了许多文本聚类算法，这些算法大致分为两类：层次凝聚法，该类以G-HAC算法为代表；平面划分法，该类以K-means算法为代表。由于传统文本聚类算法在搜索样本空间时具有一定的盲目性，所以它们在处理高维和海量文本数据时的效率不是很高。

1.5文本挖掘主要研究领域文本关联分析传统关联分析的目的就是发现特征之间或数据之间相互依赖的关系，其中，最早被研究的是关联规则挖掘。关联规则挖掘一般包括两个主要步骤：第一个步骤是挖掘频繁项集，第二个步骤是根据频繁项集生成关联规则。在这两个步骤中，第一个步骤是关联规则挖掘的关键，它决定了关联规则挖掘的整体性能，因此，现有的研究都集中在第一个步骤，也就是频繁项集挖掘上。在文本关联分析中，研究较多的是文本关联规则挖掘，其研究的重点也是频繁项集的挖掘。通常在文本集上产生的频繁项集数量巨大，相应地，产生的规则数量也十分巨大，但是有用的规则很少。由此可见，在给定的文本集上挖掘出适合需要的频繁项集是一个研究难点与热点。

1.5文本挖掘主要研究领域分布分析与趋势预测分布分析与趋势预测是指通过对文档的分析，得到特定数据在某个历史时刻的情况或将来的取值趋势。Feldman等人使用多种分布模型对路透社的两万多篇新闻进行了挖掘，得到主题、国家、组织、人、股票交易之间的相对分布，揭示了一些有趣的趋势。Wuthrich等人通过分析Web上出版的权威性经济文章对每天的股票市场指数进行预测，取得了良好的效果。

又如，广东省前汛期降水分布趋势的分析与预测。

1.6文本挖掘在制药企业应用案例随着互联网技术的出现及广泛应用，越来越多的人乐于借助网络平台发表对社会政治、经济、文化生活中事务的看法，网络媒体作为一种新媒体得以迅猛发展，对热点及重大事件，能马上形成有巨大影响的网络舆论，进而产生强大的社会舆论压力。现代企业充分利用文本数据挖掘快速获得相关信息。（1）在大量的科学出版物中，文本挖掘可以帮助我们找到相关的文章，进而节省时间和金钱。在法律上，如果在产品中发现了任何副作用，欧美制药公司都有义务召回其产品，并修改其传单页和其他相关文件中涉及到患者的信息。那么除了公司自己的研究方式以外，发现副作用的主要途径便是阅读其他研究人员的科学文章。由于每年发表出来的文章数量庞大，如果他们用手动处理所有的文章几乎是不可能的。

1.6文本挖掘在制药企业应用案例这样，制药公司就陷入了两难的局面：一方面，根据法律他们有义务跟踪其产品的所有副作用，以便修改产品规格或从市场上召回其产品；另一方面，购买所有可能提到某种药物的文章是一笔昂贵的开销，更不用说需要花费时间来处理所有这些文字了。为了解决此问题，科学出版商（或者是与出版商有关联的数据分析公司）会根据客户（制药公司)所指定的算法和方法，提供自动化的文章搜索服务。因此，我们可以为制药行业的客户开发了一种自动化文章搜索方案：运用文本挖掘平台来搜索文章及其元数据，从而保证客户只为最有可能包含相关文本的文章买单。

1.6文本挖掘在制药企业应用案例（2）文本挖掘的相关应用有助于定位目标公司所处的社交媒体空间，并分析它在空间里的认可程度。制药公司往往需要对自己的产品，及其竞争产品进行客观的评估，以制定出独有的发展战略。在此，文本挖掘处理系统，更适合应对大量的信息来源（包括：学术文章、杂志、新闻、产品评论网站等），以及五花八门的产品使用评论。

1.6文本挖掘在制药企业应用案例（3）有