XML在Web数据挖掘中的应用论文.doc

目 录1.绪论12. Web数据挖掘概述12.1 数据挖掘的基本概念12.2 Web数据挖掘的基本概念、分类和应用22.2.1Web数据挖掘的基本概念22.2.2Web数据挖掘的分类32.2.3Web数据挖掘的应用32.3 Web数据挖掘的特点42.3.1Web数据挖掘的数据分类42.3.2 Web数据的特点42.4进行Web数据挖掘需要解决的问题53.XML概述53.1 XML起源63.2 XML的特点63.3 XML的应用范围74. XML应用于Web数据挖掘的过程75.长沙近期天气信息挖掘应用实例95.1 问题描述95.2 建立基于XML技术的Web数据挖掘模型95.3 挖掘过程的标准Web技术实现106.总结与展望16XML在Web数据挖掘中的应用摘要：Web是一个动态性极强的信息源，访问、分析Web数据需要研究异构数据的集成问题。本文介绍了数据挖掘的基本知识、Web数据挖掘的概念及XML的特点，阐述了将XML应用于Web数据挖掘的基本理论，并结合标准的Web技术开发方法，以在YAHOO!页面上抽取长沙地区天气信息为实例，描述了基于XML技术的Web数据挖掘过程。关键词：Web数据挖掘；可扩展标记语言；超文本标记语言The Application of XML in Web Data MiningAbstract：Web is an information resource with dynamic. In order to visit and analyze these data, we must study how to integrate these isomerism data. This paper introduces the basic knowledge of Data mining, the concepts of Web data mining and the characters of XML. It expounded the basic theory of the application of XML in Web data mining. And combine standard Web technology method of exploitation, by the example of extracting weather information of Changsha area from YAHOO.com, described the Web data mining process which based on the XML technology.Keywords：Web Data Mining；XML；HTML1.绪论当前由于WWW在深度和广度方面正飞速的发展，使得Internet成为目前最丰富最密集的信息来源之一。近年来,越来越多的机构、团体和个人在Internet上发布、查找信息。但不幸的是，尽管作为信息主要载体的HTML可以提供一种方便的向读者呈现信息的方法，但是它并不是一个很好的可以从WWW中抽取与数据驱动的服务等相关信息的结构。其主要原因在于，Web上的数据以多种形式存在，没有特定的模型来描述，每一个站点的数据都是由各个站点的设计人员自行进行设计与组织，并且数据本身还存在着自我描述性和动态可变性。由于以上所述原因，人们想要在Web上寻找自己所需的数据犹如大海捞针一般。如何解决这个问题，现在通用的一个方法就是，将传统的数据挖掘技术和Web结合起来，进行Web数据挖掘。面向Web的数据挖掘比传统的面向单个数据库的数据挖掘要复杂的多，传统数据库中的数据结构性很强，其中的数据为完全结构化的数据；如果把Internet看成一个更大、更复杂的数据库，则Web上的数据的数据结构并不是一种结构化数据，而是一种被我们称之为半结构化的数据或是异构数据，所谓半结构化是相对于结构化和完全非结构化数据而言的。但是Internet上的数据不是完全结构化的也不是完全非结构化的，其原因在于它的页面存在一定的描述层次，存在有一定的结构，故称之为半结构化数据。针对Internet上的数据半结构化的特点，寻找一个半结构化的数据模型成为了解决问题的关键所在。由W3C定义的XML是一种设计标记语言的规范，为目前依然十分混乱的HTML世界提供了框架结构，其TAG具有语义。XML由用户定义，能够映射一定的数据的含义，且XML文件描述的语义十分清晰，很容易跟关系数据库一一对应。因此，可以利用XML对数据挖掘技术和Internet上的数据结构的特征进行分析，并把XML作为一种半结构化的数据模型实施查询与数据抽取，使得用户在海量的Web数据中抽取有用的数据成为可能 。2. Web数据挖掘概述2.1 数据挖掘的基本概念从商业角度分析，数据挖掘(Data Mining，DM)就是按企业的既定业务目标，对海量的企业数据进行深层次分析以揭示隐藏的、未知的规律性的东西将其模型化，从而支持商业决策活动。从技术角度而言，数据挖掘就是从大型数据集（可能是不完全的、有噪声的、不确定性的、各种存储形式的）中，挖掘隐藏在其中的、人们事先不知道的、对决策有用的知识的过程。数据挖掘的过程可以粗略分为以下几个步骤：问题定义（Task Definition）、数据收集和预处理（Data Preparation and Preprocessing）、数据挖掘（Data Mining）算法执行以及结果的分析和评估（Interpretation and Evaluation）。图21具体的描述了数据挖掘的基本过程和主要步骤。原始数据被选择的数 据预处理后的数据转换后的数据被抽取的数据分析的结果问题定义数据收集和预处理数据挖掘算法执行结果的分析和评估选择预处理转换挖掘分析图21 数据挖掘的基本过程和主要步骤需要注意的是：数据挖掘是一个不断反馈重复的过程。比如，用户在挖掘途中发现选择的数据不太好或者使用的挖掘技术产生不了期望的结果，这时，用户就需要不断重复以前的步骤，甚至是从头重新开始。2.2 Web数据挖掘的基本概念、分类和应用2.2.1Web数据挖掘的基本概念当数据挖掘应用于网络环境下的Web就称为Web数据挖掘（Web Data Mining），其目的是从Web文件和Web活动中筛选感兴趣的潜在有用的模式和隐蔽的信息。故Web数据挖掘可以广义的定义为从WWW中发现和分析有用的信息。我们可以从更一般的角度来阐述Web数据挖掘这个概念。Web数据挖掘是指从大量Web文档结构和使用集合C中发现隐含的模式P。如果将C看作输入，P看作输出，那么Web数据挖掘就是如下一个映射： F（x）：C P2.2.2Web数据挖掘的分类Web数据挖掘根据它所挖掘的Web信息来源可分为Web内容挖掘（Web Content Mining）、Web访问信息挖掘（Web Usage Mining）和Web结构挖掘（Web Structure Mining）。具体如下图所示：Web数据挖掘内容挖掘访问信息挖掘结构挖掘文本信息挖掘多媒体信息挖掘掘URL挖掘内部结构挖掘 图22 Web数据挖掘的分类2.2.3Web数据挖掘的应用Web数据挖掘的主要应用有以下几个方面：首先，通过Web数据挖掘可以提供个性挖掘：针对单个用户的使用记录对该用户进行建模，结合该用户基本信息分析他的使用习惯、个人喜好，目的是在电子商务环境下为该用户提供与众不同的个性化服务。其次，通过Web数据挖掘可以使得系统得以改进：Web服务（数据库、网络等）的性能和其他服务质量是衡量用户满意度的关键指标，Web挖掘可以通过用户的拥塞记录发现站点的性能瓶颈，以提示站点管理者改进Web缓存策略、网络传输策略、流量负载平衡机制和数据的分布策略。此外，可以通过分析网络的非法入侵数据找到系统弱点，提高站点安全性，这在电子商务环境下尤为重要。再次，通过Web数据挖掘可以进行站点修改：站点的结构和内容是吸引用户的关键。Web挖掘通过挖掘用户的行为记录和反馈情况为站点设计者提供改进的依，比如页面连接情况应该如何组织、那些页面应该能够直接访问等。还有，通过Web数据挖掘可以提供智能商务服务：用户怎样使用Web站点的信息无疑是电子商务销售商所关心的重点，用户一次访问的周期可分为被吸引、驻留、购买和离开四个步骤，Web挖掘可以通过分析用户点击流等Web日志信息挖掘用户行为的动机，用以帮助销售商来合理的安排销售策略。最后，通过 Web数据挖掘可以进行Web特征描述：这类研究关注通过用户对站点的访问情况统计各个用户在页面上的交互情况，对用户访问情况进行特征描述。2.3 Web数据挖掘的特点2.3.1Web数据挖掘的数据分类Web数据挖掘的数据通常包括以下三类：1、 用户的背景信息：此类信息主要来自用户的注册信息。但由于大部分用户不愿填写自己的真实的个人信息，因此不会如实填写注册表，这就造成数据挖掘的原始数据质量的低下。往往在这种情况下，就不得不从浏览者的浏览信息中来推测用户的背景信息。2、 浏览信息：浏览信息主要来自于浏览者的单击流（Clickstream），这部分数据主要用于考察用户的行为表现。Web上有海量的数据信息，人们在浏览网站时，包含了大量的潜在信息，如个人姓名和地址，单击了哪一个连接，在哪里浏览的时间和次数最多等。通常来说，这些信息可以分为两类：浏览者自身的信息和浏览内容信息。3、 Internet自身信息：这类信息来自Web本身，如网页内容、Web结构等。2.3.2 Web数据的特点Internet上包括了大量的Web站点，并且这些站点的数目正在快速增加。每一个Web站点就是一个数据源，这些数据源可以看作广泛意义上的数据库。相比传统意义上的数据库，Web上的数据的数量更大，结构更复杂。通过超级链接，这些内容和组织各异的Web站点就构成了一个巨大的异构数据库环境，所以处于Web环境中的数据就具有以下几个显著的特点：1、Web数据处于异构数据库的环境中若将Web上的每一个站点信息看作一个数据源的话，那么这些数据源是异构的，原因在于每个站点的信息和组织都不一样。想要利用这种海量数据进行数据挖掘的话，必须首先解决下述两个问题：首先，必须要研究站点之间的异构数据集成问题。只有将这些站点的数据都集成在一个统一的视图上，才有可能获取所需的东西；其次，解决Web上的数据查询问题，因为如果所需的数据不能很有效地得到，对这些数据进行分析、集成、处理就无从谈起。2、Web数据大部分为半结构化的数据Web上的数据非常复杂，没有特定的模型描述，每个站点的数据都各自独立设计，并且数据本身具有自述和动态可变性。是一种非完全结构化的数据。所谓半结构化数据是相对完全结构化的传统数据库的数据而言，半结构化的是Web数据的最大特点。3、Web数据是动态可变化的数据处于Web中的数据被认为是动态可变化的，原因有以下三点：首先，Web的信息是频繁变化的，如新闻、股票、天气等信息都是实时更新的。而且这种高变化也体现在页面的动态链接和随即存取上。其次，Web上的用户是难以预测的，原因在于不同的用户具有不同的知识背景、兴趣和访问目的。最后，Web上的环境数据是高噪声的。4、海量的Web数据中仅有小部分与Web数据挖掘研究的主题有关研究表明，一个Web站点的数据可能只有不超过1的信息是对特定挖掘主题是相关的。2.4进行Web数据挖掘需要解决的问题Web数据挖掘技术首先面临的问题是怎样解决半结构化数据源模型和半结构化数据模型的查询与集成问题。解决Web上的异构数据的集成与查询问题，就必须要有一个模型来清晰的描述Web上的数据。针对Web上的数据半结构化的特点，寻找一个半结构化的数据模型是解决问题的关键所在。除了要定义一个半结构化数据模型外，还需要一种半结构化模型的抽取技术，即自动地从现有数据中抽取半结构化数据地技术。面向Web的数据挖掘必须以半结构化模型和半结构化数据模型抽取技术为前提。3.XML概述Web站点的数据都是各自独立设计，并且数据本身具有自述性和动态可变性。因此面向Web的数据挖掘是一种复杂的技术。XML（Extensible Markup Language）是万维网协会（World Wide Web Consortium，W3C）设计的一种中介表示语言（Metamarkup Language），可提供描述结构化资料的格式。XML的扩展性和灵活性允许XML描述不同种类应用软件中的数据，从而能描述收集的Web页中的数据信息。由于基于XML的数据是自我描述的，数据不需要有内部表述就能够被交换和处理。因此，XML能够使来自不同来源的数据较容易的结合在一起，使搜索异构数据成为可能，为解决Web数据挖掘难题带来了希望。3.1 XML起源XML（ Extensible Markup Language）是由万维网协会（W3C）设计的，特别用于为Web应用服务的SGML（Standard General Markup Language，标准通用标记语言）的一个重要分支，XML与HTML是两个独立但不对立的标准。HTML的目的在于表示数据以便于在浏览器中显示，而XML的目的在于表示数据以便于机器处理，特别强调数据的语义与元素之间的关系。XML提供了一套独立运行程序的方法来共享数据，它可以用来自动描述信息，使计算机通信把Internet功能由信息传递到人类生活的各行各业去。因此，当Web上出现更多的XML内容时，Web搜索的精确程度必定有较大的提高。XML是一种完全面向数据语义的表示语言，其取消了HTML的显示样式与布局描述能力，突出了数据的语义与元素结构描述能力，从而帮助解决人们协同工作、信息重用中面临的许多问题。3.2 XML的特点正是XML鲜明的特点决定了其卓越的性能表现。XML作为一种标记语言，具有以下几个特点：1、XML具有数据的自描述性在XML语义标识中，一方面限定了元素的层次结构，这使得XML被看作一种半结构化的数据模型，从而可以标识半结构化数据；另一方面也说明了元素的含义，在XML搜索结果中，由标识就可以知道内容的含义，这使得搜索结果更有意义。这一点对于网络环境下XML进行半结构化数据的模型描述及其查询实现具有重要的作用。2、XML可以描述不同复杂度的数据XML可以用一种统一的数据模型描述来自不同数据源的数据，能屏蔽数据源中应用环境和数据结构的异构性。3、XML拥有可扩展性XML 具有在不破坏现有结构和系统的情况下增加新的数据字段的功能。应用服务器利用XML对所有数据建模，若改变数据模型只需要数据模式定义，如DTD（Document Type Definition，文档类型定义）等，不需要重新编码现有的对象。4、XML能够进行粒度级的更新XML可以实现当数据的一部分改变或者需要新增数据时，不必重新发送全部数据，仅需要将改变的内容或新增的信息从服务器发送到客户端。5、XML是一种国际化的标准XML由W3C指定，具有标准国际化，并且支持大部分的语言文字。这个特点源于它统一代码的新的编码标准，这种编码标准可以支持世界上以主要文字编写的混合文本。而在HTML中，就大多数的数字处理而言，一般一个文档就是用一种特殊语言编写的，若读者不懂这种特殊语言的字符，那么他就无法使用这个文档。但是，能够阅读XML的软件就能够顺利的处理这些字符的任意组合。所以，XML不仅能在不同的机器系统之间传递信息，也可以跨越国界和超越不同的民族文化来传递彼此所关心的信息。3.3 XML的应用范围促进XML应用的是那些HTML无法完成的Web应用，这些应用从大的方面讲有以下四个方面：首先，需要智能Web代理根据个人用户的需要裁减信息内容的应用。其次，显而易见，这些应用和Web的数据挖掘必须依靠XML来实现。再次，如何利用XML技术于Web数据挖掘，从而实现从众多公共网站上收集所需的信息？最后，Web页面只有在确定数据源后，创建一个可合并到现有数据集的数据集合之后才会被检索和处理。XML能够在Internet环境下得到应用广泛，原因在于它可以提供协同工作的功能，具有使用灵活、开放、基于标准格式的特点。这样，对于数据的访问和数据的交换提供了一种崭新的模式，可以预计，XML将成为一种新的基于Web的数据浏览和操作的标准。4. XML应用于Web数据挖掘的过程以XML为基础的新一代WWW环境是直接面对Web数据的，不仅可以较好的兼容原有的Web应用，而且可以更好的实现Web中信息的共享和交换。XML可以看作一种半结构化的数据模型，可以很容易的将XML文档描述与关系数据库中的属性一一对应起来，实施精确的查询和模式抽取。在XML没有成为正式的规范之前，开发人员仅仅利用HTML/Web服务器两层构架模型进行数据的集成与处理，但由于HTML通常是很难用程序手段处理的媒体，其页面的大多数内容描述采用的是与数据驱动无关的格式编排，因此直接导致Web浏览器在进行HTML语法分析时非常不严谨，从而导致开发人员利用HTML/Web服务器两层构架模型进行数据的集成与处理很难得到较满意的结果。目前，XML已经成为正式的规范，开发人员能够运用XML的格式标记和交换数据。XML能够在三层架构上为数据处理提供较完善的方法。使用可升级的三层模型，XML可以由存在的数据中产生出来，使用XML结构化的数据可以从商业规范和表现形式中分离出来 。这样，开发人员在利用添加了XML的三层构架模型中进行数据集成、发送和显示的处理，可以得到比较理想的结果。XML在三层模型中的位置如下图所示：HTML显示HTML显示WEB服务器DBDBXMLXML通过HTTP交换数据XML通过DOM处理数据XML数据的表示形式XML进一步处理XML存储中间层存储显示层图41数据集成、发送、处理和显示过程将XML技术应用于Web数据挖掘中，能够将Web中的异构数据转换为结构化数据，使得Web数据挖掘在数据预处理阶段的工作量得到大量的减少。图42表示了将XML运用于Web数据挖掘的全过程。www万维网TidyFile systemTransform图42 XML技术应用于Web数据挖掘的过程这一数据挖掘过程可以粗略的描述为以下步骤：1）标识数据源并把它映射成XHTML;2）查找数据内的引用点；3）将数据映射成XML；4）合并结果并处理数据。图42中Tidy是一个非Java自带的类库，Tidy类库可用于改正HTML文档中的常见错误并生成格式编排良好的等价文档，还可以使用它来生成XHTML格式的文档。它由W3C提供，可在/project/处免费下载。5.长沙近期天气信息挖掘应用实例5.1 问题描述 假设还需要了解长沙几个月以来的温度和湿度变化情况，现以/forecast/CHXX0013.html作为研究对象，从中抽取所需要的信息，后利用标准的Web技术开发方法，进行有效的数据预处理工作，为以后数据挖掘的展开做好前期工作。5.2 建立基于XML技术的Web数据挖掘模型建立在标准的Web开发技术基础上的（标准的Web开发方法指的是综合利用XML，HTML，Java等技术）数据抽取过程模型如下图5-1所示：WWW.转换XSL每个一段时间抽取数据利用XML进行转换合并到一个XML文件图51利用XML进行Web数据挖掘的模型针对长沙近期天气信息挖掘， 建立基于XML技术的Web数据挖掘模型的过程如下：Step1：从Internet上获取HTML页面信息，并将HTML映射为XHTML；Step2：查找数据引用点；Step3：通过XSL将数据映射成XML；Step4：合并结果并处理数据；Step5：实时监控并运行。以上步骤仅仅是对于数据挖掘整个过程的一次运行。往往在现实生活中，对于web数据挖掘，往往要经过多次的程序的重复运行，对多次挖掘的结果进行综合分析，才有可能得到较理想的结果。5.3 挖掘过程的标准Web技术实现要对长沙最近的天气进行数据挖掘，首先要做的是得到XHTML格式的源信息，这一步一般还是比较容易的。但如果是要在动态可变环境下抽取可用的较可靠和较稳定的信息源就比较的困难。而Yahoo!是最早的目录索引之一，也是目前最重要的搜索服务网站，在全部互联网搜索应用中所占份额高达36%左右。除主站（Mother Yahoo）外，还设有美国都会城市分站（Yahoo Cities，如芝加哥分站）、国别分站（如雅虎中国）和国际地区分站（如Yahoo Asia）。其数据库中的注册网站无论是在形式上还是内容上质量都非常高。所以，在这个实例分析中，计划采用/forecast/CHXX0013.html页面作为数据源，这样，所获取的数据的可信度就较高了。下图就是在Yahoo！中截取的某天长沙地区的温度的页面：图5-2Yahoo!网站的截屏视图在确定了数据源以后，接下来要做的是将HTML转换为XML，在这里使用Tidy类库提供的函数利用XMLHelper.tidyHTML（）方法执行转换，转换后的代码结果通过IE XML查看器如图5-3所示，其具体的程序代码如下：Public static void main(Sting args) Try Document doc=XMLHelper.tidyHTML(“/forecast/CHXX0013.html”); XMLHelper.outputXMLToFile(doc,”XML”+File.separator+”result.xml”);catch(XMLHelperException xmle) 图5-3 转换后的XML文档观察/forecast/CHXX0013.html页面可以看出，实际上页面里关于我们所需求的信息不是很多，并且大部分与需求无关。因此，要抽取我们所关心的数据，仅仅只要在XML树中找到一个特定的区域就可以完成。通过观察页面可以发现，所需要抽取的数据主要集中在页面的中上部分区域。基于此，可以推测，将要进行抽取的数据可能同时包含在一个下，且这个表总是包含如“Appar Temp”和“Dewpoint”一类的字样，不论当天的数据可能是什么。结合所观察到的内容，考虑页面所生成的XHTML。搜索“Appar Temp”的文本，就可以来确定挖掘区域。 而图54就说明了该文本确实在包含所需要的所有数据的表中。图54确定挖掘区域确定好需要挖掘的区域后，分析页面所生成的XHTML，发现需要把含有“Appar Temp”的表看成引用表或是锚。以便于数据的挖掘。通常，记录锚点可以使用XPATH表达式的方法来完成。指令如下所示：/html/body/center/table6/tr2/table2/tr/td/table6这个表达式指出了从根元素到锚的路径。但是很明显的问题在于：如果对页面进行修改的话，则路径容易失效。对于这类问题，可以采用XSL（可扩展的样式表语言，是为XML文档制定样式的一种语言）将XML树转换为字符串的方法进行避免。指令如下所示：/table/strats-with(nommailize-space(，),Appar Temp)有了这个锚，就可以开始创建实际的抽取代码，这个代码以XSL的形式出现，XSL文件的目的是标识锚，指定如何从锚获取正在查找的数据，并用所需的格式构造一个XML文件，具体的代码如下：/抽取Web页面中的Weather等信息/查找匹配的单元，XSL把找到的信息当作锚点，构造XSL格式的输出文件/指出变换的结果为XML格式 /建立根节点，用来搜索锚点/只匹配要匹配的内容最后要做的是检索XHTML文档，并使用XSL转换工具将检索结果转换为XML文档。主要的代码如下：Public static void main(Sting args) Try Document xhtml=XML Helper.parseXML FormURL String(file:/weather.xml);Documentxhtml=XML Helper.parseXML FormURL String(file:/XSL/weather.xml);Document xml= XML Helper.transformXML(xhtml,xsl);XMLHelper.outputXMLToFile(doc,”XML”+File.separator+”weather.xml”);catch(XMLHelperException xmle) 至此，基于XML面向Web的一次数据挖掘就完成了，得到是长沙当时的温度和湿度数据。但是，仅仅抽取长沙地区一天的温度和湿度数据没有任何的含义，所要做的是利用同一个Web站点在不同的时间内对长沙地区的温度和湿度数据进行多次抽取。然后，将多次抽取得到的结果结合到一个简单的XML数据文件中，图5-5是连续运行上述程序五