(农业机械化工程专业论文)基于xml的web数据挖掘及关联算法的研究.pdf_第1页
(农业机械化工程专业论文)基于xml的web数据挖掘及关联算法的研究.pdf_第2页
(农业机械化工程专业论文)基于xml的web数据挖掘及关联算法的研究.pdf_第3页
(农业机械化工程专业论文)基于xml的web数据挖掘及关联算法的研究.pdf_第4页
(农业机械化工程专业论文)基于xml的web数据挖掘及关联算法的研究.pdf_第5页
已阅读5页,还剩43页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

摘要 基于x m l 的w e b 数据挖掘及关联算法的研究 农业机械化工程专业硕士研究生廖鹏 指导教师左源瑞副教授 摘要 近年来,随着互联网的迅速发展,互联网上的数据越来越庞大,而且数据的种类也越来 越繁杂,怎样能够有效地利用这些复杂的数据,从中发掘有价值的信息成了现今的研究热点。 由于w e b 上的数据没有特定的模型描述,是一种半结构化或者是无结构的数据,那么相 对于传统的数据库挖掘技术而言,就存在着很多的困难;瑚l 是一种半结构化的数据模型,可 以很容易地将x m l 的文档描述与关系数据库中的属性对应起来,实施精确的查询和模型抽取。 所以,面向x m l 的数据挖掘技术有着不同于传统数据库上的数据挖掘技术的特点。此外a p r i o r i 算法是一个经典的关联规则挖掘算法,但是它存在这需要频繁重复扫描数据库以及产生数量 庞大的2 一项集等弊端。 本文在介绍了数据挖掘、w e b 数据挖掘、) a 几等一些基本概念、技术、方法、过程的基础 上,完成了从x m ls c h e m a 文档映射为关系模式的设计,即在基于) 眦的w e b 数据挖掘与传统 的基于关系数据模式的数据挖掘算法中间建立了联系之后,对传统的a p r i o r i 算法进行了分 析和改进,通过实验证明,改进后的算法获得了较好的效率和性能。 关键字:儿w e b 数据挖掘关联规则 a b s t r a c t a b s t r a c t r e c e n ty e a r s ,t h eq u a n t i t ya n dt h ek i n do fd a t ao ni n t e m e tb e c o m eh u g e h o wt ob s e t h e s ec o m p l e xd a t a , a n dg e tu s e f u li n f o r m a t i o nf r o m t h e mi sar e s e a r c hh o t s p o t b e c a m eo ft h ed a t ao ni n t e r n e th a s1 1 0s p e c i a lm o d e ld e s c r i p t i o n , t h e ya r eak i n do f s e n t i s t r u c t u r eo rn o n s t r u c t u r ed a t a s oi ti sh a r df o ru st od od a t am i n i n gc o m p a r e dt o t h et r a d i t i o nd a t a b a s e x m li sak i n ds e m i s t r u c t u r ed a t am o d e l ,i ti se a s yt om a t c ht h e x m l sd o c u m e n td e s c r i p t i o na n da t t r i b u t ei nr e l a t i o n s h i pd a t a b a s e ,t od op r e c i s ei n q u i r y n l ed a t am i n i n gt e c h n o l o g yb a s e do nx m li sd i f f e r e n tf r o mt h ed a t am i n i n gt e c h n o l o g y f o rt r a d i t i o n a ld a t a b a s e a p r i o r ia r i t h m e t i ci sac l a s s i ca s s o c i a t i o na n a l y s i sa l g o r i t h m , b u tt h e r ea r es e v e r a lm a l p r a c t i c es u c ha s :i tn e e dt os c a nt h ew h o l ed a t a b a s er e p e a t e d l y , a n di tw o u l dg e n e r a t eah u g en u m b e ro f2 一f r e q u e n c yi t e m i nt h i sp a p e r , f i r s ts o m ec o n c e p t s ,t e c h n o l o g y , m e t h o d sa n dp r o c e s s e so fd a t am i n i n g , w 曲d a t am i n i n g , x m la r ei n t r o d u c e & t h e nak i n do fm e t h o dt h a tm a pt h ex m i , s c h e m ad o c u m e n ti n t or e l a t i o nm o d e lw h i c hc a nb u i l dac o n n e c tb e t w e e nw e bd a t a m i n i n gb a s e dx a v i la n dt r a d i t i o n a ld a t am i n i n ga l t o f i t h ma r ei n t r o d u c e d a tl a s tt h e c l a s s i ca p r i o f ia l g o r i t h ma r ea n a l y s e da n di m p r o v e d n ee x p e r i m e n ts h o w e dt h a tt h e i m p r o v e da r i t h m e t i ch a s ab e t t e rp e r f o r m a n c e k e yw o r d s :x m l ;w e bm i n i n g ;a s s o c i a t i o n i i l 独创性声明 学位论文题目:基王婴坠煎壁垒数量控握丞差基篡洼鱼盈塞 本人提交的学位论文是在导师指导下进行的研究工作及取得的研 究成果。论文中引用他人已经发表或出版过的研究成果,文中已加了 特别标注。对本研究及学位论文撰写曾做出贡献的老师、朋友、同仁 在文中作了明确说明并表示衷心感谢。 学位论文版权使用授权书 本学位论文作者完全了解西南大学有关保留、使用学位论文的规 定,有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允 许论文被查阅和借阅。本人授权西南大学研究生院( 筹) 可以将学位 论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩 印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书,本论文:口不保密,口 保密期限至年月止) 学位论文作者签名: 麂刍 谚| 妒易导师始肜彬咯 签字日期1 年孕月矾 第1 章绪论 第1 章绪论 1 1 研究背景 随着互联网的迅速发展,w e b 上的数据量以及数据类型增长迅猛,i n t e m e t 俨 然已经成为最丰富的信息来源。如何充分利用有用数据,并从中挖掘发现隐含的 信息,进行复杂的应用,成了数据库技术的研究热门。 然而w e b 相对于有效的数据仓库和数据挖掘而言,有着独自的特点,w e b 数 量庞大;w e b 页面内容相对于传统的文本文档也复杂得多等等。解决这些问题的 途径就是将传统的数据挖掘技术和w e b 结合起来,进行w e b 数据挖掘。w e b 数据 挖掘就是从大量w b 文件中抽取感兴趣的、潜在的、有用的模式和隐藏的信息。 但是传统的数据库中的数据结构性很强,其中的数据为完全结构化的数据,而 i n t e m e t 的数据是一种半结构化的数据。所谓半结构化是相对于结构化和非结构化 而言的,它既不是完全结构化的也不是完全非结构化的。因为它的页面也具有一 定的描述层次、存在一定的结构,所以我们将它称为半结构化的数据。针对i n t a n e t 上的数据半结构化的特点,寻找一个半结构化的数据模型则成为解决上述问题的 关键所在。 x m l 是e x t e n s i b l em a r k u pl a n g u a g e 的缩写。扩展标记语言x m l 是一种简单 的数据存储语言,使用一系列简单的标记描述数据,而这些标记可以用方便的方 式建立,虽然x m l 占用的空间比二进制数据要占用更多的空间,但x m l 极其简 单易于掌握和使用。x m l 是s g m l ( 标准通用标记语言,s t a n d a r dg e n e r a l i z e d m a r k u pl a n g u a g e ) 的一个子集。x m l 己经成为数据表示的一种开放标准,独立于 机器平台、提供商和编程语言,从而在不同的系统、不同的数据库、不同的语言 之间搭起沟通的桥梁。 x m l 文件描述的语义非常清晰,很容易与关系数据库的属性一一对应,因此 可以利用x m l 对数据挖掘技术和h i t e m c t 上数据结构的特征进行分析,并把x m l 作为一种半结构化的数据模型实施查询与模型抽取。x m l 利用其良好的可扩展性 和自描述性,形式与内容分离,严格的语法及多语种的支持等特性,在数据的集 成,发送,处理和显示的各个环节中表现出卓越的性能。因此,x m l 的出现为解 决异构数据源的集成和查询这个问题提供了可能性。 因此研究基于x m l 的数据挖掘技术对于x m l 技术和通用的数据挖掘技术的 发展都有很大的促进作用。 第1 章绪论 皇曼曼曼! 皇蔓曼曼曼曼皇曼曼曼蔓皇曼! 一 ;一 i ;i i 皇曼曼寡曼! 量皇量曼曼鼍 1 2 课题研究状况 1 2 1w e b 数据挖掘技术的研究发展状况 随着网络和通信技术的飞速发展,互联网正在以前所未有的速度渗入到人类 的生产和生活的各个方面。互联网作为一个信息交流的全球性公共媒体,涵盖了 政治、经济、军事、教育、商业等各个领域,正是由于w e b 上包含巨大的信息量 使得越来越多的用户感觉到在w w w 上寻找自己想要的信息犹如“大海捞针 一 样困难。用户关心的其实只是w e b 信息中极少的一部分,而且大量的无关信息会 干扰甚至淹没用户感兴趣的内容,所以如何快速、准确且高效地从浩瀚的w e b 信 息资源中搜寻和发现用户感兴趣的信息和知识已经成为一个迫切需要解决的问 题。而将传统的数据挖掘技术与w e b 有机地结合在一起,进行w e b 挖掘是解决这 些问题的一个有效的途径。因此将数据挖掘和r w v y 这两个领域结合起来,就形成 了当前的一个热门研究课题w 幽挖掘。 w e b 数据挖掘指使用数据挖掘技术在w w w 数据中发现潜在的、有用的模式 或信息。w e b 数据挖掘研究覆盖了多个研究领域,包括数据库技术、信息获取技 术、统计学、人工智能中的机器学习和神经网络等。 尽管w e b 挖掘的形式和研究方向层出不穷,但随着电子商务的兴起和迅猛发 展,未来w e b 挖掘的一个重要应用方向将是电子商务系统。而与电子商务关系最 为密切的是用法挖掘n s a g e 蛐曲,也就是说在这个领域将会持续得到更多的重 视。w e b 使用挖掘主要有两个研究发展方向:一般化的w e b 使用模式分析和个性 化的w e b 使用模式的分析。一般化的w e b 使用模式分析是从w e b 日志中挖掘用户 的访问模式和预测用户的访问趋势。个性化的w e b 使用模式分析是挖掘某一类或 几类用户或多个用户访问网站的行为规律,从而使网站能够动态地为用户提供个 性化的服务以极大的满足用户的需求。针对w e b 使用挖掘的两个发展方向,国内 外许多大学和研究机构将理论研究和实际应用结合起来开展了大量的研究工作并 且开发出了许多具有代表性的w e b 使用挖掘的实际原型系统。国内开发研制的 w e b 分析系统有:网站智能分析系统w e b i a m ,以及西安交通大学研制的日志挖 掘实验系统,s w l m s 等。 1 2 2x m l 技术的研究发展状况 n t e m e t 提供了全球范围的网络互连与数据交换功能,其丰富的信息资源给人 两南大学硕七学位论文 曹曼曼曼曼皇! 曼曼! 鼍! i; 一 ii i 蔓曼曼曼曼曼! 曼曼曼曼曼曼曼曼曼曼皇曼曼鼍曼曼蔓曼曼曼曼曼曼曼曼曼! 曼曼曼曼曼 们的学习和生活带来了极大的便利。特别是应运而生的h t m l ( 超文本标记语言) , 以简单易学、灵活通用的特性,使人们发布、检索、交流信息都变得非常简单, 从而使w e b 成了最大的环球信息资源库。然而,电子商务、电子出版、远程教育 等基于w e b 的新兴领域的全面兴起使得传统的w e b 资源更加复杂化、多化,数据 量的日趋庞大对网络的传输能力也提出更高的要求。同时,人们对w e b 服务功能 的需求也达到更高的标准,传统的h t m l 由于自身特点的限制,不能有效地解决 上述问题:作为一种简单的表示性语言,它只能显示内容而无法表达数据内容,而 这一点恰恰是电子商务、智能搜索引擎所必需的。另外,h t m l 语言不能描述矢 量图形、数学公式、化学符号等特殊对象,在数据显示方面的描述能力也不尽如 人意。最重要的是:h t m l 只是s g m l ( s t a n d a r d g e n e r a l i z e dm a r k u pl a n g u a g e ,标 准通用标记语言) 的一个实例化的子集,可扩展性差,用户根本没有能力自定义有 意义的标一记供他人使用。这一切都成为w e b 技术进一步发展的障碍。 x m l 语言提供了一套跨平台、跨网络、跨程序语言的数据描述方式。各行各 业的人都可以针对自己的需求定义所需要的文件格式,在w e b 上发布,并且以x m l 文档的格式作为数据交换的标准格式在i n t e m e t 上实现数据交换。 1 9 9 8 年2 月万维网协会( w 3 c ) 设计了x m l ,它是s g m l 的一个子集,是针对 s g m l 和h t m l 的局限性而创立的。它既具有s g m l 的强大功能和可扩展性,同 时又具有h t m l 的简单性。s g m l 中所有非核心的、未被使用的和含义模糊的部 分都被删除,剩下的就成为短小精悍的标记工具x m l 。x m l 保留了s g m l s o 的功能,而其复杂程度则降低到原来的2 0 ( x m l 的规范只有2 6 页,而当初s g m l 的规范却长达5 0 0 页之多) 。 x m l 不像h t m l 那样仅仅应用于w e b 站点,它在电子商务、数据库、知识 管理、数据交流与共享、自然语言转换等方面都有广泛应用。2 0 0 0 年以后x m l 在 计算机科学外的科技领域也得到了应用,例如:m a 也x m l ( 数学x m l ) 、c m l ( 化 学蛆l ) 、删天文x m l ) 等语言,它们使得专业语言的表示不再困难。 1 2 3 采用x m l 的w e b 数据挖掘的研究发展状况 2 0 0 0 年以后,国内外把x m l 和数据挖掘结合起来的研究逐渐增多,由于x m l 广泛应用于w e b 上,因此基于x m l 的w e b 挖掘( w e bm i n i n g ) 的研究越来越受到 重视,研究的重点包括:x m l 表达的w e b 数据模型,基于w e b 的半结构化数据 存储模型,x m l 数据查询技术等相关问题,研究的w e bm i n i n g 包括w e b 内容挖 4 第1 章绪论 掘、w e b 结构挖掘、w e b 使用挖掘。 在国外,对基于x m l 的w 曲数据挖掘研究大概可以分为两大流派:一是以 美国为首,包括日本,新加波等国,以传统数据库技术为主要技术支撑,重点研 究如何利用现有的数据库技术实现对x m l 数据的管理;另一个是以德国,法国为 首,包括英国等,重点研究如何对整个x m l 文档进行有效的管理,目标是研究一 种能够对w e b 上的所有x m l 数据进行有效管理的x m l 数据库。国内也有一些院 校和研究机构从事基于x m l 的信息处理方面的研究工作。 现在x m l 正在成为i n t e m e t 上数据描述和交换的标准,并且在将来x m l 将 代替h t m l 而成为w e b 上驻留数据的主要格式,为了将现有的w e b 网页转换为 x m l 文档,已提出了w m a ( w e bm i n i n ga g e n t ) 系统,现今普遍认为的数据挖掘形 式可以分为知识发现和预言挖掘两大类,上述绝大部分文献在研究基于x m l 的数 据挖掘应用时,往往只注意到了x m l 在w e bm i n i n g 方面的应用,这只是一种基 于x m l 文档的知识发现。而对于x m l 在数据挖掘预言模型中的应用研究的不是 太多。x m l 在数据挖掘预言模型中的主要应用是p m m l ( p r e d i c t i v em o d e lm a r k u p l a n g u a g e ) ,它是种基于x m l 的语言,用来对数据挖掘预言模型进行描述和定 义。它是由国际化组织数据挖掘工作组( d a t am i n i n gg r o u p ,简称d m g ) 提出的, 它描述了大量不同的模型,包括预言模型、聚集和关联规则等。 1 3 论文组织结构 本文主要研究了x m l 和数据挖掘两项技术的结合点,提出了一个基于x m l 数据挖掘系统模型。在该模型中对数据挖掘的各个环节都提出了用x m l 技术来解 决的途径,在实践中找到了x m l 和数据挖掘一些新的结合点。课题主要研究了 x m l 用于异构数据集成、数据预处理和x m l 数据集上的数据挖掘等问题,并对 重点研究的基于x m l 的关联规则数据挖掘给出了具体实现和实验结果分析。 论文的组织结构如下: 第一章,绪论:从总体上论述了课题的来源和意义、技术背景以及课题的主 要工作; 第二章,w e b 数据挖掘及x m l 概述; 第三章,基于x m l 的w e b 数据挖掘技术; 第四章,系统设计及a p r i o r i 算法的改进; 第五章,结束语。 第2 章捌l 概述 第2 章x m ,概述 x m l ( e x t e n s i b l em a r k u pl a n g u a g e ,可扩展标记语言) 是由万维网协会( w 3 c ) 于 1 9 9 5 年2 月设计发布特别为w 曲应用服务的s g m l ( s t a n d a r dg e n e r a lm a r k u p l a n g u a g e ) 的一个重要分支。x m l 是一种类似于h t m l 被设计用来描述数据的语 言,其设计目标是实现s g m l 丰富功能与h t m l 易用性的结合。 x m l 中的标志( t a g ) 是没有预先定义的,使用者必须要自定义需要的标志, x m l 是能够进行自解释( s e l f d e s c r i b i n g ) l 拘言。x m l 使用d t d ( d o c t l m e n tt y p e d e f i n i t i o n , 文档类型定义) 来显示数据,使用x s l 样( e x t e n s i b l es t y l es h e e tl a n g u a g e , x m l 样式表语言) 或c s s ( c a s c a d i n gs t y l es h e e t ,层叠样式表) 来描述这些数据如何 显示。使用d o m ( d o c u m e n to b j e c tm o d e l ) 或s a x ( s i m p l ea p if o rx m l ) 文档对象模 型来处理数据。由于x m l 能够标记更多的信息,所以它能使用户很轻松地找到所 需要的信息。 2 1x m l 文档的基本结构 帆用于对文档进行数字化的表示,把文档转化成某种计算机可读的代码, 使计算机可对这些文档进行诸如存储、处理、查询、传送、显示和打印等工作。 为了使计算机能够有效地处理这些文档,就必须告诉它文档的结构。 1 元素与属性:逻辑结构 大多数文档都可以分成一些组件( 章节和文章) ,这些组件又可分成一些更小 的组件( 如标题、段落、图片等等) ,而文档中具体内容用文本表示。在x m l 中, 组件称为元素,表示具体内容的文本称为文档的字符数据。x m l 元素用来描述文 档的逻辑结构。元素是x m l 文档的基本单元。元素可以互相嵌套,形成树形结构。 2 实体:物理结构 x m l 提供了一种机制,可以使文本线性地组织,即以多片( m u l t i p l e p i e c e s ) 的 形式组织。“文本片”这个概念称为实体,每个实体都有名字。x m l 元素是描述 文档的逻辑结构,而实体是描述组成x m l 文档的字节块的位置,即描述文档的物 理结构。 在文档中,可以通过插入实体引用来使用实体,x m l 处理器将会用实体替换 相应的实体引用,这一过程称为文本替换。这样,同一文本可在很多不同的环境 中自动地重复使用,在某一处的更新就可以影响到使用这一文本的所有地方,这 7 西南大学硕士学位论文 种特性称为外部实体。非x m l 对象( 包括图形、电影、声音、原始文本p d f ,h t m l 等) 也可以用同样的方式引用,称为不可分析的实体,也称为数据实体。 3 标记 元素构成x m l 的树形文档,实体管理文档的尺寸和复杂性。而描述文档的逻 辑结构、连接物理实体的记号称为标记。x m l 文档就是由标记和字符数据构成的。 两者都使用u n i c o d e ,都称为x m l 文本,即字符数据+ 标记= l 文本。为了区 别于字符数据,标记使用一种特殊的字符,这种字符称为分隔符。最常见的分隔 符是小于号( “ ) 、或与号( “ ) 和分号( “; ) 。在h t m l 和 基于s g m l 的语言中都使用了类似的语法。 4 文档类型 文档类型是根据其中的元素定义的。如果两个文档包含了完全不同的元素, 或虽然元素相同,但它们以完全不同的方式组合在一起,那么它们很可能不属于 同一种文档类型。 如果是一个x m l 文档,它必须有某种由元素、属性和组件构成的结构。在为 文档创建样式表的时候,要根据这个结构知道其中的元素,根据元素类型名称知 道它们的含义,然后根据元素确定在何处显示。这种结构就是文档类型。 在x m _ l 中,可以使用文档类型定义( d o c u m e n tt y p ed e f i n i t i o n ,d t d ) 形式化 文档类型,也可以用说明来描述这种文档的结构,但使用d t d 可以让x m l 文档 的书写者更专注于自己的工作。 2 2x m l 的特点 x m l 作为一种可扩展的标记语言,其自描述性使其非常适用于不同应用之间 的数据交换,而且这种交换不以预先设定的一组数据结构定义为前题。x m l 克服 了h t m l 的不足,在将互联网上的文档规范化的同时,保留了h t m l 所具有的简 洁、适于传输和浏览的优点,集s g m l 和h t m l 的优势于一身,成为下一代互联 网发展的核心。具体地说,x m l 具备以下一些特点: 1 良好的可扩展性 在没有x m l 的时候,要想定义一个标记语言并推广利用它非常困难。而现在 x m l 允许各个不同的行业根据自己独特的需要制定自己的一套标记,并能迅速投 入使用,使得制定新的标记语言简单易行。 2 内容的自描述性 第2 章x m l 概述 x m l 是面向内容的标记语言,在x m l 中的标记一方面限定了元素的层次结 构,另一方面也说明了元素的含义。在x m l 的搜寻结果中由标记就可知道内容的 含义,这也使得搜寻结果更有意义。 3 数据内容与形式的分离 x m l 不仅允许自定义一套标记,而且这些标记不必局限于显示格式的描述。 x m l 允许根据各种不同的规则来制定标记,比如商业规则,根据数据描述甚至根 据数据关系来制定标记。x m l 是自描述语言,在x m l 中显示样式从数据文档中 分离出来放在样式单文件中;在x m l 中数据检索可以简单高效地进行。 4 严格的语法要求 严格的语法要求固然表面上显得繁琐,但一个具有良好语法结构的文档可提 供良好的可读性和可维护性,长远来看大有裨益。 5 显示的多样性 x m l 一个非常鲜明的特点是把数据的显示格式和数据的表示分离。在x m l 中,可以用格式文件如x s l ( e x t e n s i b l es t y l el a n g u a g e ) 来定义x m l 的显示格式j 也可以利用h t m l 作为x m l 的显示模板,把x m l 数据以数据岛的形式内嵌到 h t m l 页面中,这种分离可以实现不同数据源数据的无缝连接,各种数据可以在 中间件上转换为x m l 格式,使得数据很容易地进行在线交换和传输。 2 3x m 数据处理 1 数据存取机制 从整体上讲,x m l 定义了应用间传递数据的结构,而且这种结构的描述不是 基于二进制的只能由程序去判读的代码,而是一种简单的能够用通用编辑器读取 的文本。图2 1 表示了x m l 的数据存取机制。 图2 - 1x m l 的存取机制 9 两南大学硕十学位论文 x m l 数据源多种多样,根据具体的应用,大概可分为下面三种: 第一种是x l v i l 纯文本文档;第二种是关系型数据库:第三种则来源于其他各 种应用数据,如邮件、目录清单、商务报告等。其中,第一种来源,即x m l 纯文 本文档是最基本的也是最为简单的,将数据存储于文件中,其最大的优点在于可 以直接方便地读取,或者加上样式信息在浏览器中显示,或者通过d o m 接口编程 同其他应用相连。第二种数据来源是对第一种来源的扩展,其目的是便于开发各 种动态应用,其优点则在于通过数据库系统对数据进行管理,然后再利用服务器 端应用( 如a s p ,j s p ,s e r v l e t ) 等进行动态存取。这种方式最适合于当前最为流行 的基于三层结构的应用开发,也是本系统所主要面对的数据来源。 对于x m l 文档,可以通过d o m ( d o c u m e n to b j e c tm o d e l ) 读取x m l 文档中的 节点,是最基本也是最底层的x m l 存取技术。d o m 是w 3 c 的一种技术标准,实 际上是提供一组a p i 来存取x m l 数据。d o m 可以通过j a v a s c r i p t ,v b s 嘶p t 等脚 本程序来实现,也可通过c + + ,j a v a 高级语言来实现。 其次,也可通过d s o ( d a t as o u r c e o b j e c t ) 进行x m l 的数据绑定可以方便地 将x m l 节点同h t m l 标记捆绑,从x m l 文档中读取或写入数据,就像访问 m i c r o s o f ta c c e s s 或s q ls e r v e r 一样;而h t t p + s q l 是m i c r o s o f t 新近提出的s o a p 方案的核心,其基本原理是通过基于h 1 瞪协议的u r l 方式直接访问s q ls e r v e r 数据库,并返回x _ m l 或h t m l 数据格式的文档。 2 x m l 与数据库 数据库提供了对于大批量数据的有效存储管理和快速信息检索、查询的功能。 从体系结构上看,数据库技术的发展历经了网络型数据库、层次型数据库、关系 数据库、面向对象数据库。虽然面向对象数据库融入了面向对象技术,但是到目 前为止,在各个领域使用最广的还是关系数据库。关系数据库管理系统( r d b m s ) 采用二维表格作为存储数据的模型,表格由行和列组成,一般情况下,列被称作 “字段”用于表示组成数据有效信息的属性,而行则用于指示一条完整的数据记 录。由于数据间的相关性可以通过表与表之间关键字( 外键) 来关联,由此产生了“关 系 类型的数据库。 针对x m l 数据,一般有两种存储方式:一是将其按结构层次拆分开来分别存 于不同字段,二是将x m l 文档原封不动地存入数据库。为了保持x m l 信息的完 整性,更好地研究x m l 的各种特性,本课题研究中涉及将x m l 存储到数据库的 时候都以第二种方式存储x m l 文档。 l o 第2 章观概述 曼曼l i 一_ i i i i ii iii i i i i i 皇曼篡曼量曼蔓! 曼皇曼量曼鼍 3 x m i ,作为数据交换格式的主要特点 ) a e x t e n s i b l em a r k u pl a n g u a g e ) 是由万维网协会( w 3 c ) 设计,特别为w 曲应 用服务的s g m l ( s t a n d a r dg e n e r a lm a r k u pl a n g u a g e ) 的一个重要分支。总的来说, x m l 是一种中介标示语言( m e t a - m a r k u pl a n g u a g e ) ,可提供描述结构化资料的格 式,详细来说,x m l 是一种类似于h t m l ,被设计用来描述数据的语言。x m l 提供了一种独立的运行程序的方法来共享数据,它是用来自动描述信息的一种新 的标准语言,它能使计算机通信把i n t e r n e t 的功能由信息传递扩大到人类其他多种 多样的活动中去。x m l 由若干规则组成,这些规则可用于创建标记语言,并能用 一种被称作分析程序的简明程序处理所有新创建的标记语言,正如h t m l 为第一 个计算机用户阅读i n t e r n e t 文档提供一种显示方式一样,x m l 也创建了一种任何 人都能读出和写入的世界语。x m l 解决了h t m l 不能解决的两个w e b 问题,即 i n t e m e t 发展速度快而接入速度慢的问题,以及可利用的信息多,但难以找到自己 需要的那部分信息的问题。x m l 能增加结构和语义信息,可使计算机和服务器即 时处理多种形式的信息。因此,运用x m l 的扩展功能不仅能从w e b 服务器下载 大量的信息,还能大大减少网络业务量。 利用x m l ,w e b 设计人员不仅能创建文字和图形,而且还能构建文档类型定 义的多层次、相互依存的系统、数据树、元数据、超链接结构和样式表。 正是x m l 的特点决定了其卓越的性能表现。x m l 作为一种标记语言,有许 多特点: 简单。x m l 经过精心设计,整个规范简单明了,它由若干规则组成,这些规 则可用于创建标记语言,并能用一种常常称作分析程序的简明程序处理所有新创 建的标记语言。x m l 能创建一种任何入都能读出和写入的世界语,这种创建世界 语的功能叫做统一性功能。如x m l 创建的标记总是成对出现,以及依靠称作统一 代码的新的编码标准。 开放。x m l 是s g m l 在市场上有许多成熟的软件可用来帮助编写、管理等, 开放式标准x m l 的基础是经过验证的标准技术,并针对网络做最佳化。众多业界 项尖公司,与w 3 c 的工作群组并肩合作,协助确保交互作业性,支持各式系统和 浏览器上的开发人员、作者和使用者,以及改进x m l 标准。x m l 解释器可以使 用编程的方法来载入一个x m l 的文档,当这个文档被载入以后,用户就可以通过 x m l 文件对象模型来获取和操纵整个文档的信息,加快了网络运行速度。 高效且可扩充。支持复用文档片断,使用者可以发明和使用自己的标签,也 西南大学硕士学位论文 可与他人共享,可延伸性大,在x m l 中,可以定义无限量的一组标注。x m l 提 供了一个标示结构化资料的架构。一个x m l 组件可以宣告与其相关的资料为零售 价、营业税、书名、数量或其它任何数据元素。随着世界范围内的许多机构逐渐 采用x m l 标准,将会有更多的相关功能出现:一旦锁定资料,便可以使用任何方 式透过电缆线传递,并在浏览器中呈现,或者转交到其他应用程序做进一步的处 理。x m l 提供了一个独立的运用程序的方法来共享数据,使用d t d ,不同的组中 的人就能够使用共同的d t d 来交换数据。你的应用程序可以使用这个标准的d t d 来验证你接受到的数据是否有效,你也可以使用一个d t d 来验证你自己的数据。 国际化。标准国际化,且支持世界上大多数文字。这源于依靠它的统一代码 的新的编码标准,这种编码标准支持世界上所有以主要语言编写的混合文本。在 h t m l 中,就大多数字处理而言,一个文档般是用一种特殊语言写成的,不管 是英语,还是日语或阿拉伯语,如果用户的软件不能阅读特殊语言的字符,那么 他就不能使用该文档。但是能阅读x m l 语言的软件就能j 顷利处理这些不同语言字 符的任意组合。因此,x m l 不仅能在不同的计算机系统之间交换信息,而且能跨 国界和超越不同文化疆界交换信息。 2 4x m l 的技术规范 i 文档定义类型( d o c u m e n tt y p ed e f i n i t i o n ,d t d ) 文档类型定义是一种保证x m l 文档格式正确的有效方法,它使用正式的语法 定义x m l 文档的结构和允许值。一个d t d 文档包含:元素的定义规则,元素间关 系的定义规则,元素可使用的属性,可使用的实体或符号规则。d t d 文件也是一 个a s c i i 的文本文件,后缀名为d t d 。 通过建立d t d ,能够正式而精确地定义词汇表。所有词汇表都包含在d t d 当中。x m l 创作工具也可通过类似的方式使用d t d 。一旦选择了d t d ,创作工 具就能够实施d t d 中的规则,它根据d t d 中说明的结构,仅允许用户在文档中 添加d t d 允许的元素和属性。使用d t d 最大的好处在于d t d 文件的共享。比如, 两个相同行业不同地区的人用同一个d t d 文件来作为文档创建规范,那么他们的 数据就很容易交换和共享。网上有其他人想补充数据,也只需要根据公用的d t d 规范来建立文档,就立刻可以加入。 目前,已经有数量众多的写好的d t d 文件可以利用。针对不同的行业和应用, 这些d t d 文件已经建立了通用的元素和标签规则。当然,每个人都可以创建自己 1 2 第2 章) 眦概述 m iri m i 曼曼蔓舅曼曼皇蔓曼! 曼皇! 曼曼鼍曼曼曼曼曼曼曼曼曼皇皇曼皇皇曼! ! 皇曼曼曼曼曼曼曼曼曼皇曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼 的d t d 。调用d t d 文件的方法有两种:一种是直接包含在x m l 文档内的d t d 。 在d o c t y p e 声明中插入一些特别说明就可以。另外一种是调用独立的d t d 文件。 将d i d 文档存为d t d 的文件,然后在d o c t y p e 声明行中调用。 2 文档对象模型( d o c u m e n to b j e c tm o d e l ,d o m ) 文档对象模型是如何用h t m l 或者x m l 对这个对象进行操作和控制的标准, 其作用就是告诉s c r i p t 如何在浏览器窗1 :3 中操作和显示这些标识。使用d o m 优点 很多,它能保证正确的语法和格式正规性;能从语法中提取内容;能简化内部文 档操作;能贴切的反映典型的层次数据库和关系数据库的结构。 d o m 规范只描述访问机制,不涉及特定的实现。为了把这些信息应用于特定 的问题中需要使用d o m 应用程序接口。编写通过d o m 访问x m l 文件的软件时, 必须使用特定的d o m 实现。实现是某种形式的类库,它设计为运行在特定的硬件 和软件平台上,并访问特定的数据存储。 d o m 和x m l 应用程序可分为:服务器端的d o m 和客户端的d o m 。服务器 端的d o m 能够极大地简化不同商业系统之间的数据交换,并为数据的存档和获取 提供了理想的机制。 随着d o m 与主要浏览器的集成,可以使用客户端d o m 对x i v i l 文档进行操 作,为用户提供更高的交互。系统可以从客户端收集结构化的信息,并将它一次 性传回服务器,而不必要通过跨越几个页面的一系列表单获取这些信息。 3 简易应用程序编程接口( s i m p l e a p if o r 咀。s a x ) 在用d o m 处理大型文件时其性能下降的非常厉害,因而效率不高,并且会过 度使用资源。一种替代方法就是使用扩展标记语言简易应用程序编程接口。s a x 提供了一个用来解析x m l 数据的基于事件的框架,扫描整个文档,允许正在读取 文档时处理该文档,避免了在采取操作之前需要等待存储文档的所有内容。 s a x 的优点有:可以解析任意大小的文件;适合创建自己的数据结构;适合 小信息子集;简单、快速。 在s a x 解析器装载x m l 文件时,它遍历文件文档并在其主机应用程序中产 生事件( 经由回调函数、指派函数或者任何可调用平台完成这一功能) 表示这一 过程。这样,编写s a x 应用程序就如同采用最现代的工具箱编写g u i 程序。 在处理文档时最关心的就是元素事件。通常,s a x 解析器会向主机应用程序 提供包含元素信息的事件参数;在最低程度下也会提供元素的名字。具体取决与 特定实现,可以定义不同类型的元素事件代表不同类型元素的处理。例如,注释 西南大学硕士学位论文 元素就经常在接受处理时产生特殊的事件。 4 可扩展样式语言( e x t e n s i b l es t y l e s h e e tl a n g u a g e ,x s l ) 可扩展样式语言是基于x m l 的样式表语言,被设计用来转换x m l 文档到另 一个x m l 文档或转换x m l 为可翻译对象,是设计x m l 文档显示样式的主要文 件类型。使用x s l 可以灵活设置文档显示样式,文档将自动适应任何浏览器和 p d a 。 x s l 包含3 部分:一个转换x m l 文档的方法;一个定义x m l 部分和模式的 方法;一个格式化x m l 文档的方法。原始的x s l 被分割成三种不同的语言:转 换工具( x s l t ) 、翻译工具( x s l f ) 和x m l 分级命令处理工具( x p a t h ) 。x s l t 是一种用来将x m l 文档转换成其他类型文档或其他x m l 文档的语言。x p a t h 是 一种对x m l 文档的部分进行寻址的语言,设计x p a t h 是让x s l t 使用的。格式化 是将一个x s l 转换的结果变成适于读者或听众使用的输出格式的过程。 x s l 工作原理如下: 用x s l t 处理器扫描整个x m l 文档,将其转化成一个节点树,在转换过程中, x s l t 用x p a t h 来定义源文档中与一个或多个预先确定的模板相匹配的部分。当找 到一个匹配时,x s l t 就将源文档中的匹配部分转换成结果文档,而源文档中不与 任何一个模板匹配的部分最终在结果中保持不变。 , 在将x m l 文档映射到节点树之后,x s l t 处理器使用x s l t 样式表处理各个 节点。在x s l t 样式表中,模板规定了如何转换x m l 文档。它包括两部分:节点 标签和指令。前者表示该模板将应用到x m l 文档的哪一个节点上,后者规定如何 对x m l 文档进行转换。 1 4 第3 章w e b 数据挖掘技术 第3 章w e b 数据挖掘技术 随着网络信息资源的急剧增长,人们越来越多地关注如何开发和利用这些资 源。然而,目前中英文搜索引擎均存在查准率、查全率不高的现象,这种现状无 法适应用户对高质量的网络信息服务的需求:同时电子商务以及各种网络信息服 务迅速兴起,原有的网络信息处理与组织技术无法赶上这样的发展趋势,w e b 数 据挖掘就是在这样一种环境下应运而生的,并迅速成为网络信息检索、信息服务 领域的热点之一。 3 1w e b 数据挖掘的定义及特点 国外有人认为:网络信息挖掘就是利用数据挖掘技术,自动地从网络文档以 及服务中发现和抽取信息的过程。国内则众说纷纭。有学者将网络环境下的数据 挖掘归入网络信息检索与网络信息内容的开发。也有站在信息服务的角度上提出 “信息挖掘 ,指出其有别于传统的信息检索,能够在异构数据组成的信息库中, 从概念及相关因素的延伸比较上找出用户需要的深层次的信息,并提出信息挖掘 将改革传统的信息服务方式而形成一个全新的适合网络时代要求的信息服务组 厶 1 7 :1o 总而言之,w e b 数据挖掘是一项综合技术,涉及到w e b 、数据挖掘、计算机 语言学、信息学等多个领域。w e b 数据挖掘就是从w e b 文档、w e b 活动中抽取感 兴趣的、潜在的有用模式和隐蔽信息。w e b 挖掘可以在很多方面发挥作用,如对 搜索引擎的结构进行挖掘,确定权威页面,w e b 文档分类,智能查询,建立w e b 数据仓库等。 w e b 挖掘从数据挖掘发展而来,因此其定义与我们熟知的数据挖掘定义相类 似,都是在对大量的数据进行分析的基础上,做出归纳性大的推理,预测客户的 行为,帮助决策者做出正确决策的过程。但w e b 数据挖掘相对于传统的数据挖掘 有很大的不同,具体体现在异构数据库环境、半结构化的数据结构等几个方面。 w e b 上的数据大多是h t m l 格式,有关某个主题的信息杂乱地散步在各个站 点的多个目录下,这样就需要有一个强大搜索引擎,通过查找关键字,定位超文 本的位置。其次,针对不同的数据格式,需要个智能化的系统理解那些以自然 语言描述的数据。那么此时数据源之间可能存在冗余或者不一致,如何鉴别出正 确的数据,去除噪声和干扰,是数据挖掘前首先应完成的工作。 西南大学硕士学位论文 曼鼍曼鼍曼鼍曼曼曼皇置曼曼皇! 皇皇皇曼皇曼曼曼曼曼曼曼曼曼i ii | 曼! 曼! 曼曼量曼曼皇曼! 皇量曼!

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论