通信学论文-网络信息资源的数据挖掘类型与应用研究.doc

通信学论文-网络信息资源的数据挖掘类型与应用研究随着Internet的飞速发展，网络信息资源急剧增长，网络信息过载问题日益突出，人们越来越多地关注如何开发和利用这些资源。然而，目前中英文搜索引擎均存在查准率、查全率不高的现象，这种现状无法适应用户对高质量的网络信息服务的需求；同时，电子商务以及各种网络信息服务迅速兴起，原有的网络信息处理与组织技术无法赶上这样的发展趋势。网络信息挖掘就是在这样的环境下应运而生，并迅速成为网络信息检索、信息服务领域的热点之一。网络信息的数据挖掘不仅包括对网页内容本身的挖掘，也包括其链接模式，以及用户访问、存取、浏览、发布、操作等操作行为、访问行为所产生的信息的挖掘。有效地研究、挖掘、利用网络信息可以增强网站的吸引力，有的放矢地吸引用户群，更有效地利用网络资源。一、网络信息资源及其特点网络信息资源是指放置在英特网上能满足人们信息需求的信息集合。网络信息资源极其丰富，包罗万象，其内容涉及农业、生物、化学、数学、天文学、航天、气象、地理、计算机、医疗和保险、历史、法律、音乐和电影等几乎所有专业领域，是知识、信息的巨大集合，是人类的资源宝库。网络信息资源是一种新型数字化资源，与传统文献相比有较大的差别。网络信息资源具有一下特点：1、数量大，类型多传播范围广。网络信息类型多样，有文本、数据、图像、图形、声频、视频信息、多媒体信息等；内容既有高质量的信息，也有有害信息和虚假信息，有个人信息也有在政府信息。最为特殊的是各种非正式信息被广泛生产与传播。2、网络信息资源没有统一的管理机制，信息安全缺乏保障。黑客攻击、计算机病毒和色情泛滥成为网络的三大痼疾。为防止有害信息耗费了大量的社会资源。3、网络信息资源分布零乱无序，信息更新快，寿命短，管理相对困难。信息发布自由，来源广泛，内容混杂，质量不一，控制也比较困难。4、以网站为信息活动的单位，以网页为信息发布和收集的单元。5、信息利用水平取决于网站软硬件的技术水平和服务能力，网络信息提供方式是以网站为基点并可在网站间灵活链接的信息服务网。6、网络创造了多层次的信息交流模式，全面反应了社会生活的各个领域，形成了百科全书式的知识网络和传播功能。二、数据挖掘的语言数据挖掘语言有助于数据挖掘系统平台的标准化，推动数据挖掘应用的发展。数据挖掘语言根据功能和侧重点的不同，可分为三种类型：数据挖掘查询语言、数据挖掘建模语言、通用数据挖掘语言。（一）数据挖掘查询语言DMQL数据挖掘查询语言DMQL由数据挖掘原语组成。数据挖掘原语用来定义一个数据挖掘任务，通过查询的方式实现与数据挖掘系统通信，获得所需信息。数据挖掘查询语言DMQL主要有五种基本的数据挖掘原语定义：任务相关数据原语、被挖掘的知识的种类原语、背景知识原语、兴趣度测量原语、被发现模式的表示和可视化原语。DMQL是基于这五种数据挖掘原语设计的查询式语言，类似于SQL语言的语法，因此很容易与SQL关系查询语言集成，很容易从关系数据库中挖掘知识信息。MSQL是另一个数据挖掘查询语言，由Imielinski和Virmani提出。它使用了类似于SQL的语法和SQL原语，为了规范规则产生和规则选择，提出了被称作GetRule和SelctRule的原语。（二）数据挖掘建模语言PMML数据挖掘建模语言PMML全称预言模型标记语言（PredictiveModelMarkupLanguage），是对数据挖掘模型进行描述和定义的语言，使数据挖掘系统在模型定义和描述方面有法可依，各种数据挖掘系统可以共享模型，又可以在应用程序系统中间嵌套数据挖掘模型，不需要独自开发，就能使数据挖掘达到深度挖掘的目的。预言模型标记语言PMML是一种基于XML的数据挖掘建模语言，利用XML描述和存储数据挖掘模型，使用标准的XML解析器对PMML解析，可以得到预计的输入和输出数据类型。PMML2.0主要由：标题（header）、数据字典（datadictionary）、数据流（dataflow）、挖掘模型（miningschema）、数据转换（DerivedValues、Statistics、Taxonomy、Normalization）、预言模型（TreeModel、NaiveBayes、GeneralRegression、RegressionModel、Sequences、GeneralStructure、AsscocationRules、NeuralNetwork、CenterandDistributionbasedClustering）、模型组合定义（ensemblesofmodels）、选择和联合模型和模型组合的规则（rulesforselectingandcombiningmodelsandensemblesofmodels）、异常处理的规则（rulesforexceptionhandling）等九个部分组成。对于复杂的数据挖掘任务，由多个数据源和数据挖掘模块，需要在各个模块之间交换结果，预言模型标记语言PMML的主要组成部分拥有这种灵活的模型交换能力和数据格式转换能力，并实现模型与数据和工具部分分离。因PMML是基于XML的数据挖掘建模语言，适合部分学习、元学习、分布式学习的数据挖掘应用程序。（三）通用数据挖掘语言OLEDBforDM通用数据挖掘语言OLEDBforDM是2000年3月微软公司推出的一个数据挖掘语言，目的是为数据挖掘行业提供一个业界标准。OLEDBforDM综合了数据挖掘查询语言DMQL和数据挖掘建模语言PMML的特点，既能定义模型，又能作为查询语言与数据挖掘系统通信，进行交互的和特殊的数据挖掘，实现了数据与模型真正分离。OLEDBforDM是一种基于SQL预言的协议，扩充了SQL语言语法，可以轻松地与关系型数据库集成，可以将不同的数据挖掘算法嵌入数据挖掘应用程序。OLEDBforDM为了更接近关系型数据库结构，定义了几个重要的概念。数据挖掘模型（DataMiningModel，DMM）：DMM像数据库中的关系表，但是它包含了一些特殊的列，这些列被数据挖掘中的数据训练和预言制定使用。DMM既可以用来创建预言模型，又可以产生预言。标准的关系表用来存储原始数据而DMM存储被数据挖掘算法发现的模式，对于从事WEB挖掘的开发人员，DMM所有的结构和内容都可以用XML字符串表示。预言联接操作（PredicationJoinOperation）：预言联接操作类似于SQL语言中的连接操作，在一个训练好的数据挖掘模型和输入数据源之间映射一个连接查询，将能得到符合需求的预言结果。这个预言