数据仓库原理设计与应用第6章

1、第六章：现代数据挖掘技术及其发展。本章的学习目标：(1)通过学习知识挖掘系统的体系结构，掌握知识发现的定义和知识发现系统的结构。(2)通过对现代挖掘技术和应用的研究，掌握规则型、神经网络型、遗传算法型、粗糙集型和决策树型现代挖掘技术。(3)通过学习知识发现工具和应用，掌握知识挖掘工具的体系结构、应用中的问题以及知识挖掘的价值。(4)通过数据挖掘技术的发展，了解文本挖掘、网络挖掘、可视化数据挖掘、空间数据挖掘和分布式数据挖掘。现代数据挖掘技术与发展，6.1知识挖掘系统架构，6.2现代挖掘技术与应用，6.3知识发现工具与应用，6.4数据挖掘技术的开发与培训，6.1知识挖掘系统架构，6.1.1知识发

2、现的定义知识发现是一种以简洁的方式从大量数据中提取信息的技术，所提取的信息是隐含的、未知的，具有潜在的应用价值。知识发现可以被看作是一个寻找有价值信息的过程。它仍然可以在不预设或不提问的情况下找到意想不到的有趣信息，这些信息代表了不同研究对象之间的关系和模式。它还可以通过全面的信息发现和分析找到有价值的业务规则。知识发现意味着在数据仓库或数据集市中寻找未知的业务模型和事实。6.1.2知识发现系统的结构知识发现系统的结构由知识发现系统经理、知识库、业务分析师、数据仓库的数据库接口、数据选择、知识发现引擎、知识发现评估和知识发现描述组成(图6.1)。知识发现系统经理控制和管理知识发现的整个过程，知

3、识库和业务分析师知识库包含来自各个方面的知识。业务分析师应该以有效的方式引导相关信息的发现。3.数据仓库的数据库接口知识发现系统的数据库接口可以直接与数据仓库通信。4.数据选择决定了要从数据仓库中提取的数据和数据结构。5.知识发现引擎为数据选择组件提取的数据提供知识库中的提取算法。6.发现评估帮助业务分析师过滤模式并选择感兴趣的信息。7.发现描述、评估和对业务分析师的帮助，以将兴趣发现的结果保存在知识库中供将来参考，并保持知识发现和经理之间的沟通。6.2现代采矿技术与应用6.2.1基于规则的现代采矿技术与应用1。关联规则的基本概念，buys (x，“计算机”)=buys (x，“financi

4、al _ management _ software”)时代(“30.40)“收入”(42000 .)布尔关联规则量化关联规则一维规则多维关联多层关联规则单层关联规则年龄(30.40”)=购买(x，“IBM电脑”)(6.3)年龄(“30.40”)=购买(x，“计算机”)(6.4) 2。关联规则的应用目标置信度或准确性可以定义如下：(6.5)覆盖率可以定义为以“兴趣度”为目标的关联规则；3.关联规则1的Apriori算法找出所有支持度大于最小支持度的项目集。这些项目集称为频率集，包含k个项目的频率集称为k项目集。使用步骤1中找到的频率集生成所需的规则。Apriori算法的第一步采用递归方法，表示

5、为L1=大1项集；/为L1(k=2)生成频繁项集；lk-1；k)执行/循环以生成频繁2项集L2，直到某个R使Lr为空。begin Ck=apri-gen(Lk-1)；/为所有事务生成一个候选的k-项目集集合；/事务t中包含的候选集用于所有候选cCt do c.countendlk=CCK | c . count mins up endanswer=uklk，第2步中的算法相对简单。如果只考虑规则右侧的一个项目，给定频率集y=i1，I2，i3，ik，k2，iji，则最多只有k个规则包含集i1，I2，i3，ik中的项目。这个规则的形式是I1，I2，I3，Ii-1，Ii 1，IkIi，这些规则的置信

6、度必须大于用户给出的最小置信度。C 3l3来自L2。关联规则的应用，前序规则和后序规则的准确性和覆盖率之间的平衡，6.2.2基于神经网络的现代挖掘技术，1。神经网络及其学习方法神经网络的工作过程主要分为两个阶段：学习阶段和工作阶段。有三种学习方法：有老师指导的学习(监督)、没有老师指导的学习(监督)和强化学习。6.2.2基于神经网络的现代采矿技术，2。基于神经网络的数据挖掘(1)基于自组织神经网络的数据挖掘技术，它没有教师学习过程，可以从一组数据中提取重要特征或一些固有知识(2)模糊神经网络中基于模糊神经网络的数据挖掘技术，如模糊神经网络、模糊Kohonen聚类网络、模糊推理网络和模糊ART模

7、型， 根据样本相对于各种期望隶属度的输出表达式，将样本的期望输出值转化为模糊性，并将样本的隶属度引入到权重系数的修正规则中，使得权重系数的修正规则变得模糊。 6.2.2基于神经网络的现代采矿技术。反向传播模型及其算法如下：选择样本；权重初始化(随机生成)；依次输入样本；依次计算每一层的输出；计算各层的反向传播误差；根据权重调整公式，修正权重和阈值；根据新的权重计算每一层的输出，直到误差小于预设的阈值；有几个变换函数：阶跃函数、S型函数、比例函数、符号函数、饱和函数、双曲函数，6.2.2基于神经网络的现代采矿技术，4神经网络的应用，6.2.3基于遗传算法的现代采矿技术，1。遗传算法的基本原理是达

8、尔文的“适者生存”理论，遗传信息由基因携带，多个基因组成为染色体。在这个过程中，有三种进化操作：亲本基因组中的亲本选择操作、双亲产生后代基因的交叉操作和后代基因组中的变异操作。两种数据转换：从表型到基因型，另一种是从基因型到表型。遗传算法本质上是一种用于复制、检测和评估的迭代算法。最大的优点是问题的最优解与初始条件无关，并且搜索最优解的能力极强。6.2.3基于遗传算法的现代采矿技术，2 .遗传算法的处理过程(1)编码和产生祖先群应该用遗传算法来解决。首先，我们必须定义要解决的问题：F=f(a，b，c)，FR，(a，b，c) F=f(a，b，c)是属于实数域R的实数，也是每组解(ai，bi，ci

9、)的适合度的度量。该算法的目标是找到一个(ao，bo，co)(2)计算当前基因群体中所有个体的环境适应度(3)用适应度函数评价每个个体对环境的适应度(4)选择适合复制的生物个体(5)选择适合复制、交叉配对和繁殖的生物个体(6)新一代变异操作，6.2.3基于遗传算法的现代挖掘技术，6.2.3基于遗传算法的现代挖掘技术，3 .遗传算法的应用使用四条染色体来定义客户类型：基因1:客户的年龄下限基因2:客户的年龄上限基因3:客户的收入水平基因4:客户的人口状况(人口状况可分为三种情况：少(1-2人)、一般(3-4人)和多(5人以上)、6.2.3基于遗传算法的现代挖掘技术、(1)竞争复制(2)杂交育种(

10、3)突变处理，6.2.4基于粗糙集的现代挖掘技术，1粗糙集技术，2。在粗糙集应用表中，970230、980304和990211客户具有相似的“称赞竞争对手产品”属性；980304和990327客户具有“长时间选择产品”和“客户流失”的相似属性；970230和990211客户具有类似的属性，如“称赞竞争对手的产品”、“选择产品的时间很长”和“上次销售前的时间”；这样，可以围绕“表扬竞争对手的产品”的属性生成两个基本集合：970230、980304、990211和970102、980625、990327；“表扬竞争对手的产品”和“长期选择产品”的属性可以生成三个基本集合：970102、980625

11、、990327、970230、990211和980304。6.2.4基于粗糙集的现代挖掘技术，因为客户970230已经丢失，但是客户990211没有丢失，因为属性“称赞竞争对手的产品”、“选择产品的时间长”和“最后一次销售前的时间”是相似的。因此，客户流失不能用“称赞竞争对手的产品”、“选择产品的时间很长”和“最后一次销售前的时间”等属性来描述。970230和990211是边界示例，也就是说，它们不能根据有效知识进行适当分类。其余客户970102、980304和990327可根据其特征识别为流失客户。当然，不能排除970230和990211已经丢失，而980625无疑没有丢失。因此，“丢失”客

12、户的下近似集是970102、980304和990327，上近似集是970102、970230、980304、990211和990327。同样，980625没有损失，但970230和990211不能排除。因此，下近似为980625，上近似为970230、980625和990211。6.2.5决策树现代挖掘技术，1决策树技术ID3，该算法是基于推理系统和概念学习系统，基本步骤是。(1)创建一个节点。如果样本都在同一个类中，算法将停止，并且该节点将被更改为叶节点，该叶节点用该类标记。(2)否则，选择能够最好地对训练集进行分类的属性，将其用作节点的测试属性。(3)为测试属性中的每个值创建相应的分支，并

13、相应地划分样本。(4)使用相同的过程从上到下递归，直到满足以下三个条件之一。给定节点的所有样本属于同一类。(二)没有剩余属性可供进一步划分。通过继续分类获得的改善不明显。6.2.5决策树型现代挖掘技术，1决策树技术的信息增益定义为原始分割的熵与分割后每个分割的熵所累积的总熵之差。信息增益是指除法前后正确预测所需信息的差异。选择信息增益最高的属性作为当前节点的测试属性。给定样本分类所需的期望信息是A划分成子集的熵，或者期望信息是6.2.5决策树现代挖掘技术，1决策树技术是jth子集的权重，它等于子集内的样本数(A值为aj)除以S中的样本数。对于给定的子集Sj，I(s1j，s2j，smj)可以通过

14、以下公式计算：Sj中的样本属于Ci类的概率；信息增益除以a等于I (S1、S2、sm)-e (a)，6.2.5决策树类型现代挖掘技术，2 .决策树应用，6.2“年龄”在所有属性中信息增益最大，因此选择“年龄”属性作为第一个测试属性，创建一个节点并用“年龄”标记。计算剩余属性对应的信息增益，选择信息增益最大的属性作为测试属性，那么信息增益最大的属性就是“学生”属性。创建一个节点，并用“学生”标记。，6.3知识发现工具和应用，6.3.1知识挖掘工具的系统结构1。无耦合)数据挖掘系统不利用数据库或数据仓库系统2的任何功能。松耦合)数据挖掘系统将使用数据库/数据仓库3的一些工具。数据挖掘系统连接到一个

15、数据库/数据仓库系统，在数据库4中可以找到一些基本的数据挖掘原语。紧密耦合)数据挖掘系统顺利集成到数据库/数据仓库系统中，6.3知识发现工具和应用，6.3.2知识挖掘工具应用中的问题1。数据挖掘技术应用中的常见问题(1)数据质量(2)数据可视化(vLDB问题(4)性能和成本(5)业务分析师的技能(6)处理噪音和不完整数据(7)模式评估的兴趣(6.3知识发现工具和应用程序，6.3 6.3.2知识挖掘工具应用中的问题2。数据挖掘技术应用中的个性问题(1)规则归纳应用中的问题主要是用来明确描述数据提取的规则和寻找所有的规则，工作量巨大(2)神经网络应用中的问题受神经网络训练过度和训练速度的影响(3)

16、遗传算法应用中的问题，6.3知识发现工具和应用，6.3.3知识挖掘的价值1。了解商业活动。发现业务异常3。预测模型6.3.4现代数据挖掘工具简介1。dbminer 2的架构。数据挖掘器的数据挖掘类型，6.4数据挖掘技术的发展，6.4.1文本挖掘1。文本分析和语义网络文本分析语义网络2。文本挖掘基于关键词的文本摘要相关性分析文档分类分析文档聚类分析文本挖掘的应用，6.4数据挖掘技术的发展，6.4.2网络挖掘技术1。网络功能2。基于文本信息的Web内容挖掘基于多媒体信息的挖掘3。网络结构挖掘4。Web使用记录挖掘数据预处理阶段模式识别阶段模式分析阶段5。网络数据挖掘应用，6.4数据挖掘技术的发展，6.4.3可视化数据挖掘技术1。数据可视化2。数据挖掘结果的可视化数据挖掘过程的可视化数据挖掘交互可视化6.4数据挖掘技术的发展6.4.4空间数据挖掘1。地理信息系统概念地理信息系统的特征2。数据挖掘