对数据挖掘与数据仓库的认识.doc

学号：081401237 姓名：郑仕生 班级：08计算机科学与技术2班 对数据挖掘与数据仓库的认识 随着市场竞争的越来越激烈，商业环境中的信息越来越密集，企业必须能够深入灵活利用积累的大量数据挖掘潜在的规律，提高决策质量，把握和发现市场机遇，提升企业的竞争力。 实施商务智能是一个十分复杂的过程，成功的商务智能应该具备三个要素：商业需求、大量的数据和实现商务智能的技术。因此，商务智能有其特定的实施方法，它包含对企业商务智能需求的明确、对企业现有信息化情况的了解和对各种商务智能技术的充分掌握三个方面。 目前业界对数据仓库的概念没有一个统一的定义，在我认为数据仓库(DataWarehouse)是集成的、稳定的、随时间变化的数据集合，用以支持管理决策系统的过程。由此可见，数据仓库是一个综合的解决方案，是对原始的操作数据进行各种处理并转换成有用信息的处理过程，它主要用来帮助业务主管部门做出更符合业务发展规律的决策，用以指导卷烟销售。数据仓库的建设需要综合应用、决策权、数据库、数理统计等多项技术。世界上许多著名公司都推出了类似的数据产品，包括Oracle、Informix、Sybase和IBM等等。目前我们的卷烟销售模式经历了从集中到分散再到集中的转变，在去年取消法人资格，集中访销的模式下，泰州分公司也正式使用了江苏省烟草电子营销管理系统，配必Oracle数据库，使系统的稳定性得到了保证。如何从庞大销售信息资料库中寻找出更有价值的信息，数据挖掘便成了烟草信息化的重要组成部分。 数据挖掘(Data Mine)简称 DM，其本质就是发现数据实质与数据间的关系的探索过程，找出潜在于数据中的现实事务的规律和趋势，进而把感觉转化为事实。数据挖掘大致可分为三类：关系发现、模式发现、趋势行为发现。数据挖掘技术主要应用于决策支持系统(DSS)。数据挖掘指的是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息。大部分的人认为数据挖掘和数据库是等价的概念。数据挖掘是随着科学技术的迅速发展、数据库规模的日益扩大以及人们对数据库中潜在信息资源的需求而迅速发展起来的。它是数据库技术、人工智能、机器学习、统计分析、模糊逻辑等学科相结合的产物。数据挖掘的对象不仅是结构化数据库，也可以是半结构化的超文本文件，甚至是非结构化的多媒体。而数据仓库上面的数据挖掘，将是数据挖掘技术应用的主流。数据挖掘一般由数据准备、挖掘操作、结果表达和解释三个主要阶段组成。在数据准备阶段应集成多个运作数据源中的数据，解决语义模糊性、处理遗漏数据、清洗脏数据。挖掘阶段是一个假设产生、合成、修正和验证传播的过程，也是上述三个阶段的核心。结果表达和解释阶段根据最终用户的决策目的把提取的有用信息正确地表达出来。数据挖掘的方法和技术可大致划分为三类:统计分析、知识发现、可视化技术等。统计分析用于检查异常形式的数据，然后利用统计模型和数学模型来解释这些数据，统计分析方法是目前最成熟的数据挖掘工具。而知识发现则着眼于发现大量数据记录中潜在的有用信息或新的知识，属于所谓“发现驱动”的数据挖掘技术途经。知识发现常用的方法有人工神经网络、决策树、遗传算法、模糊计算或模糊推理等。数据质量、可视化数据的能力、极大数据库尺寸、数据挖掘者的技能、数据的粒度都是影响知识发现方法的重要因素。可视化技术则采用直观的图形方式将信息模式、数据的关联或趋势呈现给决策者，决策者可以通过可视化技术交互式地分析数据关系。由于数据仓库在规模、历史数据、数据集成和综合性、查询支持等方面都和传统的数据库有着本质的区别，所以数据仓库为数据挖掘提供了更广阔的活动空间。数据仓库完成了数据的收集、集成、存储、管理等工作，数据挖掘面对的是经初步加工的数据，使得数据挖掘更专注于知识的发现;另一方面，由于数据仓库所具有的新特点，又对数据挖掘技术提出了更高的要求。所以，数据仓库技术的发展必须和数据挖掘技术有机地结合起来。 数据挖掘是一种潜在的功能强大的新技术，它能帮助企业在他们的数据仓库中找到最重要的信息。数据挖掘工具能预测未来趋势和行为，使得商务活动具有前瞻性，并作出具有知识驱动的决策。数据挖掘所提供的自动的预期分析已经远远超出由典型的决策支持系统工具对过去事件所做的回顾性分析的范围。数据挖掘工具可以回答传统上需费很多时间解决的商务问题。它能搜遍数据库去查找隐藏的模式，找出那些专家也会错过的预测信息，因为它并不在人们期待的位置在商务和新闻界，数据挖掘很热门。正像闪过我们文化的众多电波一样，现实和浪漫的分离必须引起我们的注意。数据挖掘只是一个有用的工具，一种结合发现和分析的新的方法。数据挖掘不是一个新近才发现的将在软件中具体化的数学分支，当数据库疯狂地加大时，人们不自觉地就需要揭示包含在那些存贮其自身的成千上万的数据记录间的商务洞察信息，并且这些信息是非常重要的。它是一个对那些竞争性的商务将变得日益不可缺少的领域。 一些成功的应用领域：一家制药公司可以分析他最近的销售行动及其结果以改进高位值医师的目标市场，并决定哪些市场活动将在后续的几个月有最大的效果。数据需要包括竞争对手的市场活动，信息和当地医疗系统的信息一样。结果可以通过广域网分发到各销售队伍，它可以使地区代表从决策过程中关键属性的视点来检视这些建议。随着这一过程的进行，数据仓库的动态分析允许来自整个组织的最好的实践应用于特定的销售环境。一个信用卡公司可利用他的巨大的客户交易数据仓库来确定客户对新的信用卡中最感兴趣的产品。使用一个小型的测试邮件，就可以确定一个客户对新产品的亲和力属性。最近的项目已经表明，采用超常规的方法对指定目标的邮寄活动，可以节省20倍的费用。一家拥有很大的直销队伍的多样化的运输公司，可使用数据挖掘以确定其服务的最好模式。 用数据挖掘来分析他自己的客户体验，该公司可建立唯一的分段以确定高位值的预期。对诸如由 Dun & Bradstreet 提供的那些一般商务数据使用这些分段可以产生一张按地区排列的优先列表。一个大的消费者货物包裹公司可以利用数据挖掘来改进对零售商的销售流程。来自消费者组织、运输商以及竞争对手活动的数据，可以用于理解打上印记和仓储转移的原因。通过这些分析，制造商可选择能最好地运抵目标客户地区的运输商推荐策略。每一个这样的例子有一个共同的清晰的基础，他们利用在数据仓库里隐藏的关于客户笃信的知识，来减少费用并改善客户关系的价值。这些组织现在可以集中精力于最重要的客户和有前景的商务，并设计可以最好实现这些目标的市场策略。数据仓库和数据挖掘技术的应用：数据仓库技术和数据挖掘技术的相互结合使得从海量的数据中进行实时的和深层次的分析成为可能，由于相关领域的技术发展及相互协同，已使数据仓库成为一项可能的实用技术。目前，对这一领域的应用研究主要集中在以下几个方面:面向企业决策支持系统(DSS)的数据仓库与数据挖掘技术基于Internet的数据仓库与数据挖掘技术WVVW近年来已成为网络上的信息主体，人们自然就产生了将WWW和数据仓库相互转换的要求。但Web上的数据多存于HTML超文本文件中，没有严格的结构及类型定义，所以，