计算机网络与信息系统集成调研报告

1 计算机网络信息系统集成计算机网络信息系统集成 课程研究报告课程研究报告 姓 名 阳 涛 学 院 湖北工业大学 班 级 控制工程班 学 号 时 间 2013 年 8 月 12 日 基于数据仓库的数据挖掘技术分析研究基于数据仓库的数据挖掘技术分析研究 2 摘 要 基于数据仓库的数据挖掘技术是一种对数据仓库中的数 据进行深层次的加工和处理的过程 也是一种实现数据仓库 决策价值的方法和工具 文中分析了数据仓库 数据挖掘 等概念 并结合数据挖掘在实际决策支持系统中的应用 说明 了数据挖掘的基本方法 主要过程以及发展方向 关键词关键词 仓库 储存 数据采集 3 目目 录录 摘摘 要要 错误 未定义书签 目目 录录 3 引引 言言 4 1数据仓库及其体系结构 5 2基于数据仓库的数据挖掘技术基于数据仓库的数据挖掘技术 6 3数据挖掘在实际决策支持系统中的应用 8 4 4 结束语结束语 9 参考文献参考文献 10 3 4 引 言 随着数据库技术的广泛应用 以及人们对当今社会信息 的高层次需求 以事务处理为核心 支持业务操作环境与平 台的数据库技术已不能适应人们在分析和决策层次上的需 要 为了有效地为企业和政府的管理与决策过程提供重要 的信息 需要根据决策的需要收集来自企业内外的有关数据 并加以适当的组织处理 以形成一个综合的面向决策的环境 1 1 数据仓库及其体系结构数据仓库及其体系结构 20 世纪 90 年代初期 W H Inmon 在 5Building the Data Warehouse6 一书中第一次提出了数据仓库 Data Warehouse 简称 DW 的概念 并将它定义为 面向主题的 集成的 与时间相关的 稳定的数据集合 所谓面向主题 是指按主题来组织数据 按不同的决策和分析来综合和归并 数据 所谓集成 是指将来自不同数据库中的数据进行统一和 综合 所谓与时间相关是指可以根据决策的需要不断地添加 一些新的数据 删除一些旧的数据 所谓稳定是指集成以后的 数据在内容上保持较长时间的不变 与传统数据库显著不同的是 数据仓库是一种服务于高层 决策的数据库 它不仅采集 组织和存储大量的来自地理位 置分散 构造各异的信息源的数据 而且还通过对这些历史 5 数据的加工和变换 得到一系列用于决策分析的数据 利用这 些数据可以更好地为用户提供决策支持 其次 数据仓库是 一种面向主题的数据库 它按主题来组织数据 按决策和分析 的需要来提炼和净化数据 另外 数据仓库是一种包含历史 数据的数据库 其中的数据不仅用于检索等基本操作 还用于 分析整个组织的运行状态 以及未来的发展趋势 构建数据仓库的关键是 ETL Extract Transform Loading 技 术 即如何准确 安全 可靠地从各种不同的业务数据库中 抽取数据 并经转换 清洗以及集成后载入数据仓库 自数 据仓库的概念提出以后 世界上不少著名的计算机公司 如 IBM Oracle 等 都纷纷对此展开深入的研究 并相继提出各自 的研究方案 虽然这些方案各有特色 但基本的框架一般都 是通过数据采集和处理工具将各数据源的数据集成并载入 数据仓库 如图 1 所示 图 1 数据仓库基本框架图 1 数据源 可以为普通的业务数据库 也可以是特定的数 据文件或其他的数据源 2 数据采集和处理 负责从各数据源中抽取数据 并经转 换 集成后载入数据仓库 3 数据仓库 存储两类数据 一类是元数据 它是数据仓 库的基本构成单元 主要用于记录数据的结构以及数据仓库 的变化 另一类是实视图 它是供决策人员分析处理用的数据 6 4 应用 主要是服务于决策的在线分析 On Line Analytical Processing 简称 OLAP 和数据挖掘 Data Mining 简 称 DM 由上述基本框架图可以看出 数据仓库不是一种软件产品 而是一种综合的解决方案 它将原始的数据处理并转换成 服务于决策的综合数据 并提供一组功能强大的分析工具对 其进行多层次 多方位的分析处理 其次 数据仓库要提供 高质量的数据和服务 必须注意数据的一致性 完整性 准 确性以及可用性 现有的数据仓库模型未能充分考虑到这 一点 通过扩展元数据库的方式 在元数据库中融入质量维 度的质量模型 建立系统化的测量和提高数据质量的方法体 系 可以较好地解决数据仓库的质量问题 2 2 基于数据仓库的数据挖掘技术基于数据仓库的数据挖掘技术 构建数据仓库的最终目标是为了从各类海量数据中提取 出对有关决策和管理活动具有重要指导意义的规律性知识 但是 由于各类数据是分散于若干业务数据库或其他数据源 中 因此 要得到对各类决策分析有用的知识 必须具有相应的 从海量数据中提取价值信息的工具 数据挖掘就是用来挖 掘价值信息的工具 数据挖掘这一概念是由 G Piatetsky Shapior W J Frawley 等人在 1989 年 8 月召开的第 11 届国 际人工智能学术会议上提出的 它是数据库技术和人工智 能 数理统计等学科相结合的产物 是一个多学科相互交叉 7 的具有广泛应用前景的新兴研究领域 并利用人工智能和数 理统计中一些较成熟的方法和技术 如规则推理 人工神经 网络 决策树 邻近搜索等 因此 也有人把它称为数据库 中的知识发现 Knowledge Discovery in Database 简称 KDD 对数据挖掘这一概念的定义 一般认为是一种从大量 数据中获取潜在规律和知识的方法和技术 是一个从大量数 据中发掘潜在的 新颖的 可用的以及最终可理解的模式 的高级过程 面向主题 数据集成 与时间相关以及稳定是数据仓库 区别于数据库的显著特点 实现决策支持是数据仓库的最终 应用目标 而数据挖掘则是实现数据仓库最终目标的有力工 具 因此 在实际应用中 数据挖掘和数据仓库密不可分 数 据仓库是数据挖掘的基础和平台 为数据挖掘提供必要的数 据准备 数据挖掘则是在数据仓库的基础上进一步发掘对实 际决策过程有益的知识和信息 数据挖掘系统的基本结构图如图 2 所示 图 2 数据挖掘系统结构图 1 数据采集与处理 根据数据挖掘的目标 从数据仓库中 选取相关的数据集合 并对其进行数据一致性和数据完整性 的检查 2 知识库 主要用于数据挖掘和知识评价 利用知识库 中提供的有关知识 可以指导数据挖掘过程中的搜索操作 以 8 及评价挖掘所得的结果数据 这些数据可以是概念 也可以是 规则或模式 的兴趣度 3 数据挖掘 主要是对数据仓库中提取的有关数据进行 聚类 估值 分类 预言 关联和描述等分析处理 a 聚类 将相似的数据置于一类 目的在于描述数据的共 同特征 b 估值 处理未知连续变量的输出 c 分类 描述离散变量的输出 典型的有线形回归分类 决策树分类 基于规则的分类以及神经网络分类等 d 预言 通过估值或分类得到模型 以用于未来未知变量 的评估 e 关联 挖掘数据或特征间的内在联系 f 描述 表示数据挖掘的结果 4 知识评价 以兴趣度作为衡量标准来查找和选择对最 终决策活动有益的知识 并以概念 规则 规律 模式 约 束或可视化的形式来表示结果知识 基于数据仓库的数据 挖掘是一种对数据仓库中的数据进行深层次的加工和处理 过程 也是一种实现数据仓库决策价值的方法和工具 通过 对数据仓库中大量历史数据的更高层次的抽象 不仅反映了 数据间的内在联系和特性 同时也获得了许多直接用于决策 分析的有用信息 3 3 数据挖掘在实际决策支持系统中的应用数据挖掘在实际决策支持系统中的应用 9 数据挖掘是在数据仓库的基础上进行的深层的数据分析 过程 它能揭示大量数据中隐含的 潜在的 有用的和感兴 趣的信息 并为用户提供较好的决策支持 自数据仓库和数据挖掘技术出现至今 许多大公司 大企 业纷纷构建自己的数据仓库 并通过对数据仓库中大量历史 数据的挖掘 得到许多有用的信息 以支持企业内部的生产经 营管理过程中的决策控制 实际的数据挖掘过程一般包括 以下几个步骤 1 了解行业背景 熟悉基本数据 2 确定数据挖掘的目标 3 选取数据仓库中相应的数据集合 4 给出合适的挖掘算法 5 进行实际的数据挖掘 6 对所得的结果知识进行评价并输出 目前 数据挖掘的主要应用领域有 市场分析和预测 生产 过程优化 股票分析和预测 金融风险分析 气象预报等 例如 针 对本单位的人力资源管理需要 构建本单位的人力资源数据 仓库 并利用选择树分类器对其进行数据挖掘 针对旅游业 的管理需要 构建旅游业数据仓库 并利用决策树分类器挖掘 其中的深层次规则 针对零售连锁业的发展需要 构建连锁 超市数据仓库 并通过对其进行数据挖掘实现连锁超市销售 分析与预测 虽然这些基于数据仓库和数据挖掘技术的实际决策支持 系统的设计各有特色 但其基本的框架可以用一个简单的模 10 型来刻画 如图 3 所示 图 3 决策支持系统模型图 在实现实际的决策支持系统时 系统首先通过数据采集与 加工模块将各数据源中数据载入数据仓库 然后各用户再通 过数据挖掘和在线分析来分析处理来自数据仓库的数据 并 得到一系列用于实际决策过程的有用知识和信息 其中 数 据挖掘是系统的核心部件 是决定数据仓库决策价值的关键 环节 4 4 结束语结束语 数据挖掘是一个基于数据仓库的有效的辅助决策支持工 具 利用它可以发现数据仓库中许多未知的 潜在的 深层