数据仓库与数据挖掘考试复习重点.pdf

1 1 第一章 由于采用的模型主要是数学模型 所以其辅助决策的能力主要表现在定量分析上 从而发展起把管理信息系统和模型辅助决策系统结合起来的 DDS 主要进行的是 分析处理 数据的分析应用为信息资源的利用开辟了一条新的道路 基于这种思想 在数据 库之上建立一种用于分析的模型 从而构成一种用于数据分析 预测及决策的系 统 称为决策支持系统 Decision Support System DSS 也称为业务智能 Business Intelligence BI DDS 与专家系统同时兴起 属于定性的 DDS 属于定量的 把两者相结合的系 统称为智能决策支持系统 IDSS 问题的方面问题的方面 事务处理应用事务处理应用 分析处理应用分析处理应用 性能特性性能特性 操作频率高 处理和响应的 时间短 程序运行时间长 消耗大量系 统资源 数据集成数据集成 数据大多分散而非集成 需要集成的 全面而正确的数 据 数据动态集成数据动态集成 不需要 数据以一定的周期刷新 保证 决策的正确性 历史数据历史数据 只需要当前数据 或短期内 的数据 必须以大量的历史数据为依 托 数据的综合数据的综合 不具备 需要对细节数据进行不同程 度的综合 提高分析效率 数据仓库概念的提出 在数据库的基础进行改造 产生了新的满足决策分析需要的数据环境 数据仓 库 Data Warehouse DW 数据仓库与数据库的区别 数据库的应用是以事务处理为主 强调的是更新数据库 联机事务处理 Online Transaction Processing OLTP 数据仓库的应用是以分析应用为主 从数据库中提取 分析和利用信息 联机分 析处理 Online Analytical Processing OLAP 对比内容对比内容 数据库数据库 数据仓库数据仓库 数据内容数据内容 当前值 历史的 存档的 归纳的 计 算的数据 数据目标数据目标 面向业务操作程序 重复处理 面向主题域 管理决策分析应 2 用 数据特性数据特性 动态变化 按字段更新 静态 不能直接更新 只定时 添加 数据结构数据结构 高度结构化 复杂 适合操作 计算 简单 适合分析 使用频率使用频率 高 中到低 数据访问量数据访问量 每个事务只访问少量记录 有的事务可能要访问大量记录 对响应时间对响应时间 的要求的要求 以秒为单位计量 以秒 分钟 甚至小时为计量 单位 数据仓库数据仓库是将原始的操作数据进行各种处理 并转换成综合信息 提供功能强 大的分析工具 对这些信息进行多方位的分析 以帮助企业领导做出更符合业务 发展规律的决策 数据仓库的特征 面向主题性 集成性 不可更新性 时变性 计量的属性会改 变 1995 年在美国计算机年会上提出数据挖掘 从技术角度看 数据挖掘数据挖掘是从大量的 不完全的 有噪声的 模糊的 随机的 实际数据中 提取隐含在其中的 人们所不知道的 但又是潜在有用的信息和知 识的过程 从商业应用角度看 数据挖掘是一种崭新的商业信息处理技术 其主要特点是对 商业数据库中的大量业务数据进行抽取 转化 分析和模式化处理 从中提取辅 助商业决策的关键知识 为商业决策提供真正有价值的信息 进而提高竞争力 获得利润 总之 数据挖掘是按企业既定业务目标 对大量的企业数据进行探索和分析 揭 示隐藏的 未知的或验证已知的规律 并进一步将其模型化的先进有效的方法 数据挖掘的与数据仓库的关系 数据挖掘是数据仓库发展的必然结果 数据挖掘可以看作是 OLAP 的高级阶段 为数据仓库提供了更好的决策支持 促进了数据仓库技术的发展 数据仓库为数据挖掘提供应用基础 提供了深层次分析所需要的正确 完整和集成的数据 OLAP 工具为数据挖掘提供了有关的数据操作支持 给数据挖掘带来便利和 功能 数据挖掘在商业上有大量的应用 分为两类 n 对某种情况的预测 Prediction n 寻找事物之间的关联 Association 应用领域包括生物医药和 DNA 分析 致病基因 金融 信用 投资 目标市场 客户聚类 零售业 促销 电信业 3 3 传统数据分析工具传统数据分析工具 数据挖掘工具数据挖掘工具 工具特点工具特点 回顾型的 验证型的 预测型的 发现型的 分析重点分析重点 已经发生了什么 预测未来的情况 解释发生的原因 分析目的分析目的 从最近的销售文件中列出 最大客户 锁定未来的可能客户 以减少未来的销售成本 数 据 集 大数 据 集 大 小小 数据维 维中属性数 维中 数据均是少量的 数据维 维中属性数 维中数据均 是庞大的 启动方式启动方式 企业管理人员 系统分析 员 管理顾问启动与控制 数据与系统启动 少量的人员指导 智能性好 技术状况技术状况 成熟 统计分析工具已成熟 其他工具正在发展中 第二章 数据仓库结构 数据仓库的体系结构 了解 4 数据仓库技术的体系结构 重要 数据预处理功能 对数据源中的数据进行预处理 数据仓库管理工具 完成数据仓库的建模 确定数据的粒度级别 指定数据仓库 的物理存储模式 确保数据仓库的运行效率 数据仓库的元数据管理 应用工具 提供各种应用工具来对数据仓库中的数据进行处理 数据仓库是企业级的 数据集市我们可以把它理解成为部门级的数据仓库 满足 某个部门的进行分析决策的需求而建立的 如果一个数据集市不依赖于中央数据仓库 则这个数据集市为独立数据集市 独 立数据集市可能会造成各数据集市中的数据不一致 形成信息孤岛 维护困难等 问题 从数据仓库中获得数据 并根据部门的分析领域和查询功能进行重新组织和优化 的数据集市称为从属数据集市 保证了各个数据集市间和数据仓库中数据的一致 性 5 5 元数据的定义 定义一 关于数据的数据 定义二 元数据的描述 前台元数据 更具描述性质 它帮助查询工具和报表生成更顺利地工作 它主要 出于终端用户考虑 后台元数据 与过程相关 它指导着数据抽取 净化和装载的过程 元数据的主要作用 管理数据仓库 利用元数据来存储和更新数据 帮助使用数据仓库 用户利用元数据来了解 访问数据 元数据分类 形式 根据内容分 数据源元数据 预处理数据元数据 数据仓库主题元数据 查询服 务元数据 根据作用分 管理元数据 用户元数据 数据仓库的数据模型 1 概念模型 概念建模的目的 确定数据仓库中应该包含的数据类及其相互关系 而不必考虑具体技术条件的限 制 概念建模的工作内容 确定系统应包含的主题域 确定数据挖掘中各主题的要素及其描述属性 分析问题时所关心的事实 分析问题时的各种观察角度 描述事实及观察角度的属性 概念建模的方法 传统方法 ER 图 多维数据模型 星型模型 是一种能够清楚地表达分析领域的数据模型结构 P39 维度 事实度 6 逻辑模型 作用 由于概念模型并不能直接建立数据仓库的物理模型 所以我们必须通过逻 辑模型来指导数据仓库的物理实施 逻辑模型的描述方法 逻辑模型的描述方法是利用关系模型 即用一系列的关系 模式来表达数据仓库概念模型中的事实实体和维度实体 另外还要考虑粒度 逻辑模型的工作内容 粒度层次划分 数据分割策略的确定 关系模型的定义 数据源及数据抽取模型的确定 物理模型 考虑的要素 因此 进行数据仓库的物理设计就是要物理地组织好数据 以访问尽可能少的数 据块返回尽可能多的有效记录 粒度 指数据仓库的数据单位中保存数据的细化或综合程度的级别 粒度可以影 响数据仓库所能回答的查询类型 同时决定了存放在数据仓库中数据量的大小和 查询效率 需要看 PPT 练习 确定粒度大小的考虑原则 如数据仓库的空间有限 则应考虑采用高粒度级别 如追求数据仓库能回答的问题类型的能力 则应考虑采用低粒度级别 如要减轻处理器的负担 提高查询效率 则应考虑采用高粒度级别 如没有存储空间的限制 则可采用多重粒度级别 数据分割 是把大的数据集划分成多个较小的数据集 并分散到不同的物理单元 进行存储 使它们能独立地被处理 它便于管理 并可以提高访问效率 数据仓库的开发流程数据仓库的开发流程 数据仓库的规划与分析阶段 确定目标 技术平台 数据仓库的设计与实施阶段 数据仓库概念模型的设计 数据仓库逻辑模型的设计 数据仓库物理模型的设计 源数据抽取 清洗 整理与装载设计 数据表达及访问设计 数据仓库维护方案的设计 数据仓库的使用阶段 总线型结构的数据仓库 如何建立企业全局的数据仓库 7 7 开发步骤 首先建立部门级数据集市为出发点 同时统观全局 建立逻辑 子集 最后由多个数据集市集成企业级的数据仓库 统一的维 统一的事实 有了统一的维和同意的事实 构建数据集市时就可以以统一的维和统一的事实为 总线 从而使得数据集市之间能够相互协调 构成一个企业级的数据仓库 第三章 数据仓库管理技术 数据仓库的管理主要包括 对数据的管理 对系统的管理 数据仓库的管理主要指对数据的管理 休眠数据的管理 元数据的管理 数据质量的管理 清理数据 休眠数据是指那些存在于数据仓库中的 当前并不使用 将来也很少使用或者根 本就不会使用的数据 产生休眠数据的原因 由于概括表格的创建 对低粒度的汇总 由于错误估计实际上所需要的历史数据的年限 由于随着时间的推移 需求的现实性逐渐明显 由于坚持让详细数据驻留在数据仓库中 对休眠数据的处理 先查找休眠数据 然后删除休眠数据 选择删除的数据 删除休眠数据 垃圾桶 归档存储 0 100 200 300 400 500 600 1234 0 100 200 300 400 500 600 时间 年 休眠数据量 GB 数据仓库容量 GB 8 近线存储 邻线存储 Near Line 选择删除的数据 用一个活动监视器 即一个数据使用跟踪器来确定数据仓库中的数据访问模型 基于数据访问模型的方法来删除数据是一种正确的方法 确定访问可能性 确定已被或未被访问的数据 基于过去的活动建立一个访问轮廓 基于所建立的这种轮廓来确定访问可能性 元数据的管理 企业级中心知识库是集成企业范围内的不同开发工具和知识库 共享元数据环境 数据质量的管理 脏数据 在数据源中抽取 转换和装载到数据仓库的过程中 出现的多余数据和 无用的数据 脏数据产生的四种方式 清理脏数据 数据分析 数据检测 数据修正 第四章 OLAP OLAP 的定义和特征 FASMI 共享多维信息的快速分析 9 9 OLAP 的基本概念 n 度量值度量值 n 维维 n 多维数据集多维数据集 n 虚拟维度虚拟维度 n 父子维度父子维度 度量值是人们观察事务的焦点 比如对企业来说 最受关注的其产品销售量 销 售额等 度量值存放在多维数据集中的事实表中 通常为数字 即度量值是最终 用户浏览多维数据集时重点查看的数字数据 维是指人们观察实务的角度 时间维度 地区维度 多维数据集 所有同质的度量值及其关联的维的维成员构成一个多维数据集 是 OLAP 的核心 虚拟维度是基于物理维度内容的逻辑维度 不额外占用存储空间 父子维度基于两个维度表列 这两列一起定义了维度成员中的沿袭关系 父代 即层次结构中的上一层节点 OLAP 的基本分析操作 切片 就是在某个或某些维上选定一个属性成员 而在其他维上取一定区间的属 性成员或全部属性成员来观察数据的一种分析方法 切块 就是在各个维上取一定区间的成员属性或全部成员属性来观察数据的一种 分析方式 钻取 下钻是指从概括性的数据出发获得相应的更详细的数据 上钻则相反 旋转 是指改变一个报告或页面显示的维方向 OLPA 与 OLTP 比较 1 背景和目的不同 前者对数据进行分析处理 获得信息 支持决策 后者是 10 加速业务数据的处理 2 数据模型不同 前者是基于维表和事实表的星型多维数据模型 后者是传统 关系 模型 3 数据的综合程度不同 4 前者数据不能更改 但周期性刷新 后者可修改 5 前者进行分析处理 如切片 切块 钻取 后者 SQL 命令 追加 删除 修 改 星型模式 一般地 我们用一张事实表和多张维表表示星型模式 事实表在模式图中处于中 心位置 存放的是业务数据 具有可加性 维表的信息用做对事实表进行查询时 的约束条件 n 星系模式星系模式 多个不同的事实表共享多个维度表 且维度表不完全相 多个不同的事实表共享多个维度表 且维度表不完全相 同同 n 星座模式星座模式 一系列同质而不同综合程度的事实表共享一系列维度表 一系列同质而不同综合程度的事实表共享一系列维度表 n 雪花模式雪花模式 维度层次较多 使用多个维度表来描述一个维 形成二 维度层次较多 使用多个维度表来描述一个维 形成二 级维表结构 可以大大减少数据冗余 节省存储空间级维表结构 可以大大减少数据冗余 节省存储空间 第六章 数据挖掘与知识发现 知识发现的定义 知识发现是用一种简洁的方式从大量数据中抽取信息的一种技 术 所抽取的信息是隐含的 未知的 并且具有潜在应用价值 知识发现的过程 n 数据准备 n 数据挖掘 n 结果的解释和评估 11 11 知识发现过程图 n 数据准备 数据集成 对数据进行合并处理 数据检查和清洗工作 数据选择 缩小处理数据的范围 提高数据挖掘的质量 数据预处理 削减数据维数或降维 克服数据挖掘工具的局限性 n 数据挖掘 探索性数据分析 利用图形化方式对数据进行探索 描述建模 描述数据的所有特征 预测建模 建立一个根据已知变量预测其它变量的模型 分类 回归 寻找模式和规则 进行模式探测 根据内容检索 根据用户感兴趣的模式建立相似的模式 n 结果的解释和评估 结果的解释 结果不满足用户要求 换一种挖掘方法 结果非常抽象 换一种容易理解的方法 结果的评估 所采用的数据挖掘技术的有效性 用于挖掘的数据质量和数量 12 知识发现系统结构 知识发现系统管理器 作用是控制并管理整个知识发现过程 知识库和商业分析员 知识库包含了源于各方面的知识 商业分析员要按一种有 效的方式指导关注信息的发现 数据仓库的数据库接口 知识发现系统的数据库接口可以直接与数据仓库通信 数据选择 确定从数据仓库中需要抽取的数据及数据结构 知识发现引擎 将知识库中的抽取算法提供给数据选择构件抽取的数据 知识发现评价 有助于商业分析员筛选模式 选出那些关注性的信息 知识发现描述 发现 评价并辅助商业分析员在知识库中保存关注性发现结果以 备将来引用 并保持知识发现与管理人员的通信 数据挖掘的任务 n 关联分析 n 时序模式 n 聚类 n 分类 n 偏差检测 n 预测 关联分析 13 13 时序模式 给定一段时间内的数据记录 发掘记录间的相关性 聚类 将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程 考虑对象 间相似问题 n 聚类原则 同一类别的对象间距离尽可能小 不同类别的对象间距离尽可能大 分类 给定属于不同类型的数据记录 根据记录中数据项的特征为每种类型生成分类模 型 预测 利用历史数据或数据分布依据一定的模型计算出数值数据或识别出未来分布趋 势等 数据挖掘的分类 n 根据挖掘的数据库类型分类 关系 非关系数据库模型 空间 文本 n 根据挖掘的知识类型分类 关联 时序 聚类 分类 偏差检验 预测 n 根据应用分类 金融 电信业 n 根据所用的方法和技术分类 归纳学习法 仿生物技术类 公式发现法 统计分析法 模糊数学法 可视技术法 数据挖掘的对象 n 关系数据库 n 文本 n 图像与视频数据 n WEB 数据 数据挖掘与专家系统的区别 14 相同点 都是利用已有信息来解决问题 区别 数据挖掘是从海量已有数据中发现隐藏的 潜在的知识来进行决策支持 专家系统是利用专家知识或启发性知识 按一定的推理规则来帮助人们解决问题 数据挖掘强调事实第一 惟数据 专家系统强调经验第一 惟专家 数据挖掘的知识表示 n 规则 n 决策树 n 知识基 浓缩数据 n 网络权值 n 公式 规则知识由前提条件和结论两部分组成 前提条件 由字段项 属性 的取值的 合取 与 和析取 或 组合而成 ID3 决策树的建立方法 n 首先由信息量最大的字段 属性 作为根结点 n 接着根的各个取值为分枝 对各个分枝所划分的数据元组 记录 子集 重 复建树过程 扩展决策树 n 最后得到相同类别的子集 以该类别作为叶结点 数据挖掘方法与技术 1 归纳学习方法 决策树方法 集合论方法 2 仿生物技术 神经网络 遗传算法 3 公式发现 经验公式 4 统计分析法 常用统计 回归技术 聚类挖掘技术 最近邻域数据挖掘 5 模糊数学方法 第七章 统计类数据挖掘技术 数据的聚集与度量技术 各种回归技术 数据的聚类挖掘计数和数据的最近邻计 数等 聚类分析与最近邻技术是在某些事务应用领域的一个重要应用 如机器学习 数 据挖掘 统计数据分析 数据压缩 向量量化 图像处理等 聚类是将对象进行分组 并将相似对象归为一类的过程 数据聚类是将数据对象分成几个群体 类 在每个群体内部对象之间具有较高 的相似性 而不同群体对象之间则具有较低的相似性 需要定义一个衡量对象之间相似性的标准 并通过一定的算法来决定类 n 聚类分析有两种输入 一种输出 一组算法聚类分析有两种输入 一种输出 一组算法 15 15 1 输入输入 一组数据对象 样本集 一组数据对象 样本集 一种度量样本相似性的标准 一种度量样本相似性的标准 2 输出输出 对样本集的一个划分 将样本集划分为若干个类 对样本集的一个划分 将样本集划分为若干个类 3 算法算法 为将样本集划分成类需要有一些算法 常用的有划分法 层 为将样本集划分成类需要有一些算法 常用的有划分法 层 次法和遗传算法 次法和遗传算法 n 样本相似性度量样本相似性度量 样本之间的相似性可以用样本之间的相似性可以用 n 维向量空间上的距离的 远 近 表维向量空间上的距离的 远 近 表 示 示 如果两点间的距离 近 则样本间的相似度高 如果两点间的距离 近 则样本间的相似度高 如果距离 远 则相似度低 如果距离 远 则相似度低 n 计算两点间距离的方法有计算两点间距离的方法有 欧几里德距离 曼哈顿距离 欧几里德距离 曼哈顿距离 16 n 奇异