数据仓库与数据挖掘 2-2.ppt

1、第0，2章数据仓库原理，第1，2章数据仓库原理，2.1定义数据仓库2.2数据仓库特性2.3数据库系统环境2.4数据仓库配置模式2.5数据仓库概念结构2.6数据仓库数据配置部分，2，数据仓库中的数据组织粒度分区维元数据仓库中的数据组织形式添加数据仓库中的数据，2.6数据仓库中的数据组织，3 为了提高2.6数据仓库中的数据组织、4，2.6数据仓库中的数据组织、分析和决策的效率和效率，分析处理及其数据必须与事务处理及其数据分离，必须从事务处理环境中提取处理分析所需的数据，并根据分析处理要求重新构建。 构建单独的分析处理环境。数据仓库是一种数据存储和配置技术，用于构建这种新的分析处理环境。5，2.6数

2、据仓库中的数据组织，数据仓库中数据的组织结构不同于常规数据库系统，从现有业务数据库中获取的基础数据和合并数据需要划分为多个级别。在数据仓库中，数据可以从粒度到粒度分为四个级别：以前的详细级别、当前详细级别、轻微详细级别和高详细级别。从事务处理环境中提取的源数据将首先进入当前详细级别，根据需要具有轻量级综合级别或高度、6、数据仓库中的数据将徐璐具有其他综合级别的初始详细级别。通常，当前详细级别数据的决策支持级别会随着数据发生时间的延长而降低。在数据仓库中，为了有效地控制当前详细级别数据的大小并确保系统的操作效率，设计数据仓库时，通常需要将业务特性与系统硬件级别结合起来设置适当的时间阈值，将旧数据

3、转换为以前的详细级别数据，并以适当的方式存储。2.6数据仓库中的数据组织，8，数据仓库中的数据徐璐具有其他综合级别。当前详细等级数据源中的数据反映了当前业务情况，因此在导入数据仓库后，将首先存储为当前详细等级数据。这些数据规模大，实时性强，是数据仓库用户感兴趣的部分。目前，详细程度的数据是按照数据仓库的既定规则处理的，获得情况的综合和高度综合级别的数据，但随着时间的推移，它会老化，成为历史详细程度的数据。2.6数据仓库中的数据组织，9，数据仓库中的数据具有不同的综合级别。轻量级综合级是有效控制数据仓库决策支持的系统开销，对于当前详细程度的数据，通常是以一定时间为单位进行综合。此设置的持续时间参

4、数也称为“粒度”。通过称为“轻量级综合级别数据”的较小粒度生成的综合数据比当前详细级别数据小得多，从而大大提高了决策工作的效率。2.6数据仓库中的数据组织，10，数据仓库中的数据徐璐有其他综合水平。高综合水平是长时间，即更大的粒度，综合当前详细程度的数据而形成的结果称为“高综合水平数据”。高度综合的数据内容非常干练，可以说是“准决策数据”。在这里，“高度”和“经度”只是相对的概念，没有绝对的界限。，2.6数据仓库中的数据组织，11，数据仓库中的数据组织结构示例，高综合水平，轻综合水平，当前详细程度，以前的详细程度，1990-2004年每月销售表单，实例：简单的事务处理是低粒度级别，每月所有事务

5、处理的汇总和高粒度级别。粒度对数据仓库中存储的数据量和数据仓库可以回答的查询类型有很大影响。数据仓库中的数据量和可响应查询的详细程度之间需要平衡。2.6数据仓库的数据组织，14，粒度，一个客户每通话一个月的详细内容，一个客户通话一个月的综合，卡斯斯奎尔上周给波士顿的女朋友打过电话了吗？可以回答。需要一定数量的搜索，但完全无法回答。细节已经丢失了。“华盛顿人上个月平均打了多少个电话？”“因此，粒度水平对回答哪些问题和问答问题所需的资源有多大影响。(莎士比亚，粒度，粒度，粒度，粒度，粒度，粒度)，2.6数据仓库中的数据组织，15，粒度，粒度的平衡是大多数企业的最佳解决方案，回答了多粒度格式，低粒度

6、，高粒度，任何问题数据仓库中数据综合图的测量粒度越低，详细程度越高；综合图越低，粒度越低，影响数据仓库的效率，可以回答查询的种类。”张三在什么地方给理事打了电话？“张三去年共打了几次长途电话”，“一个地区今年长途与一般电话费用的比率”，“今年长途一般电话费用增长率”，“预测未来长途一般电话费用的变化趋势”，数据仓库根据多粒度、粒度回答了其他查询。2.6数据仓库的数据组织，17，粒度分为两种形式。样品数据库在分析过程中根据样品数据库的粒度：采样率的高低进行细分。具有不同样品粒度的样品数据库可以具有相同的综合级别。这是以特定采样率从详细数据库或轻微综合数据库中提取的子集。样本数据库提取是根据数据的

7、重要性进行的，使用样本数据库收集和分析重要数据有助于提高分析效率，确定主要因素和主要矛盾。2.6组织数据仓库中的数据，18，使用样本数据库：适用于模拟分析、趋势分析和预测分析采样而不是源数据的方法：随机提取，必要时“判断样本”优点：效率，在启发式分析中，如果有很多源数据杨怡，则样本数据可以大幅减少。2.6配置数据仓库中的数据，19，数据仓库中的数据组织粒度维数据仓库中的数据组织形式添加数据仓库中的数据，2.6配置数据仓库中的数据，20，分区数据分区是指将数据分布到可以独立处理的单独物理单元中。数据拆分后的数据单元称为碎片。数据仓库中围绕分区的问题的焦点不是分区渡边杏，而是如何分区的问题。因为管

8、理生产裴珉姬的人员和设计者在管理较小的物理单元时比管理更灵活。适当分区的好处：数据装载、数据访问、数据存档、数据删除、数据监控、数据存储、结构相似的数据划分为多个数据的物理单元时，数据分区。所有指定的数据单元仅属于一个分区，且仅属于一个分区。2.6数据仓库中的数据组织，21，分区，数据分区，1989，1990，1988时间业务范围地理位置组织单位上述所有标准数据分割标准完全由开发人员确定。但是，在数据仓库环境中，日期几乎总是分区标准的必要组成部分。2.6数据仓库中的数据组织，23，地球人寿保险公司选择时间和保险类型。将数据划分为以下物理单位：2000年健康索赔2001年健康索赔2002年健康索

9、赔1999年人寿保险索赔2000年人寿保险索赔2001年人寿保险索赔2002年人寿保险索赔2000年上海索赔2002年上海索赔2.6数据仓库的数据组织，24，分割数据分割优势：系统改进“每年第一季度商品销售如何分布在各种商品上？”提高灵活性，修改数据定义，多年风险的定义徐璐无关，2.6数据仓库中的数据组织，25，数据仓库中的数据组织粒度维数据仓库中的数据组织形式数据仓库中的数据组织形式数据组织，2.6数据仓库中的数据组织，26，维管理员从客户的角度、产品的角度或供应商、位置、渠道、发生用户的这些数据仓库中的数据根据这些维进行组织，维成为数据仓库中标识数据的索引。此外，数据仓库的维通常可以用作维

10、中其他层次的数据仓库操作进程的路径。2.6数据仓库中的数据组织，27，维可用作标识数据的索引，作为表示数据仓库中信息的主要方法，例如时间、位置、产品等。典型的报告只包含行和列的二维，但数据仓库中存储的数据大部分以多维(三维或更大)视图显示。例如，销售系统中的数据可以分为时间、产品和地理位置维等。2.6数据仓库的数据组织，28，数据仓库sales等数据立方体，用于建模和观察多维数据。案例销售分析：数据仓库销售的主题以商品销售为中心。同时，销售量包括时间、项目、位置和branch的很多方面。可以用这方面的信息记录商品的月销售，商品销售的场所。2.6数据仓库中的数据组织，29，位置，每个维度都有一个

11、相关联的表格，称为维度表格。事实：数据仓库的主题，数字计量在本例中是指销售量。事实相当于事实表。，2.6数据仓库中的数据组织，31，a sample data cube，total annual sales of TV in U.S.A .date，product，country，3qtr，4qtr在数据仓库中，数据仓库中的数据组织粒度分区维元数据组织数据仓库中的数据格式添加数据仓库中的数据，2.6组织数据仓库中的数据，34，数据仓库中的元数据类似于数据库管理系统中的数据字典或数据目录。数据词典存储逻辑数据结构、文件和地址以及索引等信息。数据词典包含有关数据库中数据本身的信息。2.6数据仓库中

12、的数据组织、35，2.6数据仓库中的数据组织、36，2.6数据仓库中的数据组织、37，2.6数据仓库中的数据组织，并将元数据视为电话黄页。需要本地商店信息吗？他们在哪里，他们叫什么名字，他们的专营权是什么？去确认电话黄页吧。电话黄页是地区部门信息的词典。元数据部分的工作方式类似于电话黄页，后者是数据仓库内容的词典。38，什么是元数据？假设用户想在运行查询之前了解数据仓库中名为CUSTOMER的表或实体。元素数据存储中与客户相关的信息内容是什么？2.6数据仓库中的数据组织，39，定义：从公司购买产品或服务的人员或机构。备注：客户实体包含一般、目前及过去的客户。源系统：已完成的产品订购、裴珉姬报酬

13、合同、联机销售实施日期：1999年1月15日上次更新日期：2001年1月21日更新周期：每周上次完全刷新日期：2000年12月29日完全刷新周期：每6个月复查数据质量：2001年1月25日最后副本： 2.6数据仓库的数据组织，数据仓库的主要要求：使用数据仓库的必要性订单处理程序允许用户通过系统提供的图形界面和预定义的报告访问信息。 使用数据仓库时，直接从数据仓库获取信息。需要元数据。41，2.6数据仓库中的数据组织、构建数据仓库所需的数据提取和数据转换源系统及其数据结构数据仓库的结构和数据内容数据映射以及数据转换源系统的元数据、从源系统到目标系统的映射以及数据转换规则。数据仓库的数据管理器物理设计和初始装载定期增量装载需要了解数据库逻辑结构的元数据、数据刷新和装载周期元数据。42，2.6数据仓库中的数据组织，管理数据仓库所需的数据提取/转换/装载如何处理数据更改？新的源系统是如