数据仓库技术与联机分析处理

1、数据仓库技术与联机分析处理数据仓库技术与联机分析处理 Data Warehouse Select S#,Sum(QTY) as TOTQTY FromSP Group By S#; . SQL3对聚集的扩展对聚集的扩展(在在Group By中扩展中扩展) Grouping Sets：支持多个分组同时运算：支持多个分组同时运算 Select S#,P#,SUN(QTY) as TOTQTY From SP Group By Grouping Sets (S#) , (P#) S#P#TOTQTY S1Null500 S2Null 700 S3Null 200 S4Null 200 NullP16

2、00 NullP21000 SQL3对聚集的扩展对聚集的扩展(在在Group By中扩展中扩展) Rollup：上卷：上卷 Select S#,P#,SUN(QTY) as TOTQTY From SP Group By Rollup (S# , P#) 等同于等同于 Group By Grouping Sets (S#, P#) , (S#),( ) S#P#TOTQTY S1P1300 S1P2200 S2P1300 S2P2400 S3P2200 S4P2200 S1Null500 S2Null 700 S3Null 200 S4Null 200 NullNull1600 SQL3对聚集

3、的扩展对聚集的扩展(在在Group By中扩展中扩展) Cube：立方体（交叉表）：立方体（交叉表） Select S#,P#, SUN(QTY) as TOTQTY From SP Group By Cube (S# , P#) 等同于等同于 Group By Grouping Sets (S#, P#) , (S#) , (P#) , ( ) S#P#TOTQTY S1P1300 S1P2200 S2P1300 S2P2400 S3P2200 S4P2200 S1Null500 S2Null 700 S3Null 200 S4Null 200 NullP1600 NullP21000 Nu

4、llNull1600 数据挖掘数据挖掘（Data Mining） 探测型的数据分析探测型的数据分析 发现信息、发现知识发现信息、发现知识 基于基于人工智能人工智能、机器学习机器学习、统计学统计学 由计算机自动智能地分析数据，获取信息，由计算机自动智能地分析数据，获取信息， 作出预测或帮助决策作出预测或帮助决策 需要需要算法的支持算法的支持和机器的环境和机器的环境 数据挖掘数据挖掘的常用方法的常用方法 决策树方法决策树方法 利用信息论中的互信息，寻找数据库中具利用信息论中的互信息，寻找数据库中具 有最大信息量的属性字段，建立决策树的有最大信息量的属性字段，建立决策树的 节点，再根据该属性字段的不

5、同取值建立节点，再根据该属性字段的不同取值建立 树的分支树的分支 在每个分支子集中重复建立下层节点和分在每个分支子集中重复建立下层节点和分 支支 数据挖掘数据挖掘分析方法分析方法 关联分析关联分析 为了挖掘出隐藏在数据间的相互关系为了挖掘出隐藏在数据间的相互关系 支持度支持度/置信度作为输入的条件，进行筛选、分析置信度作为输入的条件，进行筛选、分析 序列模式分析序列模式分析 类似与关联分析类似与关联分析 着重于分析数据的前因后果着重于分析数据的前因后果 分类分析分类分析 对于不同分类的数据进行分析，找出他们的规律、对于不同分类的数据进行分析，找出他们的规律、 特征特征 聚类分析聚类分析 是分类

6、的逆过程是分类的逆过程 根据数据特征，进行分类根据数据特征，进行分类 数据挖掘数据挖掘的步骤的步骤 数据准备数据准备 数据集成数据集成 数据选择和预分析数据选择和预分析 挖掘挖掘 利用前述的方法对数据进行分析利用前述的方法对数据进行分析 表述表述 利用可视化工具，将结果展现给分析员利用可视化工具，将结果展现给分析员 评价评价 评估结果，递归上述过程评估结果，递归上述过程 数据挖掘数据挖掘与与OLAP 都属于分析型工具都属于分析型工具 DM是挖掘型工具是挖掘型工具 DM试图自动地发现隐藏在数据中的模式或试图自动地发现隐藏在数据中的模式或 规律规律 OLAP是验证型工具是验证型工具 OLAP更多地依赖于用户