数据挖掘[6-5]Cluster-HierMeth-16

1、Data Model,Review the basic concepts of database What is a data warehouse? A multi-dimensional data model Data warehouse architecture Data warehouse implementation From data warehousing to data mining,数据立方体(1),数据仓库基于一个多维度数据模型，以数据立方体的方式看待数据 一个数据立方体，例如销售量，允许数据进行建模，并在多个层面观看 Dimension tables（维表）, 例如项目(项

2、目名字, 品牌, 类型), 或者时间(天, 周,月,季度,年) Fact table （事实表）包含相关维度表的层组（例如销售额）和键 在数据仓库文献中,一个n维基本立方体被称为基本方体。 拥有最高级汇总的最上层的0维方体, 被称为顶端立方体。长方体晶格形成了一个数据立方体。,数据立方体 (2),维度和维度表 维度: 是一个组织要保留的观点或实体. 维度表: 是进一步描述一个维度的一组属性. 每个维度有可能有与之相联系的一个维度表. 时间，项目，地点，供应者 事实 和事实表 事实: 衡量一个主题 事实表: 事实的表现. 它包含每个相关维表的事实和键名。事实是数值，销售金额,Data Cube

3、(3),数据立方的维度数量 观察到的维度数量. Sales（item time location dollars_sold ） 基本方体: 包含所有在数据仓库中可以被观察到的维度的立方体. 顶端立方体: 不包含维度的立方体. 数据立方: 一个多维度数据模型中的所有立方体.,数据立方 One Example(1),ALLElectronics sales 维度：时间，项目，地点，品牌 维度表： time(time_key day day_of_week month quarter year) item(item_key item_name brand type supplier_key) fac

4、t table：(time_key item_key brand_key location_key dollars_sold units_sold),数据立方 One Example(2),数据立方 One Example(3),4维数据立方,家庭娱乐,计算机,电话,安全,Q1,Q2,Q3,Q4,Vanciuer,Toronto,New York,Chicago,item,time,Location,supplier,Cube: A Lattice of Cuboids,数据仓库的概念模型,数据仓库模型: 维度&层组 星型模式: 中间的事实表和一组维度表相连 雪花模式: 是星型模式的改进，一些

5、维度层级标准化成一组更小的维度表，形成类似雪花的形状 Fact constellations（事实星座）:多个事实表共享维度表，看起来像星星的集合，因此被称为星系模式或事实星座,Example of Star Schema,time_key day day_of_the_week month quarter year,time,Sales Fact Table,time_key,item_key,branch_key,location_key,units_sold,dollars_sold,avg_sales,Measures,item_key item_name brand type sup

6、plier_type,item,branch_key branch_name branch_type,branch,Example of Snowflake Schema,Example of Fact Constellations Schema,在DMQL的多维数据定义语法,多维数据集定义(事实表) define cube : 维度定义(维度表) define dimension as () 特例(共享维度表) First time as “cube definition” define dimension as in cube ,在DMQL定义星型模式,define cube sales_

7、star time, item, branch, location: dollars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*) define dimension time as (time_key, day, day_of_week, month, quarter, year) define dimension item as (item_key, item_name, brand, type, supplier_type) define dimension br

8、anch as (branch_key, branch_name, branch_type) define dimension location as (location_key, street, city, province_or_state, country),在DMQL定义雪花模式,define cube sales_snowflake time, item, branch, location: dollars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*) de

9、fine dimension time as (time_key, day, day_of_week, month, quarter, year) define dimension item as (item_key, item_name, brand, type, supplier(supplier_key, supplier_type) define dimension branch as (branch_key, branch_name, branch_type) define dimension location as (location_key, street, city(city_

10、key, province_or_state, country),在DMQL定义事实星座,define cube sales time, item, branch, location: dollars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*) define dimension time as (time_key, day, day_of_week, month, quarter, year) define dimension item as (item_key,

11、item_name, brand, type, supplier_type) define dimension branch as (branch_key, branch_name, branch_type) define dimension location as (location_key, street, city, province_or_state, country) define cube shipping time, item, shipper, from_location, to_location: dollar_cost = sum(cost_in_dollars), uni

12、t_shipped = count(*) define dimension time as time in cube sales define dimension item as item in cube sales define dimension shipper as (shipper_key, shipper_name, location as location in cube sales, shipper_type) define dimension from_location as location in cube sales define dimension to_location

13、 as location in cube sales,一个概念层级: 维度,一个概念层级定义了从一套更低级别的概念到更高、更一般的概念的映射序列。 类别: 属性的层级: 地点,省,村 属性值的层级或分组 对于一个给定的维度，或许会有不止一个概念层级.,一个概念层级: 维度(地点),多维度数据,作为产品，月份和地区的一个函数的销售量,一个数据立方样本,Total annual sales of TV in U.S.A.,Cuboids Corresponding to the Cube,数据仓库和层级结构的观察,可视化 OLAP功能 交互操作,典型的OLAP 操作,上卷(上钻): 汇总数据 通过爬升到更高的层级或者是减少维度 下钻(下卷): 与上卷相反 从更高层级的汇总到更低层级的汇总或者使数据详细化，或者引进新的维度 切片和切块: 在一个或更多的维度上投射或选择 旋转 (rotate): 重新定位立方体, 可视化, 3D到一系列的2D平面 其他操作 交叉探查: 涉及不止一个事实表 钻取: 从立方体的最底层到它后端的相关表(用SQL),典型的OLAP 操作(1),Roll up 上卷 (drill-up上钻): 汇总数据 通过爬升到更高的层级 (减少维度),典型的OLAP 操作(2),Roll down下