（课件）数据仓库与数据挖掘综述

数据仓库与数据挖掘综述 概念、体系结构、趋势、应用 报告人：朱建秋报告人：朱建秋 20012001年年6 6月月7 7日日 提纲 v数据仓库概念 v数据仓库体系结构及组件 v数据仓库设计 v数据仓库技术（与数据库技术的区别） v数据仓库性能 v数据仓库应用 v数据挖掘应用概述 v数据挖掘技术与趋势 v数据挖掘应用平台（科委申请项目） 数据仓库概念 v基本概念 v对数据仓库的一些误解 基本概念数据仓库 Data warehouse is a subject oriented, integrated,non-volatile and time variant collection of data in support of managements decision Inmon,1996. Data warehouse is a set of methods, techniques,and tools that may be leveraged together to produce a vehicle that delivers data to end-users on an integrated platform Ladley,1997. Data warehouse is a process of crating, maintaining,and using a decision-support infrastructure Appleton,1995Haley,1997Gardner 1998. 基本概念数据仓库特征Inmon,1996 v面向主题 n一个主题领域的表来源于多个操作型应用（如：客户主题，来源于 ：定单处理；应收帐目；应付帐目；） n典型的主题领域：客户；产品；交易；帐目 n主题领域以一组相关的表来具体实现 n相关的表通过公共的键码联系起来（如：顾客标识号Customer ID ） n每个键码都有时间元素（从日期到日期；每月累积；单独日期） n主题内数据可以存储在不同介质上（综合级，细节级，多粒度） v集成 n数据提取、净化、转换、装载 v稳定性 n批处理增加，仓库已经存在的数据不会改变 v随时间而变化（时间维） v管理决策支持 基本概念Data Mart, ODS vData Mart n数据集市 - 小型的，面向部门或工作组级 数据仓库。 vOperation Data Store n操作数据存储 ODS是能支持企业日常的 全局应用的数据集合,是不同于DB的一种新的数 据环境, 是DW 扩展后得到的一个混合形式。四 个基本特点：面向主题的(Subject -Oriented) 、集成的、可变的、 当前或接近当前的。 基本概念ETL, 元数据，粒度，分割 vETL nETL（Extract/Transformation/Load）数据装载、 转换、抽取工具。Microsoft DTS; IBM Visual Warehouse etc. v元数据 n关于数据的数据，用于构造、维持、管理、和使用数据 仓库，在数据仓库中尤为重要。 v粒度 n数据仓库的数据单位中保存数据的细化或综合程度的级 别。细化程度越高，粒度越小。 v分割 n数据分散到各自的物理单元中去，它们能独立地处理。 对数据仓库的一些误解 v数据仓库与OLAP n星型数据模型 n多维分析 v数据仓库不是一个虚拟的概念 v数据仓库与范式理论 n需要非范式化处理 提纲 v数据仓库概念 v数据仓库体系结构及组件 v数据仓库设计 v数据仓库技术（与数据库技术的区别） v数据仓库性能 v数据仓库应用 v数据挖掘应用概述 v数据挖掘技术与趋势 v数据挖掘应用平台（科委申请项目） 数据仓库体系结构及组件 v体系结构 vETL工具 v元数据库(Repository)及元数据管理 v数据访问和分析工具 体系结构 Pieter ,1998 Source Databases Data Extraction, Transformation, load Warehouse Admin. Tools Extract, Transform and Load Data Modeling Tool Central Metadata Architected Data Marts Data Access and Analysis End-User DW Tools Central Data Warehouse Central Data Warehouse Mid- Tier Mid- Tier Data Mart Data Mart Local Metadata Local Metadata Local Metadata Metadata Exchange MDB Data Cleansing Tool Relational Appl. Package Legacy External RDBMS RDBMS 带ODS的体系结构 Source Databases Hub - Data Extraction, Transformation, load Warehouse Admin. Tools Extract, Transform and Load Data Modeling Tool Central Metadata Architected Data Marts Data Access and Analysis Central Data Ware- house and ODS Central Data Warehouse Mid- Tier RDBMS Data Mart Mid- Tier RDBMS Data Mart Local Metadata Local Metadata Local Metadata Metadata Exchange ODS OLTP Tools Data Cleansing Tool Relational Appl. Package Legacy External MDB End-User DW Tools 现实环境异质性Douglas Hackney ,2001 CustomCustom MarketingMarketing Data Data WarehouseWarehouse PackagedPackaged Oracle Oracle FinancialFinancial Data Data WarehouseWarehouse PackagedPackaged I2 Supply ChainI2 Supply Chain Non- ArchitectedNon- Architected Data MartData Mart SubsetSubset Data MartsData Marts Oracle FinancialsOracle Financialsi2 Supply Chaini2 Supply ChainSiebel CRMSiebel CRM3rd Party3rd Partye-Commercee-Commerce 联合型数据仓库/数据集市体系结构 Real TimeReal Time ODSODS FederatedFederated FinancialFinancial Data Data WarehouseWarehouse SubsetSubset Data MartsData Marts CommonCommon StagingStaging AreaArea Oracle FinancialsOracle Financialsi2 Supply Chaini2 Supply ChainSiebel CRMSiebel CRM3rd Party3rd Party FederatedFederated PackagedPackaged I2 SupplyI2 Supply ChainChain Data MartsData Marts AnalyticalAnalytical ApplicationsApplications e-Commercee-Commerce Real TimeReal Time Data MiningData Mining and Analyticsand Analytics Real TimeReal Time Segmentation,Segmentation, Classification, Classification, Qualification,Qualification, Offerings, etc.Offerings, etc. FederatedFederated MarketingMarketing Data Data WarehouseWarehouse ETL tools global data discovery vBuild datamarts from the Enterprise Data Warehouse (EDW) HSubset of EDW relevant to department HMostly summarized data HDirect dependency on EDW data availabilityLocal Data MartLocal Data Mart External Data Local Data Mart Operational Data Enterprise Warehouse 自底而上设计方法 创建部门的数据集市 n范围局限于一个主题区域 n快速的 ROI - 局部的商业需 求得到满足 H本部门自治 - 设计上具有灵 活性 H对其他部门数据集市是一个好 的指导 H容易复制到其他部门 H需要为每个部门做数据重建 H有一定级别的冗余和不一致性 H一个切实可行的方法 v扩大到企业数据仓库 n创建EDB作为一个长期的目 标 局部数据集市 外部数据 操作型数据 (全部) 操作型数据 (局部) 操作型数据 (局部) 局部数据集市 企业数据仓库 EDB 数据仓库建模 星型模式 vExample of Star Schema Date Month Year Date CustId CustName CustCity CustCountry Cust Sales Fact Table Date Product Store Customer unit_sales dollar_sales Yen_sales Measurements ProductNo ProdName ProdDesc Category QOH Product StoreID City State Country Region Store 数据仓库建模 雪片模式 Date Month Date CustId CustName CustCity CustCountry Cust Sales Fact Table Date Product Store Customer unit_sales dollar_sales Yen_sales Measurements ProductNo ProdName ProdDesc Category QOH Product Month Year Month Year Year City State City Country Region Country State Country State StoreID City Store vvExample of Snowflake SchemaExample of Snowflake Schema 操作型（OLTP）数据源 - 销售库 星形模式 时间维 事实表 多维模型 事实 度量 (Metrics) 时间维 时间维的属性 提纲 v数据仓库概念 v数据仓库体系结构及组件 v数据仓库设计 v数据仓库技术（与数据库技术的区别） v数据仓库性能 v数据仓库应用 v数据挖掘应用概述 v数据挖掘技术与趋势 v数据挖掘应用平台（科委申请项目） 数据仓库技术 Inmon，1996 1.1.管理大量数据管理大量数据 n n 能够管理大量数据的能力能够管理大量数据的能力 n n 能够管理好的能力能够管理好的能力 2.2.管理多介质（层次）管理多介质（层次） n n 主存、扩展内存、高速缓存、主存、扩展内存、高速缓存、DASDDASD、光盘、缩微胶片、光盘、缩微胶片 3.3.监视数据监视数据 n n 决定是否应数据重组决定是否应数据重组 n n 决定索引是否建立得不恰当决定索引是否建立得不恰当 n n 决定是否有太多数据溢出决定是否有太多数据溢出 n n 决定剩余的可用空间决定剩余的可用空间 4.4.利用多种技术获得和传送数据利用多种技术获得和传送数据 n n 批模式，联机模式并不非常有用批模式，联机模式并不非常有用 5.5.程序员程序员/ /设计者对数据存放位置的控制（块设计者对数据存放位置的控制（块/ /页）页） 6.6.数据的并行存储数据的并行存储/ /管理管理 7.7.元数据管理元数据管理 数据仓库技术 Inmon，1996 8.8.数据仓库语言接口数据仓库语言接口 n n 能够一次访问一组数据能够一次访问一组数据 n n 能够一次访问一条记录能够一次访问一条记录 n n 支持一个或多个索引支持一个或多个索引 n n 有有SQLSQL接口接口 9.9.数据的高效装入数据的高效装入 10.10.高效索引的利用高效索引的利用 n n 用位映像的方法、多级索引等用位映像的方法、多级索引等 11.11.数据压缩数据压缩 n n I/OI/O资源比资源比CPUCPU资源少得多，因此数据解压缩不是主要问题资源少得多，因此数据解压缩不是主要问题 12.12.复合键码（因为数据随时间变化）复合键码（因为数据随时间变化） 13.13.变长数据变长数据 14.14.加锁管理（程序员能显式控制锁管理程序）加锁管理（程序员能显式控制锁管理程序） 15.15.单独索引处理（查看索引就能提供某些服务）单独索引处理（查看索引就能提供某些服务） 16.16.快速恢复快速恢复 数据仓库技术 Inmon，1996 17.17.其他技术特征，传统技术起很小作用其他技术特征，传统技术起很小作用 n n 事务集成性、高速缓存、行事务集成性、高速缓存、行/ /页级锁定、参照完整性、数据视图页级锁定、参照完整性、数据视图 18.18.传统传统DBMSDBMS与数据仓库与数据仓库DBMSDBMS区别区别 n n 为数据仓库和决策支持优化设计为数据仓库和决策支持优化设计 n n 管理更多数据：管理更多数据：10GB/100GB/TB10GB/100GB/TB n n 传统传统DBMSDBMS适合记录级更新，提供：锁定适合记录级更新，提供：锁定LockLock、提交、提交CommitCommit、检测点、检测点 CheckPointCheckPoint、日志处理、日志处理LogLog、死锁处理、死锁处理DeadLockDeadLock、回退、回退 Roolback. Roolback. n n 基本数据管理，如：块管理，传统基本数据管理，如：块管理，传统DBMSDBMS需要预留空间需要预留空间 n n 索引区别：传统索引区别：传统DBMSDBMS限制索引数量，数据仓库限制索引数量，数据仓库DBMSDBMS没有限制没有限制 n n 通用通用DBMSDBMS物理上优化便于事务访问处理，而数据仓库便于物理上优化便于事务访问处理，而数据仓库便于DSSDSS访问分析访问分析 19.19.改变改变DBMSDBMS技术技术 20.20.多维多维DBMSDBMS和数据仓库和数据仓库 n n 多维多维DBMSDBMS作为数据仓库的数据库技术，这种想法是不正确的作为数据仓库的数据库技术，这种想法是不正确的 n n 多维多维DBMSDBMS（OLAPOLAP）是一种技术，数据仓库是一种体系结构的基础）是一种技术，数据仓库是一种体系结构的基础 21.21.双重粒度级别（双重粒度级别（DASD/DASD/磁带）磁带） 数据仓库技术 Inmon，1996 22.22.数据仓库环境中的元数据数据仓库环境中的元数据 n n DSSDSS分析人员和分析人员和ITIT专业人员不同，需要元数据的帮助专业人员不同，需要元数据的帮助 n n 操作型环境和数据仓库环境之间的映射需要元数据操作型环境和数据仓库环境之间的映射需要元数据 n n 数据仓库包含很长时间的数据，必须有元数据标记数据结构数据仓库包含很长时间的数据，必须有元数据标记数据结构/ /定义定义 23.23.上下文和内容（上下文维）上下文和内容（上下文维） n n 简单上下文信息（数据结构简单上下文信息（数据结构/ /编码编码/ /命名约定命名约定/ /度量）度量） n n 复杂上下文信息（产品定义复杂上下文信息（产品定义/ /市场领域市场领域/ /定价定价/ /包装包装/ /组织结构）组织结构） n n 外部上下文信息（经济预测：通货膨胀、金融、税收外部上下文信息（经济预测：通货膨胀、金融、税收/ /政治信息政治信息/ /竞争信竞争信 息息/ /技术进展）技术进展） 24.24.刷新数据仓库刷新数据仓库 n n 数据复制（触发器）数据复制（触发器） n n 变化数据捕获（变化数据捕获（CDCCDC）（日志）（日志） 提纲 v数据仓库概念 v数据仓库体系结构及组件 v数据仓库设计 v数据仓库技术（与数据库技术的区别） v数据仓库性能 v数据仓库应用 v数据挖掘应用概述 v数据挖掘技术与趋势 v数据挖掘应用平台（科委申请项目） 数据仓库性能 Inmon, 1999 v使用 v数据 v平台 v服务管理 王天佑王天佑 等译，数据仓库管理，等译，数据仓库管理， 电子工业出电子工业出 版社，版社，20002000年年5 5月月 提纲 v数据仓库概念 v数据仓库体系结构及组件 v数据仓库设计 v数据仓库技术（与数据库技术的区别） v数据仓库性能 v数据仓库应用 v数据挖掘应用概述 v数据挖掘技术与趋势 v数据挖掘应用平台（科委申请项目） 数据仓库应用 DW用户数的调查 “DW系统的用户 在100-500以内或以上 是未来一段时期内 的主要部分“ DW用户的调查 最近一年 Meta Group Survey 调查对象：3000+ 用户或意向用户 DW数据规模的调查 DW规模的调查 最近一年 Meta Group Survey 调查对象：3000+ 用户或意向用户 How Much? vv$3-6m for mid-size company, less if $3-6m for mid-size company, less if smaller, more if largersmaller, more if larger vv$10m+ for large organizations, large $10m+ for large organizations, large data setsdata sets vv10-50+% annual maintenance costs10-50+% annual maintenance costs vv33% Hardware / 33% Software / 33% 33% Hardware / 33% Software / 33% ServicesServices How Long? vv2-4 years for 80/20 of full system for mid2-4 years for 80/20 of full system for mid -size company-size company vv6-12 months for initial iteration6-12 months for initial iteration vv3-6 months for subsequent iterations3-6 months for subsequent iterations How Risky? vFor EDW Projects, 20% (Meta) to 70% (OTR, DWN) fail vHigh failure rate for non-business driven initiatives vVery few systems meet the expectations of the business vFailure not due to technology, due to “soft” issues vMassive upside to successful projects (100% - 2000+% ROI) v99% politics - 1% technology 参考文献 vInmon,W.H.,” Building the Data Warehouse” ,Johm Wiley and Sons,1996. vLadley,John,”Operational Data Stores:Building an Effective Strategy”,Data warehouse:Pratical Advice form the Experts,Prentice Hall,Englewood Cliffs,NJ,1997. vGardmer,Stephen R., “Building the Data warehouse”,Communication of ACM, September 1998, Volume 41, Numver 9, 52-60. vDouglas Hackney , Http:/ , DW101: A Practical Overview, 2001 v Pieter R. Mimno, “The Big Picture - How Brio Competes in the Data Warehousing Market”, Presentation to Brio Technology - August 4, 1998. vAlex Berson, Stephen Smith, Kurt Therling, “Building Data Mining Application for CRM”, McGraw-Hill, 1999 vMartin Stardt, Anca Vaduva, Thomas Vetterli, “The Role of Meta for Data Warehouse”, 2000 vW.H.Inmon, Ken Rudin, Christopher K. Buss, Ryan Sousa, “Data Warehouse Performance”, John Wiley & Sons , 1999 提纲 v数据仓库概念 v数据仓库体系结构及组件 v数据仓库设计 v数据仓库技术（与数据库技术的区别） v数据仓库性能 v数据仓库应用 v数据挖掘应用概述 v数据挖掘技术与趋势 v数据挖掘应用平台（科委申请项目） 数据挖掘应用综述 v数据挖掘应用概述 v数据挖掘技术与趋势 v数据挖掘应用平台 数据挖掘应用概述 v应用比例 vData Mining Upsides vData Mining Downsides vData Mining Use vData Mining Industry and Application vData Mining Costs 应用比例 Clustering Clustering 22%22% Direct Marketing Direct Marketing 14% 14% Cross-Sell Models Cross-Sell Models 12% 12% www.kdnuggets.cowww.kdnuggets.co mm 2001/6/11 News 2001/6/11 News vvDiscovery of previously unknown Discovery of previously unknown relationships, trends, anomalies, etc. relationships, trends, anomalies, etc. vvPowerful competitive weaponPowerful competitive weapon vvAutomation of repetitive analysisAutomation of repetitive analysis vvPredictive capabilitiesPredictive capabilities Data Mining UpsidesData Mining Upsides vvKnowledge discovery technology Knowledge discovery technology immatureimmature vvLong learning and tuning cycles for Long learning and tuning cycles for some technologiessome technologies vv“Black box” technology minimizes “Black box” technology minimizes confidenceconfidence vvVLDB (Very Large Data Base) VLDB (Very Large Data Base) requirementsrequirements Data Mining DownsidesData Mining Downsides Data Mining UsesData Mining Uses vvDiscover anomalies, outliers and Discover anomalies, outliers and exceptions in process dataexceptions in process data vvDiscover behavior and predict Discover behavior and predict outcomes of customer relationshipsoutcomes of customer relationships n n Churn managementChurn management n n Target marketing (market of one)Target marketing (market of one) n n Promotion managementPromotion management n n Fraud detectionFraud detection vvPattern ID & matching (dark programs, Pattern ID & matching (dark programs, science)science) Data Mining Industry and Applications vvFrom research prototypes to data From research prototypes to data mining products, languages, and mining products, languages, and standardsstandards n n IBM Intelligent Miner, SAS Enterprise Miner, SGI IBM Intelligent Miner, SAS Enterprise Miner, SGI MineSet, Clementine, MS/SQLServer 2000, MineSet, Clementine, MS/SQLServer 2000, DBMiner, BlueMartini, MineIt, DigiMine, etc.DBMiner, BlueMartini, MineIt, DigiMine, etc. n n A few data mining languages and standards (esp. A few data mining languages and standards (esp. MS OLEDB for Data Mining).MS OLEDB for Data Mining). vvApplication achievements in many Application achievements in many domainsdomains n n Market analysis, trend analysis, fraud detection, Market analysis, trend analysis, fraud detection, outlier analysis, Web mining, etc.outlier analysis, Web mining, etc. Data Mining CostsData Mining Costs vvDesktop tools: $500 and up (MSFT Desktop tools: $500 and up (MSFT coming at low price point)coming at low price point) vvServer / MF based: $20,000 to $700,000+Server / MF based: $20,000 to $700,000+ vvMust also add cost of extensive Must also add cost of extensive consulting for high end toolsconsulting for high end tools vvDont forget long training and learning Dont forget long training and learning curve timecurve time vvOngoing process, not task automation Ongoing process, not task automation softwaresoftware 提纲 v数据仓库概念 v数据仓库体系结构及组件 v数据仓库设计 v数据仓库技术（与数据库技术的区别） v数据仓库性能 v数据仓库应用 v数据挖掘应用概述 v数据挖掘技术与趋势 v数据挖掘应用平台（科委申请项目） 数据挖掘趋势 v历史回顾 v多学科交叉 v数据挖掘从多个角度分类 v最近十年的研究进展 v数据挖掘的趋势 v数据挖掘与标准化进程 历史回顾 v1989 IJCAI Workshop on Knowledge Discovery in Databases nKnowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991) v1991-1994 Workshops on Knowledge Discovery in Databases nAdvances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996) v1995-1998 International Conferences on Knowledge Discovery in Databases and Data Mining (KDD95-98) nJournal of Data Mining and Knowledge Discovery (1997) v1998 ACM SIGKDD, SIGKDD1999-2001 conferences, and SIGKDD Explorations vMore conferences on data mining nPAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE-DM, etc. Data Mining: Confluence of Multiple Disciplines Data Mining Database Technology Statistics Other Disciplines Information Science Machine Learning (AI) Visualization A Multi-Dimensional View of Data Mining vvDatabases to be minedDatabases to be mined n n Relational, transactional, object-relational, active, spatial, time-Relational, transactional, object-relational, active, spatial, time- series, text, multi-media, heterogeneous, legacy, WWW, etc.series, text, multi-media, heterogeneous, legacy, WWW, etc. vvKnowledge to be minedKnowledge to be mined n n Characterization, discrimination, association, classification, Characterization, discrimination, association, classification, clustering, trend, deviation and outlier analysis, etc.clustering, trend, deviation and outlier analysis, etc. vvTechniques utilizedTechniques utilized n n Database-oriented, data warehouse (OLAP), machine learning, Database-oriented, data warehouse (OLAP), machine learning, statistics, visualization, neural network, etc.statistics, visualization, neural network, etc. vvApplications adaptedApplications adapted n n Retail, telecommunication, banking, fraud analysis, DNA mining, stock Retail, telecommunication, banking, fraud analysis, DNA mining, stock market analysis, Web mining, Weblog analysis, etc.market analysis, Web mining, Weblog analysis, etc. Research Progress in the Last Decade vMulti-dimensional data analysis: Data warehouse and OLAP (on-line analytical processing) vAssociation, correlation, and causality analysis vClassification: scalability and new approaches vClustering and outlier analysis vSequential patterns and time-series analysis vSimilarity analysis: curves, trends, images, texts, etc. vText mining, Web mining and Weblog analysis vSpatial, multimedia, scientific data analysis vData preprocessing and database compression vData visualization and visual data mining vMany others, e.g., collaborative filtering Research Directions Han J. W. , 2001 vvWeb miningWeb mining vvTowards integrated data mining Towards integrated data mining environments and toolsenvironments and tools n n “Vertical” (or application-specific) data mining “Vertical” (or application-specific) data mining n n Invisible data miningInvisible data mining vvTowards intelligent, efficient, and Towards intelligent, efficient, and scalable data mining methodsscalable data mining methods Towards Integrated Data Mining Environments and Tools vvOLAP Mining: Integration of Data OLAP Mining: Integration of Data Warehousing and Data MiningWarehousing and Data Mining vvQuerying and Mining: An Integrated Querying and Mining: An Integrated Information Analysis EnvironmentInformation Analysis Environment vvBasic Mining Operations and Mining Query Basic Mining Operations and Mining Query OptimizationOptimization vv“Vertical” (or application-specific) data “Vertical” (or application-specific) data mining mining vvInvisible data miningInvisible data mining Querying and Mining: An Integrated Information Analysis Environment vData mining as a component of DBMS, data warehouse, or Web information system nIntegrated information processing environment MS/SQLServer-2000 (Analysis service) IBM IntelligentMiner on DB2 SAS EnterpriseMiner: data warehousing + mining vQuery-based mining nQuerying database/DW/Web knowledge nEfficiency and flexibility: preprocessing, on-line processing, optimization, integration, etc. “Vertical” Data Mining vGeneric data mining tools? Too simple to match domain-specific, sophisticated applications nExpert knowledge and business logic represent many years of work in their own fields! nData mining + business logic + domain experts vA multi-dimensional view of data miners nComplexity of data: Web, sequence, spatial, multimedia, nComplexity of domains: DNA, astronomy, market, telecom, vDomain-specific data mining tools nProvide concrete, killer solution to specific problems nFeedback to build more powerful tools Invisible Data Mining vBuild mining functions into daily information services nWeb search engine (link analysis, authoritative pages, user profiles)adaptive web sites, etc. nImprovement of query processing: history + data nMaking service smart and efficient vBenefits from/to data mining research nData mining research has produced many scalable, efficient, novel mining so