数据仓库与数据挖掘综述课件

1、数据仓库与数据挖掘综述概念、体系结构、趋势、应用报告人：朱建秋 2019年6月7日数据仓库与数据挖掘综述概念、体系结构、趋势、应用报告人：朱建提纲数据仓库概念数据仓库体系结构及组件数据仓库设计数据仓库技术（与数据库技术的区别）数据仓库性能数据仓库应用数据挖掘应用概述数据挖掘技术与趋势数据挖掘应用平台（科委申请项目）提纲数据仓库概念数据仓库概念基本概念对数据仓库的一些误解数据仓库概念基本概念基本概念数据仓库Data warehouse is a subject oriented, integrated,non-volatile and time variant collection of dat

2、a in support of managements decision Inmon,2019.Data warehouse is a set of methods, techniques,and tools that may be leveraged together to produce a vehicle that delivers data to end-users on an integrated platform Ladley,2019.Data warehouse is a process of crating, maintaining,and using a decision-

3、support infrastructure Appleton,2019Haley,2019Gardner 2019.基本概念数据仓库Data warehouse is a s基本概念数据仓库特征Inmon,2019面向主题一个主题领域的表来源于多个操作型应用（如：客户主题，来源于：定单处理；应收帐目；应付帐目；）典型的主题领域：客户；产品；交易；帐目主题领域以一组相关的表来具体实现相关的表通过公共的键码联系起来（如：顾客标识号Customer ID）每个键码都有时间元素（从日期到日期；每月累积；单独日期）主题内数据可以存储在不同介质上（综合级，细节级，多粒度）集成数据提取、净化、转换、装载稳

4、定性批处理增加，仓库已经存在的数据不会改变随时间而变化（时间维）管理决策支持基本概念数据仓库特征Inmon,2019面向主题基本概念Data Mart, ODSData Mart数据集市 - 小型的，面向部门或工作组级数据仓库。Operation Data Store操作数据存储 ODS是能支持企业日常的全局应用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩展后得到的一个混合形式。四个基本特点：面向主题的(Subject -Oriented)、集成的、可变的、 当前或接近当前的。基本概念Data Mart, ODSData Mart基本概念ETL, 元数据，粒度，分割ETLETL（E

5、xtract/Transformation/Load）数据装载、转换、抽取工具。Microsoft DTS; IBM Visual Warehouse etc.元数据关于数据的数据，用于构造、维持、管理、和使用数据仓库，在数据仓库中尤为重要。粒度数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度越小。分割数据分散到各自的物理单元中去，它们能独立地处理。基本概念ETL, 元数据，粒度，分割ETL对数据仓库的一些误解数据仓库与OLAP星型数据模型多维分析数据仓库不是一个虚拟的概念数据仓库与范式理论需要非范式化处理对数据仓库的一些误解数据仓库与OLAP提纲数据仓库概念数据仓库体系

6、结构及组件数据仓库设计数据仓库技术（与数据库技术的区别）数据仓库性能数据仓库应用数据挖掘应用概述数据挖掘技术与趋势数据挖掘应用平台（科委申请项目）提纲数据仓库概念数据仓库体系结构及组件体系结构ETL工具元数据库(Repository)及元数据管理数据访问和分析工具数据仓库体系结构及组件体系结构体系结构 Pieter ,2019SourceDatabasesData Extraction,Transformation, loadWarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCentralMetadataArchitec

7、tedData MartsData Accessand AnalysisEnd-UserDW ToolsCentral DataWarehouseCentral DataWarehouseMid-TierMid-TierDataMartDataMartLocal MetadataLocal MetadataLocal MetadataMetadataExchangeMDBDataCleansingToolRelationalAppl. PackageLegacyExternalRDBMSRDBMS体系结构 Pieter ,2019SourceData 带ODS的体系结构SourceDataba

8、sesHub - Data Extraction,Transformation, loadWarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCentralMetadataArchitectedData MartsData Accessand AnalysisCentral Data Ware-house and ODSCentral DataWarehouseMid-TierRDBMSDataMartMid-TierRDBMSDataMartLocal MetadataLocal MetadataLocal Metada

9、taMetadataExchangeODSOLTPToolsDataCleansingToolRelationalAppl. PackageLegacyExternalMDBEnd-UserDW Tools带ODS的体系结构SourceHub - Data Extr现实环境异质性Douglas Hackney ,2019CustomMarketingData WarehousePackagedOracle FinancialData WarehousePackagedI2 Supply ChainNon- ArchitectedData MartSubsetData MartsOracle F

10、inancialsi2 Supply ChainSiebel CRM3rd Partye-Commerce现实环境异质性Douglas Hackney ,2019联合型数据仓库/数据集市体系结构Real TimeODSFederatedFinancialData WarehouseSubsetData MartsCommonStagingAreaOracle Financialsi2 Supply ChainSiebel CRM3rd PartyFederatedPackagedI2 SupplyChainData MartsAnalyticalApplicationse-CommerceRe

11、al TimeData Miningand AnalyticsReal TimeSegmentation,Classification, Qualification,Offerings, etc.FederatedMarketingData Warehouse联合型数据仓库/数据集市体系结构Real TimeFederETL tools & DW templatesData profiling & reengineering toolsDemand-driven data acquisition & analysisMetadata InterchangeFederated data ware

12、house and data mart systemsDecision engine models, rules and metricsOLAP & data mining tools, Analysis templatesAnalytic application development tools & componentsAnalytic applicationsFront- and back-office OLTPe-Business systemsExternal information providersCRM Analytics & ReportingSupply Chain Ana

13、lytics & ReportingEKP - Enterprise Knowledge Management PortalEPM Analytics & ReportingBusiness information & recommendationsInformed decisions & actionsFinancial Analytics & ReportingHR Analytics & Reporting闭环的联合型BI体系结构ETL tools & DW templatesData p数据仓库的焦点问题-数据的获得、存储和使用RelationalPackageLegacyExtern

14、alsourceDataCleanToolDataStagingEnterprise DataWarehouse DatamartDatamartRDBMSROLAPRDBMSEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserTool数据仓库和集市的加载能力至关重要数据仓库和集市的查询输出能力至关重要数据仓库的焦点问题-数据的获得、存储和使用RelationETL工具去掉操作型数据库中的不需要的数据统一转换数据的名称和定义计算汇总数据和派生数据估计遗失数据的缺省值调节源数据的定义变化 ETL工具去掉操作型数据库中的不需要的数据ETL工具体系结构ETL

15、工具体系结构元数据库及元数据管理元数据分类：技术元数据；商业元数据；数据仓库操作型信息。-Alex Berson etc, 2019技术元数据包括为数据仓库设计人员和管理员使用的数据仓库数据信息，用于执行数据仓库开发和管理任务。包括：数据源信息转换描述（从操作数据库到数据仓库的映射方法，以及转换数据的算法）目标数据的仓库对象和数据结构定义数据清洗和数据增加的规则数据映射操作访问权限，备份历史，存档历史，信息传输历史，数据获取历史，数据访问，等等元数据库及元数据管理元数据分类：技术元数据；商业元数据；数据元数据库及元数据管理 商业元数据给用户易于理解的信息，包括：主题区和信息对象类型，包括查询、

16、报表、图像、音频、视频等Internet主页支持数据仓库的其它信息，例如对于信息传输系统包括预约信息、调度信息、传送目标的详细描述、商业查询对象，等数据仓库操作型信息例如，数据历史（快照，版本），拥有权，抽取的审计轨迹，数据用法 元数据库及元数据管理 商业元数据元数据库及元数据管理元数据库（metadata repository）和工具 Martin Stardt，2000元数据库及元数据管理元数据库（metadata reposi数据访问和分析工具报表OLAP数据挖掘数据访问和分析工具报表提纲数据仓库概念数据仓库体系结构及组件数据仓库设计数据仓库技术（与数据库技术的区别）数据仓库性能数据仓库

17、应用数据挖掘应用概述数据挖掘技术与趋势数据挖掘应用平台（科委申请项目）提纲数据仓库概念数据仓库设计自上而下（Top-Down）自底而上（Bottom Up）混合的方法数据仓库建模数据仓库设计自上而下（Top-Down）Top-down ApproachBuild Enterprise data warehouseCommon central data modelData re-engineering performed onceMinimize redundancy and inconsistencyDetailed and history data; global data discover

18、yBuild datamarts from the Enterprise Data Warehouse (EDW)Subset of EDW relevant to departmentMostly summarized dataDirect dependency on EDW data availabilityLocal Data MartExternal DataLocal Data MartOperational DataEnterprise WarehouseTop-down ApproachBuild Enterpr自底而上设计方法创建部门的数据集市范围局限于一个主题区域快速的 RO

19、I - 局部的商业需求得到满足本部门自治 - 设计上具有灵活性对其他部门数据集市是一个好的指导容易复制到其他部门 需要为每个部门做数据重建有一定级别的冗余和不一致性一个切实可行的方法扩大到企业数据仓库创建EDB作为一个长期的目标局部数据集市外部数据操作型数据 (全部)操作型数据(局部)操作型数据(局部)局部数据集市企业数据仓库EDB自底而上设计方法创建部门的数据集市局部数据集市外部数据操作型数据仓库建模 星型模式Example of Star SchemaDateMonthYearDateCustIdCustNameCustCityCustCountryCustSales Fact Table

20、 Date Product Store Customer unit_sales dollar_sales Yen_salesMeasurementsProductNoProdNameProdDescCategoryQOHProductStoreIDCityStateCountryRegionStore数据仓库建模 星型模式Example of Star S数据仓库建模 雪片模式 DateMonthDateCustIdCustNameCustCityCustCountryCustSales Fact Table Date Product Store Customer unit_sales dol

21、lar_sales Yen_salesMeasurementsProductNoProdNameProdDescCategoryQOHProductMonthYearMonthYearYearCityStateCityCountryRegionCountryStateCountryStateStoreIDCityStoreExample of Snowflake Schema数据仓库建模 雪片模式 DateDateCustId操作型（OLTP）数据源 销售库操作型（OLTP）数据源 销售库星形模式时间维事实表星形模式时间维事实表多维模型事实度量(Metrics)时间维时间维的属性多维模型事实度

22、量时间维时间维的属性提纲数据仓库概念数据仓库体系结构及组件数据仓库设计数据仓库技术（与数据库技术的区别）数据仓库性能数据仓库应用数据挖掘应用概述数据挖掘技术与趋势数据挖掘应用平台（科委申请项目）提纲数据仓库概念数据仓库技术 Inmon，2019管理大量数据能够管理大量数据的能力能够管理好的能力管理多介质（层次）主存、扩展内存、高速缓存、DASD、光盘、缩微胶片监视数据决定是否应数据重组决定索引是否建立得不恰当决定是否有太多数据溢出决定剩余的可用空间利用多种技术获得和传送数据批模式，联机模式并不非常有用程序员/设计者对数据存放位置的控制（块/页）数据的并行存储/管理元数据管理数据仓库技术 Inm

23、on，2019管理大量数据数据仓库技术 Inmon，2019数据仓库语言接口能够一次访问一组数据能够一次访问一条记录支持一个或多个索引有SQL接口数据的高效装入高效索引的利用用位映像的方法、多级索引等数据压缩I/O资源比CPU资源少得多，因此数据解压缩不是主要问题复合键码（因为数据随时间变化）变长数据加锁管理（程序员能显式控制锁管理程序）单独索引处理（查看索引就能提供某些服务）快速恢复数据仓库技术 Inmon，2019数据仓库语言接口数据仓库技术 Inmon，2019其他技术特征，传统技术起很小作用事务集成性、高速缓存、行/页级锁定、参照完整性、数据视图传统DBMS与数据仓库DBMS区别为数据

24、仓库和决策支持优化设计管理更多数据：10GB/100GB/TB传统DBMS适合记录级更新，提供：锁定Lock、提交Commit、检测点CheckPoint、日志处理Log、死锁处理DeadLock、回退 Roolback.基本数据管理，如：块管理，传统DBMS需要预留空间索引区别：传统DBMS限制索引数量，数据仓库DBMS没有限制通用DBMS物理上优化便于事务访问处理，而数据仓库便于DSS访问分析改变DBMS技术多维DBMS和数据仓库多维DBMS作为数据仓库的数据库技术，这种想法是不正确的多维DBMS（OLAP）是一种技术，数据仓库是一种体系结构的基础双重粒度级别（DASD/磁带）数据仓库技术

25、 Inmon，2019其他技术特征，传数据仓库技术 Inmon，2019数据仓库环境中的元数据DSS分析人员和IT专业人员不同，需要元数据的帮助操作型环境和数据仓库环境之间的映射需要元数据数据仓库包含很长时间的数据，必须有元数据标记数据结构/定义上下文和内容（上下文维）简单上下文信息（数据结构/编码/命名约定/度量）复杂上下文信息（产品定义/市场领域/定价/包装/组织结构）外部上下文信息（经济预测：通货膨胀、金融、税收/政治信息/竞争信息/技术进展）刷新数据仓库数据复制（触发器）变化数据捕获（CDC）（日志）数据仓库技术 Inmon，2019数据仓库环境中的提纲数据仓库概念数据仓库体系结构及组

26、件数据仓库设计数据仓库技术（与数据库技术的区别）数据仓库性能数据仓库应用数据挖掘应用概述数据挖掘技术与趋势数据挖掘应用平台（科委申请项目）提纲数据仓库概念数据仓库性能 Inmon, 2019使用数据平台服务管理王天佑 等译，数据仓库管理， 电子工业出版社，2000年5月数据仓库性能 Inmon, 2019使用王天佑 等译提纲数据仓库概念数据仓库体系结构及组件数据仓库设计数据仓库技术（与数据库技术的区别）数据仓库性能数据仓库应用数据挖掘应用概述数据挖掘技术与趋势数据挖掘应用平台（科委申请项目）提纲数据仓库概念数据仓库应用 DW用户数的调查“DW系统的用户在100-500以内或以上是未来一段时期内

27、的主要部分“DW用户的调查最近一年Meta Group Survey调查对象：3000+ 用户或意向用户数据仓库应用 DW用户数的调查“DW系统的用户DW用户的DW数据规模的调查DW规模的调查最近一年Meta Group Survey调查对象：3000+ 用户或意向用户DW数据规模的调查DW规模的调查How Much?$3-6m for mid-size company, less if smaller, more if larger$10m+ for large organizations, large data sets10-50+% annual maintenance costs33%

28、 Hardware / 33% Software / 33% ServicesHow Much?$3-6m for mid-size coHow Long?2-4 years for 80/20 of full system for mid-size company6-12 months for initial iteration3-6 months for subsequent iterationsHow Long?2-4 years for 80/20 oHow Risky?For EDW Projects, 20% (Meta) to 70% (OTR, DWN) failHigh fa

29、ilure rate for non-business driven initiativesVery few systems meet the expectations of the businessFailure not due to technology, due to “soft” issuesMassive upside to successful projects (100% - 2000+% ROI)99% politics - 1% technologyHow Risky?For EDW Projects, 20参考文献Inmon,W.H.,” Building the Data

30、 Warehouse” ,Johm Wiley and Sons,2019.Ladley,John,”Operational Data Stores:Building an Effective Strategy”,Data warehouse:Pratical Advice form the Experts,Prentice Hall,Englewood Cliffs,NJ,2019.Gardmer,Stephen R., “Building the Data warehouse”,Communication of ACM, September 2019, Volume 41, Numver

31、9, 52-60.Douglas Hackney , Http:/ egltd, DW101: A Practical Overview, 2019 Pieter R. Mimno, “The Big Picture - How Brio Competes in the Data Warehousing Market”, Presentation to Brio Technology - August 4, 2019.Alex Berson, Stephen Smith, Kurt Therling, “Building Data Mining Application for CRM”, Mc

32、Graw-Hill, 2019Martin Stardt, Anca Vaduva, Thomas Vetterli, “The Role of Meta for Data Warehouse”, 2000W.H.Inmon, Ken Rudin, Christopher K. Buss, Ryan Sousa, “Data Warehouse Performance”, John Wiley & Sons , 2019参考文献Inmon,W.H.,” Building the 提纲数据仓库概念数据仓库体系结构及组件数据仓库设计数据仓库技术（与数据库技术的区别）数据仓库性能数据仓库应用数据挖掘

33、应用概述数据挖掘技术与趋势数据挖掘应用平台（科委申请项目）提纲数据仓库概念数据挖掘应用综述数据挖掘应用概述数据挖掘技术与趋势数据挖掘应用平台数据挖掘应用综述数据挖掘应用概述数据挖掘应用概述应用比例Data Mining UpsidesData Mining DownsidesData Mining UseData Mining Industry and ApplicationData Mining Costs数据挖掘应用概述应用比例应用比例Clustering 22%Direct Marketing 14% Cross-Sell Models 12% kdnuggets 2019/6/11 N

34、ews应用比例Clustering 22%Discovery of previously unknown relationships, trends, anomalies, etc. Powerful competitive weaponAutomation of repetitive analysisPredictive capabilitiesData Mining UpsidesDiscovery of previously unknowKnowledge discovery technology immatureLong learning and tuning cycles for s

35、ome technologies“Black box” technology minimizes confidenceVLDB (Very Large Data Base) requirementsData Mining DownsidesKnowledge discovery technologyData Mining UsesDiscover anomalies, outliers and exceptions in process dataDiscover behavior and predict outcomes of customer relationshipsChurn manag

36、ementTarget marketing (market of one)Promotion managementFraud detectionPattern ID & matching (dark programs, science)Data Mining UsesDiscover anomaData Mining Industry and ApplicationsFrom research prototypes to data mining products, languages, and standardsIBM Intelligent Miner, SAS Enterprise Min

37、er, SGI MineSet, Clementine, MS/SQLServer 2000, DBMiner, BlueMartini, MineIt, DigiMine, etc.A few data mining languages and standards (esp. MS OLEDB for Data Mining).Application achievements in many domainsMarket analysis, trend analysis, fraud detection, outlier analysis, Web mining, etc.Data Minin

38、g Industry and AppliData Mining CostsDesktop tools: $500 and up (MSFT coming at low price point)Server / MF based: $20,000 to $700,000+Must also add cost of extensive consulting for high end toolsDont forget long training and learning curve timeOngoing process, not task automation softwareData Minin

39、g CostsDesktop tools提纲数据仓库概念数据仓库体系结构及组件数据仓库设计数据仓库技术（与数据库技术的区别）数据仓库性能数据仓库应用数据挖掘应用概述数据挖掘技术与趋势数据挖掘应用平台（科委申请项目）提纲数据仓库概念数据挖掘趋势历史回顾多学科交叉数据挖掘从多个角度分类最近十年的研究进展数据挖掘的趋势数据挖掘与标准化进程数据挖掘趋势历史回顾历史回顾1989 IJCAI Workshop on Knowledge Discovery in Databases Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. F

40、rawley, 1991)1991-1994 Workshops on Knowledge Discovery in DatabasesAdvances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 2019)2019-2019 International Conferences on Knowledge Discovery in Databases and Data Mining (KDD95-98)Journal of Data Mi

41、ning and Knowledge Discovery (2019)2019 ACM SIGKDD, SIGKDD2019-2019 conferences, and SIGKDD ExplorationsMore conferences on data miningPAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE-DM, etc.历史回顾1989 IJCAI Workshop on KnoData Mining: Confluence of Multiple Disciplines Data MiningDatabase Tec

42、hnologyStatisticsOtherDisciplinesInformationScienceMachineLearning (AI)VisualizationData Mining: Confluence of MulA Multi-Dimensional View of Data MiningDatabases to be minedRelational, transactional, object-relational, active, spatial, time-series, text, multi-media, heterogeneous, legacy, WWW, etc

43、.Knowledge to be minedCharacterization, discrimination, association, classification, clustering, trend, deviation and outlier analysis, etc.Techniques utilizedDatabase-oriented, data warehouse (OLAP), machine learning, statistics, visualization, neural network, etc.Applications adaptedRetail, teleco

44、mmunication, banking, fraud analysis, DNA mining, stock market analysis, Web mining, We analysis, etc.A Multi-Dimensional View of DaResearch Progress in the Last DecadeMulti-dimensional data analysis: Data warehouse and OLAP (on-line analytical processing)Association, correlation, and causality anal

45、ysisClassification: scalability and new approachesClustering and outlier analysisSequential patterns and time-series analysisSimilarity analysis: curves, trends, images, texts, etc.Text mining, Web mining and We analysisSpatial, multimedia, scientific data analysisData preprocessing and database com

46、pressionData visualization and visual data miningMany others, e.g., collaborative filteringResearch Progress in the Last Research Directions Han J. W. , 2019Web miningTowards integrated data mining environments and tools“Vertical” (or application-specific) data mining Invisible data miningTowards in

47、telligent, efficient, and scalable data mining methodsResearch Directions Han J. Towards Integrated Data Mining Environments and ToolsOLAP Mining: Integration of Data Warehousing and Data MiningQuerying and Mining: An Integrated Information Analysis EnvironmentBasic Mining Operations and Mining Quer

48、y Optimization“Vertical” (or application-specific) data mining Invisible data miningTowards Integrated Data MiningQuerying and Mining: An Integrated Information Analysis EnvironmentData mining as a component of DBMS, data warehouse, or Web information systemIntegrated information processing environm

49、entMS/SQLServer-2000 (Analysis service)IBM IntelligentMiner on DB2SAS EnterpriseMiner: data warehousing + miningQuery-based miningQuerying database/DW/Web knowledgeEfficiency and flexibility: preprocessing, on-line processing, optimization, integration, etc.Querying and Mining: An Integr“Vertical” D

50、ata MiningGeneric data mining tools? Too simple to match domain-specific, sophisticated applicationsExpert knowledge and business logic represent many years of work in their own fields!Data mining + business logic + domain expertsA multi-dimensional view of data minersComplexity of data: Web, sequen

51、ce, spatial, multimedia, Complexity of domains: DNA, astronomy, market, telecom, Domain-specific data mining toolsProvide concrete, killer solution to specific problemsFeedback to build more powerful tools“Vertical” Data MiningGeneric Invisible Data MiningBuild mining functions into daily informatio

52、n servicesWeb search engine (link analysis, authoritative pages, user profiles)adaptive web sites, etc.Improvement of query processing: history + dataMaking service smart and efficientBenefits from/to data mining researchData mining research has produced many scalable, efficient, novel mining soluti

53、onsApplications feed new challenge problems to researchInvisible Data MiningBuild minTowards Intelligent Tools for Data MiningIntegration paves the way to intelligent miningSmart interface brings intelligence Easy to use, understand and manipulateOne picture may worth 1,000 wordsVisual and audio dat

54、a miningHuman-Centered Data MiningTowards self-tuning, self-managing, self-triggering data miningTowards Intelligent Tools for Integrated Mining: A Booster for Intelligent MiningIntegration paves the way to intelligent miningData mining integrates with DBMS, DW, WebDB, etcIntegration inherits the power of up-to-date information technology: querying, MD analysis, similarity search, etc.Mining can be view