数据仓库技术综合介绍(ppt 99页).ppt

1、数据仓库技术介绍,了解你的组织,了解你的客户,了解你的供应商,嵇晓,内容提要,动机与需求数据仓库技术数据仓库在宝钢的实践结束语,面临的问题,人们在日常生活中经常会遇到这样的情况：超市的经营者希望将经常被同时购买的商品放在一起，以增加销售；保险公司想知道购买保险的客户一般具有哪些特征；医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助；,企业面临的问题,经过多年的计算机应用和市场积累，许多企业保存了大量原始数据和各种业务数据,它是企业生产经营活动的真实记录由于缺乏集中存储和管理，这些数据不能为本企业加以利用,不能进行有效的统计、分析及评估，无法

2、将这些数据转换成企业有用的信息,数据爆炸问题,自动的数据收集工具和成熟的数据库技术导致巨大的数据存储在文件系统、数据库和其它的信息库中。我们会淹死在数据中,但却为信息、知识所饿!,面临的挑战,如何在堆积如山的企业交易数据中发现具有商业价值的闪光点？如何使您的企业或组织在激烈的市场竞争中保持对客户的吸引力？如何预先发现和避免企业运作过程中不易察觉的商业风险？,宝钢整体产销信息管理系统,L4,宝钢计算机系统的架构,宝钢的现状及需求,宝钢拥有许多传统的OLTP（联机事务处理）系统，担负着许多重要的日常事物处理工作，在宝钢的生产经营活动中扮演着重要角色。经过多年的计算机应用，宝钢积累了大量丰富翔实的原

3、始生产实绩数据和各种业务数据，它反映了企业生产经营过程中规律性的信息和知识，由于缺乏集中存储和管理，对如何充分有效地利用这些数据，却一直没有很好的解决方法，不能利用它们进行有效的统计、分析及评估，无法将这些数据转换成企业真正有用的信息。,宝钢追求的目标,宝钢作为中国的特大型钢铁企业，它的主要建设目标是在激烈的国际国内市场竞争中立于不败之地，并且要加强管理、优化资源，追求效益最大化。这就要求使其生产和经营过程共同达到优化，例如，能够快速准确地提供报价、确定交货期、以及确保产品质量等，并且制定有正确的企业发展战略，以适应市场需求的变化，能做出及时反应。,宝钢股份的质量方针,“重用户、重改进、重效率

4、、重价值，为社会提供世界一流的产品和服务。”-宝钢股份质量方针随着市场竞争的加剧和用户要求的提高，从大量数据中挖掘规律性知识，制定正确的生产策略和市场策略，显得越来越重要。,市场需求是技术发展的源动力,数据仓库的出现和发展是数据库和OLTP技术发展、数据库应用深化的产物；目的是把数据库中的大量数据转化为有用信息，为企业更好地进行决策服务。,内容提要,动机与需求数据仓库技术数据仓库在宝钢的实践结束语,在早期，业务人员考虑如何实现自动化.,计算机发展史,在数据库应用的早期，计算机系统所处理的是从无到有的问题，是传统手工业务自动化的问题。例如银行的储蓄系统、电信的计费系统，它们都属于典型的联机事务处

5、理系统。,手工业务自动化,很快就建立了许多应用系统，在当时，一个企业可以简单地通过拥有联机事务处理的计算机系统而获得强大的市场竞争力。,联机事务系统的建立,联机事务系统的建立（续）,当时单位容量的联机存储介质比现在昂贵得多，相对于市场竞争的压力，将大量的历史业务数据长时间联机保存去用于分析显然是过于奢侈了。因此，联机事务处理系统只涉及当前数据，系统积累下的历史业务数据往往被转储到脱机的环境中。在计算机系统应用的早期，还没有积累大量的历史数据可供统计与分析。从而，联机事务处理成为整个80年代直到90年代初数据库应用的主流。,在数据仓库以前大都是事物处理系统(OLTP)的天下（1965-1990）

6、,这个现状持续了25年，它主要实现-数据的收集-数据的存储-数据的在线存取,联机事务系统的功能,但是在OLTP系统中存在着若干问题-数据不是综合的-没有历史数据-没有汇总数据,联机事务系统的问题,Q1Q2,Q3,Q1Q2Q3Q4,管理者想要了解公司的情况,数据集成问题,有多少品种?,缺乏数据集成不是一个唯一的问题,-历史数据的缺乏是另一个应用问题,历史数据问题,另一个问题是汇总.,汇总问题,-贯穿公司的数据集成?-公司的历史数据?-详细数据及汇总数据?,获取信息的重要因素,应用在不断地进步，当联机事务处理系统应用到一定阶段的时候，企业家们便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优

7、势；他们需要对其自身业务的运作以及整个市场相关行业的态势进行分析，从而做出有利的决策。,决策的需要,决策需要对大量的业务数据包括历史业务数据进行分析才能得到，而这种基于业务数据的决策分析，我们把它称之为联机分析处理。如果说传统联机事务处理强调的是更新数据库向数据库中添加信息，那么联机分析处理就是要从数据库中获取信息、利用信息。,联机分析处理,“我们花了20多年的时间将数据放入数据库，如今是该将它们拿出来的时候了。”-著名的数据仓库专家RalphKimball,市场需求是技术发展的源动力,早期应用系统,PC电子表格,归档文件,OLTP系统,数据仓库,获得信息,如何获得信息,第一，所有联机事务处理

8、强调的是数据更新处理性能和系统的可靠性，并不关心信息查询的方便与快捷；联机分析和事务处理对系统的要求不同，同一个数据库在理论上难以做到两全；,获得有用的信息并非想象的那么容易(1),第二，业务数据往往被存放于分散的异构环境中，不易统一查询访问，而且还有大量的历史数据处于脱机状态，形同虚设；,获得有用的信息并非想象的那么容易(2),第三，业务数据的模式是针对事务处理系统而设计的，数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。,获得有用的信息并非想象的那么容易(3),针对这一问题，人们专门为业务的统计分析建立一个数据中心，它的数据可以从联机的事务处理系统、异构的外部数据源、脱

9、机的历史业务数据中得到；它是一个联机的系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所要求的一切。这个数据中心就叫作数据仓库。,数据仓库的通俗解释,数据仓库是一个作为决策支持系统和联机分析应用数据源的结构化数据环境。,数据仓库的通俗定义,以辩证的眼光来看，数据仓库的兴起实际上是数据管理的一种回归，是螺旋式的上升。今天的数据库就好比当年的层次数据库和网型数据库，它们面向事务处理；今天的数据仓库就好比是当年的关系数据库，它针对联机分析。所不同的是，今天的数据仓库不必再为联机事务处理的特性而奔忙，由于技术的专业化，它可更专心于联机分析领域的发展和探索。,数据库与数据仓库的

10、辩证关系,传统的事务处理环境不适宜于决策支持应用事务处理和分析处理的性能特性不同数据集成问题数据动态集成问题历史数据问题数据的综合问题操作型环境和分析型环境的分离,从数据库到数据仓库,操作型数据5、质量改善，SPC;6、关系管理（客户、供应商、访问者、)7、数据挖掘、知识发现；8、.,数据仓库相关领域的应用,1、及时获取生产管理综合信息，为决策者提供科学分析依据；2、改善管理能力，可以得到凭直觉无法得到的结论；3、对转瞬即逝的机会快速作出反应，提高竞争能力；4、既能够管理宏观信息也能够管理微观数据，可以追朔历史；,数据仓库的优点,5、建立企业内部各部门之间的合作关系。6、提供了面向主题的信息架

11、构，存取数据方便，业务用户也能方便的取用这些数据。7、开拓了进一步探索和研究的广阔空间数据仓库支持进一步的探究，以发现数据所形成的趋势、构成的模式及其间的关系，这可引导用户改进现行的业务处理过程或作出正确的决策。8、改善客户关系管理，让客户能获得更多的好处。,数据仓库的优点（续）,投资回报率汇总结果,321%,制造业的ROI平均值高于其他行业,内容提要,动机与需求数据仓库技术数据仓库在宝钢的实践结束语,“从10%的人花100%的时间使用工具到100%的人花10%的时间使用工具.”,SoundViewFinancialGroupBusinessIntelligenceReport,信息用户所面临

12、的变化,信息生产者,信息消费者,高级用户,IT人员,报表查阅者,活跃的分析人员,报表用户,企业信息环,业务用户希望得到的不仅是一个含有正确信息的报表，并且需要能进一步分析及格式化报表的基本的功能，以满足其特定的需要。高级用户希望能直接访问数据，进行特别查询、分析及报表。IT人员希望能为企业中的任何人、在任何地方提供对数据的访问，或向他们进行发布，同时减少他们自己堆集如山的报表和管理的麻烦。,用户所需要的是什么?,宝钢计算机系统,铁水系统,一、二期工程钢区,宝钢TCP/IP光纤主干网络（一、二期工程地域：DECTDM）（三期工程地域：IBMATM）,IBMRS60007013-J30 x3台51

13、2MB,UNISYSU6000/65x2台512MB,检化验,DECAlpha2100-4/275512MB,250转炉炼钢,DECAlpha2100-4/275x2台384MB,1420冷轧,DECAlpha2100-4/275x2台192MB,1580热轧,DECVAX4600Ax4台128MB,电炉/圆坯连铸,DECAlpha2100-4/200 x2台384MB,2030冷轧,DECVAX4600 x2台256MB,2050热轧,DECAlpha4100 x2台1GB,高速线材,DECAlpha4100-5/300 x2台512MB,1550冷轧前库,PCServerSCOUNIX,3

14、00吨转炉炼钢,IBMRS6000/J50 x2台1GB,钢管分公司,HP9000K370 x2台512MB,宝钢整体产销管理系统,IBM9672-R25主机,IBMSP主机,数据仓库服务器,操作系统:OS/390数据库:IBMDB2角色:数据仓库的重要数据来源,IBM9672（公司产销系统）,操作系统:IBMAIX数据库:SASDataSet角色:数据仓库、数据分析处理、报表系统发布（DominoWebServer）的核心平台,IBMSP(数据仓库服务器）,企业级数据仓库(按主题)质量(试点，完成)生产与物流市场与销售成本与财务设备能源部门级数据仓库冷轧热轧.,数据仓库建设,数据仓库应用,企

15、业数据仓库按主题(实施过程中)信息门户(Intranet应用）生产管理信息技术质量信息企业统计信息生产区域信息(冷轧,热轧,)生产管制信息.,质量数据仓库数据环境,来源于9672上的DB2下载后的数据成为ODD(OperationalDataDefinition)形成22个主题数据表采用星状的数据模型支持不同种类的应用,质量数据仓库主题一览,Color,电炉和初轧,线材,电镀锡,电镀锌,普板,热镀锌,彩涂,电工钢,小方坯,热轧,1,2炼钢板坯,1炼钢钢锭,冷轧,1,2炼钢PONO,质量数据仓库检化验主题,初轧,线材,电镀锡,电镀和热镀锌,普板,彩涂,电炉,热轧,1,2炼钢,数据抽取,EGSnP

16、roduction,数据分析应用,桌面/主机应用质量分析（热轧、冷轧、炼钢，)数据挖掘(产品质量,KIV/KOV,.)专家系统(配矿,发货支持,)市场分析(市场&销售)模型应用(合同计划及优化)客户信息查询（东方钢铁网站）客户关系管理（营销）.,研发产品,实用数据挖掘工具PracticalMinerVer.2.0,宝钢股份公司企业信息门户,生产管制信息发布系统,合同订交货周期分析系统,多维数据查询,企业统计系统,KIV&KOV分析,1、实现分析型数据和操作型数据的分离；2、减轻了公司管理机的负荷；3、为建立“ENDUSERCOMPUTING”环境提供了基础；4、为分析型应用提供了创造园地，如：CRM、BI、DM5、实现信息共享，支持固定及移动用户。,对公司信息环境的影响,从数据到信息到知识,Source:DataWarehouseNetwork,June1997.,F一些组织已经进入知识发现阶段。,当组织成熟时，它们从数据收集走向信息管理阶段并且最终达到知识发现阶段。,Information-centric,designrequired!,构造优化的企业信息环境,内容提要,动机