数据仓库与数据挖掘UNIT1决策支持系统的发展市公开课获奖课件

1、UNIT one决议支持系统发展1第1页第1页学完本讲后，你应当能够理解：决议支持系统演化过程受硬件发展、软件技术、数据积累和应用需求影响自然演化体系结构阶段存在三大问题：数据缺乏可信性、生产率低下以及难以将数据转换为信息；OLTP数据&应用与DDS数据&应用之间差别；数据仓库体系结构设计中要考虑主要问题：结构层次划分、冗余、粒度和集成问题；数据仓库用户和需求特性；数据仓库开发生命周期特点；建立物理数据仓库好处；监控数据仓库环境两个主要内容：数据与数据使用，以有效地管理运营中数据仓库环境。本 讲 主 要 目 标2第2页第2页一决议支持系统演化过程二自然演化体系结构问题三数据仓库体系结构设计环境

2、四数据仓库用户及需求特性五数据仓库开发生命周期六. 建立物理数据仓库七. 监控数据仓库环境内容提纲3第3页第3页决议支持系统演化过程4第4页第4页决议支持系统演化过程信息需求改变 从信息检索到知识发觉Business usersWhat caused the increase in sales this year ?AnalystsWhat are my projected sales next year ?What is the sum of sales in Vancouver this year?Clerks and Clients5第5页第5页决议支持系统演化过程淹没于数据，但饥饿于知

3、识Knowledge discoveryVLDBToo much dataValuable knowledge6第6页第6页决议支持系统演化过程直接存储设备产生第四代程序设计语言技术7第7页第7页决议支持系统演化过程演化过程进行到抽取程序阶段为何抽取程序受欢迎：性能：用抽取程序能将数据从高性能联机事务处理方式中转移出来，因此，在需要总体分析数据时就与OLTP处理性能不发生冲突控制：当用抽取程序将数据从OLTP内移出时，数据控制方式发生了改变。最后用户一旦开始控制数据，就最后“拥有”了这些数据8第8页第8页自然演化体系结构问题9第9页第9页自然演化体系结构问题自然演化体系结构贯穿于公司或组织抽取

4、处理模式很常见，这种由失控抽取过程产生结构被称为“自然演化体系结构” - 当一个组织以放任自流态度处理整个软、硬件体系结构时，就会发生这种情况。组织越庞大，越成熟，自然演化体系结构问题就变得越严重10第10页第10页自然演化体系结构问题自然演化体系结构对于决议者即时信息需求，直接从OLTP系统中产生汇报 使DBA忙乱不堪也使OLTP负载太重！汇报决议者生成平台Ad hoc 存取需求11第11页第11页自然演化体系结构问题自然演化体系结构从OLTP中将决议者惯用数据抽取出来，单独物理存储，处理了OLTP系统负载太重问题抽取数据OLTP决议者12第12页第12页自然演化体系结构问题自然演化体系结构

5、抽取数据太多和太多层次，产生了蜘蛛网问题，由此造成了一系列问题抽取数据OLTP决议者13第13页第13页自然演化体系结构问题自然演化体系结构问题忙碌IT人员蜘蛛网问题数据缺乏可信性生产率问题从数据到信息转换不可行性14第14页第14页自然演化体系结构问题忙碌IT人员15第15页第15页自然演化体系结构问题蜘蛛网问题16第16页第16页自然演化体系结构问题数据缺乏可信性17第17页第17页自然演化体系结构问题数据缺乏可信性数据缺乏可信性原因：数据无时基数据算法上差别抽取多层次外部数据问题无起始公共数据源18第18页第18页自然演化体系结构问题数据缺乏可信性19第19页第19页自然演化体系结构问题

6、生产率问题管理者盼望用多年来积累数据集合和众多文献生成一张公司报表，设计者为产生该报表需要做三件事：定位报表需要数据并分析数据要进行数据定位，必须分析诸多文献和数据布局，并且，数据名存在同名异义，异名同意现象为报表编辑数据为完毕以上工作，召集程序员/分析员取得数据而必须编制程序很简朴，但：要写程序诸多每个程序必须是定制程序涵盖了公司所拥有所有技术20第20页第20页自然演化体系结构问题生产率问题21第21页第21页自然演化体系结构问题生产率问题由于事先不知道未来公司报表需求，前面报表几乎不也许为未来别公司报表需求做出什么奉献22第22页第22页自然演化体系结构问题从数据到信息转换不可行性考虑银

7、行环境中一个经典需求：今年帐号活动与过去五年中各个年份帐号活动有何不同？要满足该需求碰到很多困难：集成化问题从现存系统中寻求必要数据，需要碰到很多应用程序缺乏应用程序之间集成在应用程序中没有足够历史数据23第23页第23页自然演化体系结构问题从数据到信息转换不可行性集成化问题24第24页第24页自然演化体系结构问题从数据到信息转换不可行性历史数据问题：25第25页第25页自然演化体系结构问题OLTP与OLAP差别26第26页第26页自然演化体系结构问题数据仓库产生为决议者建立一个集成数据源 数据仓库数据仓库内部数据和外部数据决议者27第27页第27页数据仓库体系结构设计环境28第28页第28页

8、数据仓库体系结构设计环境数据仓库体系结构29第29页第29页数据仓库体系结构设计环境数据仓库体系结构需要考虑问题多层次结构支持不同查询需求数据集成问题30第30页第30页数据仓库体系结构设计环境多层次结构支持不同查询需求31第31页第31页数据仓库体系结构设计环境数据集成问题32第32页第32页数据仓库用户及需求特性33第33页第33页数据仓库用户及需求特性数据仓库用户DSS分析员数据仓库需求特性DSS分析员想法：给我看一下我说我想要东西，然后，我告诉你我真正想要什么DSS分析员需求主要理由：它是合理它是广泛它对数据仓库开发方式和系统如何使用被开发数据仓库有深远影响34第34页第34页数据仓库

9、开发生命周期35第35页第35页数据仓库开发生命周期老式系统开发生命周期是SDLC36第36页第36页数据仓库开发生命周期SDLC是典型需求驱动开发生命周期，CLDS是典型数据驱动开发生命周期老式系统开发生命周期支持操作型环境，为建立系统，必须首先理解需求，然后进入到设计和开发阶段。CLDS由数据开始，一旦数据到手，就集成数据，然后，假如数据有偏差，就检查看看数据存在什么偏差，再针对数据写程序，分析程序执行结果，最后，系统需求才得到理解37第37页第37页数据仓库开发生命周期数据仓库环境系统开发生命周期38第38页第38页建立物理数据仓库39第39页第39页建立物理数据仓库在同一台机器上把操作

10、型环境和分析型环境混合在一起不可行移走大量数据好处：更易纠错更易重构更易监控更易索引减轻维护承担40第40页第40页监控数据仓库环境41第41页第41页监控数据仓库环境监控数据仓库环境目的辨认发生了什么增长，增长发生在什么地方，增长以什么速率发生辨认正在使用什么数据估算最后用户得到响应时间拟定谁在实际使用数据仓库阐明数据仓库中多少数据正在被使用准确指出数据仓库何时被使用辨认数据仓库多少数据被使用检查使用数据仓库层次42第42页第42页监控数据仓库环境监控数据仓库活动需求什么数据正在被访问？什么时候访问？由谁访问？访问频率？在什么细节层次？对请求响应时间是什么？在一天什么时间提出请求？请求多大数据量？请求是被终止还是正常结束？43第43页第43页监控数据仓库环境在哪里进行监控？最后用户终端有诸多空闲机器周期对系统性能影响很小但每个被监控终端需要自己管理员服务器容易管理监控程序也许造成系统性能下降44第44页第44页学完本讲后，你应当能够理解：决议支持系统演化过程受硬件发展、软件技术、数据积累和应用需求影响自然演化体系结构阶段存在三大问题：数据缺乏可信性、生产率低下以及