数据仓库2-操作数据存储

1、1第第2 2讲讲 操作数据存储操作数据存储2数据仓库产生的原因数据仓库产生的原因数据处理的类型 操作型处理（OLTP)：数据的收集、整理、存储、查询和增、删、改操作。 分析型处理(OLAP)：数据的再加工，往往要访问大量的历史数据，进行复杂的统计分析。31.1.3两者数据处理模式的差别4数据仓库的四个基本特征：u数据仓库的数据是面向主题的（Subject Oriented）；u数据仓库的数据时集成的（Integrate）；u数据仓库的数据不可更新（Non-Volatile）；u数据仓库的数据时随时间不断变化（Time Variant）的。 数据仓库的基本概念5数据仓库的体系结构6v信息系统建设

2、的阶段性和分布性的特点，信息系统建设的阶段性和分布性的特点， 导致导致“信息孤岛信息孤岛”的存在。的存在。78只读只读干部干部后勤后勤财务财务92 2 操作数据存储操作数据存储2.1 2.1 什么是什么是ODSODS2.2 DB-ODS-DW2.2 DB-ODS-DW体系结构体系结构10v 数据库和数据仓库两层体系结构（DB-DW）并不能涵盖企业所有的数据处理要求。v 某些应用既不是纯粹的联机事务处理，又不是高层决策分析。2.12.1什么是什么是ODSODS11v 导致一种新的数据环境-操作数据存储（Operational Data Store，ODS）的建立。v 是两种处理类型之间存在的一个

3、中间层次，从而形成了DB-ODS-DW的三层体系结构。 2.12.1什么是什么是ODSODS122.1.1 ODS2.1.1 ODS的定义及特点的定义及特点v 定义：是用于支持企业日常的全局应用的数据集合。v ODS中的数据具有4各基本特征：面向主题的、集成的、可更新的、数据是当前或接近当前的。v ODS中只存放当前或接近当前的数据，并且可以进行联机修改，包括增、删、改等操作。13v ODS是适应企业级的全局应用需求而产生的。全局应用可以大致地划分为两类： 企业级的（OLTP）联机事务处理 即时“OLAP”数据处理2.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制14 学校中

4、有关教员的完整信息是被分散存放在学校的各部门DB中，现在若有教员因故调离，则要按规章办理手续。在DBS中，调离手续繁琐耗时。而在ODS系统中，可以开发教员调离全局应用，这就等于将学校的有关调离手续的规章反映在应用系统中，从而自动地保证了规定的制度得以不折不扣地执行。DB人事处人事处校医院校医院DB财务处财务处房管处房管处DB科研处科研处ODS部门应用部门应用部门应用部门应用部门应用部门应用部门应用部门应用部门应用部门应用152.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制-OLTP-OLTP “企业级OLTP”是指在实际数据处理中，一个事务同时涉及多个部门的数据。v 在操作

5、型DB环境中，各应用面对的仅是企业的某个部门，这些部门应用所处理的仅是企业的局部数据。162.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制-OLTP-OLTPv 每个面向应用的DB中不可能包含整个企业的完整数据，某个操作型DB的数据组织中很少考虑其它DB的特点和需求，因而数据缺乏一致性。v 在分散DB上进行企业级事务处理代价很大。17v实现企业级的OLTP思路：在ODS与DB之间提供双向映射关系，以保证双方的一致性。2.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制-OLTP-OLTP记录系统的定义定义在各DB中的记录系统全局更新时应反映到的各DB中的记录

6、参考表18v 定义在DB中的记录系统，说明ODS从DB的数据抽取关系，各DB系统上所做的修改操作都需要反映到ODS系统中。v ODS系统中还存放一些参考表，它反映的关系是ODS全局更新时所必须反映的所有DB中相关记录信息。2.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制-OLTP-OLTP192.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制-OLAP-OLAPv在DW上实现OLAP是为了进行高层决策管理，但是由于DW中的数据量十分庞大，OLAP的运行时间都很长。v企业的日常管理中需要进行非战略性的中层决策，以实现企业的日常管理和控制。不需要太多历史数据、

7、要求较快的响应速度。vODS的建立克服了DW系统过于庞大、处理时间长的缺点。20v企业级OLTP和即时OLAP两类数据处理有明显的差别，又可分别称之为“操作型”处理模式和“信息型”处理模式。v信息型处理模式就是只有查询操作的工作模式（非排他型）v操作型处理模式指含有更新操作的工作模式（排他性）。 如何协调两种处理模式？2.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制-OLAP-OLAP21v 动态切换在系统中设置一个状态切换开关，使ODS系统在操作型环境和分析型环境间进行动态切换。以保证： 在进行即时OLAP时获得较快的响应速度 在进行操作型处理时，能保证联机事务处理时数据

8、的完整性，事务的原子性、一致性、隔离性和持续性。2.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制-OLAP-OLAP222.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制在ODS系统上开发全局应用的优点主要有两方面：v 在进行全局应用时无需再进行数据集成，极大提高了全局应用处理的效率。如教员调离事务在ODS上进行，各部门的更新均是对ODS中有关教员的同一关系模式进行，从而实现全局一致的更新。v 在各部门的DB可进行全局应用。如该教员在人事处办理了调离手续，这一变化必将被ODS的感知程序捕捉到并转发给其他部门，从而实现全局的更新操作，该工作由ODS系统自动完

9、成。23v ODS的作用和地位与企业性质、经营业务范围、规模大小等实际情况紧密相连。有的主要是进行全局事务处理，有的则主要是即时OLAP。v 如果是在地理上分布的集团公司的ODS系统，则可能是分层的。2.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制- -分层分层ODSODS体系体系24分分ODS分分ODS分分ODS北京北京上海上海东京东京纽约纽约分层分层ODSODS示意图示意图总部总部ODS2.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制- -分层分层ODSODS体系体系252.1.2 ODS2.1.2 ODS的功能和实现机制的功能和实现机制- -分层分

10、层ODSODS体系体系262 2 操作数据存储操作数据存储2.1 2.1 什么是什么是ODSODS2.2 DB-ODS-DW2.2 DB-ODS-DW体系结构体系结构272.2 DB-ODB-DW体系结构2.2.1 ODS2.2.1 ODS与与DWDW的区别的区别2.2.2 2.2.2 三层体系结构三层体系结构28vODS与DW的差别面向主题和集成性使得ODS的数据在静态特征上很接近DW中的数据，但是在ODS与DW之间仍然有许多基本的、重要的差别。1.存放的数据内容不同（最大差别）ODS：当前或接近当前的数据、细节数据、可联机更新DW：历史数据、细节数据和综合数据、不可变快照2.2.1 ODS

11、与DW的区别292.数据量是不同等级的DW：保存大量历史数据ODS：只存放当前和接近当前的数据3.技术支持不尽相同ODS：要支持面向记录的联机更新，又要随时保证数据与源数据系统中数据的一致性。DW：需要支持ETL技术和数据快速存取技术。2.2.1 ODS与DW的区别304.面向的需求不同ODS：一是为了满足企业进行全局应用的需要，二是向数据仓库提供一致的数据环境以供抽取。DW：主要用于高层战略决策。5.使用者不同ODS：企业的中层管理人员。DW：DSS分析员或企业高级决策者。2.2.1 ODS与DW的区别31vDWDW与与ODSODS面向不同的用户、不同的需求面向不同的用户、不同的需求，都有，都有其其不可替代的作用不可替代的作用，彼此间不是相互包含的，彼此间不是相互包含的，同时两者又可以相互结合、相互补充。同时两者又可以相互结合、相互补充。DBDBDBDBDBDBODSODSDWDW应用应用操作型环境操作型环境分析型环境分析型环境2.2.2 2.2.2 三层体系结构三层体系结构32ODS充当充当“承上启下承上启下”的角色的角色v在原来独立的各个DB基础上建立一致的、面向主题的数据环境，使原有的DBS得到改造。 v将DW和DB隔离开，使DW卸去数据集成、结构转换等负担，DW的数据追加通过ODS进行而变得异常简单，简化DW的数据传输接口及DW管理数据的复杂度。2.2.