《数据资源处理技术》PPT课件.ppt

第七章 数据资源管理技术,数据处理方式 文件组织 数据库 数据仓库和数据,7.1 企业数据处理方式,1、联机事务处理形式处理信息,OLTP：即联机事务处理（OnLine Transaction Processing），以事务处理的形式来处理信息，涉及到对要输入的信息的收集和处理，再对收集和处理的信息加以利用，去更新已有的信息。OLTP是事件驱动，面向应用的，基本特点：,支持日常的业务 事务驱动 面向应用 数据是当前的并在不断变化 存储详细数据 (每一个事件或事务) 支持办事人员或行政人员 对应业务的变更频繁的存取,利用业务数据库和数据库管理系统提供支持,7.1 企业数据处理方式,2、联机分析处理形式处理信息，并利用信息进行决策,OLAP：即联机分析处理（OnLine Analytical Processing）是一种为支持决策而进行的信息处理方式，是跨部门的，面向主题的，基本特点：,支持长远的业务战略决策 分析驱动 面向主题 数据是历史的 数据反映某个时间点或一段时间 数据是静态的，除数据刷新外 数据是汇总的 优化是针对查询而不是更新 支持管理人员和执行主管人员,利用数据仓库提供支持 P170-图7-1,OLAP和OLTP的区别：,联机分析处理和传统的联机事务处理(On Line Transaction Processing, OLTP)是两种性质不同的数据处理方式。 OLTP主要用来完成基础业务数据的增、删、改等操作，如民航订票系统、银行储蓄系统等等，对响应时间要求比较高，强调的是密集数据更新处理的性能和系统的可靠性及效率。 OLAP应用是对用户当前及历史数据进行分析、辅助领导决策，主要通过多维数据的查询、旋转、钻取和切片等关键技术对数据进行分析和报表。,7.1 企业数据处理方式,3、在信息应用过程中管理信息,企业在管理信息时应考虑：,考虑适当的技术组织信息，以便信息处理使用者能逻辑的使用信息，而不必了解信息的物理组织形式 字段记录-文件-数据库-数据仓库 考虑使用权限：更新、使用权限等 考虑信息的更新与维护：信息备份、信息的保存时间、信息的存储技术、更新技术等,7.2 文件组织,7.2.2 数据的物理组织和逻辑组织,（1） 文件存储介质,顺序存取设备，随即存取设备,（2） 数据的逻辑组织与物理组织,文件分类：存储介质分,（3） 数据传送,7.2.3 几种文件组织方式,1、 数据组织的层次,逻辑数据元素之间的关系,学生数据库,学生情况文件,学生成绩文件,记录,数据项,（1） 顺序文件组织,（2） 索引文件,索引非顺序文件,记录地址,A B C D E,索引,（3） 链表文件,记录地址 A B C D E F G H I,7.3 数据库系统,7.3.1 数据库处理与数据库类型,数据库处理的三个基本活动： 更新维护共享数据库 使用能共享数据库数据的应用程序 通过数据库管理系统提供查询/响应及报告功能，使用户能直接快速地访问数据库,（2） 数据库处理系统,银行文件处理系统,客户交易,核对帐户 程序,存款账目 程序,分期贷款 程序,客户交易程序,数据库管理系统,客户数据库,查询,银行数据库处理系统,2、 数据库类型,操作数据库（业务数据库）,管理数据库：经汇总处理，由管理者使用,信息仓库：当年和历史数据标准化处理后，由管理人员使用,分布式数据库：企业各部门各自拥有的数据库,外部数据库：信息服务公司生成与维护,（1）企业数据库种类：,数据库管理,操作系统,数据库 管理系统,应用程序,数据库,数据字典,DBMS,7.3.4 数据库设计,1、 信息的转换,三个不同世界术语对照表,2、 数据库设计步骤,（1）对现实世界进行需求分析,（2）建立E-R模型,（3）从E-R模型导出关系数据模型,3、 数据库设计例子：某学院“教学管理”数据库模型的设计,（1）需求和调查分析：,3、 数据库设计例子：某学院“教学管理”数据库模型的设计,（2）E-R图设计 p186图7-12,7-13,3、 数据库设计例子：某学院“教学管理”数据库模型的设计,（3）关系数据模型：,对于1：n的联系方式： 系(系代号，系名称，系主任姓名，办公地址，电话) 教师(教师编号，教师姓名，专业特长，系代号，住址，电话) 对于m：n的联系方式： 学生(学号，姓名，性别，年龄，系代号) 课程(课程号，课程名，学分) 学习(学号，课程号，成绩) “教学管理”数据库的关系数据模型如下： 根据图714“教学管理”E-R图转化成 (实体)系(系代号，系名称，系主任姓名，办公地址，电话) (实体)教师(教师编号，教师姓名，专业特长，系代号) (实体)学生(学号，姓名，性别，年龄，系代号) (实体)课程(课程号，课程名，学分) (联系)学习(学号，课程号，成绩) (联系)教学(教师号，课程号，授课班评估，学院评估) 根据关系模型的设计，可以在计算机上实现数据库的建立,实例：,7.4 数据库的发展,7.4.1 数据仓库,数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 数据仓库有四个特点 ： 面向主题。数据仓库中的数据是按照一定的主题域进行组织。 集成的。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。 相对稳定的。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留。 反映历史变化。数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息,(1) 只包含决策信息,数据仓库特征：,(2) 多维的数据,数据仓库特征：,在实际决策过程中决策者往往需要从多个角度去考察一个或多个指标的值，并希望了解这些指标之间的关系。 比如： 对某一产品的销售，希望能从不同的角度去了解它的销售额、纯利润以及额外支出等指标，这些不同的角度包括不同时间（一年的各个季度或月份）、不同地区（个大省市）、不同的销售渠道（零售、代理商与批发），然后分析出其相互关系。,多维数据：,数据仓库系统体系结构： 一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、OLAP服务器以及前端工具与应用四个部分。,数据仓库体系结构图,数据仓库DBMS,MRDB,MDDB,数据抽取 数据净化 数据载入,数据集市,报表,查询, EIS工具,OLAP 工具,数据挖掘工具,操纵平台,管理平台,（1）数据仓库(DW，Data Warehouse)由数据源、数据的存储与管理构成。 （2）联机分析处理技术（OLAP，On-Line Analytical Processing）是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求。OLAP也可以说是多维数据分析工具的集合。 （3）数据挖掘（DM，Data Mining）是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。数据挖掘的过程：,数据仓库,7.4.2 联机分析处理OLAP,联机分析处理首先是由关系数据库泰斗之一Codd在90年代初期提出的。当时，Codd认为联机事务处理（OLTP）已经不能满足终端用户对数据库查询的需要，SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询结果并不能满足决策者提出的要求。,OLAP的提出：,在实际决策过程中决策者往往需要从多个角度去考察一个或多个指标的值，并希望了解这些指标之间的关系。 比如： 对某一产品的销售，希望能从不同的角度去了解它的销售额、纯利润以及额外支出等指标，这些不同的角度包括不同时间（一年的各个季度或月份）、不同地区（个大省市）、不同的销售渠道（零售、代理商与批发），然后分析出其相互关系。,因此提出了多维数据库和多维分析的概念，即OLAP,多维数据：,多维分析的基本动作：,（1）切片：某个维度上的取值选定一个固定值,多维分析的基本动作：,（3）旋转：对各个坐标的旋转变换可以得到不同视角的数据,（2）钻取： 多维视图中某个维度的取值可以分层,多维分析的基本动作：,OLAP的使用：,针对不同的用户提供不同的工具： （1）面向“What”型用户 比如“上个月西部地区几个省的家电销售量是多少？” （2）面向“Whatif”型用户 比如“如果公司在西部地区增加三个销售代理，下个月西部地区几个省的家电销售量将会是多少？”,7.4 数据库的发展,7.4.3 数据挖掘,数据挖掘的主要方式： （1） 分类：从大量数据中找出不同类别对象的特征，从而对新加入的对象自动分类。 例如：银行按客户信用程度对客户分类，数据挖掘能找出每类客户的数据特征，快速判断一个新客户的信用类别 （2） 聚类：根据数据特征对数据对象进行自动归类 例如：超市可以将客户划分为互不相交的不同客户群，为不同的客户群推荐不同的目标商品。,数据挖掘：是从大量数据中自动发现隐藏的有用知识的过程； 发现的知识包括：变化趋势、异常情况、数据关联关系 计算机自动发现规