数据管理技术

1、问题一： 在一个系，有一张学生选课表(学号，课程号，选修课程，成绩)，记载着该系学生的选课情况。 该系的教学秘书需要查询和统计某些学生的修课情况、各门课程的成绩、平均成绩；需要查询和统计选修了某门课程的学生、课程的平均成绩、成绩的分布情况,问题二： 在一个大学，有一张学生选课表(学号，课程号，选修课程，成绩)，记载着该校学生的选课情况，学生基本信息表(学号，姓名，性别，所属系，电话号码)，记载该校学生的信息，开设课程表(课程号，课程名，课程类别，学分)，记载该校开设的课程信息。 学生工作处需要查询和统计各系、各性别学生人数的分布情况、平均成绩的分布情况，以及重修学生的人数和比例；学校教务处需要

2、查询和统计各系开设的课程总门数，不同类别的课程门数、总学分数，各课程选修的学生总数和平均成绩。,问题三： 一个大学有多个管理部门：学生工作处、人事处、财务处、教务处、房管处、设备处、校长办公室，负责对全校的学生、职工、财务、教学、房产、设备、校日常事务进行管理；有多个学院：计算机学院、数学学院、生命科学学院、法学院、商学院，分别负责对本院学生、教学、教师、设备等进行管理.,这三个问题为什么 感觉越来越困难？,从问题一至问题三，为什么感觉越来越困难？ 用户越来越多 数据量和范围越来越大 需求越来越复杂,数据管理对数据进行分类、组织、编码、存储、检索和维护，是数据处理的中心问题。 数据管理技术的目

3、标就是合理地组织数据、有效地存取数据，为此必须解决下列问题： 存储介质 数据的表示 数据的操作 数据的管理,数据库是目前最有效的数据管理工具，成为现代管理信息系统的核心和基础,数据的组织,1,数据库与数据管理,2,数据仓库与分析处理,3,数据组织的层次性,文件(File),记录 (Record),Record,Field,Filed,域(Field),Field,Byte,字节(Byte),Byte,Byte,Bit,Bit,位(Bit),Bit,物理组织,位,字节,字符,技术界面,字符,域(数据项),记录,文件,逻辑组织,员工,对数据的有效组织和管理,关键在于在各个层次上建立数据世界与现实世

4、界的准确、完善的对应关系，并以恰当、高效的手段来安排数据世界的各个层次,数据的组织,1,数据库与数据管理,2,数据仓库与分析处理,3,在应用需求的推动下，在计算机硬件、软件发展的基础上，数据管理技术经历了人工管理、文件系统、数据库系统三个阶段。,在50年代中期以前，计算机主要用于科学计算。 硬件状况是，外存只有纸带、卡片、磁带，没有磁盘等直接存取的存储设备； 软件状况是，没有操作系统，没有管理数据的软件； 人工管理数据具有如下特点： 数据不保存 数据不共享 应用程序管理数据,(1) 人工管理阶段(自由管理阶段),50年代后期到60年代中期 硬件方面已有了磁盘、磁鼓等直接存储设备； 软件方面，操

5、作系统中已经有了专门的数据管理软件，一般称为文件系统 用文件系统管理数据具有如下特点： 数据可以长期保存 由文件系统管理数据,(2) 文件系统阶段,注册系统,会计系统,勤工俭学系统,注册程序,学生文件,会计程序,学生文件,学生文件,勤工俭学程序,缺点：数据冗余,数据不一致,数据独立性差,60年代后期以来，计算机用于管理的规模越来越大，应用越来越广泛，数据量急剧增长，同时多种应用、多种语言互相覆盖地共享数据集合的要求越来越强烈。 数据由数据库管理系统DBMS统一管理和控制 数据库系统管理具有如下特点： 数据的共享性高 冗余度低,(3) 数据库系统阶段,1.数据库 所谓数据库是长期储存在计算机内、

6、有组织的、可共享的数据集合 长期是指数据永久保存，不是转瞬即逝的 有组织是指按照某种数据模型如关系模型进行存储 可共享是数据库中的数据可以被不同的用户共享。每个用户可以因不同的目的而访问相同的数据，甚至可以同时访问同一数据 例如：产品数据库，银行数据库，。,数据库两个主要目标是减少冗余和获得数据独立性 减少数据冗余 冗余就是数据的重复； 冗余数据意味着对某些事实的修改必须在多处进行，否则它们的值不相等，很难确定哪一个值是正确的。 获得数据独立性 在对数据结构进行修改时，不必修改处理该数据的应用程序,2.数据库管理系统,数据库管理系统(DataBase Management System, DB

7、MS)是用于在数据库中创建、存储、组织和读取数据的一类特殊软件 Access是个人电脑使用的DBMS Oracle和SQL Server是在大中型主机上使用的DBMS MySQL是一种流行的开源DBMS,数据库管理系统的功能,（1）数据定义 定义数据库中数据的结构,主要用于建立数据库表和定义表中字段的属性 【例】 CREATE TABLE student(name CHAR(10),) 建立一个名为student的学生表，其属性包括学生姓名等各项信息,（2）数据字典 存储关于数据库结构的元数据,即数据的数据 如某一个字段的名称、描述、大小、类型以及格式等信息,（3）数据操纵 实现数据库中有关数

8、据的各种操作，包括数据插入、修改、删除以及查询 现在最常用的数据操纵语言是结构化查询语言SQL 【例】 SELECT name FROM student WHERE age20,3.关系数据库 (1) 数据模型,现实世界,信息世界,数据世界,人们头脑之外的客观世界，它包含客观事物及其相互联系。,信息世界，是现实世界在人们头脑中的反映。,现实世界中的事物及其联系，在数据世界中用数据模型描述。,信息的转换过程,客观 事物类： 事物 相关性质集合,人,实体 实体集合 及 实体 联系 相关属性集合,加工、转换,数 文件 据 记录 库 相关数据项集合,加工 转换,存储 二进制数据集合 结构,计算机世界,

9、DBMS,数据世界,DBMS的数据模型,信息世界,认识选择描述,现实世界,E-R模型,DBMS的数据模型 在数据库系统中，对现实世界中数据的抽象、描述以及处理等都是通过数据模型来实现的。 层次模型,网状模型,关系模型,关系模型(Relational Model)美国IBM公司的E.F.Codd，从1970年起连续发表了多篇论文，提出关系模型，奠定了关系数据库的理论基础 关系模型用二维表表示实体与实体之间联系的模型,在关系模型下,数据的逻辑结构是二维表,关系模型中的主要术语包括： 关系（relation）：对应于实体集合的二维表； 元组（tuple）：也称为记录（record），即二维表中的一行

10、，对应于一个实体； 属性（attribute）：即二维表中的一列，代表实体的一个数据侧面，属性在元组上的取值就是数据项； 关系模式：即对关系的描述，用关系名（属性1，属性2，属性n）的形式表达。 主码/主关键字(key)：唯一标识每条记录的属性,完整性约束是为保证数据库中数据的正确性.,(1) 完整性约束,实体完整性 每一条数据记录都应该具有身份标识 在数据库中，每个数据库表都应当含有一个不能为空且无重复的主码,参照完整性 反映数据属性值之间的某种“存在性”关系 子表中的值存在时，其所参照的父表中的值应当已经存在，否则，参照完整性遭到破坏,用户自定义完整性（属性的值类型和值域）：决定该属性的基

11、本数据特征 属性为“月份”,则该属性的类型为整型数字,并且取值范围在1, 2, 3, ,12之中 属性为“性别”，则取值应在“男”，“女”之中,数据依赖关系反映数据属性值之间的“对应”关系。 以函数依赖为例，属性组B依赖于属性组A（记为AB）是指：如果任两条记录的A值相等，则必有相等的B值与之相对应。换句话说，AB反映了“相等的B值对应相等的A值”这样的语义。,(2) 数据依赖关系,插入异常：在没有采购这个产品时，它的价格无法输入 删除异常：在删除了有关某产品的最后一条订单时，其价格信息也被删除 冗余度大：如果某项产品有多条订单，价格被存储多次,实体联系模型反映的是信息世界中的实体及其相互联系

12、。,ER图,实体(Entity) 现实世界中存在的对象和事物。 属性(Attribute) 属性指实体具有的某种特性。,(1) 基本概念,实体名称,表示方法：,表示方法：,属性,联系 现实世界的事物总是存在着这样或那样的联系。,联系,表示方法：,一对一联系 如果对于A中的一个实体，B中至多有一个实体与其发生联系，反之，B中的每一实体至多对应A中一个实体，则称A与B是一对一联系。,(2) 联系类型,一对多联系 如果对于A中的每一实体，实体B中有一个以上实体与之发生联系，反之，B中的每一实体至多只能对应于A中的一个实体，则称A与B是一对多联系。,(2) 联系类型,多对多联系 如果A中至少有一实体对

13、应于B中一个以上实体，反之，B中也至少有一个实体对应于A中一个以上实体，则称A与B为多对多联系,ER图 绘制,图书,作者,写作,出版社,类别,页数,ISBN*,书名,姓名,出生地,身份证号*,定稿时间,价格,1、利用分类、聚集、概括等方法抽象出实体，并一一命名。,2、描述实体之间的联系,3、实体属性和联系属性的说明,m,n,支持ER模型-关系数据库之间转换的开发工具： ERWin Oracle Developer Sybase PowerDesigner,图 59 ER模型与关系数据库结构,数据库也是一种软件,所以数据库的发展趋势在总体上与软件的发展趋势是一样的 越来越自然,人使用起来越来越方

14、便 发展方向从三方面来看,数据的组织,1,数据库与数据管理,2,数据仓库与分析处理,3,信息处理的任务,信息获取,信息传递,信息创造,信息存储,信息通信,OLTP (Online Transaction Processing) 主要用于快速有效的处理日常的、重复性的数据，产生的结果主要是业务报告 OLAP (Online Analytical Processing) 加入了对累积数据的分析，由最终用户分析，将战略信息放在决策者手上 一个好的系统能够支持用户方便的查询数据，也能快捷、准确、有效地支持决策,即把一个组织中的历史数据收集到一个中央仓库中以便于处理； 是支持决策过程的、面向主题的、集成

15、的、随时间而变的、持久的数据集合； 是OLAP应用的环境和基础； 是当今信息管理中的主流趋势之一。,(1) 数据仓库(data warehouse, DW),35,数据仓库体系结构,其它数 据源,元数据 存储,监控和 管理,OLAP服务器,分析,操作数据库,提取 转换,数据仓库,服务,查询/报告,装入 刷新,数据集市,数据挖掘,数据源,数据存储,OLAP引擎,前端工具,数据仓库和数据库系统,【例】 假设你的公司在东部、西部和中部地区销售四种不同的产品螺母、螺钉、垫圈和螺丝钉。如果你提问： 东部地区上一个季度垫圈的销售量 通过查询销售数据库可以容易地找到答案 每个地区的每种产品销售量以及实际销售

16、量与预计销售量的比较结果,多维数据立方体(Cube) 如果在各个维度的取值范围内逐点进行标注，则可以得到“数据立方体”,不同的管理者可以从不同的维度（即视角）去考查这些数据,销售数据,区域经理,财务经理,产品经理,其他视角,数据仓库的多维查询方式,切片,旋转,切块,下钻,上卷,【例】AllElectronics汇总数据立方体 三维： Address(温哥华,多伦多,纽约,芝加哥） Time（Q1,Q2,Q3,Q4），Item(家庭娱乐，计算机，电话，安全) 存放在立方体的每个单元中的聚集值是sales_amount,即允许用户在不同的汇总级别观察数据，如下钻和上卷,下钻,对按季度汇总的销售数据下钻，观察按月汇总的数据,上卷,按城市汇总的 销售数据上卷，观察按国家汇总的数据,数据仓库和OLAP产品 Oracle Express Server Oracle Discoverer IBM DB2 OLAP Server Sybase Adaptive Server IQ等,了解数据组织的层次性 掌握数据库,数据库管理系统,数据库系统区别 掌握ER模型概念,了解ER模型向关系模型的转化方法 理解数据仓库和OLAP的概念 了解数据仓库的多维查询方式,某企业集团有若干工厂,每个工厂生产多种产品且每一种产品可以在多个工厂生产,每个工厂按照固定的计划数