第五章-数据库和数据库管理系统PPT课件

1 管理信息系统 版权所有 2011 2013长安大学经济与管理学院 主讲教师 马飞博士长安大学经济与管理学院 ManagementInformationSystems 2 第五章数据库和数据库管理系统 版权所有 2011 2013长安大学经济与管理学院 5 1数据库管理系统的软件层次 课程说明 硬件 操作系统数据库管理系统 系统软件 应用软件 用户 MIS软件层次 5 2数据组织 课程说明 5 2 1数据和数据模型 数据 对现实事物的记录或描述 可包括若干数据项与数字 数值1 2 3有区别在DB中 能被计算机接受和处理的数字 字符 图形 声音统称为数据 比如 职工的数据可包括 姓名 字符 年龄 数字 照片 图像 等 5 2数据组织 课程说明 5 2 1数据和数据模型 数据模型是对数据的某种抽象表示形式 是描述数据的一组概念和定义 数据模型决定了对数据项的组织方式 描述包括 静态 结构 联系 约束 动态 定义在数据上的操作逻辑数据模型与物理数据模型 5 2数据组织 课程说明 5 2 1数据和数据模型 数据项 Field 描述实体的一个属性 记录 Record 与数据处理的某一对象有关的一切数据项排列成一个记录 Collectionofrelatedfields文件 File 相关记录的集合构成文件 Collectionofrelatedrecords 5 2数据组织 课程说明 5 2 1数据和数据模型 数据层次 层次 示例 数据库 学生数据库课程文件 简历文件 财务文件 文件 记录 数据项 J101 课程号字段 字节 10101010 字母J的ASC11码 位 0 Ahierarchyofseverallevelsofdatahasbeendevisedthatdifferentiatesbetweenthemostsimplegroupingsorelementsofdataandmorecomplexdataelements 5 2数据组织 课程说明 5 2 2实体和属性 实体 数据所代表的事件或事物 如职工甲 Person Place Thing Eventaboutwhichdatamustbekept 属性 实体的特征 DescriptionofaparticularENITY 属性域 属性值的变化范围 实体集 实体的集合 如全厂职工 5 2数据组织 课程说明 5 2 2实体和属性 现实世界存在于人们头脑之外的客观世界信息世界现实世界在人们头脑中的反映 人们把它用文字和符号记载下来 数据世界信息世界的信息在机器世界中以数据形式存储 现实世界 信息世界或概念模型 数据世界 5 2数据组织 课程说明 5 2 2实体和属性 5 2数据组织 课程说明 5 2 3关键字 FieldinEachRecord UniquelyIdentifiesTHISRecordForRetrieval UpdatingSorting 5 3文件组织 课程说明 文件结构 组织 问题不是DB出现后才有的 在文件系统中已经充分研究过 目前 文件管理仍是OS的主要功能之一 有些DBMS就以OS的文件管理作为其物理层的基础 更多的DBMS独立设计存储结构 DB中的文件既继承了传统系统的某些技术 又有与之相区别的特点 文件组织关系到数据处理的效率和对记录的操作方式 5 3文件组织 课程说明 5 3 1顺序文件 记录按其在文件中的逻辑顺序依次进入存储介质而建立的文件 一个记录紧接前一个记录顺序排列 如磁带文件 连续存取的速度快 适用于批处理和定期处理任务 如 数据备份和定期的财务报表 5 3文件组织 课程说明 5 3 2散列文件 将记录的某一属性用散列函数直接映射成记录的地址 在数据库系统中用的还不多 5 3文件组织 课程说明 5 3 3索引文件 索引表 数据文件 索引文件的一般结构 两部分 索引区 数据区 前部分 数据项 通常就是关键字 后部分 记录的存储地址 指针 A C E G 5 3文件组织 课程说明 5 3 2散列文件 先根据关键字从索引表中查出记录所在的位置 然后再到该位置取出数据 逻辑顺序与记录的物理顺序无关 提高查询效率 索引本身要占一定的存储空间 5 3文件组织 课程说明 5 3 2索引文件 不出现或很少出现在查询条件中的属性 属性值很少的属性 如 性别 用索引还不如顺序扫描 属性值分布严重不均的属性 如 职工年龄 经常更新的属性或表 因为更新时索引需要保护 满足下列条件之一的属性或表不宜建立索引 5 3文件组织 课程说明 5 3 2索引文件 主关键字一般可以建立索引 以读为主或只读的表 只要需要 且存储空间允许 可建索引 有些查询可以从索引直接得到结果 不必访问数据块 宜建索引 如查询某属性的MIN或MAX 对于等值查询 即查询条件中以等号为比较符 如果满足条件的元组是少量的 可考虑在有关的属性上建索引 宜建索引 数据库系统运行以后还可以进行调整 有些索引一时难以决定是否建立 可留待运行时通过实验来确定 5 4数据管理技术的发展 课程说明 5 4 1数据管理技术的发展阶段 1 人工管理阶段 应用程序1 数据组1 应用程序2 数据组2 应用程序n 数据组n 5 4数据管理技术的发展 课程说明 5 4 1数据管理技术的的发展阶段 2 文件管理阶段 应用程序1 数据文件2 应用程序2 应用程序n 文件系统 操作系统 数据文件1 数据文件n 5 4数据管理技术的发展 课程说明 5 4 1数据管理技术的的发展阶段 数据和程序结合为一个不可分的整体 一组数据对应一个应用程序 数据文件应应用程序的要求而建立 程序和数据有一定的独立性 仍相互依赖 各文件相互独立 分散保管 数据的一致性不易控制 文件系统是用户和用户应用程序与数据文件间的接口 人工管理阶段 文件管理阶段 5 4数据管理技术的发展 课程说明 5 4 1数据管理技术的的发展阶段 3 数据库方法阶段使用数据库管理系统DBMS 不仅描述数据本身 还描述数据之间的联系 数据在统一控制下 为尽可能多的用户服务 用户或用户程序 数据库管理系统如Access Foxpro Oracle DB2等 用户或用户程序 用户或用户程序 数据库 5 4数据管理技术的发展 课程说明 5 4 1数据管理技术的的发展阶段 硬件 数据库 OS DBMS 批处理接口 用户接口 应用程序 数据库系统组成 DBMS 负责数据库的定义 建立 操纵 管理和维护 5 4数据管理技术的发展 课程说明 5 4 1数据管理技术的的发展阶段 数据库系统组成 数据库的优点 数据独立性强物理独立性强 数据库的物理组织发生变化不影响数据的逻辑结构 逻辑独立性强 数据库的逻辑结构改变时 无须改变应用程序 数据冗余度 dataredundancy 小 数据的共享性高 数据的一致性好 有数据安全和完整性保障 5 4数据管理技术的发展 课程说明 5 4 2数据库的三级体系结构 数据库系统组成 ANSI提出的数据库结构的标准化建议 用户级 亦称外模式 是数据库用户看到的数据视图 概念级 称为概念模式 模式 对数据库整体逻辑结构的描述 统一考虑所有用户现在和未来的需求 并把这些需求所涉及的记录及记录间的联系有机地结合成一个逻辑整体 物理级 又称内模式或存储模式 对数据物理结构和存储方式的描述 对用户是透明的 物理组织修改后 不必修改模式 5 4数据管理技术的发展 课程说明 5 4 2数据管理技术的的发展阶段 数据库系统组成 用户 用户 用户 子模式 子模式 子模式 模式映射 模式 模式 存储模式映射 存储模式 用户级 概念级 物理级 用户视图 DBA视图 系统管理员视图 5 4数据管理技术的发展 课程说明 5 4 3关系数据库模型 数据库系统组成 DB概念模型 层次模型 网络模型 关系模型RDB在80年代退出 新推出的DBMS几乎都支持关系模型 关系模型以表 Table 这一统一形式来表示数据的逻辑结构 关系数据库有一套完善的关系代数理论和方法支持 5 4数据管理技术的发展 课程说明 5 4 3关系数据库模型 数据库系统组成 一 层次模型层次模型的数据结构用树形结构来表示实体之间联系的模型叫层次模型 层次数据库系统的典型代表是IBM公司的IMS系统 特点每个记录只有一个父节点 当表示M N关系时必然存在冗余 只有一个节点无父节点 总是从父记录指向子记录 5 4数据管理技术的发展 课程说明 5 4 3关系数据库模型 数据库系统组成 一个单位的层次模型可有多棵树构成 联系一般用指针实现 或物理邻接 每一个记录只有一条查找路径 二 网状模型概念用有向图结构表示实体类型及实体间的联系 网状数据模型的典型代表是DBTG系统 5 4数据管理技术的发展 课程说明 5 4 3关系数据库模型 数据库系统组成 特点可以有一个以上的结点无父结点 至少有一个节点多于一个父节点 联系由指针实现 每个记录可有多条查找路径 5 4数据管理技术的发展 课程说明 5 4 3关系数据库模型 学号 姓名 年龄 性别 课号 姓名 年龄 性别 学生s 课程c 通过Link联系记录表达m n关系 用户在使用网状DB时 不但要说明做什么 而且还要说明怎么做 即给出存储路径 学号 课程号 成绩 学生选课sc 5 4数据管理技术的发展 课程说明 5 4 3关系数据库模型 数据库系统组成 三 关系模型 DatainTableFormat关系Relation Table元组Tuple Row Record inTableField Colum Attribute inTable 5 4数据管理技术的发展 课程说明 5 4 3关系数据库模型 数据库系统组成 从汉川机床厂购进了那些零部件 5 4数据管理技术的发展 课程说明 5 4 3关系数据库模型 数据库系统组成 在RDB中 用户需要用多个相关联的表中的信息来生成管理所需的报表 通过关系运算 可以将任何两个有共同数据项的表关联起来 这是RDB的威力所在 关系数据库的三种基本操作 1 选择 在表中找出符合指定条件的记录 2 连接 把相关的表合并起来 向用户提供比单个表更多的信息 3 投影 在已有表的基础上 选定所需的列建立一个新表 5 4数据管理技术的发展 课程说明 5 4 3关系数据库模型 数据库系统组成 5 4数据管理技术的发展 5 4 3关系数据库模型 5 4数据管理技术的发展 5 4 3关系数据库模型 为什么不在设计数据库时就用上述这张大表 问题 5 4数据管理技术的发展 5 4 3关系数据库模型 5 4数据管理技术的发展 5 4 3关系数据库模型 缺点 数据冗余度大 如 设备厂出现的次数 插入异常 如 要添 钢帽 因没进货 则无法插入 删除异常 如 没进北京螺帽 则把螺帽材质为 钢 的信息去掉 更新异常 如 要更换螺栓规格 则要逐一更换 5 4数据管理技术的发展 5 4 3关系数据库模型 关系模型的规范化理论关系模型的好坏对数据的存储 操作有很大影响 因此 一般要对得到的关系模式进行优化 规范化 规范化理论是E F Codd在1971年提出的 研究关系模型中各属性之间的关系 探讨关系模型应具备的性质和设计方法 初步得到的关系模型 优化后的关系模型 数据库设计结果 规范化理论 5 4数据管理技术的发展 5 4 3关系数据库模型 范式的定义 1NF 如果一个关系模式R的所有属性都是基本的 不可分割的 则称R为第一范式 2NF 如果关系模式R是1NF 而且非关键字的属性完全函数依赖于关键字属性 那么关系模式R是第二范式 3NF 如果关系模式R是2NF 而且每个非关键字的属性不是传递依赖于关键字 那么关系模式R是第三范式 BCNF 若关系模式R中的每个决定因素 都是R的一个候选关键字 则称R是BCNF 5NF 4NF BCNF 3NF 2NF 1NF 5 4数据管理技术的发展 5 4 3关系数据库模型 范式实例 例子 下面的关系 物资价税表不满足第一范式的条件 不是第一范式 去掉可分割的数据项后 可得到下面的关系 它已是第一范式 5 4数据管理技术的发展 5 4 3关系数据库模型 例子 下面的关系模式中 主码为 教师代码 非主属性 院系名称 依赖于主码 教师代码 而 院系负责人 又依赖于 院系名称 因此 院系负责人 传递依赖于主码 教师代码 该关系不是第三范式 5 4数据管理技术的发展 5 4 3关系数据库模型 上例中消除传递依赖关系的办法是将关系 教师 分解为如下两个满足第三范式的关系 教师代码 教师名称 院系名称 院系负责人 教师 教师代码 教师名称 院系名称 院系 院系名称 院系负责人 5 4数据管理技术的发展 5 4 3关系数据库模型 规范化小结 在关系数据库中 对关系模式的基本要求是满足第一范式 这样的关系模式就是合法的 允许的 但有些关系模式存在数据冗余 存储操作异常等不足 因此 要进一步改善关系模式 这就是规范化的目的 关系模式的规范化过程是采用投影分解的方法来实现的 分解时应注意保证分解前和分解后的等价性 规范化等级的选择要综合考虑多种因素 要在减少数据冗余 消除存储操作异常和响应时间之间做出合理的折中 一般而言 规范化等级越高 检索时需要的连接操作就越多 DBMS的开销就越大 响应时间变长 实际研制和开发数据库系统时 多采用3NF和BCNF 5 4数据管理技术的发展 5 4 4数据库设计 数据库是信息系统的核心组成部分 数据库设计在信息系统的开发中占有重要的地位 数据库设计的质量将影响信息系统的运行效率及用户对数据使用的满意度 如何根据企业中用户的需求及企业生存环境 在指定的数据库管理系统上 设计企业数据库的逻辑模型 最后构建成企业数据库 这是一个从现实世界向计算机世界转换的过程 5 4数据管理技术的发展 5 4 4数据库设计 一 信息的转换信息是人们提供关于现实世界客观存在事物的反映 数据则是用来表示信息的一种符号 若要将反映客观事物状态的数据 经过一定的组织 成为计算机内的数据 将经历三个不同的状态 现实世界 信息世界 概念世界 和计算机世界 数据世界 如下图所示 在不同的世界中使用的概念与术语是不同的 但它们在转换过程中都有一一对应的关系 如下表所示 5 4数据管理技术的发展 5 4 4数据库设计 图三个不同的世界 5 4数据管理技术的发展 5 4 4数据库设计 表三个不同的世界术语对照 5 4数据管理技术的发展 5 4 4数据库设计 例如 现实世界中一个 事物 对应于信息世界中的一个 实体 实体可以是一个学生 一个零件或一张订货合同 事物总有一些性质来反映事物的特征 实体对应也有一些属性来反映实体的特征 如学生的学号 姓名等 实体的属性在计算机世界中用数据项描述 实体属性的集合在计算机世界中用记录描述 5 4数据管理技术的发展 5 4 4数据库设计 具有相同属性的事物的集合 如一群学生 一群教师 授课计划 就形成了事物类 它们是信息世界中的实体集 简称实体 在计算机世界中 则形成一个个数据文件 如学生文件 教师文件和课程计划文件 涉及同一事务的事物有多个 相互之间又有错综复杂的联系 如学生 教师授课计划的教学系统 因此反映在信息世界就有实体及它们的联系 学习关系 反映在计算机世界就形成了逻辑数据库 许多逻辑数据文件的集合 5 4数据管理技术的发展 5 4 4数据库设计 二 数据库设计步骤 1 对现实世界进行需求分析 对现实世界要处理的对象 组织 部门企业等 进行详细调查 调查的重点是 数据 和 处理 通过调查获得每个信息使用者对数据库的要求 1 了解组织机构情况 为分析信息流做准备 2 了解各部门业务情况 调查各部门输入和使用的数据及处理数据的方式与算法 3 确定数据库的信息组成及计算机系统应实现的功能 5 4数据管理技术的发展 5 4 4数据库设计 二 数据库设计步骤 2 建立信息世界中E R 概念 模型E entity代表实体 R relation代表关系 E R图就是描述实体间关系的图解 通过对现实世界的需求分析 应用 E R图 建立信息世界中的实体 属性和实体间联系的概念模型 从而转入信息世界 建立概念模型分两步走 第一步 建立分E R图 第二步 综合分E R图 产生总E R图 5 4数据管理技术的发展 5 4 4数据库设计 二 数据库设计步骤 3 从E R图导出计算机世界的关系数据模型E R图是建立数据模型的基础 从E R图出发导出计算机系统上安装的DBMS所能接受的数据模型 这一步工作在数据库设计中称为逻辑设计 重点掌握由E R图转换为关系数据模型 即把E R图转换为一个个关系框架 使之相互联系构成一个整体结构化了的数据模型 转化的原则如下 5 4数据管理技术的发展 5 4 4数据库设计 二 数据库设计步骤 1 E R图中的每个实体 都相应地转换为一个关系 该关系包括对应实体的全部属性 并应根据该关系表达的语义确定出关键字 因为关系中的关键字属性是实现不同关系联系的主要手段 2 对于E R图中联系 根据不同的联系方式 或将联系反映在关系中 或将联系转换成一个关系 5 4数据管理技术的发展 5 4 4数据库设计 三 数据库设计实例 某学院 教学管理 数据库模型的设计 1 设计 系和教师关系 的分E R图 该学院下设四个系 管理工程系 会计系 市场营销系和信息管理系 每个系有一个系主任主管该系工作 则将系设为一个实体 该实体具有以下属性 系代号 系名 系主任名 办公地点 电话 其中系代号是主关键字 如图示 该学院聘请了一定数量的专职教师 则将 教师 设为一个实体 该实体具有以下属性 教师编号 教师 5 4数据管理技术的发展 5 4 4数据库设计 姓名 专业特长 其中教师编号是主关键字 如图示 学院聘请教师后 分配到各系 一个系有多个教师 一个教师只能属于一个系 系实体与教师实体之间发生一对多 1 m 的 分配 联系 如图示 5 4数据管理技术的发展 5 4 4数据库设计 5 4数据管理技术的发展 5 4 4数据库设计 2 设计 学生和课程关系 的分E R图 学院每年招收新生 分配到各个专业 则将 学生 设为一个实体 该实体具有如下属性 学号 姓名 性别 年龄 系代号 其中学号为主关键字 学院制订了教学计划 设置多项课程 则将 课程 设为一个实体 该实体具有如下属性 课程号 课程名 学分 设课程号为主关键字 学生根据专业要求 每年学习多门课程 每门课程则被多个学生选读 学生必须参加考试 获取成绩 因此 5 4数据管理技术的发展 5 4 4数据库设计 成绩属于学生和课程发生联系后产生的属性 学生和课程关系 分E R图见下图 5 4数据管理技术的发展 5 4 4数据库设计 5 将学院 教学管理 的E R图所描述的信息 概念 世界中的概念模型转化为计算机上由关系型DBMS支持的关系数据模型 数据库设计原则中有两条 一是将所有的实体转化为关系 二是根据不同的联系方式 将联系反映在关系中或将联系转换成关系 具体过程略 见教材P187 5 4数据管理技术的发展 5 4 4数据库设计 3 设计 教师和课程关系 的分E R图 教师在教学活动中与课程发生联系 一个教师可以上多门课程 一门课程也可以由多个教师讲授 教师授课任务完成后 将被学生和院方评估 因此 教师与课程关系 的分E R图见上图 4 将上述三个分E R图综合 建立学院教学管理总E R图 由于学院教学管理各分E R图中 教师与课程是同名实体 根据综合分E R图的原则 消除同名实体 则教学管理总E R图如上图所示 5 5数据仓库和商业智能 5 5 1引言 决策对企业管理越来越重要目前 企业面临的商业竞争日趋激烈 企业的决策任务越来越重 决策频率越来越高 多数企业都开始重视信息的策略性价值 重视数据分析 企业积累了大量的宝贵数据随着信息技术在企业的广泛应用 企业通过传统的文件方式和数据库系统存储并积累了大量数据 也为数据分析和利用提供了重要的基础 5 5数据仓库和商业智能 5 5 1引言 企业有可能通过数据分析作出优化的决策有了前面两个条件 企业在面对数据资源时 不再是简单地处理数据 而是更多地关注如何使用数据 采用了数据仓库 联机分析处理 数据挖掘和商业智能等新兴技术 5 5数据仓库和商业智能 5 5 2数据仓库 一 概念数据仓库之父W H Inmon的定义 数据仓库是一个面向主题的 subjectoriented 集成的 integrated 非易失的 non volatile 随时间变化的 timevariant 的数据集合 用于支持管理决策 5 5数据仓库和商业智能 5 5 2数据仓库 对数据仓库概念的理解 数据仓库是一个大的数据集合 数据仓库的目标是支持企业的管理决策 数据仓库的数据存储和组织方式是面向主题的 即根据分析主题的需求把所有相关数据组织在一起 数据仓库中的数据内容不再是零散或细节的 而是集成和综合的 已经消除了数据在表达上和含义上的不一致性 由于数据仓库中的数据加上了时间维度 数据修改的可能性就很小 几乎不用传统数据库的update操作 因此数据仓库 5 5数据仓库和商业智能 5 5 2数据仓库 是非易失的 另一方面 正是由于数据仓库中所有的基础数据都是针对某时间点的 随着时间的变化 不断需要载入新的数据 或者淘汰旧的数据 即是随时间变化的 二 数据仓库的数据来源数据仓库的数据都来自于许多不同的业务数据库 并按主题进行数据组织 如下图示 数据仓库的数据导入一般需要ETL extract transform load 即数据抽取 转换 装载 工具 ETL过程包括数据抽取 5 5数据仓库和商业智能 5 5 2数据仓库 extract 转换 transform 清洗 cleansing 装载 load 等环节 最终按照预先定义好的数据仓库模型 将数据加载到数据仓库中去 5 5数据仓库和商业智能 5 5 3联机分析处理 一 概念的提出 联机分析处理 on lineanalyticalprocessing OLAP 是关系数据库的奠基人E F Codd于1993年提出的 主要是对于大量的多维数据的动态综合 分析和归纳 二 OLAP的特征及应用一个主要操作是 多维分析 即通过对信息的多种可能的观察形式进行快速 稳定 一致和交互性的存取 允许管理决策人员对数据进行深入分析 5 5数据仓库和商业智能 5 5 3联机分析处理 多维分析是建立在 多维视图 的基础上进行的 多维视图是多维度的立体结构 即包含了若干层的行和列 数据的表示用不同层次中的不同纬度表达 表示数据的多维度信息称为超立体结构 cube 如下图所示 5 5数据仓库和商业智能 5 5 3联机分析处理 5 5数据仓库和商业智能 5 5 4数据挖掘 一 概念的提出数据挖掘 datamining 是从大量数据中自动发现隐藏的有用知识的过程 是从大量数据中挖掘 宝藏 的过程 二 数据挖掘的内涵数据挖掘发现的知识有 行为模式数据关联变化趋势异常情况和有意义的结构 5 5数据仓库和商业智能 5 5 4数据挖掘 三 数据挖掘和OLAP的区别数据挖掘和OLAP都是使用数据仓库数据的重要工具 OLAP工具主要是展现数据 启发数据分析人员找出规律 得出结论 数据挖掘可以不用人工参与 主要靠计算机自动发现规律 5 5数据仓库和商业智能 5 5 4数据挖掘 四 数据挖掘的主要方式 1 分类 classification 分类是从大量数据中找出不同类别对象的特征 从而对新加入对象能自动分类 案例一 银行会按照客户的信用程度分类 数据挖掘能找出各类客户的数据特征 以后就能快速判断一个新客户的信用类别 案例二 预测可能流失投奔竞争对手的客户 预测天文望远镜照片上暗淡的点是否是天体等 5 5数据仓库和商业智能 5 5 4数据挖掘 四 数据挖掘的主要方式 2 聚类 clustering 聚类是根据数据特征对数据对象进行自动归类 聚类与分类