文件结构教授教学课件

1、2022年8月22日1文件是作为一个单元看待的外部相关数据的集合。基于不同的应用、使用多种方法，文件被存储在辅助设备中。数据的集合经常很大而不能一次全部导入主存中，因此，必须能够在一部分数据留在文件中的情况下读写部分数据。文件是数据记录的集合，每一个记录都由一个或多个域组成。存取方法决定了如何检索记录。2022年8月22日213.1 存取方法13.1.1 顺序存取 如果需要顺序地存取记录(一个接一个从头到尾)，则使用顺序文件结构。13.1.2 随时存取 如果想存取某一特定记录而不用检索其之前的所有记录，则使用随机存取的文件结构。有两种文件结构都允许随机存取：索引文件和散列文件。 文件顺序存取随

2、机存取顺序文件索引文件散列文件2022年8月22日313.2 顺序文件顺序文件是指记录只能按照顺序从头到尾一个接一个地进行存取。最后的记录加EOF（文件末尾）标志。操作系统没有有关记录地址的信息，它只知道记录是一个挨着一个存取的。顺序文件对随机存取来说效率并不高。2022年8月22日41.需要更新的文件夹新主文件：新的永久数据文件。包含大部分当前数据。旧主文件：需要更新的永久文件。事务文件：包含将要对主文件作的改变的文件。错误报告文件：包含数据更新时所发现的错误清单的文件。2.文件更新过程（按键排序）更新顺序文件2022年8月22日513.3 索引文件在文件中随机存取记录，需要知道记录的地址。

3、索引文件由数据文件组成，它是带索引的顺序文件。索引本身非常小，只占两个安段：键和记录地址。 倒排文件：可以有多个索引的索引文件被称为倒排文件2022年8月22日6 索引文件中，索引将键映射到地址。散列文件用一个函数来完成映射，不需要索引和伴随它的所有开销。13.4.1 散列方法 直接法 求模法 数字析取法13.3 散列文件2022年8月22日713.4.2 冲突 通常散列表中的键的数量要比在数据文件中的记录数量要多。因此，可能有多个键被散列为文件中的同一个地址，这样自然就会产生冲突。 把列表中一些映射为同一地址的键称为同义词；由散列算法产生的地址称为内部地址；包含所有内部地址的区域称为主区。

4、当两个键在内部地址上冲突时，必须将其中一个键和数据存放一另一个地址单元中来解决冲突。2022年8月22日8冲突解决法开放寻址：当一个冲突发生时，查找主区地址中开放的或空闲的记录来用于存放新数据。链表解决法：第一条记录存储在起始地址，但它包含了一个指向下一条记录的指针。桶散列法：散列到能接纳多个记录的节点（桶）。组合方法2022年8月22日913.5 目录 目录被表示为含有其它文件信息的一种特殊文件类型，用来组织文件。特殊目录根目录主目录工作目录父目录绝对路径和相对路径2022年8月22日1013.6 文本文件与二进制文件 存储在存储设备上的文件是一个位的序列，可被应用程序翻译成一个文本文件或是

5、二进制文件。文本文件：字符文件。二进制文件：是用计算机的内部格式存储的数据集合。 如果数据是文本格式的，就用一个字节来表示一个字符；如果数据是数字格式的，则用两个字节或更多字节来表示一个数。2022年8月22日11第14章 数据库14.1 引言14.2 数据库管理系统14.3 数据库体系结构14.4 数据库模型14.5 关系数据库模型14.6 关系的操作14.7 数据库设计14.8 其它数据库模型 2022年8月22日1214.1 引言数据库技术产生于六十年代末，是数据管理的最新技术，是计算机科学的重要分支数据库技术是信息系统的核心和基础，它的出现极大地促进了计算机应用向各行各业的渗透数据库的

6、建设规模、数据库信息量的大小和使用频度已成为衡量一个国家信息化程度的重要标志2022年8月22日1314.1 引言 数据的存储传统上是使用单独没有关联的文件，有时称为平面文件。现在所有这些平面文件被组合成一个实体数据库。 数据库是一个组织内被应用程序使用的逻辑相一致的相关数据的集合。 数据库的优点：冗余较少；避免不一致性；效率高；数据完整性；机密性 。2022年8月22日1414.2 数据库管理系统是定义、创建、维护数据库的一种工具。包括：硬件、软件、数据、用户和规程。数据、数据库、数据库管理系统、数据库系统2022年8月22日1514.3 数据库体系结构美国国家标准协会/标准计划和需求委员会

7、为数据库管理系统建立了三层体系结构：内层、概念层、外层。内层决定了数据在存储设备中的实际存储位置，直接与硬件交互；概念层定义数据的逻辑视图，数据库管理系统把数据内部视图转化为用户所看到的外部视图，用户不必与内层打交道；外层直接与用户交互，它将来自概念层的数据转化为用户所熟悉的格式和视图。2022年8月22日1614.4 数据库模型数据库模型定义了数据的逻辑设计，描述了不同数据之间的联系。层次模型网状模型关系模型2022年8月22日1714.5 关系数据库模型在关系数据库管理系统中，数据通过关系的集合来表示。关系：二维表。（数据的外部视图就是关系或表的集合，但这并不代表数据以表的形式存储）。属性

8、：关系中的每一列都称为属性，属性的总数称为关系的度。元组：关系中的行叫做元组，定义了一组属性值。关系中行的总数叫做关系的基数2022年8月22日1814.6 关系的操作在关系数据库中定义了一些操作来通过已知的关系创建新的关系。结构化查询语言（SQL）：是美国国标协会（ANSI）和美国国际标准协会（ISO）用于关系数据库上的标准化语言。9种操作：插入、删除、更新、选择、投影、连接、并、交、差2022年8月22日1914.7 数据库设计什么是数据库设计数据库设计是指对于一个给定的应用环境，构造最优的数据库模式，建立数据库及其应用系统，使之能够有效地存储数据，满足各种用户的应用需求（信息要求和处理要

9、求）在数据库领域内，常常把使用数据库的各类系统统称为数据库应用系统。2022年8月22日20数据库设计的基本步骤需求分析概念结构设计逻辑结构设计数据库的物理设计数据库实施数据库运行与维护2022年8月22日2114.7.1 实体关系模型 用实体关系（E-R）图来表示实体的属性与实体之间的联系。 矩形表示实体集；椭圆形表示实体属性；菱形表示联系；线连接属性和实体以及实体之间的联系。2022年8月22日222022年8月22日23该E-R图中省略了各个实体的属性描述：学生：学号，姓名，出生日期性别：性别档案材料：档案号， 班级：班级号，学生人数班主任：职工号，姓名，性别， 是否为优秀班主任 宿舍：

10、宿舍编号，地址，人数 其中有下划线的属性为实体的码。2022年8月22日2414.7.2 从E-R图到关系 一个实体型转换为一个关系模式。关系的属性：实体型的属性关系的码：实体型的码例，学生实体可以转换为如下关系模式：学生（学号，姓名，出生日期，所在系， 年级，平均成绩）教师、课程等都分别转换为一个关系模式。2022年8月22日252. 一个m:n联系转换为一个关系模式。3. 一个1:n联系可以转换为一个独立的关系模式，也可以与n端对应的关系模式合并。4. 一个1:1联系可以转换为一个独立的关系模式，也可以与任意一端对应的关系模式合并。 三个或三个以上实体间的一个多元联系转换为一个关系模式。

11、同一实体集的实体间的联系，即自联系，也可按上述1:1、1:n和m:n三种情况分别处理。2022年8月22日2614.7.3 规范化 规范化理论是用来改造关系模式，通过分解关系模式来消除其中不合适的数据依赖，以解决插入异常、删除异常、更新异常和数据冗余问题。2022年8月22日27范式是符合某一种级别的关系模式的集合。关系数据库中的关系必须满足一定的要求。满足不同程度要求的为不同范式。范式的种类：第一范式(1NF)第二范式(2NF)第三范式(3NF)BC范式(BCNF)第四范式(4NF)第五范式(5NF)2022年8月22日2814.8 其它数据库模型分布式数据库：数据库中的数据存储在一些通过网

12、络通信的计算机上，每台计算机拥有部分或者全部数据库。 1.不完全的分布式数据库 2.复制式的分布式数据库面向对象数据库：在试图保留关系模型优点的同时允许应用存取结构化数据。在面向对象数据库中，定义了对象和它们的关系。另外，每一个对象可以具有属性并以域的形式表达。XML：通常用作面向对象数据库的查询语言。2022年8月22日29第15章 数据压缩无损压缩 游程长度编码、赫夫曼编码、LZ编码有损压缩 图像压缩、视频压缩、音频压缩 2022年8月22日30文本挖掘将文档表示为关键字向量使用聚类技术找出相似文档类internationalnewssportsbusiness2022年8月22日31其他

13、查询与分析工具Query BuildingReport WritersSpreadsheet Systems2022年8月22日32内容安排什么是数据仓库?为什么需要数据仓库?数据模型数据仓库引擎数据仓库应用数据仓库未来发展方向2022年8月22日33数据仓库引擎两种基本的实现：ROLAP:Relational On-Line Analytical ProcessingMOLAP:Multi-Dimensional On-Line Analytical Processing2022年8月22日34ROLAP ServerRelational DBMSROLAPservertoolsutilit

14、ies支持特殊的索引, 查询优化技术2022年8月22日35MOLAP Server多维数据仓库引擎工具utilities需要自己管存储ProductCityDate1 2 3 4milksodaeggssoapABSales2022年8月22日36提高OLAP服务器处理效率索引结构实例化视图查询优化并行化技术缓存技术2022年8月22日37内容安排什么是数据仓库?为什么需要数据仓库?数据模型数据仓库引擎数据仓库设计和实现数据仓库未来发展方向2022年8月22日38数据仓库设计与实现企业商务智能应用体系数据仓库设计方法学数据仓库实施2022年8月22日39经营分析客户关系数据集市层对外业务数据

15、库外部数据源操作数据层数据仓库层内部管理数据库信贷管理主题1主题2主题n决策层管理层业务层决策应用层2022年8月22日40数据仓库建设第一阶段：数据仓库规划第二阶段：数据仓库设计与实施第三阶段：数据仓库运行与完善2022年8月22日41数据仓库设计方法学设计方法:自顶向下: 从总体设计规划开始自底向上: 从经验开始,采用原型开发方法数据仓库设计过程确定某个决策过程，并建立其模型确定某个决策过程中的数据粒度确定主题(包括确定分析指标和分析维)2022年8月22日42设计数据仓库要考虑地几个问题要考虑选择哪些数据要考虑如何从业务系统中抽取信息要考虑主题(事实表和维表)的设计要考虑如何展示数据仓库

16、中的数据2022年8月22日43数据仓库实施:集成Data ExtractionData TransformationData CleaningData LoadingClientClientWarehouseSourceSourceSourceQuery & AnalysisIntegrationMetadata2022年8月22日44数据仓库实施:监测技术数据源类型: relational, flat file, IMS, VSAM, IDMS, WWW, news-wire, 更新方式:Incremental vs. Refreshnew2022年8月22日45数据仓库实施:监测技术Pe

17、riodic snapshotsDatabase triggersLog shippingData shipping (replication service)Transaction shippingApplication level monitoring2022年8月22日46数据仓库实施:处理索引问题实例化视图查询优化2022年8月22日47数据仓库实施管理元数据管理工具2022年8月22日48内容安排什么是数据仓库?为什么需要数据仓库?数据模型数据仓库引擎数据仓库设计和实现对实施数据仓库的几点看法2022年8月22日49一、站在客户的角度想问题最需要的是“知己知彼”“知己”：企业内部的生产、财务、销售信息“知彼”：竞争对手、市场、技术、环境信息最有用的是“竞争智能”切合实际的数据分析手段最想要的是“全面解决方案”整和技术为我解决问题2022年8月22日50数据仓库 + OLAP + 数据挖掘 基于数据仓库的DSS整体解决