数据库工程师考点全包含.doc

数据库工程师 概念要点 冯宗宝 2012-9-5始数据库（DB）：长期存储在计算机中有组织的、大量的、共享的数据集合。数据库管理系统（DBMS）是计算机系统中位于用户与操作系统之间的数据管理系统软件，是数据库系统的核心。数据库系统的定义与层次结构数据库系统（DBS）是指在计算机系统中引入数据库后的软硬件系统构成。数据库系统的层次结构包括硬件、软件、用户。数据模型DATA MODEL 是数据库系统的形式框架，是用来描述数据的一组概念和定义。数据模型应满足三方面要求：l 能够比较真实地模拟现实世界；l 容易为人们所理解；l 便于在计算机上实现。目前，还没有一种数据模型能够很好地同时满足这三方面的要求。数据模型三要素n 数据结构:精确地描述了系统的静态特征n 数据操作：动态特征各种数据对象允许执行的操作和操作规则n 完整性约束：一组完整性规则的集合，它定义了数据模型必须遵守的语义约束。数据模型的分类概念模型：数据结构模型 包含 关系模式、网状模式、层次模式物理数据模型概念数据模型;也可简称为概念模型，是按用户的观点对数据和信息进行建模。是现实世界到信息世界的第一层抽象，强调起语义表达功能，易于用户理解。数据结构模型 也称为表示型 或者实现型 的数据结构模型是机器世界中与DBMS相关的数据模型。数据结构模型提供的概念能够被最终用户所理解，同时也不会与数据在计算机中实际的组织形式相差太远。物理数据模式 属于底层数据模式，通过诸如记录格式、记录顺序和存取路径等表示信息，描述数据在数据库系统中的实际存储方式。数据视图和模式结构数据库系统的两种机构形式数据库系统是一类复杂数据管理系统，数据库系统结构按考虑的层次和角度不同，分为如下两种形式：1、 从数据库管理系统角度看，数据库系统采用三级模式结构，包括外模式、模式、内模式。2、 从数据库最终用户角度看，数据库系统的结构分分为集中式结构、分布式结构、客户/服务器结构和并行结构。数据视图与数据抽象数据视图(Data View）是指从某一个角度看到的客观世界数据对象的特征。数据抽象（Data Abstrct） 是一种数据描述和数据库设计原则，是指专注于数据对象的某个方面特征。三级模式结构 数据库的模式结构分为外部级、概念级和内部级3个层次 在这三个层次的基础上分别定义了外模式、模式、内模式 外模式：也称子模式、用户模式活用户视图，是数据库用户能够看见和使用的局部数据的逻辑机构和特征的描述。模式（Schema）：也称为逻辑模式或概念模式，是对数据库中全体数据的逻辑结构和特征描述，是所有用户的公共数据视图，一个数据库只有一个模式。内模式：也称为物理模式或者存储模式 是对数据库中数据物理结构和存储方式的描述，代表了数据在数据库内部的表示方式和物理组织结构。例1下列模式中能够给出数据库物理存储结构与物理存取方法的是 。 A内模式 B外模式 C概念模式 D逻辑模式二级映像与数据独立性两层映像机制数据库系统中的DBMS为三级模式结构提供了两层映像（mapping）机制，外模式/模式机制映像、模式/内模式映像机制。这两层映像机制保证了数据库中数据逻辑独立性和物理独立性。1、 外模式/模式映像机制 保证了数据的逻辑独立性外模式/模式映像机制定义了数据库中不同用户的外模式与数据库逻辑模式之间的对应关系。2、 模式/内模式映像机制 保证了数据的物理独立性数据独立性的作用数据库中数据的逻辑独立性和物理独立性使得数据定义和描述与应用程序相分离，而且由于DBMS负责数据的存取和管理，用户不必要考虑存取路径等细节，从而简化了数据库应用程序开发，保证了应用程序的相对稳定性，降低了应用程序的维护代价。数据库系统体系结构数据库系统体系结构类型集中式结构、分布式结构、客户服务器结构、并行结构、WEB结构1、 集中式DBS全部数据和管理功能集中在一台计算机上的数据库系统2、 分布式DBS分布式计算机系统与数据库技术结合的产物 满足地理上不同用户的需求3、 客户服务器DBS将DBMS与数据库应用分开 较为开放式的一种网络数据库系统4、 并行DBS处理大型复杂数据管理应用领域中海量数据5、 WebDBS与网络技术结合的产物 由客户端、WEB服务器、数据库服务器组成.数据库管理系统(DBMS)数据库管理系统的功能1) 数据定义功能 定义数据库的三级模式结构 2) 数据操纵功能查询插入删除更新3) 数据库运行管理和控制功能统一管理和控制数据库的建立运行维护4) 数据库的建立和维护功能数据的备份 恢复功能数据库系统的全局结构数据库系统自上而下分为用户、人机交互界面、DBMS、磁盘4个层次。DBMS可分为两部分，面向用户的请求查询处理器和面向数据存储访问的存储管理器用户类型 数据库管理员 专业用户 应用程序员 终端用户查询处理器类型l DML编译器l 嵌入式DML的预编译器l DDL编译器l 查询执行引擎存储处理器类型l 权限和完整性管理器l 事务管理器l 文件管理器l 缓冲区管理器磁盘存储的数据类型 以数据文件方式存储的应用数据 数据字典 为提高数据库查询速度而设置的数据库索引 记录DBS运行时用户对DB的操作情况的日志信息数据库技术的发展和应用数据管理的三个阶段人工管理文件管理数据库管理数据库应用系统生命周期2012-9-8软件生命周期的概念软件生命周期是指软件产品从考虑起概念开始，到该产品不再使用的整个时期。一般包括概念阶段、设计阶段、实现阶段、测试阶段、测试阶段、安装部署与交付阶段、运行阶段和维护阶段。这些阶段可以重复，也可以迭代。软件开发模型瀑布模型 （也称软件生命周期模型）、快速原型模型、增量模型、螺旋模型将DBMS设计阶段细分为概念设计、逻辑阶段、物理设计三个步骤，每一步的设计内容又涵盖了3条设计主线。规划与分析系统规划与定义的具体内容包括： 任务陈述 确定任务目标 确定系统范围和边界 确定用户视图可行性分析可行性分析的目的在明确了DBMS的任务目标和系统范围之后需要从技术、经济、操作等方面进行项目的可行性分析、评估判断DBMS开发项目在现有技术和经济条件下是否可行，是否能够达到预期目标可行性分析的内容经济可行性：成本效益分析技术可行性：系统功能、性能以及实现系统的各项约束条件操作可行性：论证开发方案选择：最佳方案项目规划项目规划的内容：确定项目规划的目标和范围根据DBMS软件开发模型，分解和定义整个项目包括的工作活动和任务。估算完成该项目的规模及所需各种资源制订合理的DBMS项目计划，包括进度、成本和质量等方面的预测和控制方案项目规划的成果项目规划的成果应形成数据库应用系统项目计划文档、也就是项目计划书需求分析 2012-9-9需求的概念数据库应用系统需求指用户对DBMS在功能、性能、行为、设计约束等方面的期望和要求。需求分析的概念DBMS需求分析是在已经明确的DBMS系统范围基础上，通过对应用问题的理解和分析，采用合适的工具和符号，系统地描述DBMS的功能特征、性能、特征和约束，并形成需求规范说明文档。需求分析过程由需求获取、需求分析、需求描述与规范说明、需求验证等步骤组成。需求分析的具体内容： 数据需求分析 数据处理需求分析 业务需求分析 分析数据库系统绝对性能、存储、安全、备份与恢复等方面的要求.数据字典的内容 数据项 数据结构 数据流 数据存储 数据处理数据项是数据的最小组成单位.事务规范的内容:数据处理需求分析结果也可以表示为事务规范.事务规范包括以下几个方面事务描述信息:事务名称事务描述事务所访问的数据项事务用户性能需求分析性能需求分析主要内容 数据操作响应时间活数据项访问时间 系统吞吐量:系统单位时间内完成的事务数.每秒事务数(TPS) 允许并发访问的最大用户数,指在保证单个用户查询响应时间的前提下,系统最多允许多少用户同时访问数据库 每TPS代价值,用于衡量系统性价比的指标.。对商业数据库应用系统，既要有好的系统性能，又要有好的使用成本。影响DBMS性能的主要因素 系统硬件资源 网络通讯设备性能 操作系统环境 数据库逻辑设计和物理设计质量 DBMS的配置和性能。如DBMS所采用的查询优化策略、索引优化策略、数据库管理配置策略参数数据库应用程序本身软件生存期从应用系统规划、需求分析、设计、实现、维护直到最后被新的系统取代而停止使用的整个期间其中设计又包括概念设计、逻辑设计、物理设计问答题：数据库应用系统功能设计包括哪两个方面？每个方面主要由哪些设计步骤组成？2009.4数据库应用系统功能设计包括数据库事务设计和应用程序设计。与数据库应用系统概念设计、逻辑设计、物理设计相对应，应用程序设计分为总体设计、概要设计、详细设计，数据库事务设计则由事务概要设计和事务详细设计组成。试述数据库设计过程中各个阶段上的设计描述。 需求分析：准确了解与分析用户需求（包括数据处理） 概念结构设计：通过对用户需求进行综合、归纳与抽象，形成一个独立于具体DBMS的概念模型。 逻辑结构设计：将概念结构转换为某个DBMS所支持地方数据模型，并对其进行优化。 数据库物理设计：为逻辑数据模型选取一个最合适应用环境的物理结构（包括存储结构和方式） 数据库实施： 数据库运行与维护数据库的实施主要包括以下工作： 用DDL定义数据库结构 数据装载，4步：筛选数据，转换数据格式，输入数据，校验数据 编写与调试应用程序 数据库试运行其中，数据库的试运行和应用程序的编写调试是同时进行的。数据库的维护工作主要包括： 数据库的转储和恢复 数据库安全性和完整性控制 数据库性能的监控分析和改造 数据库的重组和重构对数据库的监控分析分为：自动监控机制和管理员实现的手动监控机制对数据库架构体系的监控：空间信息，空间使用率，剩余大小，空间是否具有自动扩充能力，那些表的扩充能力将引起空间的扩展，段的使用空间与区间数。对数据库数据性能的监控：数据缓冲区的命中率，库缓冲、用户锁、锁与等待、回滚数、临时段使用情况、索引使用情况、等待时间和共享池数据库空间管理：无论使用何种数据库，对空间的管理主要包括创建数据库空间，更改空间大小，删除空间，修改空间大小，新建、移动、关联数据文件。分析评价数据库性能主要有数据库吞吐量、数据库用户响应时间系统吞吐量：单位时间内系统处理的事务数：TPS数据库用户响应时间=系统服务时间+用户等待时间索引使用的原则包括： 经常在查询中作为条件被使用的列，应为起建立索引 频繁进行排序或分组的列，应为其建立索引 一个列的值域最大时， 如果待排序的列有多个，应在这些列上建立符合索引 可以使用系统工具来检查索引的完整性，必要时进行修复。 故障管理事务：作为单个逻辑工作单元执行的一系列操作。一个逻辑工作单元要成为一个事务，必须要满足所谓的ACID（原子性、一致性、隔离性、持久性）原子性：要么执行，要么都不执行一致性：所有数据都保持一致性状态。隔离性：由并发事务所作的修改必须与任何其他并发事务所作的修改隔离持久性：事务调度DBMS是数据库系统中的“操作系统”，他负责人与数据库之间的交互使人能够对数据库进行控制和使用.。在数据库的控制和使用过程中，用户现象DBMS发送操作指令，DBMS再将所有的操作分解并组织成事务来执行。在实际的数据库系统中，事务是很频繁的，而且并发的情况是时有发生的，所以必须进行事务调度，并处理好并发机制。事务的特征：原子性（atomicty）:事务是相对独立的一个逻辑体，对于一个成功的执行，他必将全部完成；反之将一个操作都不执行。一致性（Consistency）隔离性(Isolation):持久性（Durability）：事务的调度 串行调度 并发调度并发执行的正确性问题 丢失更新问题(Lost update) 不可重复读取问题(Non-Repeatable Read) 脏数据问题（Dirty Read） 不一致分析问题怎样的并发调度才是好的并发调度？ 能够做到与串行调度一样的结果 保证DBMS每时每刻都在执行某个操作 同时进行并发调度的事务保持在一个合理、适合的水平，既不太多，也不太少使用前趋图可以对是否可以串行化调度进行判断:构造调度优先图使用广度优先或者环度优先算法进行环检测.。如果，检查出有向环，则是不可串行化调度；如果没有检测出环，则是可串行化调度。制图原则：事务A对某数据项的读操作在事务B的写操作之前；事务A对某数据项的写作在事务B的读作之前；事务A对某数据项的写作在事务B的写操作之前；一般的，在进行并发调度的时候，如果事务操作并不涉及同一个数据对象，则出现问题的可能性要小。并发控制技术 基于锁的并发控制技术 基于时间戳的并发控制技术 多版本并发技术 确认并发控制技术 多粒度锁技术 对索引进行锁控制的并发控制技术基于锁的并发控制： Exclusive Lock 排它锁 X锁 互斥锁 独占锁：其他事务不能对该数据项进行任何操作 该事务只能对其进行读取操作 Shared Lock共享锁 S锁 读锁 只能读取 其他事务可以对该事务进行S锁封锁粒度在对操作数据对象进行封锁操作时，会涉及数据项的大小问题，这被称为封锁粒度，简称锁粒度。可将锁粒度大小依次划分为：属性值、属性值集、记录、表、索引项、整个索引、整个数据库。大型数据库-多粒度加锁协议小型数据库-单粒度加锁协议封锁协议：一级封锁协议：进行写入操作时才加锁，只加互斥锁，没有共享锁。二级封锁协议：在一级封锁协议的基础上，要求在读取数据前，必须加上共享锁，读取完成以后在释放。三级封锁协议：在一级封锁协议的基础上，要求事务在读取数据钱，必须加上共享锁，知道事务结束才释放。一级封锁协议二级封锁协议三级封锁协议不一致分析问题丢失更新问题不可重复读取问题脏数据问题两段锁协议 加速阶段 解锁阶段例：数据库系统处理死锁一般采用哪两类方法？死锁预防：主要是通过采用死锁预防机制杜绝死锁产生的可能性。一种方法是事务一开始就将事务可能会操作的所有数据项和资源进行封锁，但这种方法可行性较差；另一种方法是对事务的加锁申请进行统计，并使用优先级进行排序。死锁预防机制：分为死锁的检测和恢复。检测可以使用超时检测和等待图检测。处理一般是破坏死锁条件，让处于死锁的某些事务撤销，使其释放数据项或资源，过一段时间，再将撤销的事务进行重新提交。死锁与活锁的相同点：死锁和活锁都会使得议一些事务的执行状况处于停止不前的状态。死锁与活锁的不同点：形成原因不同：死锁是以链条死循环的形式等待资源；而活锁中处于等待状态的事务所等待的资源总是被其他事务抢占。系统状态不同：死锁会造成多个事务的循环等待；而活锁中大多数事务都在正常进行，只有一个或者少数事务处于等待状态。预防机制不同：死锁的预防机制一方面不健全的，另一方面也是比较消耗资源的；而活锁的预防机制相对简单，只需要在调度策略中加上先来先服务机制即可。排除机制不同：死锁需要将部分事务撤销，以释放数据项或者资源。而活锁只需要将长期处于等待状态的事务调度到下一轮执行即可。恢复和并发控制的基本单位:事务数据库系统4大故障:事务内部故障、系统故障、介质故障、计算机病毒每种故障需要用不同的方法来处理事务故障系统故障(SOFT Crash)介质故障（HARD Crash）计算机病毒数据转储动态转储静态转储常用的三种转储方式：完全转储、完全转储加增量转储（效率高）、完全转储加差量转储。（占用较少时间与空间）数据库镜像的用途：数据库恢复 提高数据库可用性关系数据库操作语言SQL支持的数据类型Char:数据类型可用来存储固定长度的普通编码字符型数据。比如身份证号码等数据。Varchar:用来存储变长的普通编码字符型数据。Text:用于存储大量变长的普通编码字符型数据Int:用于存储之间的整数。CREAT TABLE 车辆信息 (车牌号CHAR(7)NOT NULLPRIMARY KEYCHECK(车牌号LIKE京A-Z0-90-90-90-90-9),车型CHAR(6)DEFULT轿车,发动机号CHAR(6)NOTNULL,行驶里程INT CHECK(行驶里程=0),车辆所有人CHAR(8)NOT NULL,联系电话CHAR(13)UNIQUE)CREATE TABLE 课表（课程号INTIDENTITY(1000,1)PRIMARYKEY,课程名CHAR(20)NOT NULLUNIQUE,学分TINYINTCHECK(学分=1AND学分=6)由于是主码故要有主码约束，要求初始值是1000，且每次递增1，在SQL中，可以使用IDENTITY来创建一个标识符，其格式为IDENTITY (SEED,INCREMENT),其中seed表示初始值，increment表示每次增加的增量；如果定义某列为IDENTITY,则不需要再在该列上定义主码约束。简述统一建模语言（UML）统一建模语言是一种绘制软件蓝图的标准语言，可以用UML对软件密集型系统 的制品进行可视化详述和文档化，UML是一种定义良好的、易于表达的、功能强大且普遍适用的可视化建模语言。它融入了软件工程领域的新思想、新方法和新技术。它的作用域不限于支持面向对象的分析和设计，还支持从需求分析开始的软件开发的全过程。UML的作用就是用很多的图从静态和动态方面来全面描述我们将要开发的系统。哪种UML图给出了系统的静态视图？这些UML图提供了系统的静态视图：类、对象、构件、和部署。哪种UML图提供了系统的动态部署？这些UML图提供了系统的动态视图：用例、状态、顺序、活动和协作。UML的定义包括UML语义和UML表示法两个部分UML语义：描述基于UML的精确元模型定义UML表示法：定义UML符号的表示法。为开发者或者开发工具使用这些图形符号和文本语法为系统建模提供了标准。这些图形符号和文本所表达的是应用级的模型，在语义上它是UML元模型的实例。标准建模语言UML可以由下列5类图来定义：用例图:用于描述系统与外部系统及用户之间的交互。静态图（包括类图、对象图）行为图（包括序列图、协作图、状态图、活动图）实现图（包括组件图）环境图（包括部署图）序列图：按照时间顺序描述对象间的交互。包用于把元素组织成组，构件是系统中遵从一组接口规范且付诸实现物理的、可替换的软件模型。共5个大类 9种图形UML静态建模机制用例图类图和对象图UML动态建模机制序列图协作图活动图状态图下午13：0017：00度。全体员工都必须自觉遵守工作时间，实行不定时工作制的员工不必打卡。3.1.2.2打卡次数：一日两次，即早上上班打卡一次，下午下班打卡一次。3.1.2.3打卡时间：打卡时间为上班到岗时间和下班离岗时间； 3.1.2.4因公外出不能打卡：因公外出不能打卡应填写外勤登记表,注明外出日期、事由、外勤起止时间。因公外出需事先申请，如因特殊情况不能事先申请，应在事毕到岗当日完成申请、审批手续，否则按旷工处理。因停电、卡钟（工卡）故障未打卡的员工，上班前、下班后要及时到部门考勤员处填写未打卡补签申请表，由直接主管签字证明当日的出勤状况，报部门经理、人力资源部批准后，月底由部门考勤员据此上报考勤。上述情况考勤由各部门或分公司和项目文员协助人力资源部进行管理。3.1.2.5手工考勤制度3.1.2.6手工考勤制申请：由于工作性质，员工无法正常打卡（如外围人员、出差），可由各部门提出人员名单，经主管副总批准后，报人力资源部审批备案。3.1.2.7参与手工考勤的员工，需由其主管部门的部门考勤员(文员)或部门指定人员进行考勤管理，并于每月26日前向人力资源部递交考勤报表。3.1.2.8参与手工考勤的员工如有请假情况发生，应遵守相关请、休假制度，如实填报相关表单。3.1.2.9 外派员工在外派工作期间的考勤,需在外派公司打卡记录;如遇中途出差,持出差证明,出差期间的考勤在出差地所在公司打卡记录;3.2加班管理3.2.1定义加班是指员工在节假日或公司规定的休息日仍照常工作的情况。A现场管理人员和劳务人员的加班应严格控制，各部门应按月工时标准，合理安排工作班次。部门经理要严格审批员工排班表，保证员工有效工时达到要求。凡是达到月工时标准的，应扣减员工本人的存休或工资；对超出月工时标准的，应说明理由，报主管副总和人力资源部审批。 B因员工月薪工资中的补贴已包括延时工作补贴，所以延时工作在4小时（不含）以下的，不再另计加班工资。因工作需要，一般员工延时工作4小时至8小时可申报加班半天，超过8小时可申报加班1天。对主管(含)以上管理人员，一般情况下延时工作不计加班，因特殊情况经总经理以上领导批准的延时工作，可按以上标准计加班。3.2.2.2员工加班应提前申请，事先填写加班申请表，因无法确定加班工时的，应在本次加班完成后3个工作日内补填加班申请表。加班申请表经部门经理同意，主管副总经理审核报总经理批准后有效。加班申请表必须事前当月内上报有效，如遇特殊情况，也必须在一周内上报至总经理批准。如未履行上述程序，视为乙方自愿加班。3.2.2.3员工加班，也应按规定打卡，没有打卡记录的加班，公司不予承认；有打卡记录但无公司总经理批准的加班，公司不予承认加班。3.2.2.4原则上，参加公司组织的各种培训、集体活动不计加班。3.2.2.5加班工资的补偿：员工在排班休息日的加班，可以以倒休形式安排补休。原则上，员工加班以倒休形式补休的，公司将根据工作需要统一安排在春节前后补休。加班可按1：1的比例冲抵病、事假。3.2.3加班的申请、审批、确认流程3.2.3.1加班申请表在各部门文员处领取，加班统计周期为上月26日至本月25日。3.2.3.2员工加班也要按规定打卡，没有打卡记录的加班，公司不予承认。各部门的考勤员(文员)负责加班申请表的保管及加班申报。员工加班应提前申请，事先填写加班申请表加班前到部门考勤员(文员)处领取加班申请表，加班申请表经项目管理中心或部门经理同意，主管副总审核，总经理签字批准后有效。填写并履行完审批手续后交由部门考勤员(文员)保管。3.2.3.3部门考勤员（文员）负责检查、复核确认考勤记录的真实有效性并在每月27日汇总交人力资源部，逾期未交的加班记录公司不予承认。从群体上看，中专 毕业生的劣势是阅历较少、知识层次相对不高;优势是学校专业设置大多贴近市场实际、贴近一线需要，且中专毕业生年青、肯吃苦