智能交通系统概论(第七章) PPT课件

1 智能交通系统概论 主讲 任其亮 2 第七章数据库技术及其在智能交通系统中的应用7 1数据库系统的构成和特点7 2分布式数据库7 3实时数据库7 4数据仓库7 5数据库技术在智能交通系统中的应用 3 7 1数据库系统的构成和特点 4 数据库管理系统就是一套用于建立 管理和维护数据库的软件数据库系统就是指引入了数据库管理系统 具有管理数据库能力的计算机系统 包括 计算机硬件 操作系统 数据库管理系统 数据库和在数据库管理系统基础上开发的各种应用软件 1 数据库系统的基本概念 美国国家标准局提出将数据库划分为三级 分别为 外部级 概念级和内部级外部级是数据库系统的用户级 外部级就是用于定义与用户有关的数据库中部分数据的局部逻辑结构 又称为数据库的外部视图 概念级用于描述数据库的全局逻辑结构 称为概念视图内部级是为了提高数据库的物理独立性而设立的 有关存储结构的定义 仅在内部级中予以描述 称之为内部视图 2 数据库系统的体系结构 5 复杂的数据结构面向数据组织数据数据共享 3 数据库系统的特点 统一的数据控制减少了数据的冗余度避免了某种程度的数据不一致性数据独立性 4 数据库系统的分类 分布式数据库系统实时数据库管理系统容错数据库管理系统安全数据库管理系统异构数据库管理系统多媒体数据库管理系统 6 7 2分布式数据库 7 分布式数据库系统集成了两个不同领域的技术 数据库和通信 数据库是基于同构数据库系统模型 并有它构造而来的 数据和管理软件都分布在各个计算点 位于分布式计算机系统的最顶层 通信媒介一般是低速的局域网络 数据库分布对于任何节点的数据库用户来说是透明的 1 分布式数据库的特点 分布有利因素 分布的不利因素 信息可以存贮在最经常用的地方把负载分布到多个计算节点上 提高了系统信息处理的性能把信息存贮在最需要的地方 通信耗费降低可靠性更高扩元性加强了数据可用性更高本地具有自治能力 而且不牺牲信息的共享 数据库的设计更为复杂数据库目录管理成为一个全局问题事务处理和并发控制必须处理数据库的分布性分布式系统恢复的难度很大 8 2 分布式数据库体系结构三种体系模式 本地数据库系统扩充为全局的一个组成部分在使用本地数据库系统扩充的体系结构中 分布式数据库是在每个节点上建立本地自治的数据库来实现分布特征的 统一的分布式数据库完全分布式数据库系统 在所有数据库节点之间具有更高的凝聚性 在这种体系结构中 数据库功能被分摊到各个独立节点上 通过对系统软件功能的划分 处理负载也被分摊到各个节点上 客户 服务器体系结构客户 服务器体系结构式一个混合的体系结构 每个节点都有部分数据库管理系统的功能 但是只有一些节点具备所有的元素 包括数据库本身 9 7 3实时数据库 10 1 实时数据库的要求实时数据库除了满足传统数据库的所有要求外 一些实时数据库功能需要显示可预知的时间状态 此外 还满足 实时模式实时事务数据时序一致性实时调度有界限的不精确性违反时间限制的恢复可预知性 11 2 实时数据库系统 Zip实时数据库系统Zip提供了有界限反应时间 对纲要和数据访问行为的静态定义和估算 以及运行前的优先查询优化 特点是在于数据库创建时预分配系统资源 同时在运行时固定时间特性和索引方案 EagleSpeed实时数据库系统EagleSpeed实时数据库管理系统是为潜艇指挥系统设计的一个商业数据库系统 开放的面向对象数据库系统开放的面向对象的数据库系统首先是由美国远景项目规划局提出的 开放的面向对象数据库具有事务管理 查询接口 连续性等模块 因而可以单个拆卸 可用其他的模块来代替 12 7 4数据仓库 13 1 数据仓库的定义 定义一 一个面向主题的 集成的随时间变化的非易失性数据的集合 用于支持管理层的决策过程 定义二 数据仓库是一种体系结构 一种独立存在的不影响其他已经运行的业务系统的语义一致的数据仓储 可以满足不同的数据存取 文档的需要 定义三 一个不断发展的过程 将多个异质的原始数据融合在一起 用于支持结构化的在线查询 分析报告和决策支持 特性 面向主题性 数据集成性 数据的时变性 数据的非易失性 数据的集合性和支持决策作用数据仓库的最终用户可以分成信息的使用者和知识的挖掘者两大类型 数据仓库虽然是从数据库发展来的 但是两者在许多方面都存在着相当大的差异 14 2 数据仓库的基本结构从数据仓库的概念结构看 包含数据源 数据准备区 数据仓库 数据集市 知识挖掘库以及各种管理工具和应用工具 为实现数据仓库的功能 数据仓库的总体层次结构应该由数据仓库基本功能层 数据仓库管理层和数据仓库环境支持层组成 数据仓库基本功能层数据仓库的基本功能层应该包含从数据源抽取数据 对所抽取的数据进行筛选 清理 将清理后的数据加载到数据仓库中 根据用户的需求设立数据集市 完成数据仓库的复杂查询 决策分析和知识的挖掘等功能 数据仓库的基本功能部分包含数据源 数据准备区 数据仓库结构 数据集市或知识挖掘库 以及存取与使用功能部分 15 数据仓库管理层数据仓库管理层包含数据管理与元数据管理两部分 数据管理与元数据管理主要负责对数据仓库中的数据抽取 清理 加载 更新与刷新等操作进行管理 数据仓库的数据管理层包含数据抽取 新数据需求与查询管理 数据加载 存储 刷新和更新系统 安全性与用户授权管理系统以及数据山档 恢复及净化系统等部分 数据仓库环境支持层数据仓库环境支持层主要包含数据传输和数据仓库基础两大部分 数据传输层包含数据年输和传送网络 客户 服务器代理和中间件 复制系统 以及数据传输的安全保障系统 在数据仓库的基础层中包含系统管理 工作流程管理 存储系统和处理系统等部分 16 3 开发数据仓库的流程概念模型设计要完成的工作是 界定系统边界要求 要做的决策类型有哪些决策者感兴趣的是什么问题这些问题需要什么样的信息要得到这些信息需要包含原有数据库系统的哪些部分的数据 确定主要的主题域及其内容描述内容 主题域的公共码键主题域之间的联系充分代表主题的属性组 17 技术准备工作包括 技术评估 技术环境准备 成果是 技术评估报肯 软硬件配置方案 系统 软 硬件 总体设计方案 技术评估性能指标 管理大数据量数据的能力进行灵活数据存取的能力根据数据模型重组数据的能力透明的数据发送和接收能力周期性成批装载数据的能力可设定完成时间的作业管理能力 技术环境准备主要工作是确定我们应该怎样来装配这个体系化结构模型 主要是确定对软硬件配置的要求 18 逻辑模型设计 分析主题域对概念模型设计步骤中确定的几个基本主题域进行分析并选择首先要实施的主题域 粒度层次划分粒度层次划分适当与否直接影响到数据仓库中的数据量和所适合的查询类型 确定数据分割策略选择适当的数据分割标准 要考虑因素 关系模式定义定义记录系统记录系统的定义要记入数据仓库的元数据 数据量数据分析处理的实际情况简单易行粒度划分策略 19 物理模型设计确定数据的存储结构设计人员在选择合适的存储结构时应该权衡三个方面的主要因素 存放时间 存储空间利用率和维护代价 确定索引策略数据仓库的数据量很大 因而是要对数据的存取路径进行仔细的设计和选样 由于数据仓库的数据都是不常更新的 因而可以设计多种多样的索引结构来提高数据存取效率 确定数据存放位置在物理设计时 我们常常要按数据的重要程度 使用频率以及对响应时间的要求进行分类 并将不向类的数据分别存储在不同的存储设备中 重要程度高 经常存取 响应时间要求高的数据就存放在高速存储设备上 如硬盘 存取频率低或对存取响应时间要求低的数据则可以放在低速存储设备上 如磁盘或磁带 确定存储分配 20 数据仓库的生成工作成果 数据已经装入到数据库中 可以在其上建立数据仓库的应用 即DSS应用 设计接口将操作型环境下的数据装载进入数据仓库环境 需要在两个不同环境的记录系统之间建立一个接口 功能 从面向应用和操作的环境生成完整的数据数据的基于时间的转换数据的凝聚对现有记录系统的有效扫描 以便以后进行追加 数据装入主要工作 确定数据装入的次序清除无效或错误数据数据 老化 数据粒度管理数据刷新 21 数据仓库的使用和维护在这 步中所要做的工作有建立DSS应用 即使用数据仓库 理解需求 调整和完善系统 维护数据仓库 建立系统的体系化环境 不仅包括建立起操作型和分析型的数据环境 还应包括在这一数据环境中建立起系统的各种应用 4 联机分析处理 OL