中国地震局前兆网络观测系统中统一访问平台的设计与实现毕设答辩

前兆网络观测系统 中 统一数据访问平台的设计与实现 指导老师 ： 学 生 ： 2011年 6月 目 录 课题背景与研究目标 系统总体设计 系统各模块设计与实现 测试与分析 总结与展望 课题来源 本课题来源于北京航空航天大学软件开发环境国家重点实验室与中国地震局合作开发的“ 中国数字地震观测网络前兆数据管理系统 ”项目（十一五工程） 针对项目中 数据统一访问平台 进行研究 课题背景与研究目标 系统拓扑 底层数据汇聚到区域中心，区域中心汇聚到国家中心，国家中心再分配给学科中心 数据采集，数据交换，学科中心各种应用以及其他地方应用等多样化的上层应用 如何统一管理？ 系统分析 数 据 库 访 问 模 块数 据 库 访 问 模 块数 据 库 访 问 模 块异 构 数 据 资 源异 构 数 据 资 源异 构 数 据 资 源数据统一访问视图 异 构 数 据 资 源异 构 数 据 资 源 异 构 数 据 资 源统一的数据资源 访问方式 异构数据资源的 集成方式 分布性 自治性 异构性 地方区域 自治性导致底层数据有差异 复杂的应用模块对平台提出不同需求 课题背景与研究目标 系统目标 建立数据访问中间件， 建立应用主题视图和统一访问视图， 屏蔽底层数据库细节 设计 立统一对象存取标准 为上层特定应用模块提供所需数据服务，支持事务性、数据变更记录的数据访问管理 系统需要有良好的扩展性和移植性 课题背景与研究目标 目 录 课题背景与研究目标 系统总体设计 系统各部分设计与实现 测试与分析 总结与展望 日志管理错误处理系统架构 为上层复杂应用提供统一的数据访问接口 提供事务接口和数据变更管理 通过三层视图二级映射屏蔽底层异构数据，对上集成应用所需的数据 实现对全局视图的统一管理 调度任务执行 在映射管理的基础上进行任务的解析构造相应的数据库命令 执行结果集成统一结果集返回 对数据库资源的访问进行控制和管理 系统总体设计 数据访问流程 系统总体设计 缓 存 操 作 提 交返 回 执 行 结 果返 回 结 果返 回 结 果应用主题请求 结果返回 接口数据生成 事务结束 查询结果处理 执行数据库操作 开始事务处理 任务解析 任务调度 调 用 数 据访 问 接 口开始事务处理 数 据 访 问对 象数 据 访 问对 象目 录 课题背景与研究目标 系统总体设计 系统各部分设计与实现 测试与分析 总结与展望 映射视图 执行引擎 应用接口 视图映射架构 统一访问视图 应用主题视图 本地数据资源映射 映射视图 数据采集主题视图 数据交换主题视图 应用视图映射 在国家中心，区域中心，学科中心全局统一，在全局范围内提供统一的底层资源视图，屏蔽数据库差异。 为不同的上层应用提供对应的应用视图，保证应用和视图松耦合。 将应用视图下的对象和属性映射到统一视图中的虚拟表和字段 将统一访问视图下的虚拟表和字段映射到实际的数据库表和字段 映射规则定义 数据源信息 应用视图映射规则 本地数据资源映射规则 映射视图 目 录 课题背景与研究目标 系统总体设计 系统各部分设计与实现 测试与分析 总结与展望 映射视图 执行引擎 应用接口 执 行 线 程 调 度线 程 1 线 程 2 线 程 3执 行 线 程 调 度统 一 命 令 解 析映 射 视 图 管 理S Q L 生 成命 令 解 析触 发 机 制任 务 结 果 重 构任 务 执 行数 据 资 源 访 问事 务 管 理数据平台访问命令 空闲 数据平台访问结果 执行引擎的工作流程 执行引擎 任务调度过程 任 务 调 度线 程执 行 线 程 1 执 行 线 程 2 执 行 线 程 3执 行 线 程 池0 . 新 任 务 到达1 . 查 询执 行 状 态2 . 报 告 状 态： 空 闲3 . 分 配 任 务满足并发访问需求，提高效率 空闲 执行引擎 任务解析 语义验证 对象检查 查看任务对象的内容是否正确 解析任务类型，任务内容，生成 检查任务对象是否符合规范 执行引擎 任务解析 执行引擎 通过视图映射转换生成的上层应用对象的元数据字典，包括具体的表、列信息 统一任务对象，包括操作类型，操作对象名，列，条件，返回值等信息 任务对象通过造 最终生成的 列名 说明 类型 志表的 用于表示日志记录添加的顺序 ， 在交换取索引时通过 记录交换进度 条日志所代表操作变更的表名 条日志所代表操作变更实际记录的逻辑主键 条日志所代表操作变更的 更发生的参考时间 务执行 执行引擎 定 时 器遍 历 每 个 连 接 的 状态定 时 触 发检 查 连 接 的 数 量状 态 检 查小 于 连 接 数 下限新 建 连 接 达 到 数 量下 限是连 接 是 否 已 关闭连 接 空 闲 且 超出 最 大 空 闲 时间否关 闭 连 接是删 除 改 连 接是+ E x e c u t o r ( )+ g e t I e x e ( ) : a b s t r a c t A b s t r a c t E x e c u t o r+ p r e E x e c u t e ( ) : b o o l e a n+ e x e c u t e ( ) : R e s u l t O b j e c t- i e x e : E x e c u t o rE x e c u t o r+ a b s t r a c t p r e E x e ( ) : b o o l e a n+ a b s t r a c t e x e c u t e ( ) : R e s u l t O b j e c t# i n s e r t T r i g g e r ( ) : b o o l e a n# a d d C o n d i t i o n ( ) : b o o l e a n# r o l l B a c k ( ) : b o o l e a n# w r i t e L o g ( )# u n i f o r m O b j e c t : U n i f o r m O b j e c t# c o n : C o n n e c t i o n# e r r o r I n f o : S t r i n g B u i l d e r# c o n : C o n n e c t i o n# a o : A p p O b j e c t a b s t r a c t A b s t r a c t E x e c u t o r+ p r e E x e ( ) : b o o l e a n+ e x e c u t e ( ) : R e s u l t O b j e c t- b u i l d I n s e r t S q l ( ) : b o o l e a n- e x e I n s e r t W i t h C l o b ( ) : b o o l e a n- l o g i c a l K e y : S t r i n g- i n s e r t S q l : I n s e r t S q lI n s e r t E x e c u t o r+ p r e E x e ( ) : b o o l e a n+ e x e c u t e ( ) : R e s u l t O b j e c t- t r i g g e r I n s e r t s ( ) : b o o l e a n- e x e U p d a t e W i t h C l o b ( ) : b o o l e a n- u p d a t e S q l : U p d a t e S q lU p d a t e E x e c u t o r+ p r e E x e ( ) : b o o l e a n+ e x e c u t e ( ) : R e s u l t O b j e c t- t r i g g e r I n s e r t s ( ) : b o o l e a n- e x e D e l e t e ( ) : b o o l e a n- d e l e t e S q l : D e l e t e S q lD e l e t e E x e c u t o r+ p r e E x e ( ) : b o o l e a n+ e x e c u t e ( ) : R e s u l t O b j e c t+ g e t S q l ( ) : S t r i n g- e x e S e l e c t ( ) : b o o l e a n- s e l e c t S q l : S e l e c t S q lS e l e c t E x e c u t o r+ p r e E x e ( ) : b o o l e a n+ e x e c u t e ( ) : R e s u l t O b j e c t- t r i g g e r I n s e r t s ( ) : b o o l e a n- e x e D e l e t e ( ) : b o o l e a n- d e l e t e S q l : D e l e t e S q lI n s e r t O r U p d a t e E x e c u t o 11- 端 21目 录 课题背景与研究目标 系统总体设计 系统各部分设计与实现 测试与分析 总结与展望 映射视图 执行引擎 应用接口 数据访问接口 应用接口 构 建 任 务对 象按 照 已 有 的任 务 规 则 加入 任 务 对 一结果集的设计 数据库 据平台 能介绍 遍历时使用 ， 测试结果集是否到最后 ，并移动到下一列 获得操作对象名 获得本条记录第 获得本条记录 i) i) 获得本条记录第 获得本条记录 获得结果集中的 获得结果集中的非 获得操作的错误信息 操作影响条目数 操作是否成功 应用接口 目 录 课题背景与研究目标 系统总体设计 系统各部分设计与实现 测试与分析 总结与展望 基础操作测试 : 测试与分析 测试内容 测试结果 插入 1000条数据 插入成功 删除 1000条数据 删除成功 查询特定条件的记录 返回符合相应条件的结果 更新特定条件的记录 更新符合相应条件的记录 插入或更新特定记录 在没有冲突的情况下执行插入操作 ， 出现冲突的情况下执行更新操作 测试与分析 异构库访问测试 : 可以屏蔽底层异构，实现透明访问。 事务测试： 事务正常回滚 并报错 ，所有操作均未提交。 变更记录测试： 平台正常记录数据变更。 测试与分析 测试与分析 测试与分析 测试与分析 目 录 课题背景与研究目标 系统总体设计 系统各部分设计与实现 测试与分析 总结与展望 总结 主要完成工作： 设计 统一对象 模型，并提供了统一应用访问接口 设计并实现了 数据访问中间件，实现异构数据源透明访问 实现了 事务性 支持 、数据变更记录 、大对象存储 实现 本地数据结构与应用的解耦 总结与展望 展望 系统进一步的研究工作： 更多 数据类型 支持 执行效率提高 配置文件编辑 图形化 基于应用优先级的多用户任务调度 总结与展望 谢谢！ 请各位老师指导！ 执行引擎 课题背景与研究目标 国内外相关工作 现有数据平台不满足的地方（主要是结合 ： 对于 现问题不易分析调试和更改 对于表结构的变动， 不能抽象出上层新对象 系统设计大量输出的处理，而 率低。 对于异构多数据集的支持 课题背景与研究目标 写一下异构数据集成方面的相关工作对比 数据仓库和虚拟法 基于虚拟法的改进 解决方案 前兆数据平台需求： 地方区域 自治性导致底层数据有差异 (画拓扑图解释 ) 复杂多样应用模块对平台提出了不同的需求（上面画各种模块） 采集模块 支持事务性 交换模块的全局数据管理，支持数据变更订阅 设备发展要求数据平台的扩展性 降低系统与数据库产品的粘合度，提高系统可扩展性 数据处理的高效性要求 通过三层视图两级映射的设计方案实现底层差异的屏蔽 事务机制 通过逻辑主键实现全局数据统一变更管理 系统与底层松耦合提高扩展性 良好的任务调度和数据库连接池的配置管理 模块设计 异常管理 在实际数据库操作和映射管理操作中存在的冲突、错误进行检测和跟踪，从而保证系统出错时可以对故障及时跟踪和定位，帮助故障排除人员解决问题。 象管理 数据采集和交换过程中，可能会产生对观测数据等大规模数据的访问操作，因此数据库表中设计了 于其数据类型特殊，为了提高执行效率和安全性需要设计特殊的 执行引擎 研究背景 地震前兆系统的特点： 数据的分布性、异构性 用户群、上层应用的多样性 数据服务的异构性 数据量庞大，数据处理的高效性 课题背景与研究目标 系统设计 对数据库产品提供统一接口，通过连接管理、接