地震前兆系统元数据管理的设计与实现 答辩稿

二零零七年七月 指导教师： 学 生： 学 号： 2 2017年 8月 5日 元数据分析及模型建立 2 各部分详细设计与实现 4 系统部署情况 5 总结与展望 课题背景与课题目标 1 元数据管理的总体设计 3 目 录 3 2017年 8月 5日 课题来源 本课题来源于北京航空航天大学软件开发环境国家重点实验室承担的“中国数字地震观测网络前兆数据管理系统”。 本文的研究内容面向地震前兆数据管理系统，提出元数据管理的 并应用于前兆数据管理系统。 4 2017年 8月 5日 地震前兆行业的现状 山西地震局 山东地震局 国家地震局 1、如何动态组织各级单位之间的关系 泰安台站 威海台站 太原台站 学科中心 2、如何将下级配置信息及时同步到上级 3、如何保证分布式系统中元数据的约束性 元数据管理系统 5 2017年 8月 5日 元数据分析及模型建立 2 各部分详细设计与实现 4 系统部署情况 5 总结与展望 元数据管理的总体设计 3 课题背景与相关技术 1 目 录 6 2017年 8月 5日 节点管理元数据 ： 系统元数据的分类 系统配置元数据 ： 学科中心元数据 国家中心元数据 区域中心元数据 节点台站元数据 仪器元数据 台站配置元数据 备份库元数据 节点的描述信息 节点间相互关系的信息 仪 器：仪器 点编码、仪器名称、所属台站等 台 站：台站代码、台站名称、经度、纬度等 备份库：备份库 7 2017年 8月 5日 多样性： 分布性： 约束性： 多级节点：国家中心、 5个学科中心、 32个区域中心、 360多个台站 多种仪器： 60多种 30多种非 国家中心、学科中心位于中央 区域中心是各省地震局 台站是省地震局下属的观测点 有效性约束 一致性约束 唯一性约束 元数据特点 对元数据进行分类 按类别采取具有针对性的管理 节点内部自治 元数据由下向上同步 元数据配置时进行有效性检测 提供自动同步机制保证一致性 元数据同步时进行唯一性检测 8 2017年 8月 5日 元数据管理模型 ： 动态建立上下级关系 A 上下级间元数据自动同步 R 保证元数据约束关系 9 2017年 8月 5日 元数据管理机制 、上下级关系通过注册来动态管理 2、注册时上下级不允许出现环状结构 3、同一节点不能同时注册到两个节点 10 2017年 8月 5日 11 2017年 8月 5日 各部分详细设计与实现 4 系统部署情况 5 总结 元数据管理的总体设计 3 课题背景与课题目标 1 元数据分析及模型建立 2 目 录 12 2017年 8月 5日 资 源 层 数据库中的元数据及各种管理资源 逻 辑 层 为上层操作提供逻辑支持 业 务 层 节点管理模块 系统配置模块 展 示 层 用户提供访问界面 元数据管理体系结构 13 2017年 8月 5日 元数据表 触发器 存储过程 照 约束管理 有效性约束 一致性约束 唯一性约束 冲突处理 台站冲突 仪器冲突 节点冲突 出错处理 原子操作 强制注销 脏数据删除 数据库管理 快照管理 连接管理 节 点 管 理 系 统 配 置 三级节点管理 学科节点管理 台站配置 仪器配置 备份库配置 节点注册 节点审批 台站添加 节点拓扑等 台站删除 14 2017年 8月 5日 各部分详细设计与实现 4 系统部署情况 5 总结 课题背景与课题目标 1 元数据分析及模型建立 2 目 录 元数据管理的总体设计 节点管理 系统配置 15 2017年 8月 5日 节点管理 三级节点管理 ： 学科节点管理 ： 注册申请 注册审批 ：同意、拒绝 节点注销 节点拓扑 节点信息查看 节点注册 节点修改 节点注销 节点拓扑 节点信息查看 16 2017年 8月 5日 节点关系动态建立过程 建立元数据 自动 同步机制 冲突检测 建立上下级数据库连接 17 2017年 8月 5日 级节点数据库 下级节点数据库 18 2017年 8月 5日 建立元数据 自动 同步机制 冲突检测 建立上下级数据库连接 节点关系动态建立过程 19 2017年 8月 5日 约束管理 冲突处理 出错处理 数据库管理 元数据表 触发器 存储过程 照 唯一性检测 : 节点检测 台站检测 仪器检测 节点管理 三级节点管理 审 批 注册审批 业务层 逻辑层 资源层 展示层 20 2017年 8月 5日 建立元数据 自动 同步机制 冲突检测 建立上下级数据库连接 21 2017年 8月 5日 级节点数据库 下级节点数据库 2 2017年 8月 5日 各部分详细设计与实现 4 系统部署情况 5 总结 课题背景与课题目标 1 元数据分析及模型建立 2 目 录 元数据管理的总体设计 系统配置 节点管理 23 2017年 8月 5日 系统配置 台站配置 ： 仪器配置 ： 添加 修改 删除 备份库配置 ： 添加 修改 删除 添加 修改 删除 系统配置是元数据的获取过程，在配置时对元数据进行有效性、唯一性检测。 24 2017年 8月 5日 1、台站代码、台站名称、台站代码缩写、经度、纬度和高程均不为空 2、台站代码必须为 5位数字 3、台站代码缩写必须为 2位或 3位数字或小写字母 4、经度必须为数字且在 72135之间 5、纬度必须为数字且在 1555之间 6、高程必须为数字 台站配置 有效性约束 ： 唯一性约束 ： 1、进行元数据冲突检测 25 2017年 8月 5日 站 区域中心 国家中心 6 2017年 8月 5日 系统部署情况 5 总结与展望 课题背景与课题目标 1 元数据分析及模型建立 2 目 录 元数据管理的总体设计 各部分详细设计与实现 27 2017年 8月 5日 部署节点遍及全国各地，共包括： 一个国家中心 五个学科中心 32个省级区域中心 300多个台站 运行状况： 系统运行良好 性能稳定 系统全国部署 28 2017年 8月 5日 29 2017年 8月 5日 总结与展望 课题背景与课题目标 1 元数据分析及模型建立 2 目 录 元数据管理的总体设计 各部分详细设计与实现 系统部署情况 30 2017年 8月 5日 提出元数据管理 并应用该模型构建了 地震前兆元数据管理系统 ： 1、实现了各级节点关系的 动态管理 3、实现了元数据的 自动同步 机制 3、保证了元数据的 有效性、唯一性与一致性 约束 4、具有完善的 冲突处理 机制 该技术已通过在全国部署运行得到验证 对其它行业具有一定的适用性和参考价值 总结 31 2017年 8月 5日 未来展望 第四步 第三步 第二步 第一步 最后在其它行业推广应用 并对模型进行验证 改进元数据管理通用模型 优化提高系统性能 32 2017年 8月 5日 33 2017年 8月 5日 34 2017年 8月 5日 35 2017年 8月 5日 统 一 访 问 界 面 设 备 资 源 系统监控 数据备份 数据交换 数据采集 核 心 业 务 元 数 据 管 理 系 统 元 数 据 管理 服务 服务 服务 服务 元数据管理的意义 36 2017年 8月 5日 用上级元数据 覆盖下级元数据 节点唯一性检测 存在冲突 数据保留方式 数据下载 数据上传 台站仪器唯一性检测 不存在冲突 存在冲突 不存在冲突 用下级元数据 覆盖上级元数据 进入审批下一环节 失败 ,返回 37 2017年 8月 5日 仪器配置 有效性约束 ： 唯一性约束 ： 1、所有配置信息均不能为空； 2、仪器 2位字母或数字； 3、测点编码必须为 1位字母或数字； 4、 0开头的正确 5、检测仪器返回的采样率是否有误 6、返回的测项分量是否有重复； 7、返回的测项分量是否都是有效的测项分量； 8、返回的仪器 9、返回的台站 1、新配的仪器的 2、台站测点是否冲突 38 2017年 8月 5日 系统配置 元数据自动同步机制 9 2017年 8月 5日 元数据表 触发器 存储过程 照 资 源 层 为上层逻辑层提供支持，包括存储元数据的 表 ，进行级联操作的 触发器、完成相应功能的 存储过程 、数据库间连接 、分布式数据复制的 快照 等 40 2017年 8月 5日 逻 辑 层 约束管理 有效性约束 一致性约束 唯一性约束 冲突处理 台站冲突 仪器冲突 节点冲突 出错处理 原子操作 强制注销 脏数据删除 数据库管理 快照管理 连接管理 逻辑层为业务层各种操作提供逻辑处理 41 2017年 8月 5日 节 点 管 理 系 统 配 置 三级节点管理 学科节点管理 台站配置 仪器配置 备份库配置 业 务 层 节点管理 是管理节点之间相互关系的元数据， 系统配置 是管理节点内部元数据 42 2017年 8月 5日 展 示 层 展示层主要是为 用户 提供一个使用本系统的 操作界面 ，用来完成相关元数据操作 。 节点注册 节点审批 仪器添加 节点拓扑等 仪器删除 43 2017年 8月 5日 添加台站、修改台站、删除台站 配置的基本信息包括台站名称、 台站代码、所属区域、经度、纬度 和高程 提供增加仪器、修改仪器和删除仪 器功能 44 2017年 8月 5日 提供增加仪器、修改仪器和删除 仪器功能 配置的仪器信息要满足元数据有 效性约束 仪器元数据主要包括：仪器 测点编码、仪器名称、所属台站、 口号、用户名和密码 45 2017年 8月 5日 选 择 仪 器 种 类添 加 仪 器测 试 连 通添 加 成 功无 效有 效连 通输 入 仪 器 信 息检 测 仪 器 信 息 有效 性无 法 连 通添 加 失 败显 示 仪 器 返 回 信 息一 致检 测 输 入 信 息 与返 回 信 息 是 否 一致不 一 致检 测 是 否 与 已 添加 过 的 仪 器 冲 突冲 突不 冲 突十五仪器 仪器添加模块 数据库 仪器 信息 46 2017年 8月 5日 向 本 地 数 据 库 I P C O N F I 入 注 册 信 息T R I G G E R 捕 获到 该 操 作建 到 下 级 的 D B L i n 级 的U P C O N F I G 中 插 入记 录T R I G G E R 捕 获 到该 操 作建 到 上 级 的 D B L i n 冲 突 检 测下 载 数 据选 择 数 据 保 留方 式数 据 下 载数 据 上 传没 有 冲 突子 台 |仪 器 冲 突节 点 冲 突审 批 不 通 过向 I P C O N F I G 1 中 插 入 注 册信 息T R I G G E R 捕 获到 该 操 作建 立 快 照 修 改 标 志 位 审 批 通 过仪 器 |台 站 冲 突检 测上 传 数 据没 有 冲