国家地震网络中设备资源动态调度的研究与实现 答辩稿

国家地震网络设备资源动态 调度的研究与实现 指导教师： 学 生： 学 号： 2 目 录 课题背景和研究内容 设备资源中间件体系结构 设备资源中间件设计与实现 测试分析 总结与展望 3 概述 课题背景 本课题来源于北京航空航天大学软件开发环境国家重点实验室与国家地震局合作开发的“ 中国数字地震观测网络前兆数据管理系统 ”项目 研究目标 设计并实现设备资源调度中间件 ，提高设备资源广域可用性和设备资源利用率 4 如何统一调度 ？ 系统分析 远 程 管 理 数 据 采 集 远 程 监 控设 备 资 源 应 用使用本地计算机管 理 软 件管 理 软 件管 理 软 件设备资源中间件 统一的设备资源 访问方式 统一的设备资源 动态调度 分布性 自治性 异构性 5 目 录 课题背景和研究内容 设备资源中间件体系结构 设备资源中间件设计与实现 测试分析 总结与展望 6 设备 设备 设备 命令映射 结果映射 元数据管理 设备资源调度 系统门户 资源层 适配器层 中间件层 业务层 业务层核心模块 设备资源管理系统体系结构 7 调 度 引 擎交 互 层调 度 层命 令 管 理队 列 管 理通 道 管 理设 备 状 态 管 理Q o S 管 理负 载 均 衡 管 理结 果 队 列调 度命 令 队 列调 度命 令 构 造 生 存 期 管 理结 果 处 理元 数 据 管 理 器元数据同步器设 备 资 源元 数 据中 间 件 元数 据接 口 层状 态 管 理 器当 前 状 态历 史 状 态元 数 据 服 务 器全 局 设 备 元数 据全 局 中 间 件元 数 据查 询 器元数据更新器业 务 层元 数 据 查 询 接 口设 备 资 源 访 问 接 口扩 展 服 务数 据 入 库 服 务数 据 保 存 服 务实 时 数 据 服 务设 备 资 源 访 问 请 求 接 口 设 备 资 源 访 问 结 果 接 口核 心 服 务持 久 化 管 理命 令 持 久 化结 果 持 久 化内 存 管 理内 存 调 度内 存 扩 展中 间 件 状 态 查 询 接 口中 间 件 状 态 查 询 接 口中间件架构 设 备 资 源 访 问 请 求 接 口元 数 据 服 务 器全 局 设 备 元数 据全 局 中 间 件元 数 据查 询 器元数据更新器元 数 据 管 理 器元数据同步器设 备 资 源元 数 据中 间 件 元数 据业 务 层元 数 据 查 询 接 口设 备 资 源 访 问 接 口设 备 资 源 访 问 结 果 接 口状 态 管 理 器当 前 状 态历 史 状 态内 存 管 理内 存 调 度内 存 扩 展扩 展 服 务数 据 入 库 服 务数 据 保 存 服 务实 时 数 据 服 务持 久 化 管 理命 令 持 久 化结 果 持 久 化中 间 件 状 态 查 询 接 口中 间 件 状 态 查 询 接 口调 度 引 擎交 互 层调 度 层命 令 管 理队 列 管 理通 道 管 理设 备 状 态 管 理Q o S 管 理负 载 均 衡 管 理结 果 队 列调 度命 令 队 列调 度命 令 构 造 生 存 期 管 理结 果 处 理8 目 录 课题背景和研究内容 设备资源中间件体系结构 设备资源中间件设计与实现 测试分析 总结与展望 9 模块设计 调度引擎模块 核心服务模块 接口层 元数据管理模块 扩展服务模块 10 调度引擎 调度层 命令管理 命令构造 交互层 设备状态管理 通道管理 生存期管理 结果处理 队列管理 命令 队列 调度 结果 队列 调度 负载均衡管理 将设备访问请求转化 为具体的设备访问命令 按照调度算法和 器提供的调度参数对队列 中的命令进行调度 根据命令执行流程中 的 化 根据设备资源当前负载情 况优化选择设备可用通道 根据设备资源负载能力维 护同设备资源间的通道池 按照调度算法和 器提供的调度参数对队列 中的结果进行调度 对返回的结果调用扩展服务 进行处理 维护命令和结果的对应关系 11 调度策略 模型 忍耐度：队列中的任务对于中间件调度结果的不满意的程度 目标 对队列中的任务进行排序，保证所有请求 D(t)之和最小 算法 任务入队：在新任务入队时，在可使 D(t)之和变化最小的位置插入新任务 任务出队：在队首任务出队后，移除队列中 后将该任务按照任务入队的算法重新加入队列 2 4 6 )(T 2试在队列中不同位置 插入 新任务 ，计算队列总的 D(t)的变化 值 ： 业务层期望该请求完成的延迟上限 t ： 该请求在中间件中已被延迟的时间 选择使总的 D(t)变化值最小的位置将 新任务 插入 12 核心服务模块 内存管理 S 请求 请求 13 核心服务模块 持久化管理 新任务 任务完成 灾难恢复 内存 数据库 任务 14 接口层 设备资源访问请求 58120 2 10 20 5 992 访问请求全局标识 设备资源全局标识 访问请求描述 访问请求结果 返回进程描述 15 接口层 设备资源访问结果 58K 结果状态描述 结果内容 结果对应请求的 6 接口层 中间件状态查询 询状态名称列表 17 元数据管理 设备资源元数据 设备资源通信协议描述 备资源命令构成 设备资源命令构成键值集合 18 元数据管理 设备资源元数据 设备资源静态信息描述 设备资源动态信息描述 定义该设备资源在网络中的地址 定义该设备资源接受命令的网络端口 定义使用该设备资源时需要认证的用户名 定义使用该设备资源时需要认证的密码 定义该设备资源的测点 定义该设备资源的所在测量台站的代码 定义该设备资源的数据采样率 定义设备资源的数据测量分量列表 设备资源网络连接参数 设备资源认证参数 设备资源工作参数 定义该设备资源当前是否可访问 定义该设备资源当前的内部时间 定义使用该设备资源的直流电源状态 定义使用该设备资源的交流电源状态 定义该设备资源的自校准状态 定义该设备资源的时钟异常 定义该设备资源的数据异常 定义该设备资源处于该状态的时间点 设备资源外部状态 设备资源内部状态 19 元数据管理 中间件元数据 中间件状态描述 中间件扩展服务描述 态名称 该状态是否可被外部指令改变 该状态是否被中间件持久保存 扩展服务名称 扩展服务调用参数 20 扩展服务模块 功能 扩展服务是 中间件在对设备资源访问结果进行处理时所调用的服务 目前实现的扩展服务 数据入库服务 数据文件服务 实时数据服务 接口 处理结果：完成对结果的处理 提交操作：使对结果的处理生效 回滚操作：使对结果的处理无效 21 目 录 课题背景和研究内容 设备资源中间件体系结构 设备资源中间件设计与实现 测试分析 总结与展望 22 功能测试 23 性能测试 用例目的 测试中间件对设备资源访问请求响应时间是否在可接受范围内 前提条件 设备资源配置完毕；网络条件良好 输入数据 期望的性能（平均值） 实际的性能（平均值） 采集磁通门磁力仪 15天 的数据（每天 的数据量约为 3 30分钟 26分 采集 40台 设备资源的 15天数据（其中 30台 每台每天数据量约为 7010台 每台每台约为 3 30分钟 32分钟 同时采集 100台设备资源的 15天 数据 （其中， 70台 每台每天数据量约为 7030台 每台每天约为 3 30分钟 37分钟 10个 用户同时查看区域中心的磁通门 磁力仪的仪器状态 7秒 12秒 24 目 录 课题背景和研究内容 设备资源中间件体系结构 设备资源中间件设计与实现 测试分析 总结与展望 25 总结 设计并实现了符合地震行业需求的 设备资源中间件 实现并验证了设备资源 动态调度算法 为地震前兆业务层提供了 统一访问接口 已在全国部署， 运行稳定可靠 26 展望 优化设备资源 调度模型 提高对设备资源的 访问效率 增强设备资源中间件的 安全性 27 谢 谢 28 谢 谢 29 系统描述 设备资源特征 自治性 30 系统描述 设备资源特征 31 系统描述 业务模式特征 32 58120 2 10 20 5 992 58K 口层 设备资源访问请求 7888002003 统结构 中间件结构 4 系统描述 设备资源特征 可并发处理的命令数目不一致 设备同业务层之间 的网络状况不一致 35 系统描述 业务模式特征 拓扑层次复杂 上层的设备资源视图 是下层视图的并集 业务层在对设备资源的访问之前需要协商 36 模块设计 调度模块 流程 模型 调度算法 算法流程 调度模型关注的核心问题： 最大化对于设备资源访问请求的 延迟 221 )()s g n (忍耐度模型： )(在下 个队列的忍耐度上升幅度最小（贪婪） 抖动 可靠性 带宽 新元素添加：从命令队列队首开始遍历，尝试将新元素放入队列中的每一位置，然后计算下 个队列的忍耐度的变化幅值。其中，等待的时间按照估计的命令执行时间计算。当遍历完成后，选出变化幅值最小的那个位置将新元素插入。整个算法的复杂度是 O(命令出队后队列重排：选取当前命令队列中等候时间最长的那个命令，先从队列中取出后，再按照新元素添加算法添加到命令队列中。整个算法的复杂度是 O(M(n) = n (n), 0 (n) 1 )1,0()(),()()()()( 2 C(n) 平均忍耐度 a(n) 饥饿状态 c(n) t 37 实际性能测试用例结果 用例目的 测试中间件对设备资源访问请求的响应时间是否在可接受范围内 前提条件 设备资源配置完毕；网络条件良好 输入数据 期望的性能（平均值） 实际的性能（平均值） 采集磁通门磁力仪 15天的数据（每天的数据量约为 3 30分钟 26分 采集 40台设备资源的 15天数据（其中30台每台每天数据量约为 700台每台每台约为 3 30分钟 32分钟 10个用户同时查看区域中心的磁通门磁力仪的仪器状态 7秒 12秒 同时采集 100台设备资源的 15天数据（其中， 70台每台每天数据量约为 7030台每台每台约为 3 30分钟 37分钟 数据库瓶颈 38 模块设计 核心服务 内存管理 持久化管理 标签： 10 10 10 I/I/内存中设备交互结果 文件中设备交互结果 39 性能测试 系统瓶颈 设备资源处理请求的能力 业务层处理结果的能力 模拟环境 无明显瓶颈 返回结果时存在瓶颈 实际环境 设备处理能力同请求频率相适应 均忍耐度和命令队列深度0246810121 4 7 10 13 16 19 22 25 28 31 34 37时间命令队列平局深度平均忍耐度平均忍耐度和命令队列深度510152025303540451 13 16 19 22 25 28 31 34 37时间命令队列平均深度平均忍耐度40 模块设计 调度引擎 模型 忍耐度：队列中的请求对于中间件调度结果的不满意的程度 目标 对队列中的请求进行排序，保证所有请求 D(t)之和最小 算法 元素入队 元素出队：在队首元素出队后，移除队列中延迟最久的元素，然后将该元素按照 元素入队 的算法重新加入队列 2 4 6 )(T 2试在队列中不同位置 插入 新元素 ，计算队列总的 D(t)的变化 值 D(t)= 业务层期望该请求完成的延迟上限 t ： 该请求在中间件中已被延迟的时间 选择使总的 D(t)变化值最小的那个位置将 新元素 插入 41 模块设计 扩展服务 功能 扩展服务是 中间件在对设备资源访问结果进行处理时所调用的服务 目前实现的扩展服务 数据入库服务 数据保存服务 实时数据服务 接口 处理结果： 完成对结果的处理 提交操作： 使对结果的处理生效 回滚操作： 使对结果的处理无效 调用流程 扩 展 服 务 调 用队 列 为 空扩展服务调用队列出队调用扩展服务调 用 成 功将该服务添加到扩 展服务提交队列扩展服务提交队列为空扩展服务提交队列出队扩展服务提交扩展服务提交队列为空扩展服务提交队列逆向出队扩展服务回滚生 成 结 果处 理 报 告42 调 度 引 擎交 互 层调 度 层命 令 管 理队 列 管 理通 道 管 理设 备 状 态 管 理Q o S 管 理负 载 均 衡 管 理结 果 队 列调 度命 令 队 列调 度命 令 构 造 生 存 期 管 理结 果 处 理元 数 据 管 理 器元数据同步器设 备 资 源元 数 据中 间 件 元数 据接 口 层状 态 管 理 器当 前 状 态历 史 状 态元 数 据 服 务 器全 局 设 备 元数 据全 局 中 间 件元 数 据查 询 器元数据更新器业 务 层元 数 据 查 询 接 口设 备 资 源 访 问 接 口扩 展 服 务数 据 入 库 服 务数 据 保 存 服 务实 时 数 据 服 务设 备 资 源 访 问 请 求 接 口 设 备 资 源 访 问 结 果 接 口核 心 服 务持 久 化 管 理命 令 持 久 化结 果 持 久 化内 存 管 理内 存 调 度内 存 扩 展中 间 件 状 态 查 询 接 口中 间 件 状 态 查 询 接 口中间件架构 设 备 资 源 访 问 请 求 接 口元 数 据 服 务 器全 局 设 备 元数 据全 局 中 间 件元 数 据查 询 器元数据更新器元 数 据 管 理 器元数据同步器设 备 资 源元 数 据中 间 件 元数