毕业答辩-国家地震网络中设备资源动态调度的研究与实现.ppt

国家地震网络设备资源动态调度的研究与实现 指导教师 学生 学号 目录 课题背景和研究内容设备资源中间件体系结构设备资源中间件设计与实现测试分析总结与展望 概述 课题背景本课题来源于北京航空航天大学软件开发环境国家重点实验室与国家地震局合作开发的 中国数字地震观测网络前兆数据管理系统 项目研究目标设计并实现设备资源调度中间件 提高设备资源广域可用性和设备资源利用率 系统分析 统一的设备资源访问方式 统一的设备资源动态调度 分布性自治性异构性 目录 课题背景和研究内容设备资源中间件体系结构设备资源中间件设计与实现测试分析总结与展望 命令映射 结果映射 系统门户 资源层 适配器层 中间件层 业务层 业务层核心模块 设备资源管理系统体系结构 中间件架构 目录 课题背景和研究内容设备资源中间件体系结构设备资源中间件设计与实现测试分析总结与展望 模块设计 调度引擎模块核心服务模块接口层元数据管理模块扩展服务模块 调度引擎 调度层 命令管理 命令构造 交互层 设备状态管理 通道管理 生存期管理 结果处理 队列管理 命令队列调度 结果队列调度 QoS管理 负载均衡管理 将设备访问请求转化为具体的设备访问命令 按照调度算法和QoS管理器提供的调度参数对队列中的命令进行调度 根据命令执行流程中的QoS测量数据来优化QoS的调度参数 根据设备资源当前负载情况优化选择设备可用通道 根据设备资源负载能力维护同设备资源间的通道池 按照调度算法和QoS管理器提供的调度参数对队列中的结果进行调度 对返回的结果调用扩展服务进行处理 维护命令和结果的对应关系 调度策略 模型忍耐度 队列中的任务对于中间件调度结果的不满意的程度目标对队列中的任务进行排序 保证所有请求D t 之和最小算法任务入队 在新任务入队时 在可使D t 之和变化最小的位置插入新任务任务出队 在队首任务出队后 移除队列中t最大的任务 然后将该任务按照任务入队的算法重新加入队列 T 尝试在队列中不同位置插入新任务 计算队列总的D t 的变化值 23 3 27 4 21 7 11 9 14 5 17 3 T 业务层期望该请求完成的延迟上限t 该请求在中间件中已被延迟的时间 选择使总的D t 变化值最小的位置将新任务插入 核心服务模块 内存管理BufferFactoryBufferPool BufferFactory SystemMemory MiddlewareBufferPool Byte Char OtherType String JVM OS 请求 请求 核心服务模块 持久化管理新任务任务完成灾难恢复 内存 数据库 任务 接口层 设备资源访问请求 58e0a7d7 eebc 11d8 9669 0800200c9a663120IGEA0011DataIntoDBService192 168 2 4PDBQZdat1210205192 168 61 222 8992 访问请求全局标识 设备资源全局标识 访问请求描述 访问请求Qos期望 结果返回进程描述 接口层 设备资源访问结果 58e0a7d7 eebc 11d8 9669 0800200c9a66true83 23OK 结果状态描述 结果内容 结果对应请求的ID 接口层 中间件状态查询 falseMemoryThreadNumCurrentCommand 查询状态名称列表 元数据管理 设备资源元数据设备资源通信协议描述 CommandPara Commandtruedatstepwd 设备资源命令构成 设备资源命令构成键值集合 元数据管理 设备资源元数据设备资源静态信息描述设备资源动态信息描述 定义该设备资源在网络中的地址定义该设备资源接受命令的网络端口定义使用该设备资源时需要认证的用户名定义使用该设备资源时需要认证的密码定义该设备资源的测点定义该设备资源的所在测量台站的代码定义该设备资源的数据采样率定义设备资源的数据测量分量列表 设备资源网络连接参数 设备资源认证参数 设备资源工作参数 定义该设备资源当前是否可访问定义该设备资源当前的内部时间定义使用该设备资源的直流电源状态定义使用该设备资源的交流电源状态定义该设备资源的自校准状态定义该设备资源的时钟异常定义该设备资源的数据异常定义该设备资源处于该状态的时间点 设备资源外部状态 设备资源内部状态 元数据管理 中间件元数据中间件状态描述中间件扩展服务描述 ThreadNumfalsefalse DataIntoDBServicetrueDatabaseIPDatabaseName 状态名称 该状态是否可被外部指令改变 该状态是否被中间件持久保存 扩展服务名称 扩展服务调用参数 扩展服务模块 功能扩展服务是中间件在对设备资源访问结果进行处理时所调用的服务目前实现的扩展服务数据入库服务数据文件服务实时数据服务接口处理结果 完成对结果的处理提交操作 使对结果的处理生效回滚操作 使对结果的处理无效 目录 课题背景和研究内容设备资源中间件体系结构设备资源中间件设计与实现测试分析总结与展望 功能测试 性能测试 目录 课题背景和研究内容设备资源中间件体系结构设备资源中间件设计与实现测试分析总结与展望 总结 设计并实现了符合地震行业需求的设备资源中间件实现并验证了设备资源动态调度算法为地震前兆业务层提供了统一访问接口已在全国部署 运行稳定可靠 展望 优化设备资源调度模型提高对设备资源的访问效率增强设备资源中间件的安全性 谢谢 谢谢 系统描述 设备资源特征 自治性 系统描述 设备资源特征 系统描述 业务模式特征 58e0a7d7 eebc 11d8 9669 0800200c9a66DataIntoDBService192 168 2 4PDBQZ3120IGEA0011dat1210205192 168 61 222 8992 58e0a7d7 eebc 11d8 9669 0800200c9a66true83 23OK DeviceResourceMiddleware 接口层 设备资源访问请求 78a0e414 aa3e 21d1 299a ead020912a69 58e0a7d7 eebc 11d8 9669 0800200c9a66 58e0a7d7 eebc 11d8 9669 0800200c9a66 MetaData StatusManager SchedulingManager CommandManager ExtendService 系统结构 中间件结构 StatusQueryInterface DeviceAccessInterface DeviceResultObtainInterface DeviceCommunicationModule CoreService 系统描述 设备资源特征 可并发处理的命令数目不一致 设备同业务层之间的网络状况不一致 系统描述 业务模式特征 拓扑层次复杂 上层的设备资源视图是下层视图的并集 业务层在对设备资源的访问之前需要协商 模块设计 调度模块流程模型调度算法算法流程M值的反馈 调度模型关注的核心问题 最大化对于设备资源访问请求的QoS平均值QoS要素 延迟QoS模型 忍耐度模型 在下m条出队的命令的执行期间 整个队列的忍耐度上升幅度最小 贪婪 抖动可靠性 带宽 新元素添加 从命令队列队首开始遍历 尝试将新元素放入队列中的每一位置 然后计算下m条命令出队以后 整个队列的忍耐度的变化幅值 其中 等待的时间按照估计的命令执行时间计算 当遍历完成后 选出变化幅值最小的那个位置将新元素插入 整个算法的复杂度是O mn 命令出队后队列重排 选取当前命令队列中等候时间最长的那个命令 先从队列中取出后 再按照新元素添加算法添加到命令队列中 整个算法的复杂度是O mn M n n n 0 n 1 C n 平均忍耐度 a n 饥饿状态 c n t 实际性能测试用例结果 模块设计 核心服务内存管理持久化管理 Byte Char String Byte U23e tw9l 32um dat Byte 标签 T209 42ue 8au32m93b 923p 9 10 10 10 I O缓冲申请空间 I O缓冲释放空间 内存中设备交互结果 文件中设备交互结果 性能测试 系统瓶颈设备资源处理请求的能力业务层处理结果的能力模拟环境无明显瓶颈返回结果时存在瓶颈实际环境设备处理能力同请求频率相适应 模块设计 调度引擎模型忍耐度 队列中的请求对于中间件调度结果的不满意的程度目标对队列中的请求进行排序 保证所有请求D t 之和最小算法元素入队元素出队 在队首元素出队后 移除队列中延迟最久的元素 然后将该元素按照元素入队的算法重新加入队列 T 尝试在队列中不同位置插入新元素 计算队列总的D t 的变化值 D t 23 3 27 4 21 7 11 9