基于并行计算的多源数据应用系统一期项目招标文件附件：项目任务书

基于并行计算的多源数据应用系统研发 一期 任务书任务书 编写编写 校对校对 审核审核 会签会签 批准批准 国家气象信息国家气象信息中心中心 2018 年年 01 月月 1 目录 1 项目概述 1 1 1 研制目标 1 1 2 文档概述 1 2 项目研制任务 2 2 1 主要研制功能 2 2 1 1 雷达回波外推与降水估计 2 2 1 2 全国闪电外推 3 2 2 系统性能指标 3 2 3 非功能性指标 4 2 4 外部接口 4 3 设计约束与要求 4 4 项目交付成果 5 4 1 软件 5 4 2 文档 5 5 培训与售后服务要求 5 5 1 培训要求 5 5 2 售后服务要求 5 第 1 页 1 项目概述项目概述 1 11 1 研制目标研制目标 基于 OpenMP 与 MPI 的并行计算技术 在加速处理海量大数据上具有突出优势 基于并行计算的多源数据应用系统研发 一期 项目 拟充分应用 OpenMP 与 MPI 技术 对海量的雷达和闪电数据快速加工 并形成高时效的服务产品 该任 务包括两个子系统 分别是 全国雷达回波反射率外推与降水反演 全国 闪电数据外推 前者基于光流法 采用相邻 10 分钟的两个全国范围的雷达回波 拼图数据 实现 0 3 小时的雷达回波反射率外推与定量降水反演 时间间隔为 10 分钟 每 10 分钟滑动窗口更新 后者基于相邻 5 分钟的两个全国范围的闪电数 据 实现 0 3 小时的闪电数据外推 时间间隔为 5 分钟 每 5 分钟滑动窗口更新 通过以上两个子系统的研发 与原有逐 1h 3h 降水与闪电预报进行无缝对接 充 分满足能源 保险 航空和交通等领域对 0 3h 短临预报和预警产品的迫切需求 表 1 待开发的大数据综合应用系统属性 系统系统 全国雷达数据综合应用子系统 全国闪电数据综合应用子系统 数据源数据源 全国雷达反射率拼图 全国闪电观测 时间分辨率时间分辨率 逐 10 分钟 逐 5 分钟 时间滞后时间滞后 滞后 10 分钟以内 滞后 5 分钟以内 时间范围时间范围 0 3 小时 空间范围空间范围 70 140 E 15 60 N 空间分辨率空间分辨率 0 01 0 01 7000 4500 个网格 1 21 2 文档文档概述概述 本文档的编制目的是详细说明 基于并行计算的多源数据应用系统研发 一期 在技术与规格方面的要求 明确界定开发项目的范围 本文档的内容包括用户需求 开发过程与产品要求 是该项目技术开发合 同的技术附件 与合同主件具有同等法律效力 本文档将作为委托 承制和最 终用户方进行开发 验收和交付的技术依据 对于文档中有尚不能确定或不完 第 2 页 善的内容 在项目的实施过程中 由委托方负责完善 作为软件开发的补充依 据 2 项目研制任务项目研制任务 2 12 1 主要研制功能主要研制功能 本项目包括两个子系统 分别是 基于全国雷达回波反射率外推与降水 估计 采用光流法对雷达回波计算速度场并进行外推 然后通过 Z I 关系计算降 水 实现降水的短临显示 全国闪电外推 采用光流法对历史闪电数据计算 速度场并进行外推 实现闪电的短临预报 并根据行业外需求和特点 有针对性 得开发闪电预警产品 2 1 1 雷达回波雷达回波外推外推与与降水降水估计估计 2 1 1 1 雷达雷达数据数据质控质控 对雷达回波数据预处理与质量控制 如大于阈值就认为是异常值 用周围 的值进行插值填补 插值方法考虑用反距离插值或 Cressman 插值等 为后面的 光流法提供合理的数据输入 2 1 1 2 光流法光流法外推外推与与降水降水显示显示 基于雷达回波过去两个时次 相邻 10 分钟 的数据 采用光流法计算速度 场和后向外推 并根据 Z I 关系计算降水 显示降水产品包括逐 10 分钟 逐小时 与累积 1 2 3 小时的降水场 由于全国雷达回波数据量较大 经纬度格点数分别为 6200 与 4200 为了 提高运算效率 达到实时化要求 运算时间要求在 10 分钟以内 需采用并行化 处理算法 如 MPI GPU 或者多线程等技术 系统运行于 Linux 操作系统的服务 器上 2 1 1 3 产品产品输出输出格式格式 系统负责输出光流法速度场 DBZ 外推与降水外推数据 文件格式为 Swan 格式 为后续的处理或显示系统提供数据支持 空间分辨率为 0 01 时间分辨 率为 10 分钟 每 10 分钟间隔滚动更新 第 3 页 2 1 2 全国闪电外推全国闪电外推 2 1 2 1 闪电数据闪电数据处理处理 应用光流法计算速度场 需要将站点观测的闪电数据首先插值成格点数据 并对数据进行相应的质量控制 2 1 2 2 光流法外推光流法外推 基于闪电过去两个时次 相邻 5 分钟 的数据 采用光流法计算速度场并前向 外推 为了达到实时化要求 运算时间要求在 5 分钟以内 需采用并行化处理算法 如 MPI GPU 或者多线程等技术 系统运行于 Linux 操作系统的服务器上 2 1 2 3 闪电预警产品研发闪电预警产品研发 针对电力能源领域 航空 交通领域 结合行业外特殊要求 开发定制化和 个性化的闪电预警产品 2 1 2 4 产品产品输出输出格式格式 输出光流法速度场与闪电外推数据 格式为 nc 文件格式 方便后续程序读 取或入库 2 1 2 5 预警预警产品产品判断判断依据依据 针对电力能源领域 航空 交通领域 结合行业外特殊要求 设定预警判断 逻辑并结合闪电预报路径判断预警 2 1 2 6 预警预警产品输出格式产品输出格式 对产生的预警产品按标准 nc 文件格式输出 2 22 2 系统性能指标系统性能指标 全国雷达回波与闪电外推系统性能指标包括 1 雷达回波外推 雷达网格点数据水平方向分辨率 0 01 0 01 经 纬度格点数分别为 6200 与 4200 系统运算与产品输出总时间要求在 10 分钟以内 2 闪电外推 系统运算与产品输出总时间要求在 5 分钟以内 第 4 页 2 32 3 非非功能功能性指标性指标 1 安全性要求 本系统与国家气象局信息中心现有的业务系统有着较 紧密的接口关系 在设计过程中需充分考虑访问和被访问 网络 数据库等各方面的安全需求 允许用户进行数据的备份和恢复 以 弥补数据的破坏和丢失 2 可靠性要求 项目完成后的软件系统将长期业务化运行 在软硬件 的设计实现上要考虑系统长期运行的稳定性和可靠性 3 稳定性和容错性要求 系统安装部署后 系统所有功能须有持续运 行的稳定性 以及针对用户恶意操作或不当操作有较好的容错性 4 可维护性要求 项目研制后的软件系统应提供方便的可维护支持 5 可操作性要求 系统设计须充分考虑用户使用习惯 使研发出的系 统满足用户的可操作 易操作需求 6 可扩展性要求 系统研制需充分考虑软件自身的可扩展性 一是保 障与现有系统的无缝对接 二是保障本系统功能后续扩展开发的需 求 另外 本项目涉及数据的命名 格式 存储位置 生命周期 传输路径等 要与现有的业务系统保持较好的一致性 按照相关标 准执行 2 42 4 外部外部接口接口 本系统的外部接口涉及业务平台中的雷达与闪电数据源的接入 3 设计约束与要求设计约束与要求 1 系统研制应采用成熟可靠的技术 遵循通用开放的标准 构建安全 可靠 实时 易用的系统平台 2 系统采用 C S 架构 编程语言为 C C 运行在 Linux 服务器 系统 用户界面设计应符合用户习惯 美观 简洁 易用 3 系统产品输出能够支持气象行业标准数据格式 如 NC Micaps 或 SWAN 等格式 本项目实施周期预计为 9 个月 项目进度研制计划分为如下几个阶段 第一阶段 需求调研阶段 时间周期约为 0 5 月 第 5 页 第二阶段 系统设计阶段 时间周期约为 0 5 月 第三阶段 系统研发阶段 时间周期约为 5 月 第四阶段 系统测试阶段 时间周期约为 1 5 月 第五阶段 系统试运行阶段 时间周期约为 1 月 第六阶段 系统验收阶段 时间周期约为 0 5 月 4 项目项目交付交付成果成果 4 14 1 软件软件 本项目的软件交付成果包括 1 全国雷达数据综合应用子系统 全国闪电数据综合应用子系统 2 系统源代码 4 24 2 文档文档 本项目的文档交付成果包括 1 系统设计方案 2 系统需求规格说明书 3 系统概要设计说明书 4 系统测试报告 5 系统用户手册 5 培训培训与售后服务与售后服务要求要求 5 15 1 培训培训要求要求 对本系统直接用户进行系统安装 维护管理 操作使用等方面的技术培训 培训地点在国家气象局信息中心 承建单位需制定培训实施方案 培训组织方式 培训内容等培训计划 确保 气象服务图形产品制作系统的直接使用人员能够掌握系统的应用及维护技巧 保 证系统稳定性 以及熟练掌握系统的核心功能操作 5 25 2 售后服务售后服务要求要求 承建单位应根据招标方的需求 对所提供的系统保证全面 有效 及时的 第 6 页 技术支持和售后服务 承建单位应提供自系统全面验收合格 系统终验之日起永久现场和远程技术 支持服务 承建单位应成立专门的技术支持小组 提供完善周到的本地化服务及全国范 围内技术支持能力 质保期内产生的一切费用 由承建单位承担 远程技术支持 在质保期内 应提供 7 24 小时的服务响应 包括电话 传 真 特快专递等方式 保证可以随时找到相应的技术人员 如有必要 在 2 6 小 时之内赶到现场予以技术支持 定期巡检 项目验收完毕后 承建单位将每月对系统使用情况进行巡检 及 时分析系统存在的问题 并随时给予解决 故障响应 在质保期内 如果软件出现故障 承建单位负责派员查找故障原 因并将系统恢复到正常运行状态 在软件本身发生故障的情况下 一切费用由承 建单位承担 系统发生异常情况 承建单位技术人员提供 7 24 小时的服务响应 0 5 小时内完成电话响应 1 小时内解决重大问题 在