智能探测系统气象大数据平台建设技术方案

第一章项目概 项目名 项目建设单 项目建设内容、建设 建设内 建设周 第二章项目建设方 XX气象+大数据平台建 建设内 气象+大数据平台PaaS 气象+大数据资源层建 数据及系统迁移方案设 信息安全系统设 概 系统定 系统安全建设原 安全保障策略设 备份系统设 数字XX云平台安 平台全可控设 国产化软件适 国产密 物理层 网络层 应用和数据层 终 商用密码产品清 运行维护方案设 运行维护主要内 其他需要说明的问 第三章项目组织机构和人员培 培训目 培训目 培训原 培训方 培训内 培训计 培训地 附表1XX气象+大数据平台系统开发内 附表2数据及系统迁移内 PAGE1页共114第一章项目概述年力争建成3PB多源气象+大数据存储和“数算一体”XX气象+大数据平台，支撑“云++表1.3- +12数据管理，数据存储结构设计，数据存储模块（分，34PAGEPAGE10页共1145气象+大数据容器化应用6789结合目前现状以及“四天”业务规划，编制数据迁移计划、明确数据迁移对象并进行迁移实施。完成现有数据服务平台的迁移，包括数据环境迁移、数据服务接口迁移、历史气象数据和产品迁移。迁移IT行IT12-24第二章项目建设方案表2- XX气象+大数据平台建设内容1PaaS层2分布式计算服务化引擎，通过将大数据处理、分析计算的能力以Rest支持负载均衡、容错的计算服务接口，提供Rest可通过api透明调用缓存数据；2-1其中数据处理模块以及数据采集模块本项目根据XX市大数据信息化项目建设要求，此类功能采用购买商业现货软件或者租用XX市城市智能中枢核心能力平台的业务协同服务、I2-2序号1-2-序号3-ETL统计、30日数据量走势、前十数据接入状况和24小时作业失败分布图。为开发人员提供所见即所得的数据清洗、即时查看清洗结果的功能；通过可视化ETL平台，开发人员可最大限UIETL即可在ETL流程中进行使用；系统提供函数权限管理功能，用户可对函数设置使用权限。python、sqlOLTP、OLAP、数据挖表2- 1非结构化数据文件类型ID数据文件元数据解析：类型ID2 14FTP接收CTS22FTP、SFTP、HTTP、TCP、UDP支持包括MySQL、ORACLEHive、HBase等NoSQL43采集Oracle采集CTS2采集MDOS表2- 123456789表2- 112103146566XXGNSSMET78天96121268天12设计、数据存储、存储容量管理以及存储趋势分析等5个功能模块，实现数据的存储和管理

图2- 2-7数据管理模块功能表125.2-812分布式NoSQL34567非结构化数据主要包括文件存储和数据块存储两种形式。其中，文件存储的结构主要定义文件目录组织和文件索引结构，此外，对其中的网格类数据还要定义其内容格式，包括实布式文件系统4种存储方式。据仓库作为结构化数据的存储方案，用于OLAP、数据挖掘、深度学习等应用场景。表2- 12数据仓库具备高可用性、高时效性等特性，提供统一的支持OLAP数据仓库支持标准SQL3HTTPRest存储对象可直接通过http进行浏览及下载，可自定义分享对象URL支持使用MapReduce4kerberos对外提供统一HTTPRest文件存储及下载接口；分布式文件系统提供2-3表2- 序号1-统2-表2- 1数据标准管理功能立足于从全局制定企业的各项数据标准内容，为数据标准提供录入、使用以及管理的功能，并具备全生命周期的数据标准管理能力。从具体执行层面应支持多元2-11数据质量控制模块功能表1针对数据库数据源，可设置数据过滤SQL针对表2- 1图2- 通用算法模块包括算法建库功能、数据挖掘功能和机器学习功能，建设基于开源软件的分布式计算框架和深度学习框架，为全局提供数据挖掘和机器学习的分布式计算平台，提供2-13气象要素观测数据类别表风2分钟风向、2分钟平均风速、10分钟风向、10分钟平均风速、小时最大风速间时间尺度：5分钟、103013小时、61224小时，以及表2- 风6126361208表2- 分钟云表2- 风分钟表2- （035风月平均风速（2分钟）、月最大风速及出现日期、月最大风速的风向、月极降雨量及出现日期；日降水量（≥0.1mm、≥1mm、≥5mm、≥10mm云（≥1cm、≥5cm、≥10cm、≥20cm、≥30cm）月日照时数、月日照百分率，日照百分率≥60表2- 风分钟表2- 风年平均风速（2）、年最大风速及出现月日、年最大风速的风向、年极年降水量（20-2008-08）、年最大日降水量及出现月日、年最大小25mm、≥m、≥mm）日数；年最长连续5（、、、0分钟（年、云能见度﹤10km﹤5km﹤1km率≥5cm、≥10cm、≥20cm、≥30cm）年日照时数、年日照百分率、日照百分率≥60表2- 风各季节内：平均风速（2）、最大风速及出现月日、最大风速的风向、极大风速及出现月日、极大风速的风向、最大风速（≥5m/s、≥10m/s各季节内：降水量（20-20时、08-08时）、最大日降水量及出现月日、最段（5、10、15、20、30、45、60、90、120、180、240、360、540分钟 表2- 低温注：2020.04.01实现任意时段降雨的快速统计。如查询2016/3/221:16:002018/7/120:30:00计,则根据2016/3/200-20小时降雨+2016/3/221:00-21:10的十分钟降雨+2016/3/221:16:002016/3/32016/3/312016/4-2016/122017雨+2018/1-2018/62018/7/100-202018/7/120:00-3010表2- 25类X该系统是数据服务化的基础，作为气象+大数据平台PaaS行政数据智能填报系统是实现各类行政数据定时填报、周期填报、临时填报的系统，可图2- 气象+大数据容器化应用管理子系统组成成后自动生成标签。继而到自动发布测试版本，基于测试环境全面测试，不断进行版本自动化迭代以优化测试中发现的bug。最终形成正式版本，通过人机交互的方式进行正式版本的eUI调度系统提供运行监控统计，支持按月、按日、按天、按小时、用户、运行状态等多维图2- 气象+大数据接口服务子系统功能表2- 1URL获取各业务中心所要的结果。业务功能服务接口运行最大时间不超过0.5秒。2-241234APIAPIAPI网关打通，支持将API服务一键发布至APIServerlessAPI2-25业务功能服务接口完善表1上传文件：指定文件存储路径和文件名，HttpBody文件是否存在：指定文件或目录名，返回true或fasle。2bucket及目录keybucket及文件key，HttpBody删除文件或目录：指定bucket、文件或目录keybucketkeykey、分页、目录范围、文件名前缀、分页数；返回该目录下匹配的文件key文件下载：指定文件key，返回文件字节流。3提供分布式关系型数据库、NoSQL查询数据：执行sql4提供气象+多源数据及产品提供各种场景的数据查询、统计及下载。5TokenTokenToken据服务认证中心，提交用户、密码信息获取授权Token用于服务访问。Token制机制；支持Token与IP、请求等绑定；支持Token过期时限设置。数据服务通过服务管控系统整个过程如下：用户通过代理服务地址与授权Token发起请求，服务代理中心与服务认证中心通讯，认证用户Token是否具有该服务访问权限；认证通模块的配置、管理以及运维监视，确保整个平台的高效稳定运行。运维管理系统包括平台管2-7运维管理子系统组成图2-26序号能力—二级三级能力1共性身份-权限支持wtouh2RC数据权限控制等权限管理。支持可视化在线配置功能权限以及在线数据权限建模、数据权限规则定义授权等操RC义动态角色控制以及接口第功能权限、数据权限、接口授权等序号能力—二级三级能力2共性身份-应用身份中台服务。IDaaS支持SAML、OIDC、CAS钉通讯录、AD、HR系统等份权限管理和应用访问控企业应用单点登录、统一用户目录、统一身份认证、集中访问授权、统一行对用户的基本信息进行管理，包括新用户信息的增加、编辑、删除、修改等功能，用户表2- 1采集的信息包括IP、机器名、操作系统、CPU、内存使用率、磁盘使用率、磁盘I/O状态、网络I/O等，并统一通过运维平台展示。占用的2支持参数导出EXCEL和多种图片格式。能够按照业务系统、部门、操作系统、设备类型、IP地址以及自定3告警设置、关键进程告警设置、存储告警设置、告警方式（SQL（包括2-28数据库监视模块功能表1支持采集目前主要的数据库(MySQLCanssandra、HBase、Hive数据库状态告警告警支持查询数据库所有SQL23表2- 1234表2- 1能够采集分析多种形式的日志，如MySQL、文本等多种形式；2环节服务器的基本信息（IP）、各环节状态是否正常等。32-30服务接口监视模块功能表122-82-31序号序号1-（RsteotctR）P、NAAPP线上2-对网站和APP的用户登录序号3-（th）p、4-生物识别技术、证件OCR5-（extMdetnSst，M）I接序号6-mMdetnStmM）7-序号8-社交App9-/5/I系统UI表2- 、内存，可用的1按数据存储方式（对象存储、块存储、数据库存储）2户后，再关联相对应的ITITITITIT云主机申请全流程：系统内置主流的Linux操作系统模版，如IP；用户提交申请到管理员，管平台管理实现XX气象+大数据平台73源详见1.6.2、1.6.3、1.6.745索示6接口性能分析（接口耗时分布、成功率；通过对耗时长的接口；）。接口性能分析（78航用户使用中遇到问题，或者发现平台的BUG，可以通过网页提9示12个月温度和降雨变化；24SWAN雷达拼图：展示XX当天SWAN雷达拼图观测信息和4主机连接数TOP5CPUTOP5：分别从主机和虚拟机方面的利用率5；风险服务器TOP5：根据服务器风险等级排行，展示前5条数平台存储XX本地近1年结构化数据以及所有非结构化对象存储类数据，以满足数据融XX市市级政务数据资源共享系统共享数据。气象+大数据平台PaaS据汇聚并形成贴近业务系统的汇聚库数据，并将归集数据进行ETL整合，进行数据治理形成2-33数据汇聚对象表123456789索引的一个主要目的就是加快检索表中数据，亦即能协助信息搜索者尽快的找到符合限制条件的记录ID限于附表2。图2-

图2- 表2- 保护2.0标准第三级要求进行防护。7表2- 序号12345资源集合，主要报VFW、VIPS、VWAF、VLB6序号7X86要领域密码应用与创新发展工作规划（20182022））的通知》（厅字〔2018]36）正常使用的关键因素之一，主要通过部署具有国密产品型号资质的SSLVPN正常使用的关键因素之一，主要通过部署具有国密产品型号资质的SSLVPN器来解决。依赖国密SSLSSLVPN关产品符合《安全认证网关产品规范》（GM/T0026）标准。信息加密、信息传输完整性保护）、信道加密（基于国密的SSL）。表2- 编号12国密VPN34567国密家编号8家9家服务网点运维。对气象+大数据平台服务网点内的IT设备、终端以及内部网络进行第三章项目组织机构和人员培训良表3- 1基本建设程序、相关政策法管理5312项目相关313项目相关314技术5总体技术技术32人期6气象+大数据平台应用使用技术32、、9999页共11411气象+大数据、、PAGEPAGE100页共114气象+大数据可ETL2气象+大数据对象存储、分布式文件系统4种存储方式。3气象+大数据4气象+大数据块基于分布式架构的地面常规气象数据统计模块实现多时间尺度和任意时段基于分布式计算框架的气象产品加工模块主要为用户提供一个直观的气象块5气象+大数据理置，通过授权T