数据处理平台技术方案

数据解决平台技术方案2023年06月1.项目说明2.1.11.22.1背景术语定义及说明建设目的和原则建设目的建设和完善数据解决流程建设和完善管理平台建立良好的容错机制2.2设计原则可靠性易用性扩展性3.功能需求3.1需求概述3.2功能模块数据收集数据清洗数据存储对外输出目录错误】未定义书.签。.错误.!未定义书签..错误.!未定义书签.错误.未定义书签。.错误.!未定义书签.错误!未定义.书.签。错误!未定义.书.签。错误!未定义.书.签。错误.!未定义书签.错误!未定义.书.签。错误!未定义.书.签。错误!未定义.书.签。错误】未定义书.签。错误.!未定义书签.错误.!未定义书签.错误!未定义.书.签。错误!未定义.书.签。错误!未定义.书.签。错误!未定义.书.签。流程监控错误!未定义.书.签。管理平台错误!未定义.书.签。3.3其他需求.错误.!未定义书签.性能需求错.误!未定义书.签。可靠性规定错误!未定义.书.签。进度计划错误!未定义.书.签。故障解决规定错误!未定义.书.签。4.方案总体设计错误未定.义.书签。4.1技术路线选择错误.!未定义书签。4.2总体架构错误.!未定义书签.架构介绍错误!未定义书.签。数据解决流程错误!未定义书.签。5.安全设计错误】未定义书.签。5.1数据的备份和恢复系统错误.!未定义书签。5.2管理层安全错误.!未定义书签。项目说明1.1背景因项目数据拆分，***将要创建一套完备的数据管理体系，替换原有的数据解决方式。为用户提供更高效、便捷的服务。术语定义及说明名称解释数据格式对原始数据文献中数据格式的定义，比如json数组等数据类型原始数据的类型，比如实况、指数等文献类型原始数据的文献类型，比如.dat.tx：文献建设目的和原则1建设目的建设和完善数据解决流程基于原有的解决流程，采用新技术架构，重构现有解决平台，彻底解决现有平台的问题。建设和完善管理平台建设和完善管理平台，可认为运维人员提供更好的维护管理的工具，并且可以让管理员可以根据多种数据的不同规定设立出适应数据的解决规则。建立良好的容错机制建立良好的容错机制，设立更优的数据解决规则，为数据解决提供优质服务。设计原则可靠性随着系统的建成，必然各平台之间的信息传递对系统的依赖限度将变得很高，系统失效所导致的影响也就越大。因此，系统的设计必须，从系统结构、技术措施、设备选型以及厂商的技术服务和维修响应能力等方面综合考虑，以保证系统运营的可靠性和稳定性。易用性我们系统设计必须考虑到使用者和以后的维护的方便容易。所以，在系统的设计中规定系统架构易于理解，系统管理方便简洁，系统维护自动容易。扩展性平台的建设是一项长期的工程，要充足考虑其将来潜在的需求。科学的设计思想应着眼于目前的应用系统及现有的技术，并考虑以最小的代价来适应网络技术不断的发展，使现有系统可以与需求同步增长，使系统在元数据不断增长的基础上，维护者可以很方便的扩充平台功能。功能需求1需求概述实现对不同来源的多种数据类型文献进行收集、存储、到最终业务的统一解决，实现数据实时对接，并具有扩展性。1）数据收集：2）数据整理：3）数据存储：4）业务接：5）监控：3.2功能模块3.2.1数据收集数据清洗3.2.3数据存储经估算，天天的数据约有9-10G,在如此数据量的情况下，要对数据进行存储，同时应用缓存,提高输出效率。对外输出为保证原有外部用户正常使用，数据输出与原有输出保持一致。流程监控针对整个流程进行数据监控监控原始数据站点缺失、监控非法数据。以便反馈给原始数据提供方，后期优化。管理平台管理平台需要有如下功能：3.3其他需求性能需求可靠性规定进度计划待定故障解决规定软件故障：如操作系统死机、崩溃、数据库管理系统过载或其他因素崩溃，通过自动或手动重新启动系统解决，如重新启动不能解决问题，可以切换至备用服务器；硬件故障：如硬盘故障，采用措施是定期进行数据库备份，一旦出现硬件故障，可以使用备份文献恢复数据库。方案总体设计1技术路线选择4.2总体架构架构介绍数据解决流程安全设计5.1数据的备份和恢复系统在安全建设中必不可少的一个环节就是数据的常规备份和历史保存。一般在生产本地的备份目的重要有两个：一是生产系统的业务数据由于系统或人为误操作导致损坏或丢失后，可及时在生产本地实现数据的恢复；另一个目的是在发生地区性劫难（地震、火灾、机器毁坏等）时，可及时在本地或异地实现数据及整个系统的劫难恢复。管理层安全网