信息数据整合方案.docx

信息资源整合方案一、总体思路全面梳理市局各气象业务系统的硬件架构、数据流程、存储方式等，根据梳理结果制定现有服务器、存储资源整合方案，将满足虚拟化整合技术要求的服务器及存储设备，整合到资源池。实现信息资源的有效共享和关键数据的多业务复用，最终形成统一的全局数据视图，促进气象信息数据的优化管理。二、信息资源整合方案利用今年新购置的Isilon高性能存储设备对市局数据存储业务进行初步整合。充分发挥Isilon设备可扩展容量大、扩容速度快、数据处理性能高的优势，利用可靠性高、可维护性高、空间利用率高的集中式NAS存储逐步替代市局原有松散的存储设备，并接管其上的数据存储业务，达到信息资源整合的目的。 目前新购置的Isilon高性能存储设备为裸空间99TB的 3节点集群，每个节点配置24GB内存，33TB数据盘，800GB SSD缓存盘。按照其实际可用空间80T估算，预计可对市局以下存储业务进行整合。1、 支撑预报一体化平台高性能存储需求。 购置Isilon高性能存储设备的最初目的是为了解决预报一体化平台数据访问I/O瓶颈，满足数据产品共享存储高效访问的需求。因此，Isilon首要目的是支撑预报一体化平台高效运行。按照项目开发组提供的需求，Isilon将分别为数据库提供12TB数据存储，为虚拟化服务器提供10TB本地存储，为数据加工产品提供一年38T的共享存储空间，合计60TB。未来根据存储实际使用情况，可考虑对Isilon空间进行扩容。2、 接管气象台WRF模式存储管理业务。 由于气象台7TB的模式数据二级存储已经应用多年，设备老化，性能较低，存在一定的不稳定因素，拟在Isilon设备中分配10TB空间，用以替代气象台现有7TB二级存储，逐步接管气象台WRF模式存储管理业务。3、 其他数据存储业务整合 预报一体化平台的主要存储迁移到Isilon设备上之后，将为服务器虚拟化平台释放掉大约20T存储空间。山洪项目采购设备到位之后，预报一体化平台的数据库和产品加工等密集计算节点将迁移至物理资源池，服务器虚拟化平台的计算资源将得到有效释放，为更多低开销型应用、业务迁移至虚拟化平台提供足够资源。根据实际业务需求，考虑在NAS设备上分配2TB空间用于存放CMACast短期广播数据，对局域网用户提供全开放访问，同时将MICAPS3数据处理服务由物理服务器迁移至虚拟化平台，MICAPS3实时历史数据逐步迁移至虚拟化平台，其它探测资料的历史归档数据也逐步迁移到存储资源池进行统一管理。原存储设备释放出空间后，将根据设备可用性实际情况，加入到虚拟化平台进行异构管理。三、整合步骤与安排1、需求调研（2016年12月） 分别对预报一体化平台项目开发组、气象台、科研所等单位进行调研，了解存储资源实际需求，理清各业务系统之间的关联关系，确定存储资源分配、迁移、整合、回收方案。2、数据迁移（2016年12月-2017年3月） 根据调研结果，对现有存储资源池进行资源分配划分，根据业务实际情况开展数据迁移工作。 将预报一体化平台主要存储需求迁移到Isilon设备中，将数据库、产品加工等密集计算节点迁移到物理资源池。请科研所将WRF模式回传到气象台二级存储的同时，分发到NAS存储资源池。将CMACast卫星广播数据分发到NAS存储设备，并制定清理策略。探测资料直接分发到存储资源池进行归档，MICAPS、探测资料等历史数据往存储资源池迁移。3、业务迁移整合（2017年3月-2017年5月） 调整数据处理流程，需要业务并行运行的，开展3个月的业务并行期，业务并行期间，将原数据存储上的业务应用系统迁移整合到存储资源池。依赖于原模式二级存储的业务应用逐步调整到NAS存储资源池。MICAPS3处理程序迁移到虚拟化平台，以NAS共享的CMACast数据做为数据源进行MICAPS3产品加工处理，产品直接落地到存储资源池进行归档管理。4、原有资源回收（2017年