综合资源数据中心解决方案亿阳

网络资源数据中心解决方案,2020年6月,目录,一、数据中心的背景,二、关键问题,三、方案架构,OSS的数据共享需求,主要发现：资源/性能/工单/告警的数据共享需求最多；存在大量的应用需要同时从两个或以上的系统获取同类数据的情况（且需要共享的数据的集中程度不够），告警/性能/资源类数据情况尤为突出。因此性能、告警、工单、资源类数据的共享需求最高,从ESB发布共享服务类型，性能、告警与资源三项总和超过90%,传输网管,数据网管,综合分析,天气预报,话务网管,经分,网优,综合监控,统一采集,EOMS,集中操作维护,投诉系统,信令系统,综合资源系统,拨测,路测,数据共享情况复杂,以综合监控、综合分析、网优系统为例：共享接口繁多：每个系统建设会涉及到10个以上的系统接口，交叉共享接口技术复杂：MQ/SOCKET/WS/数据库/文件等数据重复共享：资源、性能、工单、投诉等数据会多次重复共享,动环管,集团网络工作会议-网管支撑系统技术架构整合,优化整合网管技术架构，试点统一采集平台、共享数据平台，实现网络数据统一采集、集中存储、有效整合，实现网元、网络、业务、客户四个层次分析，满足四网协同、流量分析等一体化、综合化分析需求；同时，积极探索使用云计算和大数据技术，提升海量数据采集、存储、处理与分析的效率,网络数据共享平台试点网络质量数据共享平台：对话统、MR、信令/拨测/路测/流控、投诉、话单等多源数据统一集中管理和开放，实现数据与应用分拆，支撑更丰富的上层应用，请广东牵头、北京与福建配合，江苏牵头、天津与辽宁配合，6月底前完成试点网络资源数据共享平台：请江苏、广东、南方基地开展预研，11月底前完成网管统一采集平台试点-通过网元直连、OMC、设备代理等方式采集各专业网络设备的配置数据、告警数据、性能指标数据，为上层系统提供统一标准的数据接口。-请江苏、北京、广东6月底前完成试点,技术架构整合，数据集中共享,资源数据中心的目标,数据中心建设模式,数据中心构建方式一：信息整合技术数据中心构建方式二：数据仓库技术数据中心构建方式三：主数据管理技术,目录,一、数据中心的背景,二、关键问题,三、方案架构,从多个系统如何快速稳定的采集数据？,多样化的、大规模的数据如何有效的组织管理？,面对多样化的系统、多样化的数据如何选取接口方案？,为了实现各项功能需要哪些系统提供哪些数据？,针对大规模的数据如何满足数据分析与查询访问的需求？,数据采集,数据处理与存储,应用,数据源,采用什么样的系统架构才能较好的支撑各种应用场景？,从通用型系统架构入手逐环节研究,本系统方案关键研究要点,1,2,3,4,5,6,1数据源分析,数据采集,数据处理与存储,应用,数据源,任务动态分配灵活配置采集策略，充分利用采集节点平滑扩展通过集群技术保障高可靠性，不存在单点隐患集群的并行处理提升系统性能、吞吐能力抽取、清洗、转换、装载多环节进行数据质量监控,并行处理模式,采集节点的灵活伸缩采集范围的灵活伸缩采集性能的灵活伸缩提升高可靠性,利用Iaas的云计算技术实现,以基于云上的多采集机并行处理模式实现采集处理高性能；,IAAS,采集软件,服务器资源,任务1,任务2,任务3,任务负载均衡,采集平台任务管理,数据采集,数据处理与存储,应用,数据源,3如何快速可靠获取数据,5-数据共享(ESB)数据地图,逐步建立OSS全局数据地图掌握各系统数据分布情况，根据数据类别可快速定位支撑系统和服务通过SDP实现数据共享能力输出,数据采集,数据处理与存储,应用,数据源,5-1数据共享(ESB)数据服务封装,服务配置器,服务调用,动态客户端选择,数据内容配置,服务端代码：将通信协议、报文、数据获取处理、等封装生成服务端开发框架，使服务开发者更加快捷开发服务，从而节省开发成本,客户端代码：生成统一服务调用接口的客户端代码及使用说明文档，提供服务使用方下载应用到系统框架中，提高服务使用方的开发效率,数据采集,数据处理与存储,应用,数据源,5-3服务目录管理(ESB)-服务信息管理1,服务基础信息,服务接口及数据模型,服务实体文档：规约类/测试类/描述类,5-5服务管理-服务目录管理,厂商维度：以厂商/系统对服务进行划分,ODM维度：以业务视角对服务进行划分服务应用类型服务交互的数据类型专业类型,数据处理计算框架MapReduce,相关产品:Hadoop-HIVEHadoop-PIg,提供