公安网络流量大数据分析与管控系统

新一代公安信息网网络流量大数据分析与管控系统方案目录一建设背景及整体架构二流量分析与管控系统介绍数据采集系统大数据分析系统网络管控系统三典型应用及案例介绍公安信息网运行维护面临的痛点管理体系运维体系监控手段信息孤岛运维服务体系比较松散，也不够清晰业务需求变化的速度快，制度体系的梳理落后于业务的发展缺乏集中化、自动化、智能化的运维手段和体系化、规范化、标准化的运营模式网络管理工具分散，各级网络管理信息隔离流量分析与管控工具缺失网络运维管理里各系统平台存在“烟囱式”的独立现象，没有统一建设架构设计与规范，不利于各系统平台的后期建设工作开展。系统建设的孤岛现象容易造成系统工具平台的重复建设。【感知】通过统一的标准化采集系统将多元的网络信息进行有效的收集，为网络智能化管理平台提供全方位的网络感知能力。【分析】通过网络智能化应用结合大数据分析能力，为网络智能化管理提供决策依据。【控制】通过多种的控制手段，灵活有效的对基础网元进行管理和配置。【展示】通过多维的视角，将网络现状及态势进行全方位的展示。网流分析与管控系统建设目标感知控制展示分析按照“统一标准，分级管理，协同运维”的原则，建设具备规范有序的网络运行保证能力、优质高效的网络服务提供能力、精细灵敏的网络态势掌控能力、弹性智能的网络应用支撑能力的新一代网流分析系统。故障分析及趋势预测通过问题及趋势分析，呈现网络状态，推动主动进行网络修复数据的实时分析，基于时间序列分析、综合事件处理和机器学习，分析系统异常和趋势预测端到端可视化网络可视化包括：WAN/WLAN/LAN/网络服务等用户上线及连通性信息：AAA、DHCP、认证、漫游等终端用户的应用会话可视化及性能分析网络转发路径可视网络设备可用性、健康度、连通性检查分析和管控闭环自动化能够和控制器整合实现自动闭环通过数据分析，给出网络系统调优的策略和方案多源数据统一管理多种数据的标准化采集，包含网元数据、准入数据、网流数据、转发表项、日志等。建设统一的数据资源池，形成数据存储和检索平台，提供数据集中管理和共享访问网流分析与管控系统目标网络智能管理平台基础网管网络基础资源平台应用服务大数据分析数据采集管理运维安全网络管控标准规范网流分析系统总体逻辑框架网流分析系统总体设计框架平台服务层消息服务基础设施层应用层数据服务层传输设备终端设备其它网络设备数据接入数据处理数据标准化数据质量管理元数据管理数据资源池网络基础数据日志数据网络准入数据网络流量数据其它数据数据采集服务汇聚分发采集处理数据输出智能应用层应用服务层设备管理故障管理配置管理性能管理智能管控网络保障场景编排网络分析数据共享流程管理资源服务用户服务态势感知网络准入统一门户数据中心

云平台流量采集处理系统数据中心

云平台流量采集处理系统数据中心

云平台流量采集处理系统流量大数据分析系统-部级其他支撑系统其他支撑系统其他支撑系统网管系统路由器数据采集分析系统与其他系统间交互链路下级分析系统与上级分析系统间交互链路网管系统路由器网管系统路由器其他系统其他系统其他系统交换机交换机交换机流量大数据分析系统-省级流量大数据分析系统-省级网流分析系统部署示意图流量大数据分析与管控系统组成：流量采集处理系统：TAP设备接入原始流量进行流量采集处理；流量大数据分析系统：进行统一的数据分析、处理、存储，并将分析结果输出给管控系统；流量管控系统：

管控系统根据分析结果下发管控策略；网流分析系统部系统架构网流分析系统标准体系建设《新一代网络智能管理平台总体技术要求》《基础网管技术要求》《数据采集系统技术要求》《大数据分析系统技术要求》《网络管控系统技术要求》目录一建设背景及整体架构二流量分析与管控系统介绍数据采集系统大数据分析系统网络管控系统三典型应用及案例介绍统一采集处理网络流量等数据构建标准化的网络智能管理平台数据采集体系统一分发数据给各需求方通过系统建设：有效提升各级科信部门对新一代公安信息网的网络运维与管理能力；为各部门基于网络流量等数据的深化应用提供全面的基础数据资源；为故障定位提供精准的原始数据依据；为重要业务应用和重大活动保障提供有力支撑。数据采集系统建设目标数据采集系统建设要点统一采集建设覆盖全网的标准化采集系统，由网络管理运维部门整合需求、统一规划、集中采集。资源共享拟定按需分发策略，提供实时数据服务，为有需要的其他部门提供多维度原始数据及指标数据，实现数据资源的有序共享。分级分层系统应分级分层进行数据采集，下一级向上一级提供数据服务。123弹性扩展系统应支持采集处理性能、存储能力的弹性扩展，不断适应未来发展的新需求。4采集处理数据采集系统数据输出网络基础

数据输出网络基础数据采集处理网络基础数据处理网络基础数据处理与缓存日志数据输出日志数据

采集处理日志数据处理日志数据处理与

缓存网络准入

数据输出网络准入数据采集处理网络准入数据采集网络准入数据处理与缓存汇聚分发原始流量数据汇聚原始流量数据过滤原始流量数据标签原始流量数据分发数据生成

与缓存网络流量数据输出网络流量数据采集处理流量统计数据网络性能数据应用性能数据实时告警数据用户行为数据原始流量数据报文去重流重组协议解码深度分析Flow类数据处理告警数据输出原始流量数据输出指标数据输出数据采集系统详细设计框架数据采集系统数据输出汇聚分发采集处理大数据分析系统其他系统网络基础设施交换机路由器分光器镜像流量分光流量指标数据、告警数据、原始流量数据原始流量数据交换机分光器分光流量路由器镜像流量流量接入设计采集方式设计要点：保证网络稳定性不改变网络结构不影响运行方便部署部署方式设计要点：先骨干后分支，先核心后接入同物理位置一套采集处理系统，采集器设备数量依实际流量大小及设备规格而定原始流量数据（数据包）：分布式存储于流量采集探针；接入网用户侧原始流量数据应存储不少于7天；骨干网及接入网数据侧原始流量数据应存储不少于1天。数据采集系统部署示意图及设计要点汇聚分发层（智能TAP集群）采集处理层（流量采集器）第三方实时流量检测系统镜像或分光流量交换机镜像或分光流量交换机路由器镜像或分光流量部、省级骨干节点用户汇聚节点安全平台数据中心终端数据汇聚节点网络流量分析系统镜像流量采集器采集器采集器TAPTAPTAP各单位可根据采集点的地理位置分布情况，分布式部署多个TAP设备，汇聚和转发关键节点的流量数据；根据地理位置和流量处理能力，在每个流量汇聚节点部署一套或多套采集处理设备，用于流量的采集、深度处理和数据输出。镜像方式部署数据采集系统网络状态数据采集处理系统原始流量数据Flow采样数据网络行为数据设备状态数据其他数据来自于网管系统的反映链路流量状态与网络设备性能的数据。流量采集处理系统对原始数据包进行深度分析，产生各类分析结果数据。除原始流量数据外，还收集Flow采样数据（通过网络设备的Netflow或Netstream产生的Flow采样数据）网络系统中所有实体行为的记录，如用户的SQL行为、Web活动、DNS活动等来自于网络系统各组件的syslog日志，反映各组件的运行状态，如来自网络设备的syslog记录了网络连接状态、关键网络组件故障、性能和安全威胁，来自应用系统的syslog日志，可供管理人员监视应用服务情况、定位故障等。可以根据需扩展数据源，适配接入各种不同类型的数据，如数据表、数据文件、事件流、转发表等等。数据采集系统数据来源原则：通过标准化采集处理系统采集汇聚节点全量原始流量，用于对应用质量、用户行为、访问延时等进行实时采集实时分析，并支持对故障进行实时数据包级回溯分析。通过标准化采集处理系统对骨干网络链路进行Flow类流量采样，以及通过SNMP对链路状态进行收集，可以分析骨干网带宽利用情况，进行拥塞分析，对链路流量进行细分统计。通过流量数据并结合设备日志信息，运用人工智能技术可以对链路故障原因进行根因分析和预测。目录一建设背景及整体架构二流量分析与管控系统介绍数据采集系统大数据分析系统网络管控系统三典型应用及案例介绍统一的网络流量及运维数据集成集中开放的大数据资源池智能的网络流量及运维数据分析通过系统建设:有效的提升各级科信部门对公安网的网络运行态势感知能力与故障处置能力；为日常业务应用保障和重大活动保障提供有力支撑；提高日常网络运维工作的质量和效率，为网络规划、优化工作提供科学的依据；并为各部门提供全面的网络流量及其他运维数据资源。系统建设目标大数据分析系统建设目标分级部署部、省、市三级大数据分析系统分别部署，独立管理，数据共享，互联互通。大数据分析系统建设要点汇聚共享高效处理智能分析弹性扩展统一汇聚并存储网络流量数据及其他运维数据，做好数据清洗、统一数据规范、避免重复存储。通过统一规范的数据共享接口，为有需要的其他部门提供分析所需的各类型的网络数据，实现数据资源的有序共享。充分利用各类云计算、高性能数据处理、运算加速及IO加速等先进技术，对大数据资源进行高效运算处理，确保系统在满足大数据处理速度需求的前提下，努力提升计算资源及存储资源利用效率。依托海量的大数据资源、利用先进的大数据与人工智能等技术，依托云平台模型服务、机器学习等能力，针对现网流量特征进行建模分析。建设要点依托于云平台基础设施服务能力、平台服务能力进行建设。系统应具备数据种类、数据规模、处理性能、分析功能等方面的弹性扩展能力，能够适应未来不断发展的新需求。大数据分析系统智能应用基础设施大数据分析态势感知存储网络智能保障计算网络其它基础应用告警分析网络分析报表引擎数据共享数据资源池数据接入数据治理数据处理数据服务大数据分析系统总体设计框架流量大数据分析系统的功能组件可以分为三类：分析引擎类提供人工智能等数据挖掘能力；提供存储与计算能力；数据资源类提供数据接入与集成能力；对采集数据进行清洗与标准化处理，形成数据资源池；分析系统汇总的流量数据小时精度流量数据应存储不少于2年；分钟精度流量数据应存储不少于半年；分析服务类依托大数据，结合人工智能等先进技术，对网络流量进行深入分析，实现网络运行态势的深度感知、网络运行异常的主动发现、网络突发故障的快速定位；流量大数据分析系统大数据分析系统架构大数据分析系统技术架构大数据分析系统数据资源池主题库数据源原始库资源库网管数据Flow类采样数据Syslog流量会话日志知识库基础网管流量采集处理系统网络设备流量采样设备日志其它其它业务库设备数据流量数据IP资源转发表项其它网络实时数据应用传输实时数据网络趋势数据应用传输趋势数据其它日志数据告警数据设备状态网络协议链路状态网络应用网络异常用户行为网络故障其它智能应用用户访问实时数据用户访问趋势数据321678459网络特征分析点到点传输异常隐患分析应用传输中断分析应用系统出现端到端传输中断异常问题分析工作应用传输性能分析应用传输性能下降异常问题分析应用传输特征分析异常隐患造成应用传输问题网络中断分析点到点网络中断分析常规分析全网流量转发状况、流量成分组成、流量终端质量分析对网络和应用流量性能指标数据的日常监测和记录等趋势分析对比分析判断未来流量趋势分析内容网络性能分析点到点传输性能下降分析大数据分析系统主要应用基于流量中的一个或多个已知的网络和应用异常问题现象和判断条件，推导出未知的问题原因结论的分析过程。基于流量中的多个单一分析判断，概括总结出符合实际环境的一般性原因结论的分析过程。基于流量中多个因素间的相互联系、组合，找到不同因素间具有不变的共同属性特征，通过异同点判断得出原因结论的分析过程。基于流量中多个因素间的相互比较和否定，找到多个因素间最可能造成问题点的原因结论的分析过程。利用流量大数据资源与人工智能算法，训练模型，实现流量智能化分析。推理分析法归纳分析法人工智能分析法对比分析法关联分析法流量分析方法18流量保障用户态势应用态势网络态势网络设备链路流量态势分析用户流量分析，行为溯源等态势分析重大活动保障，智能运维等应用流量识别，应用质量等态势分析流量分析系统应用介绍（一）18数据共享流量评估统一告警可视化应用可视化综合监测，多维报表等建立统一的流量评估体系，自动生成评估结果建立统一的数据共享交换体系统一告警管理流量分析系统应用介绍（二）目录一建设背景及整体架构二流量分析与管控系统介绍数据采集系统大数据分析系统网络管控系统三典型应用及案例介绍网络管控系统技术架构网络管控系统功能框架作业管理审批作业创建作业定时作业历史作业作业调度脚本管理场景编排配置备份全局调优设备控制局部调优流量调优管控仿真网络建模网络管控仿真仿真报告策略生成管控策略生成与执行监控管控任务下发管控组件定义作业对象采集大数据/流量基础网管标准采集系统分析大数据/流量分析结果人工分析结果处置人工处理自动化处理网络管控流程断网限速调优调度关闭新一代公安网上出现异常流量的网络设备物理端口，将来自该端口的所有网络流量阻断；对网络设备或链路调整路由策略，实现流量转发路径的改变。在新一代公安网关键节点的流量设备管控等，实现对异常流量分时段或精细颗粒度的限制或阻断。对网络链路、设备精细化配置和策略的手动或自动化调整，实现网络数据转发质量或效率的提升。网络管控任务目录一建设背景及整体架构二流量分析与管控系统介绍数据采集系统大数据分析系统网络管控系统三典型应用及案例介绍多维展示，智能分析现象：XX大区到XX链路带宽占用率超出80%。分析：拥塞时间稳定在9:00-12:00和14:00-17:00点。拥塞时视频联网部级平台访问流量，杀毒类系统应用产生的流量为主要内容。应用多维分析排除了异常流量。结论：排查大占比应用异常后，建议网络扩容。流量细化，占比清晰现象：XX大区到XX链路带宽占用率持续在90%以上。分析：拥塞时间稳定在9:00-11:00。通过拥塞分析发现该拥塞是由于XX省向部中心上传大视频文件导致链路拥塞。结论：突发大流量导致的拥塞，通过限流排除了拥塞故障，保障了正常业务运行。网流典型应用：网络拥塞分析系统登录查看首页告警下钻到链路告警（端口利用率超门限）点击到链路拥塞分析呈现拥塞分析结果（会话成分分析）选取会话下钻关联到会话对应的用户分析下钻关联到会话对应的应用分析分析用户访问特征查看是否用户原因分析应用访问特征查看是否应用原因分析是否因为网络链路切换导致拥塞问题根因报表提供现有只实现到流量成分展示，没有进一步分析典型应用—拥塞分析处理流程010203僵尸应用分析基于流速、会话数、用户数分析疑似僵尸应用应用基线计算疑似僵尸应用和僵尸应用管理XX案例：协助完成XX省厅领导布置的任务----分析现网中的僵尸应用，并对应用活跃度进行排名。对于活跃度高的应用加大投入，而对于僵尸应用则下架，避免占用服务器资源。典型应用—僵尸应用分析XX案例：在内控审计时网流系统协助提供历史所有流量信息，帮助上级进行流量回溯分析，分析人员的异常行为。典型应用—网络流量回溯分析故障定位：快速分析故障发生时的流量数据，能够准确定位故障点并深入分析故障根源责任界定：准确分析是网络还是业务应用自身问题导致其访问异常，为界定责任主体提供依据，提高网络与业务部门间协同效率回溯取证：针对某些安全事件，可以回溯分析，进行取证；带宽监控是否存在流速超大应用吞吐量/访问量分析应用吞吐量排名分析应用访问量排名用户访问应用分析访问应用的用户流量分析访问应用的用户来源应用指标分析应用延迟，分析网络延迟，分析重传、重置、0窗口指标XX客户：协助XX客户分析核心业务访问缓慢的原因，快速准确定位出应用系统的问题，明确了责任对象。典型应用—应用访问质量分析KPI异常检测曲线网络流量回溯分析正常时刻流量分析异常时刻流量分析结论：对比可知在异常点“HTTP文件下载”使下行总流速突增典型应用—网络流量异常检测拟合光衰阶段光衰曲线CRC错包曲线预测光衰阶段预测告警时间：t1t2光衰值正常阶段时间：实际获取的光衰点光衰值/dbm-14.8-16.5错包率/%一级告警点二级告警点典型应用—光模块故障预测监控范围：一级网、城域网、局域网、网安专网、反恐安全域、政法专网、无线PDT专网解析能力：深度解析3大类42种数据报文处理能力：现有3台采集器，日采集40亿条会话，160G数据量应用识别：已识别分类500+应用GA部网流分析系统建设情况提升了重保