网络安全数据可视化概述的论文

网络平安数据可视化概述的论文网络平安数据可视化概述的论文随着网络通信技术的进步，飞速开展的网络应用对网络平安提出了很高的要求.一直以来，各种网络监控设备采集的大量日志数据是人们掌握网络状态和识别网络入侵的主要信息.网络平安分析人员在处理网络平安问题时，首先通过分析相应的数据来理解网络状态和发现异常现象，然后对异常事件的特征以及对网络的影响进展综合诊断，最后采取对应的响应措施.然而，随着网络平安需求的不断提升，网络平安分析人员在分析网络平安数据时遇到了很多新的困难：1)异构的数据源和持续增长的数据量给分析人员带来了繁重的认知负担;2)新攻击类型的出现和攻击复杂度的进步，使得很多传统的数据分析方法不再有效;3)大量漏报和误报是一些自动化异常检测系统的弊病;4)侧重于局部异常分析的传统思路，使得分析人员很难掌握宏观网络态势.如何帮助网络平安分析人员更高效地分析网络平安数据，已成为网络平安领域一个非常重要而且迫切的问题.在解决网络平安问题的过程中，人的认知和判断才能始终处于主导地位，一个能帮助人们更好地分析网络平安数据的实用方法就是将数据以图形图像的方式表现出来，并提供友好的交互手段，建立人与数据之间的图像通信，借助人们的视觉处理才能观察网络平安数据中隐含的信息，以进一步进步分析人员的感知、分析和理解网络平安问题的才能.因此，许多学者提出将可视化技术引入到网络平安研究领域中来，并逐步形成了网络平安可视化这一新的穿插研究领域.早在1995年Becker等就提出对网络流量状况进展可视化，之后Girardind等[5]在1998年曾使用多种可视化技术来分析防火墙日志记录.从xx年开始举办的国际网络安全可视化年会(visualizationforcybersecurity，VizSec)，标志着该领域的正式建立，并且在xx～xx年集中涌现了一批高质量的研究成果，如图1所示.从xx年开场，国际可视分析挑战赛[7](VASTchallenge)连续3年都采用了网络平安数据作为竞赛题目，推动着该领域呈现出一个新研究热潮.国内网络平安可视化的研究起步相对较晚，哈尔滨工程大学、天津大学、北京邮电大学、吉林大学、北京大学和中南大学等研究机构的一些团队已开展了相关研究.经过十多年的开展，在网络平安可视化领域，学者们提出了许多新颖的可视化设计，并开发了诸多实用的交互式可视分析工具，这也为传统的网络平安研究方法和分析人员的工作方式注入了新的活力：1)分析人员的认知负担得以减轻;2)异常检测和特征分析变得更为直观;3)人们可以更自主地探究事件关联和复杂攻击形式，甚至发现新的攻击类型;4)网络平安态势的觉察和理解效率得以进步.本文首先介绍网络平安分析人员需要处理的各种网络平安数据源，并重点从网络平安问题和网络平安可视化方法这2个角度，对已有研究成果进展了系统的梳理，最后对网络平安可视化的开展趋势进展了展望.图1网络平安可视化领域相关研究年度汇总表1网络平安数据介绍网络平安分析人员需要处理的网络平安数据种类非常多，其中最重要数据源各种网络监控设备.根据位于不同逻辑层次和不同物理位置的各种网络监控设备所采集信息的特点，可以将网络监控数据分3类：流量监控数据、状态监控数据和事件监控数据，如表1所示.表1网络平安数据分类表分类数据名称数据源举例流量监控网络数据包日志Tcpdump，WireShark网络数据流日志CiscoNetFlow状态监控状态监控日志BigBrother，vSphere事件监控入侵检测系统日志Cisco，SNORT防火墙日志Cisco，Checkpoint，华为入侵保护系统日志Cisco，IBM，天融信网络应用操作日志Apache，Exchange，DNS弱点扫描与监控日志Honeypots，eEye，Nessus其他数据系统配置文件、病毒样本等等流量监控数据主要包级和流级2个采集层次.包级的流量监控会记录每个数据包的TCP?IP包头信息和载荷内容;流级的流量监控会将一次网络会话的数据流聚合起来，只记录会话信息的方式数据量更小，也更加易于理解和管理.状态监控数据是指网络中各种软硬件资源的运行状态信息，如CPU利用率、网络吞吐率、邮件效劳是否正常等等，它们可以通过SNMP协议或者通过安装一些专业的状态监控产品获得.事件监控数据又分为异常检测日志和日常操作记录.异常检测日志主要自动化的网络防御设备产生的报警事件，如防火墙和入侵检测系统，它们是以流量数据、状态数据等原始监控数据为根底，通过规那么匹配和算法处理生成.日常操作记录各种网络效劳和应用在运行过程中获取的用户操作信息，如管理效劳器的用户登陆记录、域名效劳器的域名解析恳求记录等等.另外，也可以将网络破绽扫描数据和通过蜜罐获取的攻击者信息看作事件监控数据.网络平安分析人员在日常工作中还需要面对一些非监控型网络平安数据，如防火墙配置文件、网络路由表、病毒样本等.针对这些数据的可视化可以为分析人员提供多方面的帮助，如Nataraj将恶意软件样本可视化为灰度图像，并利用图像特征对样本进展分类.Mansmann等采用Sunburst图形将防火墙配置规那么树可视化，帮助管理员理解复杂的规那么和辅助调优.2主要研究方法与开展现状网络平安可视化的研究，首先是确定网络平安分析人员关心的问题，也就是有什么数据，需要从数据中获取什么信息;然后是设计可视化构造来表示数据，建立数据到可视化构造的映射;最后是设计缩放、聚焦、回放和关联更新等人机交互功能，完成人与可视化工具的交流，从而帮助分析人员观察网络平安数据中隐含的信息，进一步进步分析人员的感知、分析和理解网络平安问题的才能.无论是针对网络扫描、回绝效劳攻击、蠕虫传播等详细的网络入侵事件，还是针对网络监控、特征分析、态势感知等抽象的网络平安需求，面对不同的网络平安问题和数据源，设计不同的可视化构造和交互手段、采用不同的技术道路和分析思路，便可以形成不同的网络平安可视化研究方法.从网络平安分析人员的角度出发，按照从简单到复杂、从单一到整体、从低层到高层的思路，可以将人们关心的网络平安问题和网络平安可视化在网络平安中的应用分为5类：网络监控、异常检测、特征分析、关联分析和态势感知.本节将逐类介绍主要的网络平安可视化研究方法和开展现状，表2所示为常见的网络平安问题和主要的网络平安可视化研究方法结合情况的整体概览.2.1网络监控从各种网络监控设备获取的数据中理解网络运行状态是网络平安分析人员关注的最根本问题，也是网络优化、异常检测、态势感知的根底.可视化的网络监控主要研究是按照时间顺序，如何将主机和端口等监控对象、流量和事件等监控内容使用图形图像的方式表达出来，以帮助分析人员快速理解网络运行状态.主机是网络活动的主体，也是最重要的监控对象.在网络空间中，IP地址是主机的唯一标识，针对IP地址的非物理位置特性和分段特性，学者们尝试了多种方式来实现基于IP地址的网络监控.IPmatrix采用了二维坐标定位和颜色映射的方法监控某B类网络中发生的事件，如图2a所示，X和Y值构成的坐标确定IP地址，不同事件类型映射为不同的颜色，但是这种方法表示的IP地址空间有限.Quantree技术将正方形进展屡次四分后形成的512×512矩阵来表示4个字节的IPv4地址空间，图2b显示了基于该方法的IPv4全地址空间的流量监控，流量大小使用颜色编码;但其缺点是点阵太密集，不便于交互.Treemap在表示IP地址的分层特性时具有更好的交互性，如图2c所示，用户可以通过交互自由地查看分级汇总或细节信息，还能将其扩展到IPv6地址的表示.IP地址标识了主机，端口那么标识了不同的.网络应用，因此端口监控和主机监控有着同等重要的地位.PortVis用一个256×256的网格矩阵和颜色映射方法表示65536个端口的流量情况，如图2d所示，为防止过密的数据点的交互困难，系统还提供了区域选择和放大观察的交互方式.考虑到不同端口号区段的重要程度不同，可以将不太重要的端口号用较小的图元表示;如PortMatrix将网络端口号分为如图2e所示4类，其中100个连续的动态端口使用同一个方格表示.网络监控数据都具有时序特点，线条图、柱状图、堆叠图等适宜时序数据表示的根本统计图形在网络安全可视化中应用很广，图2f显