网络安全监控论文.doc

郑州航院信息统计职业学院毕业论文(设计)所学专业: 计算机应用姓 名:徐杰学 号: 110210144指导教师: 秦彦国1 1引言1.1 课题背景随着计算机及网络技术的日益发展，网站作为一种信息的载体，已经渗透到各个领域，在业务管理、电子政务、电子商务得到历广泛应用。无论是企业还是个人用户都可以不受空间、时间的限制，通过互联网，就可以进行业务管理和信息服务。目前，基于互联网的网站应用已经成为企业、政府和各种机构进行服务延伸和提高服务质量的重要手段。互联网技术（Internet/Intranet）也在企业和政府内部管理信息系统中广泛应用，如企业ERP管理系统、办公自动化系统（OA）以及各种业务管理系统，提供了企业内部的网站系统服务。所以，如何有效保障网站系统的服务质量是网站提供单位必须考虑的问题，而网站系统服务动态监控能够起到及时检测和报告网站状态的有效手段。随着网站系统复杂程度的提高，传统的依靠信息技术部门通过对系统相关部分（网络、应用程序和数据库）的检测和诊断不能适应预测服务缺陷、准确定位和快速响应的需求。1.2 网站安全管理的现状与需求目前，在网络应用不断深入和技术频繁升级的同时，非法访问、恶意攻击等安全威胁也在不断推陈出新，愈演愈烈。防火墙、VPN、IDS、防病毒、身份认证、数据加密、安全审计等安全防护和管理系统在网络中得到了广泛应用。从网络安全专业管理人员的角度来说，最直接的需求就是根据分类在统一的界面中监视网络中各种运行性能状态，获取相关数据信息、日志信息和报警信息等，并进行分类汇总、分析和审计；同时完成攻击事件报警、响应等功能。因此，用户的网络管理需要不断健全整体网络安全管理解决方案，从统一安全管理平台总体调控配置到多层面、分布式的安全系统，实现对各种网络安全资源的集中监控、策略管理、审计及多种安全功能模块之间的互动，从而有效简化网络安全管理工作，提升网络的安全水平和可用性、可控制性、可管理性。1.3 网络流量监控的引入网络安全管理体系中，流量监控和统计分析是整个管理的基础。流量检测主要目的是通过对网络数据进行实时连续的采集监测网络流量，对获得的流量数据进行统计计算，从而得到网络主要成分的性能指标。网络管理员根据流量数据就可以对网络主要成分进行性能分析管理，发现性能变化趋势，并分析出影响网络性能的因素及问题所在。此外，在网络流量异常的情况下，通过扩展的流量检测报警系统还可以向管理人员报警，及时发现故障加以处理。在网络流量检测的基础上，管理员还可对感兴趣的网络管理对象设置审查值范围及配置网络性能对象，监控实时轮询网络获取定义对象的当前值，若超出审查值的正常预定值则报警，协助管理员发现网络瓶颈，这样就能实现一定程度上的故障管理。而网络流量检测本身也涉及到安全管理方面的内容。由此可见，对于一个有效的网络安全管理系统来说，功能的实现都或多或少的依赖于流量信息的获取。因此网络流量信息的采集可以说是网络安全管理系统得以实现的核心基石。它的应用可以在一定程度上检测到入侵攻击，可以有效地帮助管理人员进行网络性能管理，并利用报警机制协助网管人员采取对应的安全策略与防护措施，从而减少入侵攻击所造成的损失。1.4 本文的目的与任务该网络流量监控及分析工具主要用途是通过实时连续地采集网络数据并对其进行统计，得到主要成分性能指标，结合网络流量的理论，通过统计出的性能指数观察网络状态，分析出网络变化趋势，找出影响网络性能的因素。本设计题目是教师自拟项目，前期任务主要是设计并完成系统的初步框架，实现网络数据的捕获，并解决相应问题，后期主要是通过一些API函数完成对各类数据信息的统计。网站系统动态监控包括以下几个方面的目标：1服务可用性监控（availability）检测； 2网站性能监控（service performance）检测； 3网站并发负载能力监控4网站运行监控数据分析和展现 包括的内容： 1. 网站流量指标：网站流量统计指标通常用来对网站效果进行评价。主要指标包括，独立访问者数量；重复访问者数量；页面浏览数；每个访问者的页面浏览数；某些具体文件或页面的统计指标，如页面显示次数、文件下载次数等。 2. 用户行为指标：用户行为指标主要反映用户是通过何种方式找到网站的、在网站上停留了多长时间、访问了那些页面等。主要的统计指标包括，用户来源网站，也叫引导网站；用户在网站的停留时间；用户所使用的搜索引擎及其关键词；在不同时段的用户访问量情况等。 3. 用户浏览网站的方式，包括，用户上网设备类型；用户浏览器的名称和版本；访问者电脑分辨率显示模式；用户所使用的操作系统名称和版本；用户所在地理区域分布状况等。4. 为求更全面更专业地分析网站的经营情况，在分析自己网站的访问情况之余，竞争者网站的相关情况也应该列入监控分析的范围之内。本项目-网站监控，是一个网站质量检测、服务缺陷报警、网站并发能力的独立监控系统。作为保障网站质量和提高服务水平的手段和工具，对网络的应用程序进行监控,从而将任何停止运转、故障或安全隐患的发生降至最低。1.5主要研究内容为实现上述的项目目标，需要进行下列工作：实现网站http协议的网络连接和数据传输功能，该功能为网站监控的基础功能2设计和建立动态监控服务描述数据结构，开发新建、修改、执行动态监控软件功能3设计和建立动态监控流程数据结构，开发录入、修改、动态监控流程执行功能4并发加载，监控网站的瞬时服务处理能力5在线定时网站动态监控和管理6被监控网站信息管理。内容过滤,对关键字进行报警或阻挡、日志查询与统计、报警日志查询、文件传输查询和控制、在线时间及上传下载流量管理报警、对浏览网页、Telnet、按系统分类详细控制、随时监控流量动态、多层次按权限个性化远程管理、日志压缩加密保存安全性，查询速度。本课题目标是根据互联网（TCP/IP）和应用协议HTTP对网站系统进行动态监控，设计满足动态监控、报警功能需求软件功能，通过网络技术、软件技术和数据库技术来开发一个具备上述功能系统。1.6论文（设计）的条件、步骤、方法及措施1.拟采用的研究方法：主要是通过网站TCP和HTTP应用协议对分析，设计动态监控服务和动态监控流程： 网站主要技术和应用研究 HTTP协议分析 动态监控和动态监控管理 动态监控数据存储和分析在需求分析的基础上，进行数据库，软件功能设计，并进行开发，调试。2.技术路线 采用关系数据库 SqlServer存储HTTP数据、用户管理，动态监控流程和管理信息 采用B/S网站模式，客户端采用IE浏览器，服务器接入采用IIS，方便用户使用和软件维护 采用 C+开发语言进行软件功能开发。3.试验方案及可行性分析：硬件环境：CPU：P4以上、内存至少1G、硬盘至少1G空间软件环境：操作系统：Windows Server、 DCS平台数据库: MS SQL Server4.项目工作计划： 网站应用和主流技术研究。(2008.122009.1) 设计网站动态监控的功能，(2009.1) 设计网站监控的数据结构，(2009.22008.3) 开发网站动态监控功能。(2009.4) 调整和毕业论文撰写。(2009.5)本人将在论文指导老师的帮助下，首先巩固和学习数据库SqlServer的设计、配置和应用，掌握网站、javascript语言。2 相关的概念与技术2.1 OSI参考模型与VC+的特点2.1.1 OSI参考模型开放系统互联参考模型OSI是由国际标准化组织ISO制定的标准化开放式的计算机网络层次结构模型,其结构如图1所示。可以看出，该结构共有七层，各层主要实现如下功能：（1）物理层，利用传输介质实现相邻节点间的物理连接，主要对机械、电气、功能和规程四个方面及信号传输速率方面进行规定；（2）数据链路层，完成管理数据的传输，提供差错检测和恢复，并且提供流量控制，最终实现向上一层提供无差错、高可靠性的传输链路；（3）网络层，执行路由算法和流量控制算法，完成数据分组传输，它是通信子网的最高层；（4）传输层，提供端到端的无差错传输，同时，它也提供属于局通信网络接口，比如SOCKET；（5）会话层，完成用户之间会话的组织、协调、分配用户名等；（6）表示层，解决数据格式问题，规定编码方式；（7）应用层，OSI的最高层，利用应用进程提供网络访问手段。图1 OSI参考模型2.1.2互联网（INTERNET,又译因特网、网际网）,即广域网、局域网及单机按照一定的通讯协议组成的国际计算机网络。互联网是指将两台计算机或者是两台以上的计算机终端、客户端、服务端通过计算机信息技术的手段互相联系起来的结果，人们可以与远在千里之外的朋友相互发送邮件、共同完成一项工作、共同娱乐。互联网始于1969年，是在ARPA（美国国防部研究计划署）制定的协定下将美国西南部的大学UCLA(加利福尼亚大学洛杉矶分校)、Stanford ResearchInstitute(史坦福大学研究学院)、UCSB(加利福尼亚大学)和UniversityofUtah(犹他州大学)）的四台主要的计算机连接起来。这个协定有剑桥大学的BBN和MA执行，在1969年12月开始联机。到1970年6月，MIT(麻省理工学院)、Harvard(哈佛大学)、BBN和SystemsDevelopmentCorpinSantaMonica(加州圣达莫尼卡系统发展公司)加入进来。到1972年1月，Stanford(史坦福大学)、MITsLincolnLabs(麻省理工学院的林肯实验室)、Carnegie-Mellon(卡内基梅隆大学)和Case-WesternReserveU加入进来。紧接着的几个月内NASA/Ames(国家航空和宇宙航行局)、Mitre、Burroughs、RAND(兰德公司)和theUofIllinois(伊利诺利州大学)也加入进来。之后越来越多的公司加入，无法在此一一列出。1968年，当参议员TedKennedy(特德.肯尼迪)听说BBN赢得了ARPA协定作为内部消息处理器（IMP）”，他向BBN发送贺电祝贺他们在赢得“内部消息处理器”协议中表现出的精神。互联网最初设计是为了能提供一个通讯网络，即使一些地点被核武器摧毁也能正常工作。如果大部分的直接通道不通，路由器就会指引通信信息经由中间路由器在网络中传播。最初的网络是给计算机专家、工程师和科学家用的。当时一点也不友好。那个时候还没有家庭和办公计算机，并且任何一个用它的人，无论是计算机专家、工程师还是科学家都不得不学习非常复杂的系统。以太网-大多数局域网的协议，出现在1974年，它是哈佛大学学生BobMetcalfe(鲍勃.麦特卡夫)在“信息包广播网”上的论文的副产品。这篇论文最初因为分析的不够而被学校驳回。后来他又加进一些因素，才被接受。由于TCP/IP体系结构的发展，互联网在七十年代迅速发展起来，这个体系结构最初是有BobKahn(鲍勃.卡恩)在BBN提出来的，然后由史坦福大学的Kahn(卡恩)和VintCerf(温特.瑟夫)和整个七十年代的其他人进一步发展完善。八十年代，DefenseDepartment(美国国防部)采用了这个结构，到1983年，整个世界普遍采用了这个体系结构。1978年，UUCP(UNIX和UNIX拷贝协议)在贝尔实验室被提出来。1979年，在UUCP的基础上新闻组网络系统发展起来。新闻组（集中某一主题的讨论组）紧跟着发展起来，它为在全世界范围内交换信息提供了一个新的方法。然而，新闻组并不认为是互联网的一部分，因为它并不共享TCP/IP协议，它连接着遍部世界的UNIX系统，并且很多互联网站点都充分地利用新闻组。新闻组是网络世界发展中的非常重大的一部分。2.1.3 Visual C+是功能最为强大可视化开发工具，它不仅支持传统的软件开发方法，更重要的是它能支持面向对象、可视化的开发风格。因此Visual C+又称作是一个集成开发工具，它提供了软件代码自动生成和可视化的资源编辑功能。Visual C+具有的优点：提供了面向对象的应用程序框架MFC（Microsoft Foundation Class）,简化了程序员的编程工作，提高了模块的可重用性；提供了基于CASE技术的可视化软件的自动生成和维护工具AppWizard、ClassWizard、Visual Studio、WizardBar等，实现了直观、可视的程序设计风格，方便地编和管理各种类，维护程序的源代码；封装了Windows的API函数、USER、KERNEL、GDI函数，简化了编程时创建、维护窗口的许多复杂的工作。1.1.2本程序中使用的VC+控件及其属性简介(1)CStatic(静态控件)：显示一些几乎固定不变的文字或图形描述。(2)CButton（按钮控件）：产生某些命令或改变某些选项设置。(3)CEdit（编辑框控件）：完成文字的输入输出双向操作，查看并编辑文字。(4)CListBox（列表框控件）：显示一个列表，让用户从中选取一个或多个项。(5)CComboBox（组合框）：将列表框和编辑框有机地组合在一起，可选择列表中已有的项，还可以编辑出新的项。1.1.3系统数据访问接口的选择Visual C+中可用的数据访问对象接口有三种：ODBC（Open Database Connectity,开发数据库连接）、DAO(Data Access Objects,数据访问对象)及OLE DB(OLE data Base，OLE数据库)。1ODBC（Open Database Connectity,开发数据库连接）ODBC提供了应用程序接口（API），使得任何一个数据库都可以通过ODBC驱动器与指定DBMC相联，用户的程序就可以通过调用ODBC驱动管理器中相应的驱动程序达到管理数据库的目的。作为Microsoft Windows Open Standards Architecture(WOSA,Windows开放式服务体系结构)的主要组成部分，ODBC一直沿用至今。2.DAO(Data Access Objects,数据访问对象)DAO 提供了一种通过程序代码创建和操纵数据库的机制。多个DAO 对象构成了一个体系结构，在这个结构里，各个DAO 对象协同工作，通过 Microsoft Jet 数据库访问数据库中的数据和数据库的结构定义。可以访问的数据库类型主要有：Microsoft Jet 数据库、ODBC 数据源、可安装的ISAM数据库。DAO 是我们可以通过程序访问和操纵本地的或远程的数据和数据定义，管理数据库中的对象或结构。DAO 支持两种不同的数据库环境称为工作区（Workspace）.Microsoft Jet Workspace 这是一种使用Microsoft Jet 数据库引擎来访问数据源的工作区。ODBC Direct Workspace 这是一种使用 ODBC Direct 来直接访问一个ODBC 数据源，并绕过Microsoft Jet 数据库引擎的工作区。可通过ODBC访问数据库服务器，而无须安装Microsoft Jet 数据库引擎。3OLE DB(OLE data Base，OLE数据库)。OLE DB试图提高一种统一的数据访问接口，并能处理除了标准的关系型数据库中的数据之外，还能处理包括邮件数据、Web上的文本或图形、目录服务（Directory Services），以及主机系统中的IMS和VSAM数据。OLE DB提供一个数据库编程COM（组件对象模型）接口，使得数据的使用者（应用程序）可以使用同样的方法访问各种数据，而不用考虑数据的具体存储地点、格式或类型。这个COM接口与ODBC相比，其健壮性和灵活性要高的多。但是，由于OLE DB的程序比较复杂，因而对于一般用户来说使用ODBC和DAO方式已能满足一般数据库处理的需要。3.总体设计3.1系统概述本系统采用客户机/服务器的运行方式，针对网站监控系统，同时考虑到开发成本和安全性的问题，本系统设计成为一个相对封闭的单用户运行系统。采用Microsoft SQL Server 2000 作为后台数据库，一般可以满足功能的需求。 系统的基本流程是：用户登录系统主控平台选择各项子系统。3.2系统模块“网站运行的动态监控系统”主要分为服务可用性监控、网站性能监控、网站并发负载能力监控、网站并发负载能力监控、网站运行监控数据分析共5个模块。系统主模块层次图如图1所示：网站运行的动态监控系统服务可用性监控网站性能监控网站并发负载能力监控网站运行监控数据分析现图 1网站运行的动态监控系统主模块层次图3.3 模块设计3.3.1服务可用性监控输入用户名和密码，如果用户名和密码正确，进入主控平台；网站动态监控系统主页。 3.3.2网站性能监控 用户行为指标：用户行为指标主要反映用户是通过何种方式找到网站的、在网站上停留了多长时间、访问了那些页面等。主要的统计指标包括，用户来源网站，也叫引导网站；用户在网站的停留时间；用户所使用的搜索引擎及其关键词；在不同时段的用户访问量情况等。 3.2.3 网站并发负载能力监控 用户浏览网站的方式，包括，用户上网设备类型；用户浏览器的名称和版本；访问者电脑分辨率显示模式；用户所使用的操作系统名称和版本；用户所在地理区域分布状况等。 3.3.4 网站运行监控数据分析为求更全面更专业地分析网站的经营情况，在分析自己网站的访问情况之余，竞争者网站的相关情况也应该列入监控分析的范围之内。本项目-网站监控，是一个网站质量检测、服务缺陷报警、网站并发能力的独立监控系统。作为保障网站质量和提高服务水平的手段和工具，对网络的应用程序进行监控,从而将任何停止运转、故障或安全隐患的发生降至最低。4.数据库设计与程序运行情况4.1数据库表结构实现4.1.1online数据库总结构图根据系统功能设计的要求及功能模块划分，对系统信息online数据库的总结构如下4.1.1主要信息数据ER结构图用户表Dcsuser监控服务表Service监控日志表DCSLOG监控报警表SMSLOG监控流程表FLOW流程节点表FLOW_ITEM节点连接表FLOW_ITEM_LINK4.1.2主要信息数据项与数据结构一、网站压力测试监控表：DCSLOAD字段名称类型说明vusernum数字压力测试并发数量vuser数字压力模拟用户编号transnum数字压力测试并发事务数量trans数字事务编号url字符串测试网站urltimespan数字秒recvlen接受数据长度status监控状态Red:错误 Green:正常 yellow:提示type监控类型contentBinary接受内容filenameText 并发内容存储文件名称memoText描述二、网站监控日志表：DCSLOG字段名称类型说明Userid数字用户标识usernameText用户名称serid数字监控服务标识sernameText监控服务名称categoryText监控类型dcsdateText监控时间statusText监控状态type_DCSTextDCS监控器IPText网站IPPORT数字网站端口URLText网站URL路径useriidsername2Text第三方监控器名称timespanText监控时间memoText说明online00数字一次监控online24数字每日监控三、网站监控用户表：DCSUSER字段名称类型说明Userid数字用户标识usernameText用户名称username2Text用户名称（英文）addrText用户地址linkmanText联系人linkphoneText联系电话zipText邮编usercodeText机构编码emailText邮件faxText传真statusText用户状态domainText经营领域logonidText登录名称logonpwText登录密码urlText公司网站imgText监控地图colorbgText监控背景颜色colortextText监控文字颜色三、监控服务配置表：SERVICE字段名称类型说明userid数字用户标识serid数字监控服务标识sernameText服务名称sername2Text第三方监控器名称committypeText确认模式（自动、手动）smsheadText报警短信头smsendText报警短信尾smsnumText报警手机号码smsperiodText报警周期lastsmsdateText上一次报警时间sercodeText服务编号dcsalertTextDCS报警smsretrytimeText短信从复报警间隔usernameText用户名称username2Text用户名称2smsnum2Text备用手机号码smsmanText手机人名称rplmanText回答人名称type_DCSTextDCS监控IPText网站IPPORTText端口URLText网站URL路径dcsperiodText监控间隔activeText服务状态patternText检测模版mailtoText报警邮件地址memoText说明HttpMethodText监控方法postopText监控显示位置topposleftText监控显示位置leftlinkurlTexttimelimitText监控最长时间sqldbText监控数据库名称sqlstmtText监控SQL语句flow_id数字监控流程标识三、监控短信邮件报警表：SMSLOG字段名称类型说明Userid数字用户标识serid数字监控服务标识smsdateText短信报警时间sernameText服务名称sernam2Text服务名称2smsmsgText短信内容smsidText短信IDsmscodeText短信回复CodeusernameText用户名称smsnumText手机号码smsstatusText发送状态mailstatusText邮件状态confirmText报警确认mailtoText邮件地址四、监控服务流程表：FLOW字段名称类型说明flow_id数字监控流程IDflow_nameText监控流程名flow_nameText监控流程名flow_imgText流程图片flow_dateText流程时间flow_desc备注流程备注flow_desc数字流程备注五、监控流程节点表：FLOW_ITEM字段名称类型说明flow_item_id数字流程节点IDflow_id数字流程IDflow_item_nameText流程节点名flow_item_typeText流程节点类型flow_item_xText流程节点xflow_item_yText流程节点yflow_item_statusText流程节点状态flow_item_dateText流程节点时间flow_item_logicText流程节点逻辑flow_