青海联通网站扫描与流量监测项目建议书20110610.doc

青海联通网站扫描与流量监测项目建议书青海联通网站扫描与流量监测项目建议书2011年06月目 录1.项目建设意义与必要性31.1项目背景31.2项目建设的必要性和建设原则32.建设方案及规模42.1建设目标42.2业务需求52.2.1与网络和业务规划相关的问题52.2.2与网络安全运营相关的问题62.3本期建设内容62.3.1本期工程建设方案62.3.2流量分析监控82.3.3网站监控83.建设规模及投资估算93.1投资估算94.进度计划95.经济效益分析与风险评估101. 项目建设意义与必要性1.1 项目背景随着互联网服务的普及，网络上各个环节的带宽越来越大。国际出口的带宽以及国内运营商之间互联带宽都在成指数趋势增长。一些大型城域网的出口带宽都超过了 10Gbps，电信级 IDC 的出口带宽很多也都超过 5Gbps。伴随着带宽的增加，网络上的应用和业务也不断的丰富，如基于流媒体的音视频服务，基于 MPLS 的 VPN 业务等等。与此同时，网络攻击的成本和技术门槛大幅下降，网络上的各种攻击和异常流量大量出现。在这种流量成分日益复杂，异常流量海量涌现的情况下，对网络流量进行深入分析从而全面了解流量的各种分布以及变化趋势就显得十分必要了。随着互联网的发展，网络信息安全监控技术日趋成熟。信息监控的处理能力逐步提升，由最初只能通过镜像方式监控局部的百兆、千兆线路，到目前可实现对10G链路的高效监控，建设投资规模也大幅度下降。1.2 项目建设的必要性和建设原则本项目的实施，有利于提升青海联通网络服务质量，预测网络流量发展趋势，为网络建设和网络维护提供可靠依据；为用户提供流畅、稳定、安全的网络环境。在流量分析方面，通过对流量的协议分析，可建立全网流量模型，基于流量模型，可实时监测网络流量状态，发现异常流量，预测流量增长趋势。对异常流量变化、设备流量负载情况发出报警信息。可在内容监测方面，从最初的仅仅通过关键字查询进行网站内容甄别，到目前通过IP协议分析技术的应用，对互联网网络层和应用层各类协议进行分析处理，可以实时完成数据报文的内容识别和检查；通过异常检测引擎实时报告DoS/DDoS攻击、发现蠕虫、飞客等病毒的网络流量。项目建设遵循互联网及网络信息安全行业标准，依据如下原则建设：1)保密性信息按给定要求不泄漏给非授权的个人、实体或过程，或提供其利用的特性，即杜绝有用信息泄漏给非授权个人或实体，强调有用信息只被授权对象使用的特征。2)技术主流性与先进性信息技术的发展十分迅速，在综合考虑性价比的前提下，及时了解新技术，使用主流的先进技术、设备和算法，使目标系统更先进、更完善。3)可扩展性考虑到系统将来的变化，系统应具有良好的扩展性。第一，在体系结构上应具有可伸缩性，以适应扩大业务范围和增加多种应用的需要，特别是系统硬件和软件应采用模块化的可扩展结构。第二，模块之间和本系统与外部系统之间通过标准接口交互。4)标准化系统的各个部分遵循相应的国际和国内标准。遵循这些标准使得各部分间的互用性更加便捷。系统支持标准的算法、消息格式和协议。5)易操作性 为了让信息安全管理操作员能在业务管理的应用中，充分利用本工程提供的功能，系统必须是易操作的和透明的，即操作员不需要了解其中的具体技术细节，通过WEB方式及应用程序提供的GUI界面就能实现应用系统需要的功能。6)可维护性系统具备良好的可维护性。系统的软、硬件系统都具有良好的模块化结构，保证系统设计的合理性，配置相关的管理手段。7)符合国家有关法律法规选用的产品符合国家的相关法律、法规。2. 建设方案及规模2.1 建设目标本期目标通过对中心机房和天桥机房的出口流量检测分析，达到以下目的： 建立全网流量模型掌握全网流量分布状况，各类应用流量分布状态，将流量按IP、时间、应用、方向等要素分类统计，建立贴近实际的网络流量模型，生成动态历史基线，预测流量增长趋势，作为后期网络建设、调整规划依据。 网络流量异常告警实时检测网络流量，对网络流量异常发出告警，及时通知运维人员。 监测网络攻击具备特征检测、异常检测两种异常检测引擎，可以监测到DDoS、缓冲区溢出、SQL 注入、暴力猜测、蠕虫、飞客、木马后门等、不正常路由等异常流量，并报警。 网站内容识别 网站备案情况的监督及管理。2.2 业务需求网络流量的复杂性给网络的运营维护带来了巨大挑战，运维人员通常关心的问题包括两大类，一类是与网络和业务规划相关的问题，即关于网络流量成分组成以及地域分布的情况。另一类是与网络安全运营相关的问题，即关于异常流量的种类和数量、来源等情况。流量分析的目的就是解决运维人员这两个方面的问题。2.2.1 与网络和业务规划相关的问题 与网络和业务规划相关的问题基本是围绕三个方面的内容：流量的来源与去向、流量的组成成分、流量的变化趋势。例如：l 从子网 A 到子网 B 的流量是多少？ l 各个子网间的流量是否平衡？ l 网络出口的流入流出流量是多少？ l 上联电路的负载是否均衡？ l 过去几个月的流量变化趋势如何？网络带宽是否足够？预计什么时候需要扩容？ l 内部网络到外部各个地方的流量的比率？2.2.2 与网络安全运营相关的问题对骨干网的安全运营最大的威胁来自各种异常流量和攻击。因此与安全运营相关的问题大都是围绕异常流量展开的。运维人员最关心的问题有：l 谁在访问我们的网络，是否属于攻击？ l 异常流量有多大？都是什么类型的攻击？ l 攻击流量的来源是哪里？ l 网络内部哪些流量被攻击？ l 网络内部是否有向外的攻击流量？2.3 本期建设内容2.3.1 本期工程建设方案通过分光采集中心机房和天桥机房的10G出口光纤，分光器输出的流量经10G分流设备以多个千兆口输出到多台流量分析器，流量分析器完成流量的IP协议分析；网站扫描服务器通过爬虫系统抓取分析目标网段内网站的内容。统计服务器和策略服务器根据分析、扫描结果进行深度分析，生成全网流量模型、各种类型的流量统计、给出流量发展趋势等，并调度报警中心。网络结构图如下：本期项目需要配置以下设备：1、10G分流器对进出口流量的10G光纤输入，分流为多个千兆端口输出到流量分析设备。2、流量分析器对流量进行IP协议分析，安装有异常监测引擎。3、扫描服务器爬虫服务器，用于扫描指定网段的站点。4、统计服务器在对基础分析、扫描数据进行深层次加工，形成各类基线、报表等5、策略服务器业务策略、流量模型等6、网管服务器安装系统网管服务。2.3.2 流量分析监控通过分光器，将10G网络流量引入分流器，分流成多个千兆端口作为流量分析器的数据源。多台流量分析器以群组方式工作，对网络流量进行IP协议分析，内置两种模式的异常流量监测引擎（特征模式、异常模式）、并可基于L3L7层的信息匹配和过滤；实时统计流量，流量最小颗粒度（源IP，目的IP，协议，端口，分钟）。基于历史流量统计，生成动态流量基线。流量基线包括：1） 一天当中忙时、闲时、正常时段流量基线、各种节假日各时段流量基线、周流量基线、月流量基线；2） 上、下行流量基线、基于物理端口的流量基线、基于地理位置的流量基线、基于IP/IP网段的流量基线；3） 基于应用的流量基线：P2P、HTTP、WAP、FTP、SIP、IM（QQ、MSN等）、POP3等各类常见网络应用；4） 自定义的网络流量基线；根据基线分类，在实时流量偏离基线上下浮动范围时，发出告警，并提供详细的流量分析结果和对应基线值。生成各类流量报告：全网流量变化及趋势报告、全网应用流量变化及趋势报告、网站访问量排名报告、网络带宽使用情况报告、网络异常监测报告等。2.3.3 网站监控网站监控通过采用爬虫技术定期抓取网站内容进行分析达到监测目的。主要由安装爬虫搜索软件的服务器构成，它需要借助DNS日志信息 （采集DNS服务器镜像流量或DNS系统开放反查接口），根据目标网段/主机的IP地址反查出网站域名，并以此作为关联搜索的入口抓取网站信息内容，从而实现对信息内容的检查。根据需要建立所关注的“主题”（如网络淫秽色情、网络赌博等），并为主题配置关键字、权重等内容筛选参数。采用WEB爬虫技术，对接入的网站的所有页面进行自动浏览，并定期进行重复检查，并记录网页内容。采用搜索引擎技术，按照设定的“主题”对网页内容进行检查，对于匹配的网页进行快照保存，并纳入“疑似网页”名单，供管理员甄别。所有信息均保存供以后查询检索。建立完善的工作流程，对发现的非法信息纳入流程，形成闭环管理。其中，初始URL要支持以下三种导入方