《流量监控安全技术研究》开题汇报报告

中国移动通信有限公司 承担部门：研究院 2010年 5月 课题名称：流量监控安全技术研究 项目类型： 联合项目 一、项目信息 课题名称 流量监控安全技术研究 课题分类 网络与信息安全 主题词 流量工程、防 DDOS攻击、 DNS防护、流量清洗 课题预计开始时间 2010年 4月 预计结束时间 2010年 11月 立项经费、预算 无 项目负责人 何申 项目参与人 吕强、邹生根、刘晟 二、立项背景和意义 TCP/IP TCP/IP TCP/IP TCP/IP TCP/IP TCP/IP TCP/IP TCP/IP TCP/IP 调研市场，技术积累 对主流的流量清洗产品、 IPS和基于安全分析的 DPI产品进行了测试，测试结果基本反映了现有产品可以提供的技术能力和主要功能特点 研究方案，技术支撑 研究了流量清洗产品、基于安全监控的 DPI产品和基于协议的攻击控制产品与流量控制产品共组网的解决方案。提出了 DDoS过滤后流量基于应用协议染色分流，进行细粒度安全控制的方案，并进行了实验室验证。 异常流量研究 去年年底至今年初，为缓解 CMNET互联出口带宽占用较高的情况，分析出入口流量占比情况，在集团 CMNET互联出口处引入了流控设备。该设备性能优越，对应用协议分析准确。但该设备并非安全控制设备，难以满足对DDoS攻击的控制和蠕虫木马等互联网攻击的监控。为此，研究院开展了本次测试，针对目前主流的流量清洗设备、 IPS和基于安全分析的 DPI产品的情况进行调研和技术储备，另一方面，研究院开展了在流控设备与安全控制设备共组网的方案研究，目前该方案针对 CMNET网络环境，旨在更好的发挥现有流控产品技术能力下，提高安全管控和能力，并提出相应的方案作为支撑。 二、立项背景和意义 本期流量监控的目标 异常流量 异常流量即有异于正常的流量 拒绝服务攻击 正常流量超限 蠕虫 协议栈攻击 木马和僵尸网络 入侵 行为发现 特征发现 1、调度之前不知道是攻击 2、基线或称统计判定 3、无明显数据报文特征 4、需要流量调度 1、检测之后就知道是攻击 2、指纹或称特征判定 3、有明显数据报文特征 4、不需要流量调度 1980年 Hawkins给出了一种对异常的本质性的定义：异常是在数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制 。 X 从本质上讲，攻击特征发现不是异常检测，但所发现的流量是异常流量 由于异常流量尽可能出现在开放网络或非轻载网络，因此重点关注 CMNET 二、立项背景和意义 本期重点关注的异常流量影响 DDOS分布式攻击的背景 DDOS攻击的危害及防护意义 DDoS也就是分布式拒绝服务攻击。它使用与普通的拒绝服务攻击同样的方法，但是发起攻击的源是多个。通常攻击者使用下载的工具渗透无保护的主机，当获得该主机的适当的访问权限后，攻击者在主机中安装软件的服务或进程（以下简称代理）。这些代理保持睡眠状态，直到从它们的主控端得到指令，对指定的目标发起拒绝服务攻击。 随着危害力极强的黑客工具的广泛传播使用，分布式拒绝服务攻击可以同时对一个目标发起几千个攻击。 DDoS攻击特点是 :毁灭性大、破坏性强。为了最大程度避免 Ddos对现网造成的影响，本项目从 DDos原理研究、 DDos防止、 DDos应对等多方面进行研究，并通过流量清洗方式进行防 DDOS，为确保网络安全提供更加稳定的系统保障。 立项背景及意义 二、立项背景和意义 本期重点关注的异常流量影响 DNS保护的背景 DNS保护意义 DNS作为 INTERNET架构中一个关键的组成部分，其性能和安全性对互联网的应用都至关重要。如何在确保其性能的前提下 ,更全面的提升 DNS系统的安全等级成为一个关键的课题。 DNS存在三大诟病： 拒绝服务攻击影响恶劣 DNS投毒和欺骗用户角度无法防御 DNS安全性与可用性存在对立 DNS防护问题一直以来受到广泛的关注，从 08年 DNS投毒漏洞的提出和 09年暴风影音和 10年百度被黑等事件爆发以来， DNS的保护问题是摆在运营商面前的重要研究课题。 DNS问题不是用户可以通过自身安全防护解决的问题，必须由运营商研究解决。 立项背景及意义 三、课题研究目标 总体 分析 CMNET网络异常流量分类特点和管控需求，从而设计 CMNET包括互联出口、大区节点、省骨干出入口、城域地市节点和接入节点各层次的异常流量管控方案 从运营角度对 CNMET网络流量安全管控的 关键技术 进行研究，提出针对 DDoS安全防护、 DNS业务系统防护、僵木蠕检测和防护等各类安全防护方案，实现对网络流量的合理管控，保护现有投资。 系统的研究 CMNET流量调度、控制和监控策略以及实现方案，提出适合中国移动的 部署方案， 实现网络流量的可管、可控，并为中国移动建立统一安全态势分析管控平台做好技术储备。 提交创新性发明专利申请，体现本项目的自主研发和自主 知识产权 以北京、四川现网为实例，开展重点 IDC保障、企业客户和 DNS的安全防护 试验 ， 为现网的实施提供实际依据 三、课题研究目标 DDoS安全防护 研究目标 防 DDOS攻击软课题研究 DDOS攻击流量调度研究 探讨 DDoS攻击在不同网络层面的检测、调度和处理方法，为基于标记的流量调度与牵引回注式的局域调度融合提供解决方案。 DDOS攻击原理研究 研究 DDOS攻击的原理、检测、现有防护技术和手段 清洗、检测 在攻击的响应方面 ,提出基于流量清洗的方式进行防 DDOS攻击，并就清洗、检测等提出解决方案 流量清洗解决方案 采用旁路检测、异常流量甄别、流量牵引、负载均衡、多级甄别等方式的 DDoS 攻击流量清洗解决方案 四、课题研究主要内容 现网异常流量监控体系 感知、监控、分析和处置 流量调度策略 防护思路 现网实施研究 创新点挖掘 1、场景分析，包括分省份、分大区分用户 2、防护纵深分析，包括攻击路径，防护层次等 3、流量调度和部署策略分析 1、 DDoS安全防护的思路和方案选择比较 2、 DNS安全防护和监控方法研究 3、僵木蠕检测和现网控制方式研究 1、实现流量清洗接入现网系统，研究 SOC和EMOS接口 2、研究并调试异常流量与流控设备的指令接口 3、实验和现网试点支撑 1、一种基于标记进行异常流量控制的技术方案 2、一种旁路DNS监控和防护方法 3、基于单向特征检测的异常流量识别方法 五、研究总体框架 Internet WLAN 3G/LTE LAN PO N 个人 客户 家庭 客户 集团 客户 BRAS GGSN DPI设备 接入层 承载层 终端 流控 Web Cache CDN 流量清洗 不良信息 僵尸 /木马 流控 彩信计费 应用层 P2P Cache 流控 云安全平台 蜜网系统 客户安全组 8 U DPI 检测中心 8 U 清洗中心 管理中心 DNSserver DNS安全检测设备 DNS安全 控制接口 研究 CMNET流量模型，基线定义方法，流控设备和清洗设备之间关系，流量调度模型，DNS安全防护方法等。 对中国移动现有业务场景分类分析，收集整理需求，并相应提出部署建议。 六、主要技术方案和关键技术 -旁路 DFI+牵引部署方案示意 适于解决大流量攻击 粗粒度检测 节省成本 Netflow-based检测中心可复用 I n t e r n e t1 8 U 清 洗 中 心3 U N e t F l o w 检 测 中 心管 理 中 心存 储 组攻 击 包 数 据清 洗 前 流 量正 常 数 据 包清 洗 后 流 量六、主要技术方案和关键技术 -旁路 DPI+牵引部署方案示意 适于解决小流量攻击 较细粒度检测 有一定光衰影响 与既有的宽广设备有一定的功能交叉 放在现有出入口方案中处在多次解数据包的重复工作 P S 域8 U D P I 检 测 中 心8 U 清 洗 中 心企 业 用 户管 理 中 心I D C引 流 - 回 注分 光 / 镜像C o r e六、主要技术方案和关键技术 -直路 DPI控制部署方案示意 适于解决小流量攻击 较细粒度检测 全流量串入骨干网络风险较高 与既有的宽广设备有一定的功能交叉 放在现有出入口方案中处在多次解数据包的重复工作 I n t e r n e t2 0 U 2 0 U防 火 墙 + N A TP S 域清 洗 前 流 量清 洗 后 流 量六、主要技术方案和关键技术 标记调度单向检测部署方案示意 流 控 设 备依 据 分 类打 标 签A 类 应 用 清 洗P S 域企 业 用 户I D CD D o S 流量 清 洗I n t e r n e tD P I 监 测B 类 应 用 清 洗C 类 应 用 清 洗D 类 应 用 清 洗单向检测存在的弊端： 路由器上旁挂的某些设备需要双向流量才能进行 更准确的判断。例如 IPS产品，为满足此类产品 的需求，有必要使流量从原路返回 安全设备 安全设备 1）下游增加流控设备 2）路由器换为四层交机 依据端口号 区分业务并分流 3）启动路由器端口镜像 在路由器的 上下游端口， 对源 /目的 IP， 以及 port进行 hash，根据 hash值确定 回来的流量 发往哪个端 口。 3） EtherChannel 1）判断准确但增加 网元，增加投资 2）判断较准，无需增 加网元但需增加投资 3）回流准确但需增加 路由器端口，增加安全 设备处理能力 4）无需增加网元，无 需增加安全设备处理能 力，判断较准 全流量镜像 安全设备 六、主要技术方案和关键技术 标记调度单向检测部署方案示意 六、主要技术方案和关键技术 场景分析 一级应用场景 二级应用场景 骨干层，互联出口，安全级别最高级，流量检测及清洗设备要求大颗粒、高精度，高性能； 大区级省网出口、城域网出口，安全级别较高，流量检测及清洗设备要求大颗粒、高精度，高性能； 直辖市及普通省网出口，安全级别一般，流控及清洗设备精度及处理能力要求低于前两种场景； 分大区 分地市 安全级别 防 DDos攻击四种典型应用场景 三级应用场景 四级应用场景 互联点 直辖市 地市级出口，安全级别一般，可以按需考虑部署流控及清洗设备； 防 DDOS攻击 五种关键元素 六、主要技术方案和关键技术 DNS异常旁路检测方案示意 比对模型工作流程： 第一步： 建立单位时间域名请求 IP对应域名请求最大次数变量关系模型，并自劢更新。 第二步： 当某时刻网络中对 DNS发起的域名请求次数骤增达到设定门限，此时 DNS处于高负荷工作状态。 第三步： DNS自劢启用劢态僵尸攻击防护策略：将该时刻域名请求量超过模型 2倍以上的 IP列入劢态僵尸 IP名单，并登陆防火墙执行 IP封堵。 第四步： 当网络中域名请求次数减少到安全值以内，自劢登陆防火墙对劢态僵尸 IP的屏蔽予以取消，流程闭环。 六、主要技术方案和关键技术 DNS防护流程示意 域名解析验证： 第一步： 采集用户请求域名的返回值。 第二步： 将返回值与域名策略库的标准值进行比对。 第三步： 发现异常则实时告警。 第四步： 系统登陆 DNS服务器执行一个恢复 DNS缓存数据的脚本，恢复 DNS正确配置数据。 外部攻击封堵： 第一步： 采集域名请求用户的 IP。 第二步： 将用户 IP与僵尸主机库的 IP进行比对。 第三步： 发现用户 IP为僵尸主机则实时告警。 第四步： 系统通过防火墙接口对该 IP实现阻断。 亲情问候： 第一步： 采集用户请求的域名。 第二步： 将用户请求域名与钓鱼网站库进行比对。 第三步： 发现用户请求的为钓鱼网站则实时告警。 第四步： 与 DNS服务器联劢提示用户，反馈用户警示信息。 六、主要技术方案和关键技术 统一的安全监控平台架构 安全态势特征数据库 统一安全策略控制平台 IP信誉 数据包特征 用户行为特征 网络行为特征 待检测数据特征 统一安全态势分析平台 安全态势评价模型 事件趋势预测模型 Internet WLAN 3G/LTE LAN PO N 个人 客户 家庭 客户 集团 客户 BRAS GGSN DPI设备 接入层 承载层 终端 流控 Web Cache CDN 流量清洗 不良信息 僵尸 /木马 流控 彩信计费 应用层 P2P Cache 流控 云安全平台 蜜网系统 客户安全组 AD攻防平台 FW IPS IDS Security Client 网络用户行为分析平台 全网控制策略部署平台 接受控制策略 上报安全态势 接受用户模板 六、主要技术方案和关键技术 统一的安全监控平台理念 多 点感知，多层感知是面对未来复杂安全环境的重要技术特征。 通过对终端、接入、承载和应用部署分布式感知点，感知网络行为、应用内容和用户行为等多层信息，达到网络和信息安全的全面监控。 多 点控制，多级控制是未来多网融合电信运营商复杂网络控制技术的发展方向。 通过在网络侧出入口等集中位置和终端侧可控软件模块部署分布式控制点，可以达到安全控制策略精细化和防御纵深一体化，完成全网监控。 一 点决策，一处维护是降低网络 OPEX和加强网络集中管控的重要举措。 通过在网络侧统一部署安全态势分析和策略控制平台，可以达到全网安全状态和趋势准确呈现和预测，安全策略及时下发，完成全网态势监控。 用户行为 应用内容 网络行为 流量清洗 不良信息 僵尸 /木马 流控 云安全平台 蜜网系统 AD攻防平台 感知 控制 客户安全组 各模块现状 各模块演进 流控 调度 &染色 先验感知 云安全平台 AD攻防平台 蜜网系统 态势感知 流量控制 流量清洗 不良信息 僵尸 /木马 客户安全组 对流量染色，各模块按照染色选取流量 七、项目的难点 基于标记流量和 DFI/DPI检测牵引流量的统一处理 对第二级及以下清洗层使用 DFI/DPI检测牵引流量时存在清洗设备同时接受标记流量和牵引流量的问题 第二级及以下清洗设备与互联出口流控设备协同存在难点，其原因在于流量路径的不可预期 清洗设备各层面间容量估计存在难点 攻击源和路径不能准确预估 需要研究采用统计方法和路径调整方法各自的优劣 需要依据省份特点，包括是否直辖市，是否有地市，是否是互联出入口和是否是安全重点考察省份等情况分大区考虑流量模型 单向报文特征检测与双向特征的技术差异比较 目前安全产品几乎均采用双向特征识别，如何推动市场转型 研究保证数据报文通过路径的方法 集中监控的权限控制和链路安全性保障 保证命令消息的准确性 跨公网提交信息保证消息的机密性 消息传递的协议选择和设计 七、项目的难点 DNS防护难点 该系统有几个核心的组成部分： 1. 域名策略库，它会对用户的每一次访问请求加以分析，判断 DNS返回的结果是否与策略库的内容一致，策略库更新的及时性和可靠性是系统准确运行的支撑； 2. 僵尸主机库，该库可由工信部等部门获得僵尸主机 IP列表后形成，对于库中 IP的访问请求实施阻断，僵尸库更新的及时性和可靠性是系统准确运行的支撑； 3. 建立单位时间域名请求最大次数关系模型，一旦某 IP的访问请求在单位时间内超出门限后，即将其加入僵尸主机库中，待其访问恢复正常后，从僵尸主机库中删除。 策略验证 模型比对 僵尸 主机库 DNS系统 针对 DNS系统更全面更深入的保护 八、本课题的创新点和专利点 待挖掘的专利点 1、一种基于标记进行异常流量控制的技术方案 2、一种旁路 DNS监控和防护方法 3、基于单向特征检测的异常流量识别方法 本课题的主要创新点 1、通过流量标记对现网流量进行染色，从而实现异常流量防控的纵深提高 2、 DNS防护的旁路检测具备以下优势 性能影响较小 保证实时性和准确性 具备模型化特点 可以及时屏蔽请求地址 九、与本课题有关的研究工作积累和已取得的研究成果 -基于染色的流量调度方案实验情况 B r e a k i n g P o i n t E l i t e异 常 流 量 清 洗 系 统终 端服 务 器1 0 G b 光 纤B r e a k i n g P o i n t E l i t e异 常 流 量 清 洗 系 统D P I路 由 器终 端服 务 器BPS 10G光纤 异常流量清洗系统 终端 被访问服务器 BPS DPI 异常流量清洗系统 路由器 被访问服务器 终端 异常流量清洗系统测试拓扑 异常流量清洗系统与流控系统共组网测试拓扑 九、与本课题有关的研究工作积累和已取得的研究成果 -防 DDoS在北京公司已经搭建的测试环境 九、与本课题有关的研究工作积累和已取得的研究成果 DNS防护在四川省已取得初步效果 目前该系统正处于测试阶段，全部功能完成并正式上线，预计还需要约 2个月的时间。 十、项目输出成果 CMNET全网异常流量防护方案研究报告 CMNET互联互通出口异常流量防护方案 省网异常流量防护指导方案 流控设备与异常流量清洗设备互操作方案 省公司异常流量现网调研报告 CMNET全网异常流量部署总体方案 DNS防护系统部署方案研究 设备规范和测试规范制定 中国移动异常流量清洗设备技术规范 中国移动恶意代码检测设备技术规范 中国移动异常流量清洗设备测试规范 中国移动恶意代码检测设备测试规范 中国移动异常流量设备与流控设备接口规范 DNS防护系统技术规范 DNS防护系统测试规范 试验报告 中国移动异常流量测试报告 中国移动恶意代码检测测试报告 互联互通接口染色方案验证报告 十一、项目研究实施计划 时间 工作计划 2009年 3月 项目启动 2009年 4 5月 分场景研究异常流量控制方案 研究基于标记的流量控制方案和相关接口研究 研究流量牵引方案的维护改进 DNS防护系统需求说明书编制和方案研究 2009年 6 7月 研究多层流量管控的技术思路 研究多安全产品共组网流量