NetEye NTARS异常流量分析与响应系统技术白皮书.doc

沈阳东软软件股份有限公司1 NetEye NTARS 异常流量分析与响应系统 技术白皮书 沈阳东软软件股份有限公司沈阳东软软件股份有限公司 沈阳东软软件股份有限公司2 目 录 一一 应用背景应用背景 3 3 二二 系统组成及功能系统组成及功能 5 5 2 1 系统工作原理 5 2 2 系统组成 6 2 3 分析引擎工作原理 7 2 4 响应系统 8 三三 主要功能特性主要功能特性 9 9 3 1 主要功能 9 3 1 1 异常流量实时分析 9 3 1 2 流量趋势预警 10 3 1 3 攻击检测 11 3 1 3 垃圾邮件检测 12 3 1 3 病毒检测 13 3 1 4 通信行为分析 14 3 1 5 通信服务质量实时监控 14 3 1 6 攻击实时响应 15 3 1 7 网络信息审计 15 3 2 产品特性 16 四四 典型部署典型部署及及应用应用 1919 五五 产品规格产品规格 2121 沈阳东软软件股份有限公司3 一一 应用背景应用背景 大型网络骨干网的关键是保证网络的运行质量 如何提高骨干网络的可用 性 最大化地保证骨干网络的可控性和有效性 已经成为政府机构 企业 服 务提供商 数据中心等进行网络安全建设时的重点和难点 对于作为整体网络 骨干的干线网而言 整个管理层面更为关注的不是单个的简单攻击 而是那些 针对性很强的旨在破坏网络骨干和整体业务运营的异常网络行为 各种异常流 量行为对网络骨干的充斥 极大地增加了网络资源的压力 过多消耗了网络资 源 在很大程度上影响到正常业务的运行 严重时 这些异常网络行为会造成 网络瘫痪 正常业务的中断 而技术的限制 基础设施的复杂性和操作的现实情况总是难以满足与日俱 增的需求 现在 DoS DDoS 攻击 大规模爆发的蠕虫病毒 大量的垃圾邮件 肆意泛滥的 P2P 下载和各类 P2P 视频 语音应用等各种异常网络行为的流量 对 网络资源 网络安全的影响是巨大的 一方面占用带宽资源使网络拥塞 造成 网络丢包 时延增大 严重时导致网络不可用 同时还占用网络设备系统资源 CPU 内存等 使网络不能提供正常的服务 异常网络行为严重影响到整 个网络的效率和性能 进而造成全部网络瘫痪 现有的防火墙 入侵检测 协议分析器等安全设备都无法很好地解决骨干 网络的异常流量 这些现有的安全设备不能有效的检测和处理异常流量和攻击 并且都不能识别新型及其变种 DoS 攻击和蠕虫 因而不能及时发现新型攻击 异常流量的增多导致网络质量进一步恶化 另一方面对于在网内传播的异常流 量和攻击也不能快速准确定位 通常解决这些威胁需要人工干预进行诊断 检测 修复 而缺乏对于异常 流量的主动检测能力 使得保障网络运行质量的工作变成很被动和费时 需要 一种更好的工具检测网络流量 提供优良的网络性能和可用性 NetEye Ntars 即是针对这类需求而推出的针对性解决方案 可以协助管理员有效解决骨干网 沈阳东软软件股份有限公司4 络中急需解决的安全问题 DoS DDoS 攻击 蠕虫与病毒 垃圾邮件 漏洞隐 患 网络滥用等 NetEye Ntars 主要用于骨干网络的监控检测和分析 通过对骨干网络流量 信息或系统信息的收集 采用多种方法进行分析 检测 实时监控 检测骨干 网络中 DoS DDoS 攻击 蠕虫病毒 垃圾邮件及其他网络异常事件 提取异常 特征 并启动报警和响应系统进行过滤 阻断和防御 同时 面向管理员提供 流量分布 流量排名 攻击来源和目标 应用层服务等各类关于骨干网络运行 状况的统计分析数据 从而有效帮助管理员更好地监控和掌握骨干网络的使用 情况 NetEye Ntars 可以快速定位网络服务质量显著下降的问题所在 并通过及 时的响应协助管理员解决造成网络异常的安全问题 从而最大化地提高骨干网 络的运行质量 沈阳东软软件股份有限公司5 二二 系统组成及系统组成及功能功能 2 1 系统工作原理系统工作原理 IDS 防火墙依赖已知的特征库来识别网络攻击 这种方法在检测某些特征 明确的攻击时简单有效 但对于新型和变种的攻击是无效的 而对蠕虫病毒 Dos DDos 等引起的大量流量难以和正常业务流量相区分 为了解决上述安全 难题 同时也为了增强检测准确性 降低误报率 Ntars 系统针对不同的攻击 采用分类检测技术 使用异常检测法检测拒绝服务攻击 蠕虫爆发等异常流量 使用特征检测特征明确的攻击 使用杀毒引擎来检测病毒 蠕虫 木马等恶意 文件的传播 使用增强的贝叶斯等算法检测垃圾邮件 从而实现准确 全面的 检测各种攻击行为 NetEye Ntars 采用旁路接入的方式进行部署 接收各种网络设备的 Flow 数 据 SNMP 信息 原始数据包 BGP 路由等不同层面的流量 采用独创的 ICA Integrate Check Architecture 集成检测体系将这些数据源有机地结合起 来 全方位检测网络异常和网络攻击 和依赖已知攻击特征库检测方法不同 基于 Flow 数据对网络异常通信的检测 重点防范已知或未知的 DDoS 攻击和 大范围的蠕虫病毒发作 基于 Flow 数据的异常检测系统通过与正常网络行为 比较其偏差来检测是否异常 因此任何对网络流量产生影响的攻击 无论是已 知的还是新生的 都可以检测到 系统发现攻击和网络异常 根据攻击发生的主要地址 配合独创的地址定 位技术 准确定位问题点到设备物理接口层面 系统可以进行多种方式的报警 并启动响应系统 如 NetEye 防火墙 IPS Cisco 路由器等添加规则 这些 设备根据添加的策略规则 阻断当前网络中的攻击行为 响应系统作为 NetEye Ntars 解决方案的主要防御单元 严格执行 NetEye 分析引擎下发的安全策略 对攻击和网络异常进行快速响应 并定期反馈策略执行的结果 响应系统根据 相应策略 对 DoS DDoS 攻击 蠕虫与病毒攻击 垃圾邮件 非法访问等进行 沈阳东软软件股份有限公司6 过滤 阻断和防御 分析引擎把相应统计分析数据汇总到数据中心 备份存储 面向管理员 提供针对流量趋势 网络状况 事件报告等的网络信息审计 管理控制中心作 为统一的用户管理接口 提供灵活易用的操作界面 方便用户进行事件定义 策略配置 数据查询 安全监控 流量分析和审计等管理操作 提供丰富的事 件处理接口 可以分类和统计来自各种系统和设备的事件 以便综合了解所有 攻击行为 提供强有力的全面安全防御 有效保护业务的正常运作 SNMP PollingSPAN Polling 审计查询审计查询 报表报表 趋势分析趋势分析 统计分析统计分析 分析分析 引擎引擎 响应响应 处理处理 防火墙防火墙 黑洞路由黑洞路由 入侵防御系统入侵防御系统 Flow RawPacket BGP SNMP 异常分析异常分析 攻击检测攻击检测 垃圾邮件检测垃圾邮件检测 病毒蠕虫检测病毒蠕虫检测 流量排名流量排名 网络审计网络审计 协议分析协议分析 内容恢复内容恢复 应用审计应用审计 安全性安全性性能性能网络质量网络质量可用性可用性 系统系统 效益效益 系统原理图系统原理图 数据数据 输入输入 实时报警实时报警 Syslog SNMPTrap Email 地址定位地址定位 拓朴分析拓朴分析 ICA 2 2 系统组成系统组成 NetEye Ntars 主要包括分析引擎和管理控制中心 1 分析引擎 分析引擎 Ntars 分析引擎负责从骨干网络中采集 Flow 数据 SNMP 信息 原始数据 包 BGP 路由这些不同层面的网络流量信息 通过准确的监控检测分析 形成 沈阳东软软件股份有限公司7 流量摘要和流量事件 自动追溯攻击源 提交流量分析 攻击检测报告和阻断 策略 报警并启动响应系统 2 管理控制中心 管理控制中心 管理控制中心作为面向多个 Ntars 分析引擎和响应系统 提供灵活的事件 定义 策略调整 数据汇总和查询 安全监控 流量分析 预警防御 流量审 计等的集中管理和控制 2 3 分析引擎工作原理分析引擎工作原理 为避免单个故障点以及线路吞吐速率的降低对整个网络系统的可用性和稳 定性影响 充分保证网络骨干作为干线网络的高可用性要求 Ntars 分析引擎主 要采用旁路接入的方式进行部署 对多种数据源进行分析 检测 NetEye Ntars 基于 Flow 的流量分析技术 支持各种主流 flow 格式及其多种 版本 Cisco Netflow 支持最新的 v9 Juniper cflowd sFlow 华为 Netstream 的信息采集 NetFlow 能够将网络设备 路由器 交换机 上的数据流的源 目的 IP 地址 源 目的端口 传输协议类型 服务类型 输入接口 数据包数 数据 传输字节数等信息传输到 Ntars 上进行分析 NetFlow 已经被大多数的网络设备 支持 成为事实上的业内标准 其新版本 NetFlow V9 目前正在 IETF 以 IPFIX 的名称进行标准化 路由器打开 MPLS 功能后 将只能发送 Netflow V9 格式的 数据 Ntars 支持 Netflow V9 从而实现了对 MPLS 业务的支持 基于 SNMP 的流量信息采集 通过提取网络设备提供的 MIB 管理对象信 息库 收集设备及流量信息 通过 SNMP 的方式可以获取网络设备和系统的各 接口出入流量 数据包数等信息 还可以获取设备描述 IOS 版本 接口描述 CPU 内存使用率等设备详细信息和性能信息 系统还通过路由器 交换机等网络设备的端口镜像 实现网络流量的无损复 制和镜像采集 和其它流量采集方式相比 流量镜像采集的最大特点是能够提 供丰富的应用层信息 同时 Ntars 采用独创的 ICA 集成检测体系缓解大型网络 沈阳东软软件股份有限公司8 的端口镜像性能问题 在流量分析基础上 通过对原始数据包进行应用层的信 息检测 包括攻击检测 蠕虫病毒 垃圾邮件等检测和各种应用审计 2 4 响应系统响应系统 响应系统接收来自 Ntars 分析引擎的指令 根据安全策略自动启动分布式 部署的响应单元对攻击和网络异常进行快速响应 进行多种形式的事件报警 包括实时报警 Syslog SNMP Trap Email 报警等 并定期反馈策略执行的 结果 响应系统主要包括黑洞路由 联动的网络设备 如路由器 交换机 防 火墙以及防垃圾邮件系统等 主要功能是实现对攻击和异常流量的告警防御 包括 DoS DDoS 攻击缓解 蠕虫病毒阻断 垃圾邮件防范 入侵防御 网络设 备策略更新 事件报警等 沈阳东软软件股份有限公司9 三三 主要功能特性主要功能特性 NetEye Ntars 实时监控受保护骨干网络的数据流量 采用异常检测 特征 匹配 协议分析等技术 持续检测分析因 DoS DDoS 蠕虫与病毒 大量的垃 圾邮件等而造成的异常的网络流量与网络攻击行为 根据安全策略 启动报警 防御的响应机制 配合防垃圾邮件系统 防火墙等防御设备 为骨干网络的稳 定运行提供完整的检测和安全防护解决方案 3 1 主要功能主要功能 3 1 1 异常流量实时分析异常流量实时分析 实时检测因大量数据包的泛滥式攻击造成的网络流量异常 包括网络中的 DoS DDoS 攻击 蠕虫病毒 大量的垃圾邮件等异常流量 利用建立的流量基线和流量阀值 当前流量超过阈值或基线时 系统会产 生相应的告警信息 管理员还可以通过系统图形化的详细的主机流量 应用流 量 会话流量等排名 了解网络流量的问题点 同时系统获取潜在异常流量产 生的源 目的通信的原始数据包 以进行深度的攻击检测判断异常流量是垃圾 邮件 拒绝服务攻击 病毒等何种成因 沈阳东软软件股份有限公司10 应用协议流量排名应用协议流量排名 3 1 2 流量趋势预警流量趋势预警 实时监控 分析网络的通信流量情况 及时提供关于流量变化趋势的报表 显示网络运行状况 通过设置预警的阈值或基线 当流量超过阈值时及时报警 并通知管理员 用户可以根据自身的网络情况及其关注的主要内容 设置相应的监控参数 包括可以指定监控的 IP 地址 端口 数据包的传输速率等信息 并可以设置组 合条件 系统内建数据库 可以进行长期监控 方便管理员了解网络的流量模 型 建立流量基线数据 为深度的安全检测提供数据基础 并为网络的优化提 供依据 沈阳东软软件股份有限公司11 流量趋势图流量趋势图 3 1 3 攻击检测攻击检测 采用数据流智能重组 以数据流为对象 通过特征检测 协议分析相结合 的检测方法 根据强大的攻击特征库 检测各种攻击 并提供攻击报告和建议 措施 包括各类攻击的详细内容和可采取的安全措施 系统支持自定义攻击事 件 可以对从网络层到应用层的各协议字段设定检测特征 用户还可以基于每 个规则制定不同的响应措施 沈阳东软软件股份有限公司12 攻击事件报警查询列表及其统计图攻击事件报警查询列表及其统计图 3 1 3 垃圾邮件检测垃圾邮件检测 目前邮件内容过滤技术可以分为两类方法 基于规则和基于统计的方法 基于规则的方法就是在邮件内容中寻找特定的模式 例如主题包含 免费 基 于统计的就是使用统计方法解决邮件的二元分类问题 其中分类机跟据垃圾邮 件和正常邮件的样本训练出来 在垃圾邮件过滤技术中最常用的统计方法就是 贝叶斯准则 Ntars 支持上述两类方法 引擎采用增强的贝叶斯算法 系统内置大量邮件 样本库 用户还可以自行提交垃圾邮件和正常邮件的样本供系统学习 引擎还 支持对邮件各协议字段设定特征条件 黑名单检测垃圾邮件 系统可以将检测 出的垃圾邮件样本保存下来 供用户下载分析 沈阳东软软件股份有限公司13 垃圾邮件检测报警查询垃圾邮件检测报警查询 3 1 3 病毒检测病毒检测 采用专业的杀毒引擎 在内容恢复的基础上 对常用的文件传输协议如 http pop3 smtp 等的文件附件进行病毒检测 防止病毒 木马文件的扩散 同时支持多层 zip 和 rar 的压缩包 病毒检测报警查询病毒检测报警查询 沈阳东软软件股份有限公司14 3 1 4 通信行为分析通信行为分析 采用应用层内容检测 协议解码分析 行为分析等多种检测技术 实现对 网络通信行为的检测分析 提供攻击报告和建议措施 包括各类攻击的详细内 容和可采取的安全措施 1 协议解码分析 通过对数据包的捕获和协议解码分析 实现对通信行 为的深度检测 通过深度解码分析 可以检测异常协议 从而检测隐 秘式攻击 2 内容检测 针对网络应用协议 如 HTTP FTP SMTP POP3 IMAP DNS Rlogin Rsh MSN Bit Torrent eDonkey 等 进行通信过程和内容的分析 便于了解攻击过程 监控网络资源的滥用 发现攻击 Flow 审计数据统计查询审计数据统计查询 源地址与目的端口汇总源地址与目的端口汇总 3 1 5 通信服务质量实时监控通信服务质量实时监控 通过对网络设备和网络流量的实时监控 提供多种详细的设备和系统的资 源利用情况 网络资源利用情况 服务的应用情况等 并通过图形和报表显示 沈阳东软软件股份有限公司15 便于管理员了解和掌握全网运行状况和通信服务质量 并在必要时 及时做出 调整和优化的策略 有效保证关键业务安全稳定的正常运营 网络设备接口收发数据实时监控网络设备接口收发数据实时监控 3 1 6 攻击实时响应攻击实时响应 对于检测到的异常流量 将会产生相应级别的告警信息及建议措施 以多 种形式进行记录和通知管理员 包括实时报警 Syslog 日志 邮件报警 Email 报警 SNMP Trap 报警等 同时将异常流量进行隔离 与合法流量分开 正常 业务的合法流量继续转发到目的地 而异常流量则进一步重点监控 通过对原 始数据包的深度检测 分析获取 DoS DDoS 攻击 蠕虫病毒 垃圾邮件等的信 息 并根据安全策略 启动设备 ACL 黑洞路由 防火墙 防垃圾邮件系统等 安全设备对各种异常流量进行防御 包括过滤 阻断 删除等 沈阳东软软件股份有限公司16 3 1 7 网络信息审计网络信息审计 强大的网络信息审计功能 可以全面收集网络系统信息 详细记录网络活 动和应用连接的历史信息 攻击报告提供识别到的异常流量和各类攻击的详细 内容 包括攻击特征 异常流量特征等 通过数据挖掘和数据仓库 对于异常 流量的监控 检测 分析和响应均形成完整的网络审计日志 便于管理员对骨 干网络的运行和使用情况进行全面地监控 记录 审计和重放 为进一步审核 和调整安全策略提供依据 系统提供先进查询功能 用户既可以进行简单的条件查询 也可以对任意 字段进行统计汇总查询 从而实现功能灵活 强大的汇总结果 日报表日报表 沈阳东软软件股份有限公司17 3 2 产品特性产品特性 1 集成了特征匹配 异常识别 协议分析 行为分析 应用审计等多种 检测手段的综合性异常流量分析与响应系统 2 针对不同的攻击 采用分类检测技术 使用异常检测法检测拒绝服务 攻击 蠕虫爆发等异常流量 使用特征检测特征明确的攻击 使用杀 毒引擎来检测病毒 蠕虫 木马等恶意文件的传播 使用增强的贝叶 斯等算法检测垃圾邮件 从而实现准确 全面的检测各种攻击行为 3 分析引擎采用专用服务器设计 标准机架安装 部署使用方便 无需 额外软硬件 有多种型号产品 可以适用于中小型企业网络到大型骨 干网络 4 分析引擎采用旁路的部署方式 不消耗网络资源 不影响关键链路通 信 5 采用 B S 架构 不需要单独安装管理控制客户端 可以在网络中的任 意节点上使用浏览器进行操作 6 支持安全的管理方式 提供 HTTPS 和 SSH 管理方式 允许管理员在 任何地点安全地访问本系统 配置简单方便易使用 7 多种数据输入支持 支持使用 SNMP Flow 数据 BGP 协议进行数据 采集 还支持交换设备镜像直接提取数据流量 8 支持各种主流 flow 格式和多种版本 包括 Cisco Netflow 包括 v9 Juniper cflowd sFlow 华为 Netstream 系统支持 Netflow v9 实现了 对 MPLS 业务的支持 9 长时间监控能力 基于策略 IP 协议 端口 应用类别等组合 对符合过滤条件的流量进行长时间监控分析 并具备大容量数据本地 存储能力 10 深入分析能力 内置完备的 NetEye 异常行为特征库 通过特征匹配 沈阳东软软件股份有限公司18 内容检测 协议分析 行为分析等技术快速判断流量中隐藏的异常行 为 同时允许管理员定制各类异常判断阈值 以增加符合客户网络实 际环境的检测特征表项 11 应用服务质量跟踪 监视并统计比较关键应用的响应延迟以及负载分 布情况 可有效记录客户关键应用服务的可用程度 如 HTTP SMTP FTP DNS 等 12 专业的图形化报表 提供专业的统计查询分析工具 输出专业的图形 化报表 并支持系统自动生成报表 邮寄管理员 支持将报表导出成 Excel XML 等标准格式 13 数据审计查询功能 系统提供灵活 强大的查询功能 为用户提供有 效的审计手段 14 全面的报警响应机制 管理界面 系统日志 邮件报警 Email 报警 SNMP Trap 报警等 还可以与 NetEye SOC 安全运维平台实时交互 并 通过启动设备 ACL 黑洞路由 防火墙 IPS 防垃圾邮件系统等安全 设备 实现对攻击的及时防御 15 内置多种用户角色和分权限系统管理 系统管理员 安全管理员 审 计管理员角色分立 可以控制每个用户所具备的操作权限 16 系统支持自身审计 系统会记录全部操作的详细信息 并且只有专门 的审计管理员才有权进行查询和删除操作 17 自动存储维护功能 系统提供海量数据本地存储空间 可自动删除过 旧的历史数据 维护存储空间的使用分配 并在约定时间自动进行数 据备份操作 18 内置默认策略模板 并支持自定义功能 自带数据库 自动维护 按 需检索 19 支持多级分布式部署 通过单独的集中管理模块或者 NetEye 安全运维 平台 多台 NetEye Ntars 能够接受集中管理控制台的指令并向其提交 沈阳东软软件股份有限公司19 监控分析结果 满足大型骨干网络部署的需要 四四 典型部署及应用典型部署及应用 NetEye Ntars 包括管理控制中心和分析引擎 结合响应系统 构成完整的 针对网络异常流量的解决方案 管理控制中心可以集中管理和控制在全网中多个节点分布式部署的 NetEye 分析引擎 也可以作为一个模块集成在 NetEye 安全运维管理平台中 不需要单 独安装管理控制客户端 可以在网络中的任意节点上使用浏览器进行操作 NetEye 分析引擎是机架式的硬件设备 具备 2 个以上的千兆网络接口 采 用旁路的方式直接接入网络 可以自行选择是否使用交换机镜像功能 响应系统包括防垃圾邮件系统 防火墙 网络设备联动等 每个响应系统 根据自身的功能特点 部署在相应的需要进行防御和保护的节点 沈阳东软软件股份有限公司20 FLOW BGP 响应 互联网 ACL QOS 规则策略 规则策略 防火墙 防火墙 ACL QOS SNMP 镜像 核心层核心层 汇聚层汇聚层 接入层接入层 Ntars采用旁路的解决方案 可以适应骨干网络高速的接口速度而不会降低 性能 收集路由器的Netflow数据 从路由器发出的非采样 1 1 Netflow 数 据约为该路由器处理数据量的1 即处理1 Gbps 流量的路由器 发出的非采 样 1 1 Netflow 数据将大约是10 Mbps 使用Flow 技术的Ntars 解决方案 目前可以与思科从2600 系列到12000 GSR 系列的路由器 Juniper M5 到 M320 的路由器和华为2800以上路由器一起部署 Ntars系统还可以与安全运维平台SOC 系统