02软件需求说明书.doc

电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 基于 P2P 模式的垃圾邮件过滤系统 软件需求说明书 V1 0 拟 制 人 审 核 人 批 准 人 二零零五年七月三十日 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 目目 录录 1 引言 1 1 1 编写目的 1 1 2 背景 1 1 3 定义 1 1 4 参考资料 2 2 任务概述 1 2 1 目标 1 2 2 用户的特点 2 2 3 假定和约束 2 3 需求规定 2 3 1 对功能的规定 2 3 1 1 数据包重定向 3 3 1 2 IP 报文队列管理 4 3 1 3 协议分析 4 3 1 4 攻击防护 5 3 1 5 邮件头分析 5 3 1 6 规则过滤 7 3 1 7 统计分析 7 3 1 8 查毒引擎 7 3 2 对性能的规定 8 3 2 1 精度 8 3 2 2 时间特性要求 8 3 3 数据管理能力要求 8 3 4 故障处理要求 8 4 运行环境规定 9 4 1 设备 9 4 2 支持软件 9 4 3 接口 9 4 4 控制 9 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 1 软件需求说明书软件需求说明书 1 引言引言 1 1 编写目的编写目的 编写软件需求说明书是根据华为技术有限公司高校科技基金项目 基于 P2P 模式的垃 圾邮件过滤系统 合同要求及本项目组 项目开发计划 对项目的需求进行分析 定义和 详细说明 作为本课题研究开发的依据 确保项目管理者和开发人员正确 完整地认识用 户需求 作为进一步实施概要设计的依据 本说明书的预期读者是本项目的用户 项目管理者 研究开发人员 编程及测试人员 1 2 背景背景 a 课题名称 基于 P2P 模式的垃圾邮件过滤系统 b 任务提出者 华为技术有限公司 c 开发单位 电子科技大学 d 开发部门 新型计算机应用技术重点实验室 e 用户 华为技术有限公司 f 关联单位 暂不假定与其他单位的关联 但设计方案应考虑通用性和扩展性 1 3 定义定义 a 垃圾邮件 Spam 垃圾邮件是指那些 违背收件者意愿 的邮件 即 spam 或 ube 或 uce 有别于一般的正当商业广告邮件 垃圾邮件大多包含 反动 色情 暴力 信息 通过非法手段获取用户邮箱地址 对互联网资源和用户资源进行侵 占和滥用 b ham 非垃圾邮件 正常用户邮件或正当商业广告邮件 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 2 c 内核 本文中特指 linux 的核心 它负责管理系统的进程 内存 设备驱动程序 文件和网络系统 d 用户空间 linux 的用户态程序和进程 e 钩子函数 本文中特指基于 Linux 内核 netfilter 模块提供的 Hook 函数接口 f ip queue Linux 内核模块 可通过 netlink 将内核中的 IP 数据包传到用户空间 g Netfilter Netfilter 是 linux2 4 内核实现数据包过滤 数据包处理 NAT 等的功能 框架 Netfilter 提供了一个抽象 通用化的框架 该框架定义的一个子功能的实现 就是包过滤子系统 h IP 网际协议 i TCP 传输控制协议 j UDP TCP IP 协议栈中的用户数据报传输协议 k HTTP TCP IP 协议栈中的应用层协议 l SMPT 简单邮件传送协议 m POP3 邮局协议的第 3 个版本 n MIME 多用途互联网邮件扩展 1 4 参考资料参考资料 a 计算机软件工程规范国家标准汇编 2000 2000 中国标准出版社 b GB T 16260 信息技术软件产品评价质量特性及其使用指南 中国标准出版社 c 基于 P2P 技术的垃圾邮件分析 检测与过滤项目合同 2005 华为技术有限公 司 d 基于 P2P 模式的垃圾邮件过滤系统项目开发计划 2005 电子科技大学新型计 算机应用技术重点实验室 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 1 2 任务概述任务概述 2 1 目标目标 本课题的研究目标是研究基于 P2P 模式的垃圾邮件过滤关键技术 设计并实现基于透 明网桥技术的反垃圾邮件网关模型 该模型综合采用基于统计和智能评分的反垃圾邮件最 新技术成果 支持黑白名单和反向 DNS 等常规反垃圾邮件技术 支持邮件病毒在线查杀 该课题的预期研究成果为反垃圾邮件透明网关系统原型和相关专利申报材料及有关技术文 档资料 本软件的应用目标是为国内各级 ISP 邮件服务提供商 MSP 以及企业内部邮 件服务器用户提供垃圾邮件过滤服务 防范和遏制垃圾邮件 特别是蠕虫类 病毒类和 Phishing 类垃圾邮件 的泛滥 本软件的开发意图是设计并实现一个具备智能邮件分类和 过滤能力的透明垃圾邮件网关模型 该模型能够简单地串接在受保护域的网络出口处 对 流经网关的 SMTP 流量进行协议分析和内容过滤 而不影响其他协议的数据流量 采用该 产品 无需配置 DNS 记录和 IP 地址 能够最大限度地方便用户使用 并且采用串联方式 接入 系统能够对垃圾邮件流量实施在线阻断 区别于现有的基于 存储 转发 模式的 邮件网关产品 该特性使得本系统具有良好的功能扩展性 通过扩展相应的处理模块 具 备针对垃圾邮件群发工具和针对邮件服务器和邮件网关的分布式拒绝服务攻击进行防范的 能力 并能够支持基于行为的垃圾邮件过滤 下一步工作方向 系统部署示意图如图 1 所示 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 2 本软件产品可以独立部署 也可以采用标准接口加入到反垃圾邮件综合防治体系中与 其他反垃圾邮件工具和产品交互 协同防范和遏制垃圾邮件 特别是蠕虫邮件的泛滥 2 2 用户的特点用户的特点 本软件的最终用户是华为技术有限公司 操作人员和维护人员均为熟悉 LINUX 操作 系统 有一定的操作系统管理和维护能力的计算机网络与信息安全相关专业的专业人员 本软件的预期使用频度 52 7 24 hours per year 网络带宽环境为千兆企业内部 网络 因此 执行软件开发和测试相关设计工作时应充分考虑系统的执行效率 安全性和 健壮性 以及灾难恢复能力 2 3 假定和约束假定和约束 本软件开发工作的经费限制为 基于 P2P 技术的垃圾邮件分析 检测与过滤项目合同 规定的项目经费额度 人民币大写 拾万元整 本软件开发开发期限为 2005 年 07 月 01 日至 2006 年 06 月 30 日 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 3 3 需求规定需求规定 3 1 对功能的规定对功能的规定 本系统总体功能概述 本系统以串行方式部署在邮件服务器前端 对流经邮件网关的 的 SMTP 流量进行检查 实时拦截和阻断垃圾邮件 系统对于非 SMTP 流量不产生任何影响 对用户完全透明 对于 SMTP 流量则首先 依据 TCP IP 协议进行协议分析 还原出所需的协议信息 如 地址 端口信息 和部分原 始 SMTP 会话信息 如 邮件头信息 并根据 SMTP 会话的行为特征判断邮件服务器是 否收到攻击 如果确认该 SMTP 会话为攻击行为 则立即实施阻断 若该会话不能确认为攻击 则逐一放行 IP 数据报 同时复制一份该数据报的拷贝到用 户空间进行会话还原和解码 直至该会话结束前最后一个报文 对该报文实施截留 记录 到 IP 报文队列中 并对用户空间的邮件副本实施垃圾邮件过滤操作 邮件头分析 规则 过滤 统计分析 邮件查毒 若邮件过滤操作判定该邮件为垃圾邮件 则立即予以阻断 并记录该垃圾邮件信息备查 若判定该邮件非垃圾邮件 则予以放行 垃圾邮件透明网关系统数据流与加工规定示意如图 1 所示 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 4 下面依照加工顺序逐项说明各输入输出数据类型 加工需求和输人输出要求 3 1 1 数据包重定向数据包重定向 功能需求概述 数据包重定向模块工作在数据链路层 在边界路由器和邮件服务器之 间形成一条透明的通道 在不改变网络配置以及不让服务器知晓的情况下 对通信流量进 行选择性处理 对于 SMTP 流量进行重定向和转发操作 该模块使得本系统具备对 SMTP 流量进行实时过滤和阻断的能力 输入 来自 Internet 的网络流量 加工 来自 Internet 的网络流量流经本系统网桥时 被重定向到 neitfilter 模块进行流量 选择 其中的 SMTP 流量被选择出来 除 SMTP 会话的最后一个数据报被截留外 其余 SMTP 报文被转发 同时复制一份到用户空间执行协议分析和会话还原 其余的非 SMTP 流量被原封不动地被转发到目的主机 输出 复制 截留并转发 SMTP 报文 转发非 SMTP 流量 分别对应图 1 中标号 数据包重定向数据流与加工规定示意如图 2 所示 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 5 3 1 2 IP 报文队列管理报文队列管理 输入 协议类型为 TCP 目的端口是 25 的 IP 报文 加工 IP 报文队列管理模块作为内核模块运行 对经过报文选择得到的 SMTP 报文进 行复制和转发 复制得到的报文副本提交给用户空间的协议分析程序进行 SMTP 会话还原 对于原始报文 若该报文并非标识 SMTP 会话结束 则对该报文执行转发操作 否则截留 该报文 根据用户空间垃圾邮件过滤程序返回的结果决定转发或者丢弃该报文 输出 输入报文被复制一份到用户空间 原始报文被原样转发 3 1 3 协议分析协议分析 输入 从 IP 报文队列中复制得到的协议类型为 TCP 目的端口是 25 的 IP 报文 加工 协议分析模块 输出 完整的电子邮件文件 协议分析数据流与加工规定示意如图 3 所示 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 6 3 1 4 攻击防护攻击防护 功能需求概述 攻击防护模块的功能需求可以概括为三类 资源消耗类攻击防护 防范大量非法联接请求攻击 多线程攻击 拒绝服务 Dos 及分布式拒绝服务 DDos 攻击 协议误用类攻击防护 防范字典算法攻击 虚假路由攻击 欺骗陷阱 Spoofing 攻 击 有害内容类攻击防护 防范多重病毒攻击 诱饵 Phishing 攻击 按照上述分类 攻击防护模块可以划分为三个子模块 分别对应于上述三类攻击的防 范 其中 资源消耗类攻击防护和协议误用类攻击防护逻辑上部署于基于邮件头分析的垃 圾邮件过滤功能模块之前 利用底层协议分析的结果和邮件头中相应的协议信息分析并阻 断攻击行为 有害内容类攻击防护属于基于内容的垃圾邮件过滤范畴 其功能需求包含于 参加相应的 规则过滤 和 查毒引擎 部分 设计实现也在相应部分予以考虑 此处不 列入需求 输入 TCP IP 协议头信息 邮件头信息 加工 利用反向 DNS 查询检测并阻断非法联接请求攻击 构建垃圾邮件特征群发工具 检测并阻断多线程攻击 通过分析邮件头信息中 MAIL FROM 和 RCPT TO 字段的关联关 系检测并阻断字典算法攻击 通过分析邮件头信息中邮件的路由信息进行分析得到邮件从 发送地址到最终接收地址的完整路由 检测并阻断虚假路由攻击所 采用专门的检测机制 防范欺骗陷阱 Spoofing 攻击和分布式拒绝服务 DDos 攻击 输出 阻断攻击性连接 对正常邮件连接予以放行 0 accept 1 block 3 1 5 邮件头分析邮件头分析 功能需求概述 为了逃避各国司法机关的调查 规避互联网服务提供商和邮件过滤程 序的检查和过滤 垃圾邮件发送者通常会采用伪造的发件人信息来发送垃圾邮件 这在给 垃圾邮件的实时发现和事后追查制造了障碍的同时 也给反垃圾邮件技术留下了一些可以 利用的线索 本项目组在充分调研已有科研成果和商业产品所采用的相关技术的基础上 总结并抽取出 12 项垃圾邮件特征头信息 定义为本产品自有的 可扩充的垃圾邮件头特征 集合 通过上述邮件头分析 本产品应能够在内容检查前过滤超过 70 的垃圾邮件 输入 邮件头信息 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 7 加工 邮件头分析所采用的垃圾邮件特征头信息集合为 C A0 A1 A2 A11 A12 其中的特征 Ai i 1 33 的功能需求定义如下 A0 邮件中继次数 即邮件头中 Received 标签的个数 A1 收件人个数 A2 邮件路由信息中的中断次数 邮件路由信息中断定义为 若前一条 Received 标签中接收站点的域名和 IP 与后一条 Received 标签中发送站点的 域名和 IP 均不相同 则被视为路由信息中断 A3 Received 项中的各个域名与其 IP 不匹配的次数 A4 Received 中发送站点项缺少域名的次数 A5 Received 中的 by 项缺少域名的次数 A6 Received 中的 from 项缺少 IP 的次数 A7 From 中的原始发送地址与 Received 中的原始发送地址是否一致 A8 To 中的目的地址与 Received 中的实际收信人的地址是否一致 A9 Delivered To 项和 To 项是否一致 A10 Return Path 项和 From 项是否一致 A11 一定时间段内邮件发送服务器的一次发送的用户数 A12 邮件头 Subject 字段包含垃圾特征信息 输出 垃圾邮件判定结果 0 pending 1 spam 3 1 6 规则过滤规则过滤 输入 完整的邮件信息 包含邮件头和邮件体 加工 采用多模式匹配算法 依据预设规则对邮件内容进行模式匹配 根据综合评分 的结果判定邮件是否是垃圾邮件 需求规定 支持规则规模 2000 以上 支持垃圾邮件模糊 识别 支持用户自定义垃圾邮件阻断 隔离的敏感度 输出 垃圾邮件判定结果 0 pending 1 spam 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 8 3 1 7 统计分析统计分析 输入 完整的邮件信息 包含邮件头和邮件体 加工 采用基于 bayes 算法的统计过滤模型 对对邮件内容进行分词统计 依据计算 结果判定邮件是否为垃圾邮件 需求规定 系统支持汉语文本词语切分 具备学习功能 输出 垃圾邮件判定结果 0 pending 1 spam 3 1 8 查毒引擎查毒引擎 输入 完整的邮件信息 包含邮件头和邮件体 加工 采用 calm av 病毒引擎对包含附件在内的完整邮件进行病毒检测 过滤出包含 病毒的垃圾邮件 输出 垃圾邮件判定结果 0 ham 1 spam 2 pending 3 2 对性能的规定对性能的规定 3 2 1 精度精度 该软件系统的性能精度规定如下 基于规则的评分系统 支持规则规模 2000 以上 基于规则的评分系统 垃圾邮件的发现识别漏报率低于 5 误报率低于 2 Bayes 过滤器过滤垃圾邮件的准确率达到 99 支持 Unicode ASCII GB2312 GBK GB18030 UTF 8 等多种字符编码方式 单机处理能力达到 100Mbps 3 2 2 时间特性要求时间特性要求 该软件系统的时间特性要求规定如下 系统响应时间 实时响应 每封邮件规则过滤时间小于 20ms 邮件大小 8K 规则数 2000 每封邮件统计过滤时间小于 200ms 邮件大小 8K 规则数 2000 电子科技大学新型计算机应用技术重点实验室 电子科技大学科技实验大楼 1006 1008 1018 室 电话 86 28 83292539 83201759 传真 86 28 83202539 9 3 3 数据管理能力要求数据管理能力要求 本软件系统需要管理的数据记录包括 系统配置文件 系统规则库 支持 10 000 条以上的数据纪录 系统单词表 支持 10 000 条以上的数据纪录 垃圾邮件数据库 单表支持 40G 数据容量 数据增长说明 本系统垃圾邮件数据库应能提供每日一表功能 支持用户设定纪录保 留时间 以循环使用外存容量保存历史垃圾邮件纪录 3 4 故障处理要求故障处理要求 本软