软件需求说明书

1、基于P2P模式的垃圾邮件过滤系统软件需求说明书V1.0拟 制 人_审 核 人_批 准 人_二零零五年七月三十日目 录1引言11.1编写目的11.2背景11.3定义11.4参考资料22任务概述12.1目标12.2用户的特点22.3假定和约束23需求规定23.1对功能的规定23.1.1 数据包重定向33.1.2 IP报文队列管理43.1.3 协议分析43.1.4 攻击防护53.1.5 邮件头分析53.1.6 规则过滤73.1.7 统计分析73.1.8 查毒引擎73.2对性能的规定8精度8时间特性要求83.3数据管理能力要求83.4故障处理要求84运行环境规定94.1设备94.2支持软件94.3接口

2、94.4控制9软件需求说明书1引言1.1编写目的编写软件需求说明书是根据华为技术有限公司高校科技基金项目“基于P2P模式的垃圾邮件过滤系统”合同要求及本项目组项目开发计划，对项目的需求进行分析、定义和详细说明，作为本课题研究开发的依据，确保项目管理者和开发人员正确、完整地认识用户需求，作为进一步实施概要设计的依据。本说明书的预期读者是本项目的用户、项目管理者、研究开发人员，编程及测试人员。1.2背景a. 课题名称 ：基于P2P模式的垃圾邮件过滤系统b. 任务提出者：华为技术有限公司c. 开发单位 ：电子科技大学d. 开发部门 ：新型计算机应用技术重点实验室e. 用户：华为技术有限公司f. 关联

3、单位：暂不假定与其他单位的关联，但设计方案应考虑通用性和扩展性。1.3定义a. 垃圾邮件（Spam）：垃圾邮件是指那些“违背收件者意愿”的邮件，即spam或ube或uce。有别于一般的正当商业广告邮件，垃圾邮件大多包含“反动、色情、暴力”信息，通过非法手段获取用户邮箱地址，对互联网资源和用户资源进行侵占和滥用。b. ham：非垃圾邮件（正常用户邮件或正当商业广告邮件）；c. 内核：本文中特指linux的核心，它负责管理系统的进程、内存、设备驱动程序、文件和网络系统。d. 用户空间：linux的用户态程序和进程。e. 钩子函数：本文中特指基于Linux内核netfilter模块提供的Hook函数

4、接口。f. ip_queue：Linux内核模块，可通过netlink将内核中的IP数据包传到用户空间。g. Netfilter：Netfilter是linux2.4内核实现数据包过滤、数据包处理、NAT等的功能框架。Netfilter提供了一个抽象、通用化的框架，该框架定义的一个子功能的实现就是包过滤子系统。h. IP：网际协议i. TCP：传输控制协议j. UDP：TCP/IP协议栈中的用户数据报传输协议k. HTTP：TCP/IP协议栈中的应用层协议l. SMPT：简单邮件传送协议m. POP3：邮局协议的第3个版本n. MIME：多用途互联网邮件扩展1.4参考资料a. 计算机软件工程规

5、范国家标准汇编2000，2000，中国标准出版社；b. GB/T 16260 信息技术软件产品评价质量特性及其使用指南，中国标准出版社；c. 基于P2P技术的垃圾邮件分析、检测与过滤项目合同2005，华为技术有限公司d. 基于P2P模式的垃圾邮件过滤系统项目开发计划2005，电子科技大学新型计算机应用技术重点实验室2任务概述2.1目标本课题的研究目标是研究基于P2P模式的垃圾邮件过滤关键技术，设计并实现基于透明网桥技术的反垃圾邮件网关模型，该模型综合采用基于统计和智能评分的反垃圾邮件最新技术成果，支持黑白名单和反向DNS等常规反垃圾邮件技术，支持邮件病毒在线查杀。该课题的预期研究成果为反垃圾邮

6、件透明网关系统原型和相关专利申报材料及有关技术文档资料。本软件的应用目标是为国内各级ISP、邮件服务提供商（MSP）以及企业内部邮件服务器用户提供垃圾邮件过滤服务，防范和遏制垃圾邮件（特别是蠕虫类、病毒类和Phishing类垃圾邮件）的泛滥。本软件的开发意图是设计并实现一个具备智能邮件分类和过滤能力的透明垃圾邮件网关模型，该模型能够简单地串接在受保护域的网络出口处，对流经网关的SMTP流量进行协议分析和内容过滤，而不影响其他协议的数据流量。采用该产品，无需配置DNS记录和IP地址，能够最大限度地方便用户使用。并且采用串联方式接入，系统能够对垃圾邮件流量实施在线阻断（区别于现有的基于“存储转发”

7、模式的邮件网关产品），该特性使得本系统具有良好的功能扩展性，通过扩展相应的处理模块，具备针对垃圾邮件群发工具和针对邮件服务器和邮件网关的分布式拒绝服务攻击进行防范的能力，并能够支持基于行为的垃圾邮件过滤（下一步工作方向）。系统部署示意图如图1所示：本软件产品可以独立部署，也可以采用标准接口加入到反垃圾邮件综合防治体系中与其他反垃圾邮件工具和产品交互，协同防范和遏制垃圾邮件，特别是蠕虫邮件的泛滥。2.2用户的特点本软件的最终用户是华为技术有限公司，操作人员和维护人员均为熟悉LINUX操作系统，有一定的操作系统管理和维护能力的计算机网络与信息安全相关专业的专业人员。本软件的预期使用频度：52724

8、（hours per year），网络带宽环境为千兆企业内部网络，因此，执行软件开发和测试相关设计工作时应充分考虑系统的执行效率、安全性和健壮性，以及灾难恢复能力。2.3假定和约束本软件开发工作的经费限制为基于P2P技术的垃圾邮件分析、检测与过滤项目合同规定的项目经费额度（人民币大写：拾万元整）。本软件开发开发期限为2005年07月01日至2006年06月30日。3需求规定 3.1对功能的规定本系统总体功能概述：本系统以串行方式部署在邮件服务器前端，对流经邮件网关的的SMTP流量进行检查，实时拦截和阻断垃圾邮件。系统对于非SMTP流量不产生任何影响（对用户完全透明），对于SMTP流量则首先依据

9、TCP/IP协议进行协议分析，还原出所需的协议信息（如：地址、端口信息）和部分原始SMTP会话信息（如：邮件头信息），并根据SMTP会话的行为特征判断邮件服务器是否收到攻击，如果确认该SMTP会话为攻击行为，则立即实施阻断。若该会话不能确认为攻击，则逐一放行IP数据报（同时复制一份该数据报的拷贝到用户空间进行会话还原和解码）直至该会话结束前最后一个报文，对该报文实施截留（记录到IP报文队列中），并对用户空间的邮件副本实施垃圾邮件过滤操作（邮件头分析、规则过滤、统计分析、邮件查毒）。若邮件过滤操作判定该邮件为垃圾邮件，则立即予以阻断，并记录该垃圾邮件信息备查；若判定该邮件非垃圾邮件，则予以放行。

10、垃圾邮件透明网关系统数据流与加工规定示意如图1所示。下面依照加工顺序逐项说明各输入输出数据类型，加工需求和输人输出要求。3.1.1 数据包重定向功能需求概述：数据包重定向模块工作在数据链路层，在边界路由器和邮件服务器之间形成一条透明的通道，在不改变网络配置以及不让服务器知晓的情况下，对通信流量进行选择性处理，对于SMTP流量进行重定向和转发操作。该模块使得本系统具备对SMTP流量进行实时过滤和阻断的能力。输入：来自Internet的网络流量加工：来自Internet的网络流量流经本系统网桥时，被重定向到neitfilter模块进行流量选择，其中的SMTP流量被选择出来，除SMTP会话的最后一个

11、数据报被截留外，其余SMTP报文被转发，同时复制一份到用户空间执行协议分析和会话还原。其余的非SMTP流量被原封不动地被转发到目的主机。输出：复制、截留并转发SMTP报文；转发非SMTP流量（分别对应图1中标号）数据包重定向数据流与加工规定示意如图2所示。3.1.2 IP报文队列管理输入：协议类型为TCP，目的端口是25的IP报文加工：IP报文队列管理模块作为内核模块运行，对经过报文选择得到的SMTP报文进行复制和转发。复制得到的报文副本提交给用户空间的协议分析程序进行SMTP会话还原。对于原始报文，若该报文并非标识SMTP会话结束，则对该报文执行转发操作；否则截留该报文，根据用户空间垃圾邮件

12、过滤程序返回的结果决定转发或者丢弃该报文。输出：输入报文被复制一份到用户空间，原始报文被原样转发3.1.3 协议分析输入：从IP报文队列中复制得到的协议类型为TCP，目的端口是25的IP报文加工：协议分析模块输出：完整的电子邮件文件协议分析数据流与加工规定示意如图3所示。3.1.4 攻击防护功能需求概述：攻击防护模块的功能需求可以概括为三类： 资源消耗类攻击防护（防范大量非法联接请求攻击，多线程攻击，拒绝服务(Dos)及分布式拒绝服务(DDos)攻击）； 协议误用类攻击防护（防范字典算法攻击，虚假路由攻击，欺骗陷阱（Spoofing）攻击）； 有害内容类攻击防护（防范多重病毒攻击，诱饵(Phi

13、shing)攻击）。按照上述分类，攻击防护模块可以划分为三个子模块，分别对应于上述三类攻击的防范。其中，资源消耗类攻击防护和协议误用类攻击防护逻辑上部署于基于邮件头分析的垃圾邮件过滤功能模块之前，利用底层协议分析的结果和邮件头中相应的协议信息分析并阻断攻击行为。有害内容类攻击防护属于基于内容的垃圾邮件过滤范畴，其功能需求包含于参加相应的“规则过滤”和“查毒引擎”部分（设计实现也在相应部分予以考虑，此处不列入需求）。输入：TCP/IP协议头信息，邮件头信息加工：利用反向DNS查询检测并阻断非法联接请求攻击；构建垃圾邮件特征群发工具检测并阻断多线程攻击；通过分析邮件头信息中MAIL FROM和RC

14、PT TO字段的关联关系检测并阻断字典算法攻击；通过分析邮件头信息中邮件的路由信息进行分析得到邮件从发送地址到最终接收地址的完整路由，检测并阻断虚假路由攻击所；采用专门的检测机制防范欺骗陷阱（Spoofing）攻击和分布式拒绝服务(DDos)攻击。输出：阻断攻击性连接，对正常邮件连接予以放行（0：accept； 1：block）；3.1.5 邮件头分析功能需求概述：为了逃避各国司法机关的调查，规避互联网服务提供商和邮件过滤程序的检查和过滤，垃圾邮件发送者通常会采用伪造的发件人信息来发送垃圾邮件，这在给垃圾邮件的实时发现和事后追查制造了障碍的同时，也给反垃圾邮件技术留下了一些可以利用的线索。本项

15、目组在充分调研已有科研成果和商业产品所采用的相关技术的基础上，总结并抽取出12项垃圾邮件特征头信息，定义为本产品自有的、可扩充的垃圾邮件头特征集合。通过上述邮件头分析，本产品应能够在内容检查前过滤超过70%的垃圾邮件。输入：邮件头信息加工：邮件头分析所采用的垃圾邮件特征头信息集合为：其中的特征Ai（i =133）的功能需求定义如下：l A0：邮件中继次数，即邮件头中“Received”标签的个数；l A1：收件人个数；l A2：邮件路由信息中的中断次数，邮件路由信息中断定义为：若前一条“Received”标签中接收站点的域名和IP与后一条“Received”标签中发送站点的域名和IP均不相同，

16、则被视为路由信息中断；l A3：“Received”项中的各个域名与其IP不匹配的次数；l A4：“Received”中发送站点项缺少域名的次数；l A5：“Received”中的by项缺少域名的次数；l A6：“Received”中的from项缺少IP的次数；l A7：“From”中的原始发送地址与“Received”中的原始发送地址是否一致；l A8：“To”中的目的地址与“Received”中的实际收信人的地址是否一致；l A9：“Delivered-To”项和“To”项是否一致；l A10：“Return_Path”项和“From”项是否一致；l A11：一定时间段内邮件发送服务器的一

17、次发送的用户数；l A12：邮件头“Subject”字段包含垃圾特征信息；输出：垃圾邮件判定结果（0：pending； 1：spam）；3.1.6 规则过滤输入：完整的邮件信息（包含邮件头和邮件体）加工：采用多模式匹配算法，依据预设规则对邮件内容进行模式匹配，根据综合评分的结果判定邮件是否是垃圾邮件。需求规定：支持规则规模2000以上，支持垃圾邮件模糊识别，支持用户自定义垃圾邮件阻断、隔离的敏感度。输出：垃圾邮件判定结果（0：pending； 1：spam）；3.1.7 统计分析输入：完整的邮件信息（包含邮件头和邮件体）加工：采用基于bayes算法的统计过滤模型，对对邮件内容进行分词统计，依据

18、计算结果判定邮件是否为垃圾邮件。需求规定：系统支持汉语文本词语切分；具备学习功能。输出：垃圾邮件判定结果（0：pending； 1：spam）；3.1.8 查毒引擎输入：完整的邮件信息（包含邮件头和邮件体）加工：采用calm av病毒引擎对包含附件在内的完整邮件进行病毒检测，过滤出包含病毒的垃圾邮件。输出：垃圾邮件判定结果（0：ham； 1：spam； 2：pending）；3.2对性能的规定3.2.1精度该软件系统的性能精度规定如下： 基于规则的评分系统支持规则规模2000以上； 基于规则的评分系统，垃圾邮件的发现识别漏报率低于5、误报率低于2； Bayes过滤器过滤垃圾邮件的准确率达到99

19、%； 支持Unicode、ASCII、 GB2312、GBK、GB18030、UTF-8等多种字符编码方式； 单机处理能力达到100Mbps；3.2.2时间特性要求该软件系统的时间特性要求规定如下： 系统响应时间：实时响应； 每封邮件规则过滤时间小于20ms（邮件大小8K，规则数2000）； 每封邮件统计过滤时间小于200ms（邮件大小8K，规则数2000）；3.3数据管理能力要求本软件系统需要管理的数据记录包括： 系统配置文件； 系统规则库（支持10,000条以上的数据纪录）； 系统单词表（支持10,000条以上的数据纪录）； 垃圾邮件数据库（单表支持40G数据容量）；数据增长说明：本系统垃圾邮件数据库应能提供每日一表功能，支持用户设定纪录保留时间，以循环使用外存容量保存历史垃圾邮件纪录。3.4故障处理要求本软件系统遇到软件故障时应能够纪录故障原因，并自动恢复运行；遇到硬件故障时，当故障排除，系