反垃圾邮件网关技术标准进展.docx

反垃圾邮件网关技术的标准进展摘要: 随着互联网的高速发展,反垃圾邮件网关已经成为阻止垃圾邮件日益泛滥的有力武器。本文介绍了反垃圾邮件网关的技术现状及其标准的进展情况。关键词：反垃圾邮件网关 技术标准 测试方法1.反垃圾邮件网关技术的现状近年来，各国对通过网络传播的垃圾电子邮件均采用了多种措施进行打击，但至今仍无法有效地解决垃圾邮件数量快速增长的问题。如果要彻底解决垃圾邮件泛滥的问题,就必须从源头上就消灭垃圾邮件发送者获利的可能性，这就需要建立完整的反垃圾电子邮件治理体系。缺乏反垃圾邮件的技术标准是治理体系难以建立的重要因素之一，因此反垃圾邮件网关技术标准的制定对反垃圾邮件工作具有非常重要的意义。反垃圾邮件网关是位于互联网和邮件服务器之间的网络设备，它是指针对通过系统的收到和发出的邮件，分析邮件的行为、内容等因素，判断邮件是垃圾邮件、病毒邮件或其他邮件误用的可能性，并依据既定的策略对该邮件或发送该邮件的发件方采取一定处理措施的系统。目前反垃圾邮件网关技术主要包括过滤技术、地址列表技术、认证技术和行为模式识别技术。1.1过滤技术过滤技术可以在不修改现有电子邮件协议的基础上直接使用。良好的过滤技术可以有效地减少误将合法邮件当成垃圾邮件过滤掉的可能性，最大限度的提高垃圾邮件的过滤效率。1.1.1内容过滤内容过滤指直接根据电子邮件的不同内容区域进行过滤。过滤规则一般由网关管理员为所有本地用户制定，过滤的区域有信头内容、正文内容或邮件扩展部分的内容等。过滤规则可设定为分析或解析恶意的邮件信头区域，解析邮件正文内容以查找垃圾邮件关键词，检查邮件扩展部分（如附件）等。1.1.2散列值过滤散列值过滤是将收集到垃圾邮件的特征进行哈希运算，将计算后得到的散列值作为过滤规则进行储存和使用。基于散列值的过滤系统在处理邮件时，先计算接收邮件的特征散列值，再利用散列值与预设的规则进行比较，如果符合垃圾邮件的规则，那么该邮件将被视为垃圾邮件而被系统过滤。1.1.3统计过滤作为内容过滤和散列值过滤技术的改进，统计过滤技术使用规则来衡量邮件消息的频率和模式。在反垃圾邮件领域中应用最广的统计过滤技术是贝叶斯过滤技术。贝叶斯技术通过计算已知特征出现附加特征可能性，来区分正常邮件和垃圾邮件。贝叶斯过滤是一种基于统计学的邮件过滤方法，有较低的误判率，并且不需要管理员更新过滤规则。过滤系统通过监视用户对垃圾邮件的分类判定，自动调整过滤规则。1.2地址列表技术地址列表技术是指根据发送方IP地址或域名，来判断是否接收发送方的电子邮件。1.2.1域名系统地址列表基于域名系统的地址列表是指使用DNS系统创建IP地址列表的一种方法，该地址列表可用于识别垃圾邮件的来源。使用域名系统地址列表已成为识别发送垃圾邮件的主机或IP地址的基本工具。基于域名系统的地址列表必须经常更新，以保证可以及时阻止经常改变IP地址的垃圾邮件制造者。1.2.2动态用户列表动态用户列表是用来标识网络中使用动态IP用户的地址列表。动态用户一般没有静态IP地址，是网络服务提供商为高效率地使用有限的IP地址空间，为拨号用户和宽带用户接入互联网提供的一种IP地址分配方案。通常邮件服务器不使用动态IP地址的主机，但垃圾邮件制造者经常使用动态IP主机充当邮件服务器，发送垃圾邮件，而根本不遵守邮件服务提供商制定的安全策略。动态用户列表应由邮件服务提供商或第三方组织进行维护，列表的内容应严格地保持其有效性。1.3认证技术认证技术是对于垃圾邮件的伪造域地址或伪造回复地址的有效阻断技术。为了逃避可能面临的法律起诉和网络服务提供商的终止服务等危险，垃圾邮件制造者频繁利用SMTP协议的漏洞来伪造发件人身份。因此有必要改进SMTP协议以确保发件人身份的真实性。表1当前主要的电子邮件认证技术认证技术提出者发件人策略框架（SPF）美国在线发件人标识(Sender ID)微软域密钥（Domain Key）雅虎1.3.1发件人策略框架与SPF相类似的技术还有：反向邮件交换（RMX）和指定的发件人协议（DMP）。所有这些解决方案都使用DNS来帮助鉴别发件人身份真伪。在DNS的MX记录中，SPF作一次反向查找来鉴别发件人域的真伪。该过程类似于使用MX记录来定位收件人的邮件服务器。收件服务器为该发件人的域做一次DNS查询。DNS查询结果将返回合法的地址空间。反垃圾邮件网关使用SPF记录来检验发件人地址是否属于该合法地址空间。如果该地址是非法的，那么邮件自身将被标记为垃圾邮件。1.3.2发件人标识发件人标识技术是一种将SPF与电子邮件来电显示技术相结合的综合技术方案。当收件人接收邮件时，接收邮件服务器通过发件人标识技术对发件人所声称的身份进行检查（该检查通过DNS的特定查询进行）；如果发现发件人所声称的身份和其发信地址相匹配，那么接收该邮件，否则将该邮件标识为垃圾邮件。发件人标识技术可以解决SPF1（SPF的第一个版本）中出现的转发问题。1.3.3域密钥域密钥使用一种不同于寄件人标识和寄件人策略框架的方法来鉴别寄件人身份。为确保用户相信寄件人身份的真实性，域密钥技术要求对所有发出的邮件进行签名。域密钥技术使用非对称密码体制（公钥/私钥对）。域的所有者生成公钥/私钥对，私钥用于所有发出邮件的签名，公钥通过DNS系统发布。当授权用户发送邮件时，邮件服务器自动产生邮件的签名，作为邮件信头的一部分发送给接收方。接收服务器从邮件中提取签名，从DNS系统中获取发送域的公钥，验证发送方的数字签名。如果没有签名或签名失败，接收方可以拒绝、标记或隔离该邮件。1.4 行为模式识别技术与过滤技术不同，行为模式识别技术不需要将垃圾邮件全部接受下来就可以根据垃圾邮件发送的行为特征直接将其拦截，可以极大地提高了网关的工作效率。1.4.1 数量控制垃圾邮件的一个基本特征是会在短时间内发送大量的邮件，在短时间内占用大量的带宽和产生大量的会话连接，同时垃圾邮件的信头会有大量的重复信息，根据这些行为特征，在网关进行相应的设置，例如带宽或者会话连接数进行限制，可以有效地阻止垃圾邮件的发送。1.4.2 溯源识别为了避免法律的追究，垃圾邮件的发送者通常要进行一定的伪装，比如IP地址、域名和发送者的信息等。通过对相关的协议信息进行溯源和分析，发现其伪装或者发送的特征。2反垃圾邮件网关技术标准的最新进展2.1国内标准的制定情况中国通信标准化协会(CCSA)网络协议系统与设备工作组(WG1)从2006年开始正式启动反垃圾邮件网关行业标准的制定工作,在完成对征求意见稿的审核后,由IP业务与应用工作组(WG2)于2008年完成送审和报批。工业和信息化部于2009年6月发布了YD/T 1903-2009反垃圾邮件设备技术要求和YD/T 1904-2009反垃圾电子邮件设备测试方法2个与反垃圾电子邮件网关相关的推荐性通信行业标准。在通信行业标准的基础上,中国通信标准化协会(CCSA) IP业务与应用工作组(WG2)于2008年开始正式启动反垃圾邮件网关国家标准的制定工作。目前已完成反垃圾电子邮件设备技术要求和反垃圾电子邮件设备测试方法报批以及反垃圾电子邮件网关技术要求的送审。2.2国际标准的制定情况国际电联ITU-T SG17/Q17于2005年正式启动反垃圾邮件网关技术的标准工作。于2008年4月发布ITU-T X.1231 反垃圾邮件技术策略和ITU-T X.1241 反垃圾邮件技术框架和X.tcs-1反垃圾信息交互式网关等标准和提案。3反垃圾邮件网关技术标准的主要内容3.1反垃圾电子邮件网关技术要求的介绍标准主要规范了反垃圾电子邮件网关的功能要求、管理要求、性能指标和环境要求,适用于反垃圾电子邮件网关的验收和测试。3.1.1设备描述 反垃圾电子邮件网关通常部署在电子邮件服务器的前端，所有的电子邮件经过反垃圾电子邮件网关的处理后，转发到电子邮件服务器。反垃圾电子邮件网关的框架图如图1所示：互联网反垃圾电子邮件网关电子邮件服务器图1 反垃圾电子邮件网关的框架图3.1.2功能要求主要包括对动态限制、病毒识别、静态黑白名单、动态黑名单、源头认证、分布协作的指纹分析、内容过滤、隔离区管理、审计和处理动作等功能方面的要求。3.1.3管理要求主要包括对网络参数配置、SMTP协议参数配置、软件升级管理、设备状态监测、SNMP网络管理协议、日志统计、设备安全和管理员操作安全等管理方面的要求。3.1.4性能指标性能指标主要包括准确性指标和效率指标两个部分。准确性指标包括漏报率和误报率。漏报率是指被保护的邮件服务器受到垃圾邮件攻击时，设备不能正确报警的概率。标准建议漏报率不大于10%。误报率是指系统把正常邮件判断为垃圾邮件攻击而错误报警的概率。标准建议误报率不大于2%。效率指标主要包括SMTP最大并发连接数、SMTP每秒新建连接数和SMTP平均响应时间。3.2 反垃圾电子邮件设备测试方法的介绍标准规定了反垃圾邮件设备的接口测试、功能测试、性能测试、协议测试、网管测试、可靠性测试、常规测试和环境测试。标准适用于反垃圾邮件网关、反垃圾邮件转发器、带有反垃圾邮件功能的邮件服务器，包括软件产品和软硬一体化产品，为上述设备的测试提供参考和依据。3.2.1测试配置图反垃圾邮件设备通常部署在邮件服务器的前端，所有的邮件经过反垃圾邮件的处理后，转发到邮件服务器。反垃圾邮件设备的功能也可以集成到邮件服务器中，成为具有反垃圾邮件功能的邮件服务器。反垃圾邮件设备的测试配置如图2所示：互联网反垃圾邮件设备邮件服务器测试终端件设备性能分析测试仪图2 反垃圾邮件设备的测试配置图3.2.2功能测试主要包括动态限制、病毒识别、静态黑白名单、动态黑名单、源头认证、分布协作的指纹分析、内容过滤、隔离区管理、审计和处理动作等功能的测试。3.2.3管理能力测试主要包括对网络参数配置、SMTP协议参数配置、软件升级管理、设备状态监测、SNMP网络管理协议、日志统计、设备安全和管理员操作安全等管理能力的测试。3.2.4性能指标测试主要包括对准确性指标包括漏报率和误报率以及效率指标主要包括SMTP最大并发连接数、SMTP每秒新建连接数和SMTP平均响应时间进行测试。3.3 ITU-T X.1231 反垃圾邮件技术策略的介绍主要内容包括反垃圾邮件的基本概念、基本特征、主要类型、主要目标、具体策略、评估体系。主要作用是为反垃圾邮件总体规划提供技术依据。3.4 ITU-T X.1241 反垃圾邮件技术框架的介绍主要内容包括反垃圾邮件信息处理域架构、反垃圾邮件信息处理域功能、垃圾邮件识别、反垃圾邮件设备要求和反垃圾信息处理域互联方式。主要目标是在全球范围建立反垃圾邮件相互协作的技术架构。它提出一套围绕统一治理和管理中心，在不同的服务商之间达成一种信息交换和工作协同的工作机制。通用技术架构如图3所示。 图3通用技术架构图3中实线表示网络实体之间信息交换的通道。顶级反垃圾邮件处理实体将接受次级反垃圾邮件处理实体的规则。次级反垃圾邮件处理实体接受并检查顶级反垃圾邮件处理实体下发的规则。邮件客户端也可以直接向顶级反垃圾邮件处理实体发送信息。3.5 X.tcs-1反垃圾信息交互式网关主要内容包括反垃圾信息交互式网关架构、支持的反垃圾信息技术、反垃圾信息协议流程和反垃圾信息网关实施模型。主要作用是提供反垃圾信息交互式网关规范。4反垃圾邮件网关技术标准的前景展望根据网络调查数据表明,目前垃圾邮件在所有邮件中占据的比例，在全球范围统计的结果仍然达到80%以上。为了避免被反垃圾邮件网关发现，发送垃圾邮件者正在转用隐形战术和调整发送的方式，比如原来常用的大规模群发垃圾电子邮件和恶意代码的行为正转变为采用较慢的传播战术，因此反垃圾邮件网关标准的内容也需要随之不断的调整。由于每一种反垃圾邮件技术都有自己最佳的适用范围，因此单一的反垃圾邮件技术或网关设备起到的效果将是有限的，必须考虑建立综合多种技术的反垃圾邮件网关，因此反垃圾邮件网关的技术标准需要进一步深入和细化。随着反垃圾邮件工作的不断深入，将会迎来一场新的技术变革。这既是挑战也带来了机遇。反垃圾邮件网关的标准化方面的主要工作将集中在以下几个方面：（1）继续跟踪反垃圾邮件网关的国际标准化进程，逐步完善国内反垃圾邮件网关系列标准，争取结合中国的具体需求提出垃圾邮件防范相关的新技术，形成新的标准。经过近4年的标准化工作，CCSA已经在ITU的标准化体系的基础上形成比较完整的国内垃圾邮件防范技术标准体系，对于指导国内垃圾邮件防范设备研发和网络建设发挥了重要作用。在此基础上，要继续跟踪反垃圾邮件网关技术标准的国际发展，及时完善现有标准体系。在垃圾邮件防范应用中，结合中国的实际情况，争取能够提出新的技术，并积极参与ITU的标准化进程。（2）在国际上积极推动垃圾邮件防范技术的标准化进程，争取我国具有自主知识产权的技术进入国际标准。目前在ITU-T SG17组中有多项技术标准的报告人和editor均有我国技术人员担任，这为我国在此领域继续深入开展工作打下了基础。我们应该抓住这个机会，充分利用ITU-T的平台来推动我国自有技术进入国际标准。Standard Progress of anti-spam