基于SVM的中文垃圾邮件的识别研究.doc

基于SVM的中文垃圾邮件的识别研究【摘要】：随着Internet的迅猛发展,电子邮件作为一种主要的交流方式已得到了广泛应用。但是,许多商业广告、宣传广告、恶作剧等垃圾邮件也在网络中传送,这些垃圾邮件占据了邮件服务器的大量存储空间,同时也需要用户花费大量时间处理,不仅降低了企业的应用效率,也损害了广大用户的合法权益。因此,如何对中文邮件进行处理,识别出垃圾邮件是用户关心的一大问题。目前某些研究中已采用一些技术进行垃圾邮件的特征提取与识别,但这些技术都存在一定的不足,且在中文垃圾邮件的识别上仍存在问题。因此,研究一种有效的方法用于中文垃圾邮件的识别具有十分重要的意义。数据挖掘中的支持向量机分类方法是一种基于统计学习理论的机器学习方法,该方法在解决有限样本、非线性及高维模式识别问题中表现出许多特有的性能。另外,支持向量机在文本分类领域方面的研究已取得令人满意的效果。针对目前中文垃圾邮件识别技术的不足,本文在支持向量机分类算法的启发下,深入研究了中文垃圾邮件的序列极小化特征提取算法,提出了应用该算法进行中文垃圾邮件识别的过程,该过程分为三个阶段:(1)利用改进的正向最大匹配法对中文邮件文本进行分词;(2)运用向量空间模型把分词后的文本转化为向量形式;(3)采用序列极小化特征提取算法对中文垃圾邮件进行识别。另外,本文还对当前比较通用的各种支持向量机训练算法进行了分析研究,比较了各种算法的优劣,尤其深入研究了序列最小最优化算法,并运用特征提取的序列极小化算法对中文邮件文本进行特征提取。本文通过对中文垃圾邮件自身特点分析,针对其特征维数高的特点,运用支持向量机中的特征提取序列极小化算法对中文垃圾邮件进行特征识别,挖掘出能够识别中文垃圾邮件的特征。同时,对有限的模拟测试样本集进行了测试,取得了比较满意的结果,表明此方法适用于中文垃圾邮件的识别。【关键词】：中文垃圾邮件特征提取支持向量机序列极小化【学位授予单位】：山西财经大学【学位级别】：硕士【学位授予年份】：2006【分类号】：TP393.098【目录】：摘要6-7Abstract7-121引言12-161.1研究背景及选题意义12-131.1.1研究背景121.1.2选题意义12-131.2研究现状13-151.2.1反垃圾邮件技术13-141.2.2支持向量机的研究14-151.3主要内容及框架结构15-161.3.1主要内容151.3.2框架结构15-162中文邮件相关知识16-212.1电子邮件的特点16-172.2中文垃圾邮件的概念17-182.3中文垃圾邮件识别过程及相关技术18-212.3.1中文垃圾邮件识别过程182.3.2相关技术18-213中文邮件文本分词预处理21-263.1中文文本自动分词213.2自动分词词典机制21-223.3基于词典的分词方法改进的正向最大匹配法22-263.3.1改进的正向最大匹配法算法思路22-233.3.2算法实现过程233.3.3实验与分析23-264中文邮件向量空间模型26-314.1向量空间模型264.2特征项26-314.2.1特征项的权值26-274.2.2向量空间的降维27-304.2.3实验与分析30-315支持向量机分类算法31-455.1统计学习理论31-325.1.1直观相似程度与内积31-325.1.2经验风险最小化归纳原则325.2支持向量机算法原理32-365.2.1线性可分支持向量机33-355.2.2线性不可分支持向量机35-365.2.3线性支持向量分类机算法365.3支持向量机训练算法36-455.3.1选块算法37-385.3.2分解算法38-405.3.3序列最小最优化算法40-456中文垃圾邮件的识别45-506.1中文垃圾邮件特征提取模型的设计45-476.1.1训练集的选取466.1.2算法选择466.1.3核函数的选取46-476.2中文垃圾邮件特征提取与识别47-506.2.1数据资源476.2.2结果分析47-507结论与展望50-517.1结论507.2展望50-51参考文献51-53附录一中文邮件文本分词部分程序代码53