模式匹配论文：基于内容的Internet Web中文信息过滤.doc

模式匹配论文：基于内容的Internet Web中文信息过滤【中文摘要】本论文研究的主要内容为基于内容的中文网络信息过滤。在论文的撰写过程中,首先深入研究了模式匹配中的一些经典算法,包括算法流程,匹配思想以及时空性能。并对英文语境进行了分析,了解到在英文中字母使用较平均的特点。经典模式匹配算法之所以有着良好的性能,正是由于其充分利用了英文语境的这一特点。但在对中文语境进行分析之后可发现,中文语言特点与英文有着极大的不同,主要表现为中文语境中汉字使用频率分布极为不平衡。因此将适用于英文语境的模式匹配算法直接移植到中文语境当中并不可取。本文充分利用了中文语境的特点,改进了经典的模式匹配算法,根据汉字使用频率调整了字符串匹配中的比较顺序,从而使得算法效率得到了提高,并通过实验加以验证,证实了改进的正确性与合理性。此外,中文语境中存在着一些更为独特的特点,本文针对其中的同音字、形近字这一现象,利用它们发音相似的特点,提出了一种利用拼音转换提高匹配准确率的方法。相比字符串直接匹配的方法,这种方法显得更加智能,更加面向使用计算机的人,而非计算机。同样,拼音转换的方法也通过实验得到了验证。最后,本文通过编程实现了一个小型的代理服务器,并将改进后的模式匹配算法与拼音转换算法嵌入程.【英文摘要】The main contents of this paper are to filter Chinese information in the network. Firstly, I researched some classic algorithms in the field of Pattern Matching including the process of the algorithm, the idea of the matching and the performance of time and space. After the analysis of English context, I find that the frequency of letter using in English is so average that the classic algorithms could have a good performance. However, after the analysis of Chinese context, there is a great difference betwee.【关键词】模式匹配 内容过滤 拼音转换 代理服务器【英文关键词】Pattern Matching Content Filtering PINYIN Transferring ProxyServer【目录】基于内容的Internet Web中文信息过滤致谢5-6中文摘要6-7ABSTRACT7序8-111 引言11-141.1 研究背景与意义11-121.2 研究内容121.3 论文组织结构12-142 相关内容介绍14-262.1 模式匹配技术14-172.1.1 模式匹配定义142.1.2 模式匹配分类142.1.3 模式匹配应用领域14-152.1.4 模式匹配发展15-172.2 模式匹配算法17-232.2.1 单模式匹配算法17-202.2.2 多模式匹配算法20-232.3 过滤系统介绍23-262.3.1 现有产品介绍23-242.3.2 过滤系统发展趋势24-263 基于中文语境的过滤系统设计26-453.1 过滤系统组成模块26-273.2 系统模块设计27-293.2.1 数据抽取273.2.2 词典维护27-283.2.3 文本处理28-293.2.4 审核过滤293.3 算法设计29-393.3.1 拼音转换算法29-313.3.2 改进的模式匹配算法31-393.4 算法性能分析39-454 基于中文语境的过滤系统实现45-574.1 系统介绍45-464.2 系统实现46-524.2.1 系统界面46-484.2.2 内存管理48-494.2.3 词典维护49-504.2.4 数据抽取504.2.5 文本处理50-514.2.6 审核过滤514.2.7 其他