基于行为模式进行网络搜索信息过滤

1、基于行为形式进展网络搜索信息过滤基于行为形式进展网络搜索信息过滤引言论文联盟.Ll.随着互联网普及，网络搜索成为一种最陕捷、最有效的信息获得手段，用户可以通过登录网络搜索平台，键入查询关键字搜索和搜集需要的信息。在享受网络搜索技术便利的同时，搜索结果中的大量垃圾信息也给用户带来极大的不便，用户经常需要大量点击搜索结果来获得有效信息。利用行为形式技术，搜索平台通过对垃圾信息统计出的不同行为特征，对搜索结果信息进展过滤，来增强信息搜索的准确率。1网络搜索引擎技术1.1搜索器衡量搜索引擎的一条很重要的标准，就是搜索到信息的海量性。为了实现这一条标准，通常需要一种强大的搜索器作为支撑，一般称为为网络蜘

2、蛛。网络蜘蛛即ebSpider，是通过网页的链接地址来寻找网页，从网站的某一个页面开场，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样循环下去，直到把这个网站所有的网页都抓取完为止。在抓取网页的时候，网络蜘蛛一般有两种策略深度优先、广度优先。通过内容提取技术获取网页上文本信息。1.2搜索结果中垃圾信息在用户通过定义的关键字施行信息搜索时，经常会获得大量的搜索结果，从这些海量信息中提取有效信息经常会浪费用户大量的时间和精力。对于用户来说，没有利用价值的信息可以认为是无效搜索信息，而在这其中还存在很大一局部由于某些网站为增加点击率而成心篡改信息产生的垃圾信息。

3、搜索引擎Inkti认为是垃圾信息的主要内容为：隐藏的、欺骗性的、以及与网页内容不相关的文字；ETA标签中的内容并非网页内容的真实描绘；没有明确的目的有意设计重新指向的URL；利用程序使得在搜索结果中出现大量同样的网页；有意设置让误解的链接；并不反映网站真实内容的入门网页或者隐藏的网页；自动产生大量无关的垃圾链接。2行为形式识别技术施行信息过滤2.1行为形式识别技术行为形式是从大量实际行为中概括出来作为行为的理论抽象、根本框架或标准。行为形式识别技术的思想是通过基于对大量信息样本进展的统计、分析和计算，建立行为形式数学模型，利用这种具有极高行为特征的模型，对新的信息进展分析断定。2.2数据挖掘数

4、据挖掘就是从海量的数据中挖掘出可能有潜在价值的信息的技术。这些信息是可能有潜在价值的，支持决策，可以为企业带来利益，或者为科学研究寻找打破口。对于垃圾信息行为形式进展信息挖掘，主要是针对相关EB信息的数据挖掘。主要包含EB内容挖掘，EB构造挖掘，EB用法挖掘。EB内容挖掘：针对垃圾信息EB的内容、数据、文档发现共同信息，从资源查询角度挖掘非构造化的文档。EB构造挖掘：eb构造挖掘的对象是垃圾信息EB的超连接，即对eb文档的构造进展挖掘。对于给定的eb文档集合，应该可以通过算法发现他们之间连接情况的有用信息，文档之间的超连接反映了文档之间的包含、引用或者附属关系，引用文档对被引用文档的说明往往更

5、客观、更概括、更准确。EB用法挖掘：eb使用记录挖掘，对垃圾信息EB使用记录数据除了效劳器的日志记录外还包括代理效劳器日志、阅读器端日志、注册信息、用户会话信息、kie中的信息、用户查询、鼠标点击流等一切用户与站点之间可能的交互记录。来发现用户访问eb页面的形式，分析垃圾信息EB的规律。2.3主元分析它是一种对数据进展分析的技术，最重要的应用是对原有数据进展简化。正如它的名字主元分析，这种方法可以有效的找出数据中最主要的元素和构造，去除噪音和冗余，将原有的复杂数据降维，提醒隐藏在复杂数据背后的简单构造。它的优点是简单，而且无参数限制，可以方便的应用与各个场合。利用主元分析技术对于垃圾信息的不同

6、行为形式，利用应用线形代数知识进展科学求解，最大程度去掉冗余和干扰，找到垃圾信息的主要行为形式。2.4基于行为形式的垃圾过滤模型通过行为形式识别技术对网络搜索结果中的垃圾信息进展过滤，其思想是对大量垃圾信息样本进展分析，建立垃圾信息行为特征模型，利用这个特征模型对搜索的结果信息进展分析、判断，过滤其中的垃圾信息。整个垃圾信息过滤模型，基于信息知识智能理论指导，采用数据挖掘方法提取垃圾信息的行为规那么，从而建立垃圾信息过滤模型。信鼠表示事物状态变化方式，知识表示事物状态变化规律，智能表示根据事物变化规律指定对未知事物检测的规那么。智能模型建立步骤：首先大量搜集不同搜索结果中包含的垃圾信息；根据I

7、nkti对垃圾信息定义对搜索的信息进展分类整理，并进展垃圾信息预处理，通过数据格式和内容调整使数据更符合数据挖掘的需要；根据数据挖掘算法对垃圾信息行为形式进展挖掘；利用主元分析理论，对垃圾信息的行为特征进展计算分析，找到数据中最主要的元素和构造；将垃圾信息的主要行为进展知识表示；从生成的知识中生成求解问题的策略和规那么；利用生成的策略和规那么建立垃圾信鼠过滤模型，从而解决所面对的实际问题。建立模型需要解决的关键问题：垃圾信息的搜集是否全面，能否采集到准确，真实的数据来是研究根底；垃圾信息中得到的数据适应性，是否能对这一类垃圾信息真实全面反响；对垃圾信息的行为形式进展数据挖掘时采用的算法；提取垃

8、圾信息各种行为中的主要元素的方法；对垃圾信息的行为形式特征的分析，产生垃圾信息过滤的规那么集。3信息过滤系统如图1所示，为信息过滤系统构造图，在原有的网络搜索引擎系统中，通过将文本索引中包含的索引信息发送给过滤效劳器，通过索引信息中链接查询相关EB，分析该EB的行为特征，与垃圾信息行为特征库中不同类型的垃圾信息的行为特征进展比拟，清理掉被断定为垃圾信息的搜索结果信息，将正常行为信息存入索引数据库。其中，过滤效劳器需要完成4方面的工作，包括信息采样、行为解析、特征比拟、信息过滤。信息采样：提取文本索引中的信息，包括链接，文本信息等信息。行为解析：对不同信息进展分析，提取主要行为特征。特征比拟：将

9、不同EB中信息的行为特征与垃圾信息的行为特征进展比校。信息过滤：过滤到与垃圾信息的行为特征一样的信息。4信息过滤系统的特点进步搜索的准确性：由于垃圾信息和正常信息在特征上存在很多差异，利用行为形式识别技术实现信息过滤可进步信息搜索的准确性。系统部署方便：对于文本索引中的信息，进展信息过滤，不改变原有网络搜索引论文联盟.Ll.擎构造，相对独立，易于晋级维护。搜索结果相对公平：由于过滤系统相对独立，可由第三方开发商设计指定，防止网络搜索提供商出于自身利益等考虑而为用户提供的搜索结果。节省用户信息搜索时间：由于垃圾信息减少，节省了用户需要大量翻开不同链接查询信息的时间。先进的过滤技术：传统采用内容关键字过滤时，由于某些网站随意修改关键词内容，这样原有的词库不能找到匹配的关键词，从而无法过滤垃圾信息，而行为形式识别技术从垃圾信息的特征行为进展断定