搜索引擎及网络数据挖掘相关技术研究

1/5搜索引擎及网络数据挖掘相关技术研究搜索引擎及网络数据挖掘相关技术研究在社会的发展之下，网络已经成为人们生活与生产中必不可少的工具，但是网络中充斥的大量繁杂信息也在一定程度上影响着人们的信息获取速度，网络信息检索在检准率与检全率方面依然难以满足人们的需求，而将网络数据挖掘技术应用在其中即可很好的解决这一问题。1数据挖掘技术简介数据挖掘技术就是从大量模糊、随机、不完全、有噪声信息中提出有用信息的一个过程，与数据挖掘技术相关的技术还有数据分析技术、数据融合技术、知识发现技术等等，在技术水平的发展下，统计学方法、决策树、关联分析等一些新型数据挖掘技术也相继出现。与数据挖掘不同，信息检索实质上是一种信息发现任务，也是知识发展过程中的重要环节，信息检索能够帮助人们了解各项静态信息，但是难以分析到数据间的关系及其未来发展趋势。而应用数据挖掘技术则可以有效提升系统检索能力，预测出未来的走势，因此，将数据挖掘技术应用在搜索引擎中也是大势所趋。搜索引擎与网络数据挖掘网络数据挖掘是一种将数据挖掘技术与网络融合的2/5一种新模式，网络数据挖掘也能够称之为WEB挖掘，网络数据的页面复杂本文由论文联盟HTTP/收集整理、数据内容繁杂，文章也具有不规则性，将数据挖掘技术应用在数据挖掘中可以有效的解决上述问题，根据处理对象，网络数据挖掘任务有三种类型，即网络内容挖掘、网络使用挖掘与网络结构挖掘。网络内容的挖掘网络内容挖掘就是从网络数据、网络内容与网络文档中挖掘信息，很多网络信息是能够在网络中过去的，但是依然有很大一部分数据难以采用该种方法获取，如使用PHP、JSP与ASP的动态网页，拒绝访问的网站，商业数据库中的数据。这些内容都能够使用网络内容挖掘法来获取，这可以使用两个方法网络页面内容挖掘法与搜索结果再挖掘法。2网络结构挖掘法网络结构挖掘法强调挖掘网页中的链接结构，并从中推导相关的知识，这种挖掘法与引文分析有着密切的关系，网络中的链接信息能够为数据挖掘提供全面的支持，为了获取到理想的效果，可以来分析网页链接与链接数量，并建立起链接结构模式。其常用的算法有PROPRITEARY算法、GOOGLE算法、HITS算法与PAGERANK算法四种。2网络使用挖掘法3/5网络使用挖掘法就是通过日志发现来访问页面的一种模式，与网络内容挖掘模式和网络结构挖掘模式不同，网络使用挖掘法的挖掘对象非是网络与用户交互中的二手数据，这些数据大多来自COOKIES或者WEB服务器中的信息、系统交互信息与访问记录。数据挖掘技术在网络信息检索中的应用作用目前，人们已经进入了一个信息爆炸时代，虽然众多搜索引擎网络可以满足人们对于信息检索的基本需求，但是还是有很多地方不到位，目前，网络挖掘技术已经开始在网络领域中得到了应用，也取得了一定的成效。实践显示，将数据挖掘技术应用在网络信息检索中能够取得如下的效用提升标引准确性标引能够准确选择出文献的检索标示，网络信息范围广、复杂性高、数量多，使用人工标引很难取得理想的检索效果，因此，必须要使用自动标引。将网络数据挖掘技术应用在其中能够深刻的揭示出相关信息的联系，帮助用户在文档中进行标注，提升信息摄取的准确性。而以此为基础来应用加权算法则能够得出具体的信息关联，对于提升检索效果有着十分积极的效用。3可以对检索结果进行分类在网络世界中，各个网站之间的转载情况严重，用4/5户在使用搜索引擎时必然会检索出大量的重复信息，这不仅会降低检索效率，也会浪费资源。将数据挖掘技术应用在检索工作中就能够挖掘出网页中的语义内容，有效提升检索效率。此外，数据挖掘技术也可以有效提升检索质量，该种方法是建立在层次法与划分法基础上，如果检索文档相似性大，即可进行聚类处理，将处理后的信息用层次化方式提供给用户，用户可以根据自己的需要自行选择，这就有效减少了浏览数量。3能够提升自动摘要质量自动摘要即利用网络来分析文章结构、主题语句的方式，自动摘要可以有效帮助用户来加工与整合信息，与自动摘要相比，人工编制摘要会浪费大量的时间，将网络数据挖掘技术应用在搜索引擎中能够提升自动摘要的质量，该种技术是通过文档内容来总结文本信息，能够将WEB中的重要内容总结起来，并提取出摘要。这对于优化网络信息资源的处理质量有着十分积极的意义。结语总而言之，将数据网络挖掘技术应用在搜索引擎中已经成为了一个大势所趋，采用该种技术可以有效提升标引、自动分类、自动摘要以及自动聚类的准确性，可以根据用户的具体需求来建立模型，从而为用户提供出更加针对性的信息支持。其中，最为常用的技术就是自由分类法，5/5自由分类法能够将难以用传统方式细化的信息