网络flash爬虫搜索方法比较研究

1/6网络FLASH爬虫搜索方法比较研究网络FLASH爬虫搜索方法比较研究FLASH资源以其生动、易于交互和制作简单等特点越来越受到人们的追捧。但是随着网络技术的快速发展，FLASH资源在网络中的存在形式变得格外复杂，传统搜索引擎对网络FLASH资源的获取不能到达令人满意的水平。作为搜索引擎的基础组成部分，网络爬虫的作用必须得到人们足够的重视，所以，改进网络爬虫的搜索方法越来越受到人们的重视。本文提出一种新的搜索方法，与传统爬虫的基本组成结构和搜索结果进行比较，验证新搜索方法的优势。1网络FLASH资源的优点及存在形式网络FLASH资源的优点1）FLASH动画通常比较短。因为只占有有限的网络带宽，通常是几兆字节大小，FLASH动画平均时间比起传统动画会更短一些。2）FLASH动画能够与观看者产生互动，满足观看者更多需求。观看者可以通过一定的操作来改变动画的播放进程，传统的动画并不具有这样的特性。3）FLASH动画的制作相对传统动画更简易。FLASH动画制作爱好者能够相对比较容易地转变为制作者，他们2/6只需要掌握一些与动画制作相关的软件就可以尝试制作FLASH动画。FLASH动画的制作需要在电脑上进行，FLASH制作软件需要的条件比较简单，对硬件要求也比较低，所以不需要较大的投入。4）FLASH动画占用空间较小。FLASH动画可以使用矢量图形，所以使得文件所用空间较小；FLASH动画完成后可以上传到网上，互联网用户可以欣赏和下载，能够以较快的速度在网络中传播，这样的本文由论文联盟HTTP/收集整理一个优点让FLASH动画迅速在网络上风靡起来。用传统方法制作的一些动画，因为占用的空间比较大，在网络上传播起来就比较困难。5）FLASH动画受制作者水平和技术等原因的限制。不可否认的是，互联网上的不少FLASH动画还是比较粗糙、简单的，但是FLASH动画的确有还在发展一些新的视觉效果，如三维效果，相信未来将有新的发展。它比起传统的动画来说更容易和智能，更符合大众口味。6）FLASH动画大大减少人力、材料资源的消耗，存储方式更加方便，生产成本大大降低。与此同时，FLASH动画在制作周期上相比传统动画也会大大减少，对于相同时长的动画，用FLASH技术来制作所需要的时间将会大大缩短，而用传统方法制作通常花费的时间要更长一些。网络FLASH资源的存在形式FLASH资源通常存放在3/6WEB服务器中，往往以独立的文件形式存在。传统的方式包括两种。第一种是嵌入到网页中作为网页组成的一部分。FLASH动画嵌入网页的方法很多，情况比较复杂，目前主要是利用标签、脚本、函数或对象将FLASH资源嵌入网页，使用网页浏览器解析网页的HTTP标签和脚本，再用相应的形式显示、播放FLASH动画。第二种是通过网页中的锚文本链接。网页中用锚文本链接FLASH动画很简单，可以自由下载。然而，通过JAVASCRIPT脚本展现的FLASH动画资源作为一种丰富的存在形式，人们对它的研究还比较少。网络爬虫的定义和工作原理网络爬虫的定义网络爬虫是搜索引擎系统结构中搜索器的俗称，又叫网络蜘蛛，是一个自动搜集网页的系统程序。它的功能是昼夜不停地在互联网中爬行，收集信息，通常从首页开始，读取网页信息，找到网页中的其他链接地址，继而找到下一个网页，再在新的网页中找到新的链接地址。这样循环往复，目的是把该网站的所有网页抓取完毕。它负责搜集新信息，更新旧信息。网络爬虫的工作原理当蜘蛛抓取网页，一般有两种信息收集策略。1）以URL集合作为起始，沿着这些URL，以宽度优4/6先、深度优先，循环往复地在WEB中收集信息。它沿着网页中的超链接爬行到其他网页，循环处理，并把搜集到的全部网页保存起来。这些起始URL通常是一些很正规且包含很多链接的站点。2）网站空间根据域名、IP地址等划分，每个网络蜘蛛负责一个子空间的穷举搜索。爬虫搜集多种多样的信息，包括网页文件，有的网络爬虫能够处理文档，甚至是数据库。爬虫将收集所有过滤字符格式的文档，从全文数据提取文本。每个文档都与全文文件有对应关系，包括标题、网页的URL、大小、类型和其他属性以及文本内容。网络爬虫面临的问题截止2016年1月底，中国互联网上网页数量超过1500亿个，静态网页数占，动态网页数占，其中有大量页面是重复的，每个网页的字节数大约为50KB。关于网页数量和字节数的增长率，2016年较之2016年增幅分别为和。动态网页的存在，客户端、服务器端脚本语言的使用，使得指向相同页面的URL数量出现爆炸式增长。以上特征使得网络爬虫面临一定的困难首先，海量的网页信息使得网络爬虫在有限的时间内只能爬行少量网页；其次，动态网页的一些技术原因使得网络爬虫无法爬行它们。仅在中国就存在如此之多的网页，假如考虑全世界的网页，那么，世界上是不存在能索引互联网上所有5/6网页的搜索引擎的，即使可以抓取全部的页面，也没有充足的空间来容纳。网络爬虫搜索方法比较网络爬虫的基本组成结构比较基本组成结构比较如图1、图2所示。网络爬虫的搜索结果比较本实验选取的是含有FLASH资源比较多且比较权威的10个网站作为种子网站，传统爬行器搜索到的FLASH个数与带JS脚本文件搜索的爬行器搜索到的FLASH个数分别在最后两列里面，如表1所示。实验结果分析本实验所用带JS脚本文件搜索的爬行器不但具备传统爬行器的功能，而且可以爬行网页中包含的JS脚本文件，将JS文件下载下来然后放到网页源文件的后面，再对整体进行FLASH个数的统计。本实验分别用传统爬行器和带JS脚本文件搜索的爬行器对相同的10个网站进行爬行，爬行时间为24小时，在爬行了6626个页面之后，带JS脚本文件搜索的爬行器搜索到的FLASH个数比传统爬行器搜索到的FLASH个数多了4000多个。这说明JS脚本文件里面也包含了许多FLASH资源，能够让网络爬虫找到更多的FLASH资源；同时，CSS文件也可能包含FLASH资源，假如对网页中包含的CSS文件进行搜索，也可以扩大搜索FLASH资源的范围。在查找别的网络资源时也可以用这种方法，如图片、视频等，本实验为找到并下载6/6更多的FLASH资源提供参考。结束语随着FLASH制作技术的蓬勃发展，其在教育教学中的作用也日益突显，有的FLASH资源可以直接应用于教学，有的对教学有潜在价值。网络的迅猛发展使FLASH动画的发布与共享摆脱了时间、空间的限制，已成为获取这些资源的重要途径。另一方面，海量丰富和动态更新网络资源，使得