Crawler实验报告.doc

Crawler实验报告200730482084 余悦1. 实验目的l 掌握 crawler 的工作原理及实现方法；l 熟悉网页搜集的整个流程及操作步骤；l 掌握 crawler 应用程序的编写、调试和运行2. 实验内容以 为种子开始机抓取。2.1 设计并实现crawler 程序对 crawler 的功能要求如下，但不限于此：（1） 能够搜集本站内的所有网页，能提取出其中的URL 并加入到待搜集的URL 队列中，对非本网站域名的URL，只允许搜集首页，记录发现的URL 即可；对搜集的结果，产生2 个URL 列表：站内搜集URL、非站内（站外）发现URL；（2）使用User-agent 向服务器表明自己的身份；（3）能对HTML 网页进行解析，提取出链接URL，能判别提取的URL 是否已处理过，不重复下载和解析已搜集过的网页；（4）能够对crawler 的一些基本参数进行设置，包括：搜集深度（depth）、文件类型、文件大小等。（5）对搜集的过程生成日志文本文件，格式为三元组：时间戳(timestamp) Action URLAction 可表示当前的处理动作，例如processing（处理），parsing（解析），downloading（下载）等。对Action 的定义，请在实验报告中详细说明。（6）遵循礼貌规则。必须分析robots.txt 文件和meta tag 有无限制；一个线程抓完一个网页后要适当停顿（sleep）；最多允许与被搜集站点同时建立2 个连接（本地做网页解析的线程数则不限）。（7） 采用多线程并行编程技术，提高搜集速度。2.2 实验结果统计分析基于所生成的日志文件，产生搜集统计信息：包括搜集速度（网页数/秒）、搜集完成所需时间、搜集深度与站内总共搜集的网页个数、发现的站外网页个数等的关系等，最好图表说明；并做实验分析。2.3 Crawler 图形界面（可选）设计并实现 GUI 图形用户界面或web 界面，通过界面管理crawler，包括crawler 参数设置、carwler 启停、URL 队列管理（增删）、crawler 状态监控（已搜集的页面、深度等、平均搜集时间、网络流量）等。【注】（1）编程语言每个人根据自己的情况选择，鼓励使用java 语言；（2）需对源代码的重要变量和所有类、方法加注释；请遵守编程规范，如类、方法、文件等的命名规范；3.实验环境Windows操作系统，安装elipse/Myelipse等Java编辑软件。4.Crawler设计思路首先抓取网页，然后分析、输出未检索过的网页并将该网页存储在记录中，以便判断后续网页是否已经检索过。设计流程：具体设计如下：Callback.java用来判断网页是否已经访问过，并将未访问过的网页加入到URLList.java的记录中。Crawler.java是主程序，用来执行Crawler，浏览网页：Fetcher.java抓取网页：Parser.java分析网页的组成：URLList.java存储已经访问过的网页：5.实验结果实验结果基本达到预期实验目标。Crawler的爬行策略是指当Crawler搜索到一个网页之后，下一步应该转移到哪一个网页的方法。优点是能遍历所有网页，缺点是资源耗费大。我认为Crawler不具备访问动态网页的功能，有待改进。6.实验心得与体会通过本次实验，我初步了解了Crawler的工作原理及设计Crawler程序的一般步