Httrack工具介绍与使用指南.doc_第1页
Httrack工具介绍与使用指南.doc_第2页
Httrack工具介绍与使用指南.doc_第3页
Httrack工具介绍与使用指南.doc_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Httrack工具与使用指南1. HTTrack工具介绍 HTTrack是一个网站镜像工具，本来是用来抓取网站做离线浏览用的。但是HTTrack的爬虫特性和搜索引擎蜘蛛爬虫非常的像，这也逐渐应用到 SEO（搜索引擎优化）工作中。其实这两种看似不同的爬虫做的都是同样的工作，就是复制网站并存储下来（网站在搜索引擎中的网页快照就是被存储下来的内容）。HTTrack Website Copier界面如下图所示： 我们一般用 HTTrack Website Copier 来对网站进行检测或测试，模拟爬虫对受保护服务的爬行、抓取、收录，以来测试我们的防护设备对爬虫的防护。2. HTTrack工具使用第一步：创立项目的名称（工程名）第二步：选择操作方式，再点击“添加URL”,将我们的网站地址添加进去。 第三步：进入“选项”，设定爬行和抓取规则等选项在选项中，取消使用代理进行FTP传输；进入“扫描规则”，为HTTrack程序设定爬行和抓取规则，HTTrack里面自带了一些，可以自己设置，也可以默认。这样的扫描规则搜索引擎也一定会有的，比如不收录.exe文件,zip文件等等。然后不收录一些特定的跟踪链接， 如 。你需要把一些搜索引擎爬虫不收录的特征加进去。然后在“搜寻”里面，很多的特征都是现在搜索引擎爬虫的特征：一般的搜索引擎不会接收cookies，因此测试时我们也将此项去掉。第四步：一般按照以上设置就可以，其他的默认就行。点击下一步：在此页面，我们不用选择任何项，直接点击完成就可
人人文库> 全部分类> 专业文献 > 工业制造

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论