分析Robotstxt规则误区 百度和Googlerobots工具使用.doc_第1页
分析Robotstxt规则误区 百度和Googlerobots工具使用.doc_第2页
分析Robotstxt规则误区 百度和Googlerobots工具使用.doc_第3页
分析Robotstxt规则误区 百度和Googlerobots工具使用.doc_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

街舞论坛网前段时间写了篇robots.txt文件怎么写，但是通过实际观察，有些朋友对于robots.txt文件的规则还是有一定的误区。比如有很多人这样写：User-agent: * Allow: / Disallow: /mulu/不知道大家有没有看出来，这个规则其实是不起作用的，第一句Allow: / 指的是允许蜘蛛爬行所有内容，第二句Disallow: /mulu/指的是禁止/mulu/下面的所有内容。表面上看这个规则想达到的目的是：允许蜘蛛爬行除了/mulu/之外的网站所有页面。但是搜索引擎蜘蛛执行的规则是从上到下，这样会造成第二句命令失效。正确的规则应该是：User-agent: * Disallow: /mulu/ Allow: /也就是先执行禁止命令，再执行允许命令，这样就不会失效了。另外对于百度蜘蛛来说，还有一个容易犯的错误，那就是Disallow命令和Allow命令之后要以斜杠/开头，所以有些人这样写：Disallow: *.html 这样对百度蜘蛛来说是错误的，应该写成：Disallow: /*.html 。有时候我们写这些规则可能会有一些没有注意到的问题，现在可以通过百度站长工具()和Google站长工具来测试。相对来说百度站长工具robots工具相对简陋一些：百度Robots工具只能检测每一行命令是否符合语法规则，但是不检测实际效果和抓取逻辑规则。相对来说Google的Robots工具好用很多，如图：在谷歌站长工具里的名称是抓取工具的权限，并报告Google抓取网站页面的时候被拦截了多少个网址。还可以在线测试Robots修改后的效果，当然这里的修改只是测试用，如果没有问题了，可以生成robots.txt文件，或者把命令代码复制到robots.txt文本文档中，上传到网站根目录。Google的测试跟百度有很大的区别，乐行仕它可以让你输入某一个或者某些网址，测试Google蜘蛛是否抓取这些网址。测试结果是这些网址被Google蜘蛛抓取的情况，这个测试对于Robots文件对某些特定url的规则是否有效。而两个工具结合起来当然更好了，这下应该彻底明白robots应该怎么写了吧。转载请注明来自乐行仕皮鞋，本文地址：http:/www.luckigo.co
人人文库> 全部分类> 应用文书 > 研究报告

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论