2013诚信通客户如何在百度做SEO优化.doc

诚信通客户如何在百度做SEO优化一 如何引导爬虫来抓取我们网站的核心资源及被抓取广度想提升网站核心资源被抓取广度，首先必须得让搜索引擎能否感知到这些URL。百度用的Spider抓取的方式来提取信息，站点URL的数据源来自于搜索引擎的URL库，而URL库中每个站点URL主要有3个来源：(1) 页面新Follow到的URL。(2) 索引中需要更新的URL。(3) 站长通过sitemap提交的URL。因此我们必须通过以下方法扩大核心资源URL入库:具体如下1 优化站点结构一般Spider抓取页面深度是有限的。搜索引擎认为页面深度过深的页面重要性偏低，抓取过深，浪费爬虫自身的抓取效率及资源。因此站点最佳页面结构是扁平化的，通过2次点击就能到达任意页面。当然100%扁平化对大站点是不可能的，我们希望所有页面深度最好不要超过4。扁平化的站点结构能让Spider Follow到站点大部分资源。2 制作站点地图静态页面，提交Sitemap文件(1) 受限于深度遍历的深度限制，Follow链接方式可能不完全发现站点所有资源的URL，我们必须通过提交Sitemap帮助SE改进抓取策略，提高站点核 心资源索索引量覆盖度。比如我们的搜索List页面，许多高质量的词并不一定全部部署在HTML页面上，因此通过遍历高质量的长尾词库提交Sitemap 是网站核心资源索引量覆盖广度非常好的策略。(2) 生成站点地图sitemap.html根据网站核心资源，按照频道+A-Z索引方式生成静态的sitemap页面，并将站点地图页面sitemap.html部署到每个页面上。当然也可以尝试将某些重点资源A-Z的索引链接通过隐藏div层部署到页面底部，提升重点资源A-Z的索引链接的权重，有利于提升重点资源被抓取频率 。3 重点资源部署方式将核心资源URL部署到权重高的页面，比如站点首页，栏目页，抓取频率高资讯页。不仅有利于提高核心资源URL的内链权重，而且有利于这些URL被频繁抓取。二 怎样减少无效URL抓取量1 通过robotst.txt禁止无效URL被抓取及被索引在一段时间内，爬虫每日抓取量基本上在一个常量区间内。比如google对我们搜索List的抓取量统计信息：如果能通过robots.txt禁止爬虫爬取无效URL，实质上也是一项提升网站核心静态资源被抓取及被索引效率的重要措施。无效URL包含:已下线产品线的URL，全动态URL，需权限验证的URL，存在问题的旧静态URL等各种不想被搜索引擎收录的URL。关于robots禁止策略可参考：(1) robots.txt学习笔记及小技巧分享: /pages/viewpage.action?pageId=65724134(2) 搜索List robots.txt禁止策略: /robots.txt2 通过noindex meta标签禁止URL被索引对于某些业务场景，不太适合通过robots正则表达式进行禁止，可通过noindex meta标签禁止URL被索引。比如：搜索List 零结果页面，我们就不期望这样的页面被搜索引擎编入索引，这样的页面对搜索引擎用户搜索体验差。(1) 关于noindex meta标签具体可参考:Handling noindex meta tags: /blog/handling-noindex-meta-tags/what should noindex do? /blog/google-noindex-behavior/(2) noindex meta标签目前只有google,bing,yahoo支持，近期跟百度搜索引擎高级产品运营师沟通过，noindex百度正在投入开发中。目前百度只支持的meta标签只有nofollow以及noarchive。3 nofollow的使用(1) 对于整个页面的URL都不想让Spider抓取，可对整张页面设置meta标签。(2) 而对于页面部分无效链接不想被Spider抓取，可对这些无效URL单独添加rel=nofollow属性。建议搜索引擎不要follow此链接，添 加nofollow的链接将不传递锚文本及页面权重。但是添加nofollow的链接还是有可能进入搜索引擎索引，比如其他页面引用了链接但未添加 nofollow，或者该链接的站长管理员提交了sitemap。只要有机会被Spider抓取就有可能进入索引。(3) nofollow对搜索引擎来讲并不是指令，是否follow链接由搜索引擎决定。每个搜索引擎对nofollow有不同的处理方式。(4) google官方资料：/webmasters/bin/answer.py?hl=zh-Hans&answer=96569(5) 搜索List优化实践：(5.1) 搜索List零结果页面，设置。(5.2) 搜索List页面快速/高级筛选区链接都添加nofollow。(5.3) 不同样式(橱窗，列表，图文模式)切换链接都添加nofollow。(5.4) 广告扣费链接，推广字样链接都添加nofollow。(5.5) 图标，带多个动态参数的导出链接都添加nofollow。(5.6) 翻页链接都添加nofollow。(5.7) 需要登录鉴权链接添加nofollow。(5.8) 公司页头，页尾中大部分不想被收录的链接都添加nofollow。(5.9) 热门推荐中的P4P添加nofollow。(待实现)(5.1