网络爬虫工具使用.docx_第1页
网络爬虫工具使用.docx_第2页
网络爬虫工具使用.docx_第3页
网络爬虫工具使用.docx_第4页
网络爬虫工具使用.docx_第5页
已阅读5页，还剩30页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1. 新建分组备注可写可不写 2. 获取数据的网址2014年10月16日数据的网址为：【广告屏蔽】欲获取的数据为下图红框部分。数据源的网址在这里得到，一页有八天的链接，共69页：【广告屏蔽】点击下一页，发现列表的链接有规律：【广告屏蔽】【广告屏蔽】推测第一页的网址为【广告屏蔽】，测试后果然打开的页面就是【广告屏蔽】于是新建任务：2.1. 输入要采集的网址添加后网址如此所示备注可写可不写21变化的地方用(*)代替523412.2. 输入采集内容的规则1先删除默认内容打开网页的源代码，发现获取的内容顺序为url和标题标题url此网页较为简单，形如“ a href=”的字符串只有8处，对应此页的8条链接。注：特征字符串越长越好，可以防止匹配错误。最好在源代码中搜索确认7url前的特征字符串3546url后的特征字符串2 标题的获取较为简单使用【广告屏蔽】测试，获取结果无误。12接下来要设置为循环获取8个网址。321或者双击标签名进入编辑功能 6542.3. 采集网址及内容为求按顺序采集，设为单线程加速采集同理其实采网址和采内容可同时进行，这里为了显示清楚，分两步执行2121火车头采集器自带数据库，在采集内容时会把采集内容存在自身数据库中。可以直接编辑采集到的数据。在更改任务，重新采集前，需要清空网址库与采集数据。2.4. 把网址导出为了方便复制粘贴及简单编辑，保存为csv这里看模板填法和文件名格式填法2134txt模板只有单一标签时记得加个换行Csv模板内容 发布（导出）时电脑可能会卡，太卡的话调大一下发布间隔21打开csv，清除错误数据另存为txt后，即可得到网址列表3. 获取具体数据13.1. 输入要采集的网址3把得到的网址列表粘贴到这里5423.2. 获取登录Cockie1432完成后Cookie在这里显示，可自由复制到其他任务上3.3. 输入采集内容的规则要采集的数据如下：数值数据标签日期作为演示，只采集日期、综合指数及秦皇岛-广州的数值日期需要删除中间的HTML标签，下同321注意这次不用循环匹配注意这次不用循环匹配删除“-”两段的空格注意这次不用循环匹配经测试后发现由于有的网页不规范，没有，所以综合指数及秦皇岛-广州的采集规则改为：有些网页采不到
人人文库> 全部分类> 应用文书 > 技术指导

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论