网络矿工采集配置高级设置教程.doc

网络矿工采集器采集配置高级功能教程此教程适合于中级用户，在掌握了网络矿工基础配置之后，阅读此教程，如果您是初学者，建议您首先阅读网络矿工入门教程。 网址参数网址参数支持三个类：递增递减类、字典类、外部参数；递增递减类参数：数字递增递减，字母递增递减，数字自动补零递增递减，举例：/sale/pNum:1,271,1/ 用数字参数替换页码，可以实现271页数据的采集。字典类：网址参数不规律的替换，用户可以建立自己的字典用于网址替换实现网址成批采集，譬如：采集百度贴吧，建立字典百度贴吧地区，然后设置需要采集的贴吧信息，配置采集网址时进行参数设置/f?kw=Dict:百度贴吧地区，实现百度贴吧指定数据的采集；外部参数：配置时参数值不固定，在运行采集时由用户指定输入参数值。详细可参见：/article.aspx?id=1026。 网址的复制与粘贴为何要提供网址的复制粘贴功能？在大量配置网址时需要，如果网址的导航规则不同，但又需要多个入口的地址（譬如：很多网站的第一页和后续的页面网址是不同的），可配置第一个网址的信息，复制粘贴出来，修改入口地址即可快速完成第二个网址的配置，在导航或多页配置时即为有用；选中网址，点击鼠标右键，即可复制粘贴。 参数传递配置网址在导航和多页配置中，参数传递将非常有用。在部分网站中，导航或多页的网址是通过js来实现跳转的，我们可以模拟这种js操作，将需要传递的参数采集出来，然后将参数匹配给导航出来的网址，即可实现js跳转操作。以采集淘宝评论数据为例，通过淘宝的商品页进行评论数据的导航，此过程需要传递三个参数：itemid、spuid和sellerid，此三个参数可以通过产品页获取，获取后传递给评论页url，即可实现评论页的采集，此下载实例可参见网络矿工资源任务； 导航翻页对于连续页面的采集有两种方法：1、用url中的页码参数进行页面翻页；2、采用网页提供的下一页翻页参数进行。导航翻页可以配置两种翻页规则。假如入口页面是一个列表页，我们可以通过页码参数实现翻页，但也可以配置翻页规则来实现翻页。这是第一个翻页规则。同时第一层导航页导航出来的也是一个列表页，此时还需翻页，这是第二个翻页规则。第一种翻页规则我们称之为：导航页翻页规则，第二种翻页规则我 们称之为：导航页获取的页面翻页规则。请仔细对应界面。有关导航翻页的实际案例分析请参见：/bbs/showtopic-50.aspx Cookie管理通常理解下，只有在登录采集的时候才会需要Cookie信息，但某些网站对于访客也会判断cookie信息。对于需要cookie信息方可采集的网站，我们可配置Cookie进行数据采集。但对于网路矿工有一个比较纠结的问题：在配置任务时，获取cookie集成的方法是浏览器，用户只需要用内置的浏览器登录网站，系统即可捕获cookie信息。内置浏览器在某些情况下会出现获取cookie不完整。而这种不完整用户是无法判断的。通过嗅探器获取的cookie可以确保完整无误，这样在操作的时候会非常的尴尬。所以，在此请各位用户非常注意：如果需要cookie采集的网站，在设置了cookie信息后，通过“采集规则分析”功能确定系统是否正确返回了源码，如果没有，请使用嗅探器进行cookie的重设。 采集规则分析先讲下采集规则分析，采集规则分析是网络矿工提供的一个对采集网址配置、采集规则配置正确性校验的一个工具。如果采集网址配置正确，系统会自动根据采集网址配置的信息自动获取需要采集的网址，并将此网址的源码获取，在此可判断1）网址规则是否正确？2）采集的数据是否在源码中存在？3）如果获取错误，源码中的错误信息是什么？譬如：需要登录；当网址正确后，可以检验采集数据规则本身是否正确，按“F5”系统可进行数据匹配，匹配成功后会显示，如果无匹配的数据，表示规则失败；正则分析，同时这个工具也是一个正则分析器，可以用来分析正则表达式的正确性和匹配的结果。 采集数据配置注意事项1、 如果采用规则配置的方式，一定要按照网页代码的顺序配置，这点很重要，系统匹配数据是从上至下，所以，如果顺序颠倒，可能又部分数据采集不到，尽管规则配置正确；2、 如果采用可视化配置，可以不用考虑顺序的问题，随意配置即可；3、 系统提供了通配符，通配符实际是正则表达式，用户也可手工输入正则表达式的通配符，但一定要用包含，这样系统可以识别这是一个正则表达式进行处理； 静默运行方式静默运行方式是一种不打扰运行，系统不会将日志信息和采集的数据进行输出，同时系统也不会再弹出托盘菜单气泡提示，所有信息都将由系统处理，而且会把相关系统信息以日志的方式进行输出。静默运行方式是一种不打扰方式，当用户需要采集数据而且还有其他工作同时进行时，建议采用此种方式，启动静默采集时，系统好像是一个后台服务，始终运行，却不干扰用户的其他工作。 排重的处理一个采集任务可以多次运行，如果采集一个每日变化得数据时，不免会造成重复采集的情况，所以，矿工可以甚至排重库，将已经采集的数据记录下来，无论再运行几次，已经采集的数据将不会再进行采集。这是网络矿工设计排重的主要作用，但排重还可以作为另一个作用进行应用，当进行大量数据采集时，可能会由于对方网站的问题造成某些网址无法访问，但如果隔几分钟再重试时，网站又可以恢复正常，如果出现这样的情况，由于网站的临时错误会导致数据漏采，所以，此时可以用排重库记录。采集完成后在此采集，将只采集发生错误的网址数据了。如果需要重新采集数据，清除排重库即可。 关于数据文件的设置网络矿工采集的数据默认情况下是系统自动保存，以xml文件形式保存到磁盘中，每次运行任务保存一个独立的文件，哪怕是同一个任务，多次运行，也是保存多个独立的文件，用户可以强制一个采集任务无论几次运行都可将数据保存到一个xml文件中，只要选中了“此任务如多次运行，是否将采集数据保存到一个文件中”，并且制定一个xml文件的名称即可。 采集间隔延时系统默认情况下是多线程运行，采集完一条数据马上进行下一条数据的采集。但对于采集的目标网站，这样的采集无疑会给网站带来压力，有可能会被网站屏蔽，所以，用户可以设置采集的间隔，可以理解为访问强度，即可以采集完一条数据后停止一个时间段再进行下一条数据的采集。类似搜索引擎的爬虫压力设置。 http header设置http header是http通讯发送的信息，对于采集的目标网站，有可能会验证header信息以确认身份的合法性，所以，特定情况下需要设置header信息方可正确获取数据，此方面可以通过网络矿工嗅探器来进行侦测。但通常情况下header在采集数据时是无需关注的，多用于发布数据时使用。发布数据时系统会对header中的信息进行验证，尤其是user-age