网络矿工采集器V2012SP1图文使用教程

网络矿工采集器V2012SP1使用教程（图文版）使用IE或Firefox浏览器，打开，进入下载频道，下载网络矿工V2012SP1软件注意：网络矿工的运行需要.NetFramework2.0环境，如果您的计算机中不具备此环境，请到下载->工具软件中下载。网络矿工下载后是一个ZIP压缩文件双击打开压缩文件，可以看到一个SoMinerV2012Sp1专业版目录，全部解压出来即可，解压完成后，在此目录中我们可以看到有三个exe文件，同时还可看到一个“第一次使用请先读我”的文本文件，如果第一次使用，可以查看这个文件。Soukeynetget.Exe是网络矿工的主程序文件，双击启动即可打开网络矿工。如果您是试用用户，启动后，系统会显示试用版，及剩余试用的期限，通常情况下试用期限为30天，试用版没有任何功能限制，所以不必担心。我们以一个简单的配置例子，来介绍网络矿工的使用，采集某网站的新闻数据。启动网络矿工，我们首先先建立一个“新闻”的分类用来存储将要配置的采集任务，建立分类的目的是便于管理。建立分类：在属性菜单中，点击鼠标右键，选择“添加采集分类”，系统弹出添加分类窗体，如下：输入“新闻”点击确定退出，系统会自动建立新闻的分类选中“新闻”分类，点击鼠标右键，选择“新建采集任务”开始添加采集任务首先我们可以给此采集任务填写一个易记的采集名称“新闻采集”，下一步我们开始添加要采集的网址信息，采集网址为：/newssh/shwx/shehuiwanxiang.htm采集的数据是从这个新闻列表页中，找到每一篇新闻，点击进入新闻的详细页，采集新闻的置导航规则页中，选择“自定义配置”，在网页源码中，找到需要导航的网址，荧光笔标出的就是前后标志，输入规则，确定退出。然后，我们再进行导航规则测试，可以看到测试没有问题。下面我们开始配置采集数据的规则，因为我们要采集新闻的正文、标题、发布时间，所以，可以用三种方式来完成：1、智能采集；2、可视化采集；3、规则配置。我们逐个讲解智能采集我们在采集任务配置窗体中，选择“采集数据”，并点击“配置助手”，打开配置助手页，在地址栏输入一个采集的地址，系统也会自动输入此网址，同时点击“生成文章采集规则”，可以看到系统已经将文章的智能规则输入到系统中，点击“测试”可以检查采集结果是否正确确定退出，这样就完成了配置。点击“应用”保存，测试采集，可以看到采集没有问题，正文首先是张图片。如果需要去掉网页符号，可以编辑正文的数据加工规则，选择“输出时去掉网页符号”再次测试网页符号已经去掉，因为图片是一个网页代码，所以也被去掉了，一般情况下，采集正文我们期望保留格式，所以，不用去掉网页代码，这样可以保留文章原始格式进行输出。下面我们来看可视化配置我们在采集任务配置窗体中，选择“采集数据”，并点击“增加”，采集数据规则配置页，选择“可视化配置”，并点击“可视化提取”按钮，打开可视化配置页面输入我们需要采集数据的网址，并点击匹配，开始进行采集数据的可视化配置，同样，点击“开始捕获”时，鼠标在网页滑动时会出现一个蓝色边框，用蓝色边框选中需要采集的数据，点击即可。点击“测试”可以看到测试结果，测试结果正确后，确定退出，在采集数据规则配置页，输入一个名称，保存退出，即可重复以上过程，将正文、时间、标题配置好即可。可以看到规则类别为XPath保存采集任务，测试即可。下面我们来看第三种配置方法：规则配置规则配置是最复杂的，但也是最灵活的，需要在网页源码中找到前后标志，进行配置首先先打开需要采集数据的网页源码，采集任务配置窗体中，选择“采集数据”，并点击“增加”，采集数据规则配置页在“起始位置”和“终止位置”输入在网页源码中找到的定位符即可逐一配置规则类别为：Normal测试采集至此，我们这个采集任务就讲解完成。这个采集配置是比较简单的，但针对这个采集任务配置，我们讲解了自动化分析、可视化配置和规则配置三种配置方法，在大部分情况下，可视化配置可以完成规则的配置，而不需要规则配置，但规则配置最为灵活，采集效率最高，但难度也最