CNET语言的爬虫程序.doc

C#语言的爬虫程序C#特别适合于构造蜘蛛程序，这是因为它已经内置了HTTP访问和多线程的能力，而这两种能力对于蜘蛛程序来说都是非常关键的。下面是构造一个蜘蛛程序要解决的关键问题： HTML分析：需要某种HTML解析器来分析蜘蛛程序遇到的每一个页面。 页面处理：需要处理每一个下载得到的页面。下载得到的内容可能要保存到磁盘，或者进一步分析处理。 多线程：只有拥有多线程能力，蜘蛛程序才能真正做到高效。 确定何时完成：不要小看这个问题，确定任务是否已经完成并不简单，尤其是在多线程环境下。一、HTML解析本文提供的HTML解析器由ParseHTML类实现，使用非常方便：首先创建该类的一个实例，然后将它的Source属性设置为要解析的HTML文档： ParseHTML parse = new ParseHTML(); parse.Source = Hello World;接下来就可以利用循环来检查HTML文档包含的所有文本和标记。通常，检查过程可以从一个测试Eof方法的while循环开始： while(!parse.Eof() char ch = parse.Parse(); Parse方法将返回HTML文档包含的字符-它返回的内容只包含那些非HTML标记的字符，如果遇到了HTML标记，Parse方法将返回0值，表示现在遇到了一个HTML标记。遇到一个标记之后，我们可以用GetTag()方法来处理它。 if(ch=0) HTMLTag tag = parse.GetTag(); 一般地，蜘蛛程序最重要的任务之一就是找出各个HREF属性，这可以借助C#的索引功能完成。例如，下面的代码将提取出HREF属性的值（如果存在的话）。 Attribute href = tagHREF; string link = href.Value; 获得Attribute对象之后，通过Attribute.Value可以得到该属性的值。 二、处理HTML页面 下面来看看如何处理HTML页面。首先要做的当然是下载HTML页面，这可以通过C#提供的HttpWebRequest类实现： HttpWebRequest request = (HttpWebRequest)WebRequest.Create(m_uri); response = request.GetResponse(); stream = response.GetResponseStream(); 接下来我们就从request创建一个stream流。在执行其他处理之前，我们要先确定该文件是二进制文件还是文本文件，不同的文件类型处理方式也不同。下面的代码确定该文件是否为二进制文件。 if( !response.ContentType.ToLower().StartsWith(text/) ) SaveBinaryFile(response); return null; string buffer = ,line; 如果该文件不是文本文件，我们将它作为二进制文件读入。如果是文本文件，首先从stream创建一个StreamReader，然后将文本文件的内容一行一行加入缓冲区。 reader = new StreamReader(stream); while( (line = reader.ReadLine()!=null ) buffer+=line+rn; 装入整个文件之后，接着就要把它保存为文本文件。 SaveTextFile(buffer); 下面来看看这两类不同文件的存储方式。 二进制文件的内容类型声明不以text/开头，蜘蛛程序直接把二进制文件保存到磁盘，不必进行额外的处理，这是因为二进制文件不包含HTML，因此也不会再有需要蜘蛛程序处理的HTML链接。下面是写入二进制文件的步骤。 首先准备一个缓冲区临时地保存二进制文件的内容。 byte buffer = new byte1024; 接下来要确定文件保存到本地的路径和名称。如果要把一个网站的内容下载到本地的c:test文件夹，二进制文件的网上路径和名称是/images/logo.gif，则本地路径和名称应当是c:testimageslogo.gif。与此同时，我们还要确保c:test目录下已经创建了images子目录。这部分任务由convertFilename方法完成。 string filename = convertFilename( response.ResponseUri ); convertFilename方法分离HTTP地址，创建相应的目录结构。确定了输出文件的名字和路径之后就可以打开读取Web页面的输入流、写入本地文件的输出流。 Stream outStream = File.Create( filename ); Stream inStream = response.GetResponseStream(); 接下来就可以读取Web文件的内容并写入到本地文件，这可以通过一个循环方便地完成。 int l; do l = inStream.Read(buffer,0, buffer.Length); if(l0) outStream.Write(buffer,0,l); while(l0); 三、多线程我们用DocumentWorker类封装所有下载一个URL的操作。每当一个DocumentWorker的实例被创建，它就进入循环，等待下一个要处理的URL。下面是DocumentWorker的主循环： while(!m_spider.Quit ) m_uri = m_spider.ObtainWork(); m_spider.SpiderDone.WorkerBegin(); string page = GetPage(); if(page!=null) ProcessPage(page); m_spider.SpiderDone.WorkerEnd(); 这个循环将一直运行，直至Quit标记被设置成了true（当用户点击Cancel按钮时，Quit标记就被设置成true）。在循环之内，我们调用ObtainWork获取一个URL。ObtainWork将一直等待，直到有一个URL可用-这要由其他线程解析文档并寻找链接才能获得。Done类利用WorkerBegin和WorkerEnd方法来确定何时整个下载操作已经完成。 从图一可以看出，蜘蛛程序允许用户自己确定要使用的线程数量。在实践中，线程的最佳数量受许多因素影响。如果你的机器性能较高，或者有两个处理器，可以设置较多的线程数量；反之，如果网络带宽、机器性能有限，设置太多的线程数量其实不一定能够提高性能。 四、任务完成了吗？ 利用多个线程同时下载文件有效地提高了性能，但也带来了线程管理方面的问题。其中最复杂的一个问题是：蜘蛛程序何时才算完成了工作？在这里我们要借助一个专用的类Done来判断。 首先有必要说明一下完成工作的具体含义。只有当系统中不存在等待下载的URL，而且所有工作线程都已经结束其处理工作时，蜘蛛程序的工作才算完成。也就是说，完成工作意味着已经没有等待下载和正在下载的URL。 Done类提供了一个WaitDone方法，它的功能是一直等待，直到Done对象检测到蜘蛛程序已完成工作。下面是WaitDone方法的代码。 public void WaitDone() Monitor.Enter(this); while ( m_activeThreads0 ) Monitor.Wait(this); Monitor.Exit(this); WaitDone方法将一直等待，直到不再有活动的线程。但必须注意的是，下载开始的最初阶段也没有任何活动的线程，所以很容易造成蜘蛛程序一开始就立即停止的现象。为解决这个问题，我们还需要另一个方法WaitBegin来等待蜘蛛程序进入正式的工作阶段。一般的调用次序是：先调用WaitBegin，再接着调用WaitDone，WaitDone将等待蜘蛛程序完成工作。下面是WaitBegin的代码： public void WaitBegin() Monitor.Enter(this); while ( !m_started ) Monitor.Wait(this); Monitor.Exit(this); WaitBegin方法将一直等待，直到m_started标记被设置。m_started标记是由WorkerBegin方法设置的。工作线程在开始处理各个URL之时，会调用WorkerBegin；处理结束时调用WorkerEnd。WorkerBegin和WorkerEnd这两个方法帮助Done对象确定当前的工作状态。下面是WorkerBegin方法的代码： public void WorkerBegin() Monitor.Enter(this); m_activeThreads+; m_started = true; Monitor.Pulse(this); Monitor.Exit(this); WorkerBegin方法首先增加当前活动线程的数量，接着设置m_started标记，最后调用Pulse方法以通知（可能存在的）等待工作线程启动的线程。如前所述，可能等待Done对象的方法是WaitBegin方法。每处理完一个URL，WorkerEnd方法会被调用： public void WorkerEnd() Monitor.Enter(this); m_activeThreads-; Monitor.Pulse(this); Monitor.Exit(this); WorkerEnd方法减小m_activeThreads活动线程计数器，调用Pulse释放可能在等待Done对象的线程-如前所述，可能在等待Done对象的方法是WaitDone方法。爬虫/蜘蛛程序的制作（C#语言） 问题是对某一网站或所有网站进行抓取，即下载所有网页。怎么实现呢？先将问题最小化（转化的思想，转化为小规模，可以解决的问题）：如果只有一个网页，怎么下载？问题变地很简单，只要用WebClient/WebRequest（甚至OpenFileDialog都可以）打开Url地址，将数据流存入本地存储器的文件（以相应的扩展名作为扩展名）即可。示例代码如下：string BoardStream;/下载内容存入此变量Uri url = new Uri( “” );/将下载地址转换为Uri类型HttpWebRequest requestPage = ( HttpWebRequest )WebRequest.Create( url );WebResponse response = requestMainPage.GetResponse();Stream stream = response.GetResponseStream();/获取页面流if( response.ContentType.ToLower().StartsWith( text/ ) )/如果获得成功（即为文本格式）StreamReader reader = new StreamReader( stream , System.Text.Encoding.UTF8 );/读取获得内容流BoardStream = reader.ReadToEnd();/将内容流转换为文本并存入变量BoardStream，即为所需要的数据流StreamWriter saveAPage = new StreamWriter( “C:a.html” , false , System.Text.Encoding.GetEncoding( gb2312 ) );/实例化写入类，保存路径假设为C:a.htmlsaveAPage.Write(Rich.Text);/创建写入任务saveAPage.Flush();/写入文件（即清理缓存流）saveAPage.Close();/关闭写入类的对象好了，这样便完成了一个网页的下载。最简化问题解决！好了，下面的问题是，如何获得更多的网页？可以分两步：1. 得到更多的地址2. 下载地址指向的链接内容（和上面下载一页的方法一样）循环进行上面两步即可以完成蜘蛛的全部功能了 _要得到更多的地址，最好的办法是模拟人使用网页的办法。我们平时怎么浏览整个网站？无非是从主页依次点开各层链接而已。好了，思路出来了：分析已经下载的主页文本，提取其中所有的Url地址信息，再依次下载得到的Url地址指向的链接即可。现在网络上有不少Web2.0的网站了，这对解析Url地址有不小的负面作用。在Web2.0出现前，所有的链接都是在HREF后面出现的，而现在却没有了这样的关键字，地址可能出现于任何的关键字之后。怎么办呢？经过大量分析，笔者发现：其实现在所有的链接还有一个共性，即都包裹在双引号（”）当中，这便对解析提供了极大的方便。笔者将链接分为两类：1. 完整链接，即：”/”类，其前面有明显的标志http:/，这样的内容很好提取，只要用String的静态方法IndexOf()找出http:/的位置以及从此位置算起第一个“”出现的位置（即链接结束的位置），再用SubString()方法将地址提取出来即可。2. 非完整链接，其形式一般为”index.htm”，提取方法和完整链接的方法相同，只是判断它是不是链接上有一定难度（因为属性等其它信息也可能以“”开头，这时就很难判断了。笔者采取的方法是试下载，即下载一下试试，如果超时刚不是，不超时刚是。注意：要在它的前面加上根地址，如“/index.htm”。好了，我想蜘蛛的所有功能已经实现了吧？嘿嘿_只是这样一个蜘蛛程序怕是效率万般低下，因为它只有一个线程，光解析下一层的链接都要花上不少时间，怎么办呢？当然是采取更优化的办法：多线程具体实现见蜘蛛/爬虫程序的多线程控制一文（稍后在本Blog推出）。作者tag:.netc#web2.0线程爬虫CSDN 推荐tag:下载 爬虫/蜘蛛程序的制作（C#语言） 问题是对某一网站或所有网站进行抓取，即下载所有网页。怎么实现呢？先将问题最小化（转化的思想，转化为小规模，可以解决的问题）：如果只有一个网页，怎么下载？问题变地很简单，只要用WebClient/WebRequest（甚至OpenFileDialog都可以）打开Url地址，将数据流存入本地存储器的文件（以相应的扩展名作为扩展名）即可。示例代码如下：string BoardStream;/下载内容存入此变量Uri url = new Uri( “” );/将下载地址转换为Uri类型HttpWebRequest requestPage = ( HttpWebRequest )WebRequest.Create( url );WebResponse response = requestMainPage.GetResponse();Stream stream = response.GetResponseStream();/获取页面流if( response.ContentType.ToLower().StartsWith( text/ ) )/如果获得成功（即为文本格式） StreamReader reader = new StreamReader( stream , System.Text.Encoding.UTF8 );/读取获得内容流BoardStream = reader.ReadToEnd();/将内容流转换为文本并存入变量BoardStream，即为所需要的数据流StreamWriter saveAPage = new StreamWriter( “C:a.html” , false , System.Text.Encoding.GetEncoding( gb2312 ) );/实例化写入类，保存路径假设为C:a.htmlsaveAPage.Write(Rich.Text);/创建写入任务saveAPage.Flush();/写入文件（即清理缓存流）saveAPage.Close();/关闭写入类的对象好了，这样便完成了一个网页的下载。最简化问题解决！好了，下面的问题是，如何获得更多的网页？可以分两步：1. 得到更多的地址2. 下载地址指向的链接内容（和上面下载一页的方法一样）循环进行上面两步即可以完成蜘蛛的全部功能了 要得到更多的地址，最好的办法是模拟人使用网页的办法。我们平时怎么浏览整个网站？无非是从主页依次点开各层链接而已。好了，思路出来了：分析已经下载的主页文本，提取其中所有的Url地址信息，再依次下载得到的Url地址指向的链接即可。现在网络上有不少Web2.0的网站了，这对解析Url地址有不小的负面作用。在Web2.0出现前，所有的链接都是在HREF后面出现的，而现在却没有了这样的关键字，地址可能出现于任何的关键字之后。怎么办呢？经过大量分析，笔者发现：其实现在所有的链接还有一个共性，即都包裹在双引号（”）当中，这便对解析提供了极大的方便。笔者将链接分为两类：1. 完整链接，即：””类，其前面有明显的标志http:/，这样的内容很好提取，只要用String的静态方法IndexOf()找出http:/的位置以及从此位置算起第一个“”出现的位置（即链接结束的位置），再用SubString()方法将地址提取出来即可。2. 非完整链接，其形式一般为”index.htm”，提取方法和完整链接的方法相同，只是判断它是不是链接上有一定难度（因为属性等其它信息也可能以“”开头，这时就很难判断了。笔者采取的方法是试下载，即下载一下试试，如果超时刚不是，不超时刚是。注意：要在它的前面加上根地址，如“/index.htm”。在爬虫/蜘蛛程序的制作（C#语言）一文中，已经介绍了爬虫程序实现的基本方法，可以说，已经实现了爬虫的功能。只是它存在一个效率问题，下载速度可能很慢。这是两方面的原因造成的：1.分析和下载不能同步进行。在爬虫/蜘蛛程序的制作（C#语言）中已经介绍了爬虫程序的两个步骤：分析和下载。在单线程的程序中，两者是无法同时进行的。也就是说，分析时会造成网络空闲，分析的时间越长，下载的效率越低。反之也是一样，下载时无法同时进行分析，只有停下下载后才能进行下一步的分析。问题浮出水面，我想大家都会想到：把分析和下载用不同的线程进行，问题不就解决了吗？2.只是单线程下载。相信大家都有用过网际快车等下载资源的经历，它里面是可以设置线程数的（近年版本默认是10，曾经默认是5）。它会将文件分成与线程数相同的部分，然后每个线程下载自己的那一部分，这样下载效率就有可能提高。相信大家都有加多线程数，提升下载效率的经历。但细心的用户会发现，在带宽一定的情况下，并不是线程越多，速度越快，而是在某一点达到峰值。爬虫作为特殊的下载工具，不具备多线程的能力何以有效率可谈？爬虫在信息时代的目的，难道不是快速获取信息吗？所以，爬虫需要有多线程（可控数量）同时下载网页。 好了，认识、分析完问题，就是解决问题了： 多线程在C#中并不难实现。它有一个命名空间：System.Threading，提供了多线程的支持。要开启一个新线程，需要以下的初始化：ThreadStart startDownload = new ThreadStart( DownLoad ); /线程起始设置：即每个线程都执行DownLoad()，注意：DownLoad()必须为不带有参数的方法Thread downloadThread = new Thread( startDownload ); /实例化要开启的新类downloadThread.Start();/开启线程 由于线程起始时启动的方法不能带有参数，这就为多线程共享资源添加了麻烦。不过我们可以用类级变量（当然也可以使用其它方法，笔者认为此方法最简单易用）来解决这个问题。知道开启多线程下载的方法后，大家可能会产生几个疑问：1.如何控制线程的数量？2.如何防止多线程下载同一网页？3.如何判断线程结束？4.如何控制线程结束？ 下面就这几个问题提出解决方法：1.线程数量我们可以通过for循环来实现，就如同当年初学编程的打点程序一样。比如已知用户指定了n（它是一个int型变量）个线程吧，可以用如下方法开启五个线程。Thread downloadThread;/声名下载线程，这是C#的优势，即数组初始化时，不需要指定其长度，可以在使用时才指定。这个声名应为类级，这样也就为其它方法控件它们提供了可能ThreadStart startDownload = new ThreadStart( DownLoad );/线程起始设置：即每个线程都执行DownLoad()downloadThread = new Thread n ;/为线程申请资源，确定线程总数for( int i = 0; i n; i+ )/开启指定数量的线程数downloadThreadi = new Thread( startDownload );/指定线程起始设置downloadThreadi.Start();/逐个开启线程好了，实现控制开启线程数是不是很简单啊？2.下面出现的一个问题：所有的线程都调用DonwLoad()方法，这样如何避免它们同时下载同一个网页呢？这个问题也好解决，只要建立一下Url地址表，表中的每个地址只允许被一个线程申请即可。具体实现：可以利用数据库，建立一个表，表中有四列，其中一列专门用于存储Url地址，另外两列分别存放地址对应的线程以及该地址被申请的次数，最后一列存放下载的内容。（当然，对应线程一列不是必要的）。当有线程申请后，将对应线程一列设定为当前线程编号，并将是否申请过一列设置为申请一次，这样，别的线程就无法申请该页。如果下载成功，则将内容存入内容列。如果不成功，内容列仍为空，作为是否再次下载的依据之一，如果反复不成功，则进程将于达到重试次数（对应该地址被申请的次数，用户可设）后，申请下一个Url地址。主要的代码如下（以VFP为例）：CREATE TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I ) &建立一个表ctablename.dbf，含有地址、文本内容、已经尝试下载次数、线程标志（初值为-1，线程标志是从0开始的整数）四个字段cfullname = (ctablename) + .dbf&为表添加扩展名USE (cfullname) GO TOPLOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned 2 AND ( threadNum = thisNum OR threadNum = - 1) ) &查找尚未下载成功且应下载的属于本线程权限的Url地址，thisNum是当前线程的编号，可以通过参数传递得到gotUrl = curl recNum = RECNO()IF recNum = RECCOUNT() THEN &如果在列表中找到这样的Url地址UPDATE (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum WHERE RECNO() = recNum &更新表，将此记录更新为已申请，即下载次数加1，线程标志列设为本线程的编号。cfulltablename = (ctablename) + .dbfUSE (cfulltablename)SET EXACT ON LOCATE FOR curl = (csiteurl) & csiteurl是参数，为下载到的内容所对应的Url地址recNumNow = RECNO()&得到含有此地址的记录号UPDATE (cfulltablename) SET ctext = (ccontent) WHERE RECNO() = recNumNow &插入对应地址的对应内容ctablename = (ctablename) + .dbfUSE (ctablename)GO TOP SET EXACT ONLOCATE FOR curl = (cnewurl) &查找有无此地址IF RECNO() RECCOUNT() THEN &如果尚无此地址SET CARRY OFFINSERT INTO (ctablename) ( curl , ctext , ldowned , threadNum ) VALUES ( (cnewurl) , , 0 , -1 ) &将主页地址添加到列表好了，这样就解决了多线程中，线程冲突。当然，去重问题也可以在C#语言内解决，只根建立一个临时文件（文本就可以），保存所有的Url地址，差对它们设置相应的属性即可，但查找效率可能不及数据库快。3.线程结束是很难判断的，因为它总是在查找新的链接。用者认为可以假设：线程重复N次以后还是没有能申请到新的Url地址，那么可以认为它已经下载完了所有链接。主要代码如下：string url = ;int times = 0;while ( url = )/如果没有找到符合条件的记录，则不断地寻找符合条件的记录url = getUrl.GetAUrl( );/调用GetAUrl方法，试图得到一个url值if ( url = )/如果没有找到times +;/尝试次数自增continue; /进行下一次尝试if ( times N ) /如果已经尝试够了次数，则退出进程downloadThreadi.Abort; /退出进程else/如果没有尝试够次数Times = 0; /尝试次数归零处理/进行下一步针对得到的Url的处理4.这个问题相对简单，因为在问题一中已经建议，将线程声名为类级数组，这样就很易于控制。只要用一个for循环即可结束。代码如下：for( int i = 0; i n; i+ )/关闭指定数量n的线程数downloadThreadi.Abort();/逐个关闭线程 好了，一个蜘蛛程序就这样完成了，在C#面前，它的实现原来如此简单。 这里笔者还想提醒读者：笔者只是提供了一个思路及一个可以实现的解决方案，但它并不是最佳的，即使这个方案本身，也有好多可以改进的地方，留给读者思考。 最后说明一下我所使用的环境：winXP sp2 ProVFP 9.0Visual Studio 2003 .net中文企业版在爬虫/蜘蛛程序的制作（C#语言）一文中，已经介绍了爬虫程序实现的基本方法，可以说，已经实现了爬虫的功能。只是它存在一个效率问题，下载速度可能很慢。这是两方面的原因造成的：1. 分析和下载不能同步进行。在爬虫/蜘蛛程序的制作（C#语言）中已经介绍了爬虫程序的两个步骤：分析和下载。在单线程的程序中，两者是无法同时进行的。也就是说，分析时会造成网络空闲，分析的时间越长，下载的效率越低。反之也是一样，下载时无法同时进行分析，只有停下下载后才能进行下一步的分析。问题浮出水面，我想大家都会想到：把分析和下载用不同的线程进行，问题不就解决了吗？2. 只是单线程下载。相信大家都有用过网际快车等下载资源的经历，它里面是可以设置线程数的（近年版本默认是10，曾经默认是5）。它会将文件分成与线程数相同的部分，然后每个线程下载自己的那一部分，这样下载效率就有可能提高。相信大家都有加多线程数，提升下载效率的经历。但细心的用户会发现，在带宽一定的情况下，并不是线程越多，速度越快，而是在某一点达到峰值。爬虫作为特殊的下载工具，不具备多线程的能力何以有效率可谈？爬虫在信息时代的目的，难道不是快速获取信息吗？所以，爬虫需要有多线程（可控数量）同时下载网页。 好了，认识、分析完问题，就是解决问题了： 多线程在C#中并不难实现。它有一个命名空间：System.Threading，提供了多线程的支持。要开启一个新线程，需要以下的初始化：ThreadStart startDownload = new ThreadStart( DownLoad ); /线程起始设置：即每个线程都执行DownLoad()，注意：DownLoad()必须为不带有参数的方法Thread downloadThread = new Thread( startDownload ); /实例化要开启的新类downloadThread.Start();/开启线程 由于线程起始时启动的方法不能带有参数，这就为多线程共享资源添加了麻烦。不过我们可以用类级变量（当然也可以使用其它方法，笔者认为此方法最简单易用）来解决这个问题。知道开启多线程下载的方法后，大家可能会产生几个疑问：1. 如何控制线程的数量？2. 如何防止多线程下载同一网页？3. 如何判断线程结束？4. 如何控制线程结束？ 下面就这几个问题提出解决方法：1. 线程数量我们可以通过for循环来实现，就如同当年初学编程的打点程序一样。比如已知用户指定了n（它是一个int型变量）个线程吧，可以用如下方法开启五个线程Thread downloadThread;/声名下载线程，这是C#的优势，即数组初始化时，不需要指定其长度，可以在使用时才指定。这个声名应为类级，这样也就为其它方法控件它们提供了可能ThreadStart startDownload = new ThreadStart( DownLoad );/线程起始设置：即每个线程都执行DownLoad()downloadThread = new Thread n ;/为线程申请资源，确定线程总数for( int i = 0; i n; i+ )/开启指定数量的线程数 downloadThreadi = new Thread( startDownload );/指定线程起始设置 downloadThreadi.Start();/逐个开启线程好了，实现控制开启线程数是不是很简单啊？2. 下面出现的一个问题：所有的线程都调用DonwLoad()方法，这样如何避免它们同时下载同一个网页呢？这个问题也好解决，只要建立一下Url地址表，表中的每个地址只允许被一个线程申请即可。具体实现：可以利用数据库，建立一个表，表中有四列，其中一列专门用于存储Url地址，另外两列分别存放地址对应的线程以及该地址被申请的次数，最后一列存放下载的内容。（当然，对应线程一列不是必要的）。当有线程申请后，将对应线程一列设定为当前线程编号，并将是否申请过一列设置为申请一次，这样，别的线程就无法申请该页。如果下载成功，则将内容存入内容列。如果不成功，内容列仍为空，作为是否再次下载的依据之一，如果反复不成功，则进程将于达到重试次数（对应该地址被申请的次数，用户可设）后，申请下一个Url地址。主要的代码如下（以VFP为例）：CREATE TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I ) &建立一个表ctablename.dbf，含有地址、文本内容、已经尝试下载次数、线程标志（初值为-1，线程标志是从0开始的整数）四个字段cfullname = (ctablename) + .dbf&为表添加扩展名USE (cfullname) GO TOPLOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned 2 AND ( threadNum = thisNum OR threadNum = - 1) ) &查找尚未下载成功且应下载的属于本线程权限的Url地址，thisNum是当前线程的编号，可以通过参数传递得到gotUrl = curl recNum = RECNO()IF recNum = RECCOUNT() THEN &如果在列表中找到这样的Url地址UPDATE (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum WHERE RECNO() = recNum &更新表，将此记录更新为已申请，即下载次数加1，线程标志列设为本线程的编号。cfulltablename = (ctablename) + .dbfUSE (cfulltablename)SET EXACT ON LOCATE FOR curl = (csiteurl) & csiteurl是参数，为下载到的内容所对应的Url地址recNumNow = RECNO()&得到含有此地址的记录号UPDATE (cfulltablename) SET ctext = (ccontent) WHERE RECNO() = recNumNow &插入对应地址的对应内容ctablename = (ctablename) + .dbfUSE (ctablename)GO TOP SET EXACT ONLOCATE FOR curl = (cnewurl) &查找有无此地址IF RECNO() RECCOUNT() THEN &如果尚无此地址SET CARRY OFFINSERT INTO (ctablename) ( curl , ctext , ldowned , threadNum ) VALUES ( (cnewurl) , , 0 , -1 ) &将主页地址添加到列表好了，这样就解决了多线程中，线程冲突。当然，去重问题也可以在C#语言内解决，只根建立一个临时文件（文本就可以），保存所有的Url地址，差对它们设置相应的属性即可，但查找效率可能不及数据库快。3. 线程结束是很难判断的，因为它总是在查找新的链接。用者认为可以假设：线程重复N次以后还是没有能申请到新的Url地址，那么可以认为它已经下载完了所有链接。主要代码如下：string url = ;int times = 0;while ( url = )/如果没有找到符合条件的记录，则不断地寻找符合条件的记录 url = getUrl.GetAUrl( );/调用GetAUrl方法，试图得到一个url值 if ( url = )/如果没有找到 times +;/尝试次数自增 continue; /进行下一次尝试 if ( times N ) /如果已经尝试够了次数，则退出进程 downloadThreadi.Abort; /退出进程 else/如果没有尝试够次数 Times = 0; /尝试次数归零处理 /进行下一步针对得到的Url的处理4. 这个问题相对简单，因为在问题一中已经建议，将线程声名为类级数组，这样就很易于控制。只要用一个for循环即可结束。代码如下：for( int i = 0; i n; i+ )/关闭指定数量n的线程数 downloadThreadi.Abort();/逐个关闭线程 好了，一个蜘蛛程序就这样完成了，在C#面前，它的实现原来如此简单。 这里笔者还想提醒读者：笔者只是提供了一个思路及一个可以实现的解决方案，但它并不是最佳的，即使这个方案本身，也有好多可以改进的地方，留给读者思考。 最后说明一下我所使用的环境：winXP sp2 ProVFP 9.0Visual Studio 2003 .Net中文企业版该文章转载自网络大本营：file:/C:/文件/Eclipse视频教程/搜索引擎源码/网页收藏/_Net技术库蜘蛛-爬虫程序的多线程控制（C#语言）_网络大本营.htmC#实现web信息自动抓取 NetBug-爬虫 V1.02开发笔记背景随着Internet的普及，网络信息正以极高的速度增长，在这么多数据中找到自己需要的信息是一件很繁琐的事情，找到需要的信息后如何获取也是件麻烦的事。这就需要Internet信息抓取程序来代替人工的操作。所谓Internet信息抓取程序，就是程序会按照用户的关键词或关键网站来收集相应的信息，并提供给用户想要的信息格式。信息量的增加会带来信息网站发布人员工作量的剧增，为实现信息发布系统实现信息自动发布