php网页分析_内容抓取_爬虫_文件分析.doc

php网页分析 内容抓取 爬虫 文件分析 (2011-11-19 20:53:10)转载标签： 杂谈?php /获取所有内容url保存到文件 function get_index($save_file, $prefix=index_) $count = 68; $i = 1; if (file_exists($save_file) unlink($save_file); $fp = fopen($save_file, a+) or die(Open . $save_file . failed); while($is+)*s*(.*?)/i; preg_match_all($regx, $str, $result); if (count($result) = 3) $result2 = str_replace(多媒体： , , $result2); $result2 = str_replace(, , $result2); $result = $result10 . $split .$result20 . n; return $result; ? 2:判断这个页面是否是报错页面 返回 第一个返回正常 第二个不存在返回404 function getHttpStatus($host,$get=) /访问网页 获得服务器状态码 $fp = fsockopen($host, 80); if (!$fp) $res= -1; else fwrite($fp, GET /.$get. HTTP/1.0rnrn); stream_set_timeout($fp, 2); $res = fread($fp, 128); $info = stream_get_meta_data($fp); fclose($fp); if ($infotimed_out) $res=0; else $res= substr($res,9,3); return $res; echo getHttpStatus(5,/); echo getHttpStatus(,Expert/topic/4758/4758574.xml?temp=.1661646); 返回 1 无法连接服务器 0 超时 200 OK (成功返回) 302 Found (找到) 404 没有找到 . ?php /遍历所有网页 ($type指定类型) function getAllPage($path=./,$type=array(html,htm) global $p; if ($handle = opendir($path) while (false != ($file = readdir($handle) if(is_dir($file) & $file!=. & $file!=.) getAllPage($path.$file./,$type); else $ex=array_pop(explode(.,$file); if(in_array(strtolower($ex),$type) array_push($p, $path.$file); closedir($handle); $p=array(); getAllPage(./); echo ; print_r($p); echo ; ? ?php /抓取页面内容中所有URL。 $str=2006年05月30日 15:13:00 | 评论 (0); preg_match_all(/href=(*.*php*)/si,$str,$m); /换用下面这个获取所有类型URL /preg_match_all(/href=(*)/si,$str,$m); print_r($m1); ? 包含在链接里带get参数的地址 ?php $str=