PHP怎样用正则抓取页面中的网址__第1页
PHP怎样用正则抓取页面中的网址__第2页
PHP怎样用正则抓取页面中的网址__第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、PHP怎样用正则抓取页面中的网址_ 前言 链接也就是超级链接，是从一个元素（文字、图片、视频等）链接到另一个元素（文字、图片、视频等）。网页中的链接一般有三种，一种是肯定URL超链接，也就是一个页面的完整路径；另一种是相对URL超链接，一般都链接到同一网站的其他页面；还有一种是页面内的超链接，这种一般链接到同一页面内的其他位置。 搞清晰了链接的种类，就知道要抓链接，主要还是肯定URL超链接和相对URL超链接。要写出正确的正则表达式，就必需要了解我们查找的对象的模式。 先说肯定链接，也叫作URL（Uniform Resource Locator），标识了互联网上的唯一资源。URL的结构包含三部分

2、：协议、服务器名称、路径和文件名。 协议是告诉扫瞄器如何处理将要打开文件的标识，最常见的就是 http 协议。本文也只考虑HTTP协议，至于其他的 https、ftp、mailto、telnet协议等，依据需要也可以添加。 服务器名称是告诉扫瞄器如何到达这个服务器的方式，通常是域名或者IP地址，有时还会包含端口号（默认为80）。FTP协议中，也可以包含用户名和密码，本文就不考虑了。 路径和文件名，一般以 / 分割，指出到达这个文件的路径和文件本身的名称。假如没有具体的文件名，则访问这个文件夹下的默认文件（可以在服务器端设置）。 那么现在清晰了，要抓取的肯定链接的典型形式可以概括为 l 每个部分

3、可以用法的字符范围有明确的规范，具体可以参考RFC1738。那么正则表达式就可以写出来了。 /(http|https):/(wd-_+.wd-_+):d+?(/?w/.+)/i 说明如下： (http|https)第一个括号内匹配的是协议部分。 (wd-_+.wd-_+)其次个括号内匹配的是域名部分。 (/?w/.+)第三个括号内匹配的是相对路径。 写到这个时候，基本上大部分的网址都能匹配到了，但是对于URL中带有参数的还不能抓取，这样有可能造成再次访问的时候页面报错。关于参数RFC1738规范中要求是用？来分割，后面带上参数，但是现代的RIA应用有可能用法其他惊奇的形式进行分割。 略微修改一下，这样就可以将查询参数部分搜索出来。这里仍旧没有涵盖全部的状况，例如URL中有中文、有空格及其他特别字符的状况，但是基本上能够满足我的需求了，就没有连续深化。 /(http|ftp|https):/(wd-_+.wd-_+):d+?(/?w/.?=;%#+,+)/i 用法括号的好处是，在处理结果时，可以很简单的猎取到协议、域名、相对路径这些内容，便利后续的处理。 例如用法 preg_match_all() 匹配时，结果数组索引0为全部结果、1为协议、

人人文库> 全部分类> 应用文书 > 工作计划

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论