VBA处理网页基础二

VBAVBA 的的 WEBWEB 应用系列教程应用系列教程 HTMLHTML 文档篇文档篇 上节课 我们说了 HTTP 通讯 HTTP 通讯一般情况返回的是啥呢 是页面的 源代码 例如 我们访问百度 返回了 一大堆 东西 就是 我们在页面点击右键 查看页面源文件 如图 我们的浏览器 正是把这堆源代码 翻译成我们可视的生动地页面的 就 像 VBA 一样 这堆代码是什么语言呢 就是通常所说的 超文本标记语言超文本标记语言 为啥叫标记语言标记语言 因为它只能用于展示 展示我们所看到的网页页面 不 是编程语言哦 为啥叫超文本超文本呢 大家仔细看 这堆源代码有什么特征呢 就是有很多这 样的文本 一般而言 我们把叫做标签标签 细心的同学可以发现 标签都是 成对出现的 例如 百度一下 你就知道 第一个叫 做开始标签 第二个多带了个 叫结束标签 标签之间就是网页的文本 例如这 个例子 就是我们网页标题的文本 百度一下 你就知道 所以 标签的作用 就是 给文本打上标记 告诉浏览器 怎么显示这个文本 例如本例 要求浏 览器把 百度一下 你就知道 显示成网页的标题 HTMLHTML 文档文档 文本文本 标签标签 所 以就超文本啦 2 总之 HTML 就是用来描述网页的语言 像上面所说的这样的标签 是有一整套的 呵呵 我们的教程 并不是为了教大家 怎么去做网页 设计网页 因此 大家 仅仅需要 大致的了解一些 HTML 系列的文本标记语言的基础即可 知道常用的 几个标签 有什么用即可 一 网页数据提取常见的一 网页数据提取常见的 HTMLHTML 标签标签 元素元素 上面说了 标签是用来描述网页的 浏览器读取 HTML 文档 识别标签 并 按标签要求以网页进行显示文本 大部分标签都是成队出现的 起始标签和结束标签之间的所有文本 都叫做元素元素 也就是这个格式就是 元素的内容元素的内容 标签是可以拥有属性属性的 因此起始标签 有时候格式如下 属性提供了元素的一些附加信息啦 后面我们讲具体标签 大家就会见到 属性怎么用 另外 注意 元素是可以拥有元素的 即某个元素的内容有时候是一个子 元素 元素这东西 比较抽象 我们可以把它且当作一个对象来理解 例如工作 簿对象 每个工作簿的名称都不一样 属性 每个工作簿里面都有工作表 子 元素 每个表都有名称 属性 里面填写的内容也不一样 元素的内容 下面讲讲常见的和我们网页数据提取要常见的元素 标签 一 整体框架结构 每个网页文档 都是有个大致的框架 框架如下 网页标题 3 网页文档主体 把上面这段文本保存在 TXT 文件里面 然后另存 html 格式 就可以得到最 基础的页面 从上面的框架代码 我们可以看出 一般的页面 都有 htmlhtml 元素元素 其一般 内含两个元素 一个是 headhead 元素元素 一个是 bodybody 元素元素 Head 元素仅仅说明文档 的相关消息 并不展示文档实体 body 元素才是真正展示文档主体的 所有要 4 在页面展示的元素 都要在 body 內进行书写 后面的元素的测试 都是以替换掉 body 元素内的文本 网页文档主体 进 行书写 后续不再复述这个框架 二 段落 特别是提取小说 新闻等页面的消息 文本都是一段一段的 这样的页面 一般是通过标签实现的 这个没啥好说的 自己动手试看看就知道 所以 当运用 ie webbrowser 方式提取这类网页的时候 历遍段落 p 元素 即可 三 超链接 超链接是我们最常见的页面元素 基本的门户网站都有他 点了以后 可 以跳转到另一个页面 一般语法格式 a blank self 显示的超链接文本显示的超链接文本 Target 属性 表示的是 当我们点击超链接 是在原页面进行跳转 self 还是新建页面进行跳转 blank 测试做个 ET 的超链接吧 5 四 图像 图像标签用法和超链接类似 语法 alt 属性代表的是 当图片无法加载的时候 替换显示的文本 我们做个加载 ET 的 LOGO 的页面玩玩 五 表格 表格是我们网页最常见的 也是我们网页数据提取 最需要打交道的 其 实它非常简单 框架如下 每行用 每个单元格用 第一行第一个单元格 第一行第二个单元格 6 第二行第一个单元格 第二行第二个单元格 六 列表 很多时候 数据也经常以列表形式存在的 列表有三种 无序 有序和自 定义 分别框架如下 1 无序列表 函数 VBA 7 2 有序列表 图书 VBA 函数 视频 基操 图表 数透 8 3 自定义列表 第一节课 网络通讯 第二节课 HTML 七 表单和表单控件 除了表格 表单也是我们在网页数据提取 页面操控最常见到的元素 例 如我们注册用户 例如我们的微博登陆 例如我们的百度搜索 其实都是表单 我们先来看一个例子 9 请在文本框输入要搜索的关键字 后按提交 将提交百度进行搜索 例如在文本框输入 苹果 后 按提交按钮 这个表单模拟的是百度搜索 在文本框输入关键字后 按提交 将跳转至百 度的搜索结果的界面 呵呵 奇妙吧 如何实现的呢 细心的同学会发现吧 表单 form 这个元素 有 method 和 action 两 个属性 actionaction 属性属性指定的就是 提交表单后 向这个属性指定 URL 发送 http 请求 呵呵 涉及到第一节课的知识啦 methodmethod 这个属性设定的就是 要按 照 get 或者 post 等方式发送 http 请求 复习下第一节课吧 采用 get 的方式 呢 参数将在 URL 后面加个 号 然后发送 采用 post 的方式呢 将在消息主 体里面投递查询参数 那发送 http 请求的参数从哪里来的 就是从表单元素内含的各种下属元素 提取其 name 属性的值 作为参数名 然后提取该元素的 value 属性作为参数值 10 value 属性的值有时候是由我们输入的 例如本例 虽然我们指定了默认的 value 属性的值为 exceltip 但是我们可以手动输入 把它修改成 苹果 然后浏览器就用参数名 参数值和 进行连接 还是上节课的知识 串起来 就 如本例 提交后 观察 URL 为 就是第 一个 input 元素的属性值 苹果就是我们输入的 赋予第一个 input 元素的 value 属性的值 下面 我们讲讲表单主要的内含子元素吧 1 输入标签 其语法是 input 其类型由 type 属性定义 常见的有 text 文本框 Radio 单选按钮 Checkboxes 复选框 submit 提交按钮 hidden 隐藏 reset 重置 和 password 密码框 等 其中注意 其中单选框和复选框的是否选中 由 checked 属性指定 如果值是 checked 则选定 不多说了 看例子吧 文 本框和提交按钮就不做了 上面都举例了 密码框同 类似的 表格设计 文档处理 幻灯片 vip 普通会员 11 注意 当表单提交的时候 发送 http 请求时 单选框和复选框 仅发送 checked 属性为 checked 的元素 一样是把标记了 checked 的元素的 name 属性值和 value 属性值串起来 2 下拉列表 其语法 select 如果存在 multiple multiple 的属性设定 则允许菜单多选 否则单选 Size 是设置可见的菜单条目数 其下级元素 option 代表的是其每个菜单项目 语法为 optionselected selected 显示文字显示文字 一样 value 属性接着的就是发往服务器的值 当提交的时候 就是将 select 的 name 属性值与用户选择的某项 option 元素的 value 属性值连接 进 行发送 Option 元素的 selected 属性设置的是默认选中的菜单项 示例如下 单选选择列表 图书 视频 动画 图解 多重选择列表 按住 shift 或 ctrl 键进行多重选择 12 excel word ppt 八 框架 标签和 标签 1 frameset 和 frame Frame 是独立框架 就好像我们的分屏浏览一样 一个屏幕 浏览多个画面 一样 语法如下 首先框架必须放置在框架结构标签里面 其 rows columns 属性的值规定了框架每行或每列占据屏幕的面积 另外 frameset 和 body 不 能同时使用 除非有 noframes 很简单 因为 frame 其实就描绘文档了 所以 一般不需要再有 body 进行描绘 另外 框架元素一般放置于 head 元素內 Frame 元素的 src 属性就是设定了其框架内显示页面的 URL 示例如下 13 框架测试文档 2 iframe Iframe 的框架 就类似画中画的效果 在原页面插入一个页面 语法如下 iframewidth xx Src 设定框架内要显示的文档的 url scrolling 设置是否显示滚动条 Height 和 widty 设置的就是它的高度和宽度 案例如下 第一个框架 14 第二个框架 Html 就大概讲这一些吧 呵呵 毕竟我们不是要做网页 大家大致了解下 就是 还可以参考 去学习 一般能做到 看得懂网页的 框架结构即可 二 二 HTMLHTML 文档对象模型 文档对象模型 HTMLHTML DOMDOM 认识了网页文档上面的各种元素 我们怎么访问他们呢 是通过什么机制 实现的呢 HTML 文档 向程序们 提供了访问其元素的端口 这就是 HTMLHTML DOMDOM 其定 义了一套标准的针对 HTML 文档的对象访问或操作的机制 现在 DOM 有多个版 本 本文还是以最基础的 DOM 1 98 年颁布 这个版本 1 VBA 访问 IE 网页文档的程序模板 讲访问前 我们先简要讲讲 如何用 VBA 调用 IE 直接给个模板吧 详细 的 IE 对象的属性和方法等 我们后面的课会再讲 15 Sub test Dim ie dmt Set ie CreateObject InternetExplorer Application 创建一 个 IE 对象 With ie Visible True 显示它 navigate 加载某个页面 Do Until ReadyState 4 等待页面加载完毕 DoEvents Loop Set dmt document 将 IE 浏览器加载的页面文档 赋予 dmt 变量 开始操纵页面 或者提取数据啦 End With End Sub 通过上面这个模板 我们就可以创建一个 IE 对象 并将其页面文档对象赋 予 dmt 变量 这样 我们通过 dmt 变量 就可对页面元素 进行后续的访问以 及操作 2 HTML DOM 对象 和我们 EXCEL 的对象集合的层次结构类似 WORKBOOKS WORKSHEETS CELLS 等 HTML DOM 为网页文档也组织了一个对象集合的分层次模型 另外 从上 一节标签和元素的学习 大家也可以大致的得知 元素是可以拥有元素的 所 以 这个分层的模型完全是合理的 HTML DOM 的对象模型类似如下图 16 但是 VBA 直接支持调用的对象有限 如下 对象对象描述描述 DocumentDocument 代表整个 HTML 文档 可被用来访问页面中的所有元素 AnchorsAnchors 代表 元素集合 BodyBody 代表 元素 FormsForms 代表 元素集合 FramesFrames 代表 元素或 元素集合 ImagesImages 代表 元素集合 LinksLinks 代表 元素集合 OptionsOptions 代表 元素集合 select 元素里面可以直接使用 CellsCells 代表 元素集合 table 元素里面可以直接使用 RowsRows 代表 元素集合 table 元素里面可以直接使用 AllAll 对象集合 提供对文档中所有 HTML 元素的访问 VBA 支持直接调用对象的元素 调用就非常方便了 可以用序号调用 例如 forms 0 也可以按名称 ID 调用 例如 forms 名称 ID 其他没法直接调用对象的元素 可以间接从通用 all 对象集合中去调用该 元素或该元素对应的 dom 对象 或者还可以从文档树模型去调用 如下阐述 3 文档树 在 HTML DOM 中 文档的每一部分都是节点节点 整个文档被定义为一个文档节文档节 点点 每个标签是一个元素节点元素节点 包含在元素中的文本是文本节点文本节点 每一个元素 的属性是一个属性节点属性节点 17 形象的比喻做一棵树吧 根节点就是 html 主干就是 body 等 枝干就是 body 内含的各种元素节点 叶子和花就是元素节点关联的元素的属性 属性节 点 或内含文本 文本节点 自己画的图太丑了 直接引用 w3school 的图吧 当 HTML DOM 在解析网页文档的时候 就按整个文档的结构生成一棵树 全 部保存在内存中 我们可以随时访问任何节点 总之 网页文档 可以说是由元素组合而成的 也可以说是由节点连接而 成的树构造的 节点是文档树结构中特有的名词 元素是节点 但是节点不一 定是元素 节点还有文档节点 文本节点 属性节点等 元素是元素节点的扩 展 元素可以拥有属性还有文本 初学者不是很必要纠结元素和节点的区别 这个需要甚至数据结构 类和继承等知识 可大致理解为 同一个 html dom 对 象 提供的两个不同接口 有兴趣的朋友 可以按 F8 运行下面这个程序 然后 本地窗口观察 bd 这个 dody 对象 你会发现 他既有支持 node 节点 的相关 属性和方法 也提供了 element 元素 的相关属性和方法 Sub test 18 Dim ie dmt bd Set ie CreateObject InternetExplorer Application 创建一个 IE 对象 With ie Visible True 显示它 navigate 加载某个页面 Do Until ReadyState 4 等待页面加载完毕 DoEvents Loop Set dmt document 将 IE 浏览器加载的页面文档 赋予 dmt 变量 Set bd dmt body 将文档的 body 赋予 bd 变量 End With End Sub 4 如何通过文档树查找所需的网页元素 打个比方吧 当我们要掏大树上的鸟窝 有几种方式呢 1 首先 当我们可以目测到 鸟窝在哪个节点的时候 我们可以用梯子 爬上去 直接掏 因此 当我们可以很清晰的观测到 节点的某些属性时 就 可以直接定位它 元素节点的主要的定位属性有 id name 和索引号 还记得 吗 元素起始标签的语法 当 初一定很疑惑吧 为啥要有名字或 id 等属性 现在明白了吧 和我们的姓名和 学号一样 为了比较容易的找到我们 那索引号索引号是什么呢 就例如我们从树根出发 清点树上的果子 给每个果 子编号 这样我们就很容易知道 哪个号的果子成熟了 或者被虫子咬了 一 样的 我们可以按源代码书写的顺序 给每类的元素的成员进行编号 类似每 类元素 形成一个数组 从 0 开始编号 通过元素类别和编号 我们可以很容 易的找到它 另外 例如我们中学的老师 上课时 要抓人提问 可以用学号 也可以 通过小组 哪一排 第几个学生 起来提问 因此 索引号 也有整个文档的 和同类元素之分 殊途同归 无论你点这个学员的学号 还是从他的组别的座 19 位号去找他 都是可以的 所以 按统计方式或者起始节点的不同 索引号也 会不同 刚刚说的查找工具 也就是打比方里面的梯子 有以下这些 getElementById getElementById 元素的元素的 idid 属性属性 或或 all all 元素的元素的 idid 属性属性 返回拥 有指定 id 的元素集合 getElementsByName getElementsByName 元素的元素的 namename 属性属性 或或 all all 元素的元素的 namename 属性属性 返回拥有指定名称的元素的集合 getElementsByTagName getElementsByTagName 标签名称标签名称 或或 all tags all tags 标签名称标签名称 返回 该类标签的元素集合 all all 索引号索引号 返回指定索引号的元素节点 2 其次 当我们仅听到鸟鸣声 却不知道鸟窝在哪里的时候 有时候 我们只能顺藤摸瓜 开始爬树 沿着树干进行判断 最后攀爬到鸟窝处 或者 可能大概知道个方位 先架梯子 到某个主干 再从那里开始查找 因此 当 我们找不到清晰的属性去定位网页元素时 我们可以从 body 元素 节点开始 一级级去寻找 也可以先定位到它的毗邻节点 元素 再通过判断 去查找它的 精确位置 从节点方面而言 树形的模型的节点有个特征 除了根节点 每个节点均 只有一个父节点 parentNodeparentNode 有一个或者多个子节点 childNodeschildNodes 类似一 个对象集合或对象数组 从 0 开始编号 因此 通过节点的亲属关系 进行判 断查找 我们就可以一步步的在父子节点中切换 获取所需的元素 节点有一 些属性 可以利于我们的查找判断 如下 nodeNamenodeName 节点名称 节点名称 元素节点的名称为其标签名 属性节点的名称为 其属性名称 nodeValuenodeValue 节点值 节点值 文本节点的值为其包含的文本 属性节点的值为其 包含的属性值 nodeTypenodeType 节点类型 节点类型 元素节点为 1 属性节点为 2 文本节点为 3 注 释节点为 8 文档节点为 9 另外 从元素方面而言 要定位元素的父元素可以通过 parentElementparentElement 属 性 定位元素的子元素集合可以通过 childrenchildren 属性 判断其标签的名称 20 tagnametagname 他的值 valuevalue 内含文本 innertextinnertext 等方式来进行查找 最后 定位节点 元素的下一个同级兄弟可以通过 nextSiblingnextSibling 属性 定位 上一个同级兄弟可以用 previousSiblingpreviousSibling 属性 示例的话 后面一起展示 先学懂方法吧 5 网页元素分析工具 工欲善其事 必先利其器 很多高手已经提供给我们很多好用的网页元素 的分析工具 我们怎么用他们呢 讲两个工具 一个是网页精灵 按键精灵论 坛的作品 一个是 firebug 首先是网页按键精灵 如附件 操作如下图 输入网址 按 网页分析 然后按 F9 将鼠标指向需要分析的页面元素 例如文本框 则得出元素相关的 属性 下方得出的有 标签的名称 元素的 id 元素的 name 元素的索引号 第 几个 input 标签 从 0 开始编号 复习下上面说的概念 就想象网页文档是个 班级 标签就是学习小组 其中 input 这个学习小组里面 有个人的名字 name 是 wd 他的工号 id 是 kw 它在小组里面座位号是 0 我们 就是用这些标示 来找到这个元素的 21 另外 在 firefox 浏览器 还可以使用 firebug 直接对页面元素单击右键 使用 使用 firebug 查看元素 的菜单 这样可以直接观察到该元素的网页源 代码 然后进行分析 6 常见 HTML DOM 对象的属性 方法以及示例 1 通用的属性和方法 i 四个常用的通用属性 对象对象 innerHtml innerHtml 对象内部的 HTML 代码 对象对象 OuterHtml OuterHtml 对象的 HTML 代码 包括对象本身的 HTML 标签 对象对象 innerText innerText 对象内部的文本 对象对象 OuterText OuterText 对象的文本 包括对象本身的文本 举例 我们去捕捉百度首页 那个提交搜索的表单 这个表单的名称是 f 然后查询它的 innerHtml 和 OuterHtml Sub test Dim ie dmt an Set ie CreateObject InternetExplorer Application 创 建一个 IE 对象 With ie 22 Visible True 显示它 navigate 加载某个页面 Do Until ReadyState 4 等待页面加载完毕 DoEvents Loop Set dmt document 将 IE 浏览器加载的页面文档 赋予 dmt 变量 Set an dmt forms f Debug Print innerHtml an innerhtml Debug Print OuterHtml an OuterHtml End With End Sub 观察一下立即窗口输出的区别 很容易就知道 inner 和 outer 的区别了 ii 一个常用的通用方法 fireevent 发送事件 HTML DOM 对象 和我们 EXCEL 对象 都具有属性 方法和事件属性 方法和事件 前面所述 的 innerhtml 那些都是属性 方法就是我们要给这个对象执行什么动作 比如 点击网页上一个按钮 按钮这个对象就被 click 了 click 就是按钮对象的 一个方法 另外 网页对象也像我们的工作表一样 也支持识别事件 例如 当按钮被点击了 系统就会触发 oncilck 被点击了这个事件 然后依据网 页源代码里面设定好处理步骤去处理这个事件 主要的事件 整理如下 事件适用元素何时触发 onload Body 和 frame文档加载时 onchange 表单元素当元素改变时 onsubmit 表单元素当表单被提交时 onreset 表单元素当表单被重置时 onselect 表单元素当元素被选取时 onblur 表单元素和超链接元素当元素失去焦点时 23 onfocus 表单元素和超链接元素当元素获得焦点时 onkeydown Body 和表单元素当键盘被按下时 onkeypress Body 和表单元素当键盘被按下后又松开时 onkeyup Body 和表单元素当键盘被松开时 onclick 大部分元素当鼠标被单击时 ondblclick 大部分元素当鼠标被双击时 onmousedown 大部分元素当鼠标按钮被按下时 onmousemove 大部分元素当鼠标指针移动时 onmouseout 大部分元素当鼠标指针移出某元素时 onmouseover 大部分元素当鼠标指针悬停于某元素之上时 onmouseup 大部分元素当鼠标按钮被松开时 那 fireeventfireevent 这个方法又是何用呢 他的作用就是 代替我们的一些操作 直接激发某些对象的某些事件 例如我们附件的 fireevent 示例 html 点击文档主体的 点我一下 将 弹出对话框 下面 我们用程序模拟 这个点击事件的触发 新建一个 excel 放置于和 fireevent 示例 html 同文件夹下的目录里 Sub test Dim ie dmt fm Set ie CreateObject InternetExplorer Application 创 建一个 IE 对象 With ie Visible True 显示它 24 navigate ThisWorkbook Path fireevent 示例 html 加载某个页面 Do Until ReadyState 4 等待页面加载完毕 DoEvents Loop Set dmt document 将 IE 浏览器加载的页面文档 赋予 dmt 变量 dmt body FireEvent onclick 触发 body 的点击事件 End With End Sub 这样 程序就模拟了我们点击了 body 后激发的事件 一样 我们也可以用 dmt body Click 这个方法取激发事件 殊途同归 Fireevent 主要用于 有的表单的校验机制非常强 需要光标聚焦了 文本 change 了等等 才能提交表单 这些事件的模拟只能靠 fireevent 了 其他方 法就很难替代了 2 表单和表单控件对象 表单 form 对象 有一个方法比较重要 就是 submitsubmit 这个方法提供了表单 的提交的动作 如果我们捕捉页面的提交按钮非常困难时 有时候只要对表单 执行 submit 方法 表单也是可以提交的 不需去点击提交按钮 表单控件 文本输入类控件 最常用就是 valuevalue 的属性了 通过这个属性 可以往文本框里面添加文本 单选框 复选框 常用的就是 checkedchecked 属性了 如果为 true 就是被选中了 或者直接使用 click 方法也行 下拉列表呢 如果是单选列表框 可通过 selectedIndexselectedIndex 属性去设置选中 项 下拉选项 从 1 开始编号 如 2 就是选择下拉列表的第二个选项 也可以 通过 valuevalue 属性 直接把 value 指定为要选定的 option 的 value 即可 但多选 列表框不可用这两个属性 另外 所有类别的列表框 都可以通过其内含对象 集合 options options 设置某个 options x 的 selectedselected 属性为 truetrue 来设置选中 项 25 还是以百度首页为示例 我们用程序模拟键入查询数据 exceltip 然后 提交查询为演示吧 Sub test Dim ie dmt fm Set ie CreateObject InternetExplorer Application 创 建一个 IE 对象 With ie Visible True 显示它 navigate 加载某个页面 Do Until ReadyState 4 等待页面加载完毕 DoEvents Loop Set dmt document 将 IE 浏览器加载的页面文档 赋予 dmt 变量 Set fm dmt forms f 用表单的名称 f 捕捉表单对象 dmt all kw Value exceltip 用搜索栏的 id kw 捕捉 它 并键入 exceltip dmt all tags input 3 Click 用 百度一下 按钮的 input 索引号捕捉它 并模拟按钮的点击 fm submit 模拟表单的提交 不一定要 click End With End Sub 3 Table 对象 表格对象 也是我们提取网页数据 最常打交道的对象了 其内含 rowsrows 对 象集合 可以使我们访问表格内的每行 每个 row 对象还内含 cellscells 对象集合 使我们可以访问其每行的每个单元格 读取每个单元格的 innertextinnertext 属性即可 获取我们所需每个单元格的文本 另外 常用的属性还有 lengthlength 这个类似我们 VBA 里面的 count 都是返 回某个对象的数量 26 我们以提取东方财富网的限售股解禁清单的 table 为例 URL Sub test Dim ie dmt tb i j Set ie CreateObject InternetExplorer Application 创 建一个 IE 对象 With ie Visible True 显示它 navigate 加载某个页面 Do Until ReadyState 4 等待页面加载完毕 DoEvents Loop Set dmt document 将 IE 浏览器加载的页面文档 赋予 dmt 变量 Set tb dmt all tags table 3 通过索引号捕捉表格对象 For i 0 To tb Rows Length 1 历遍其每个行 For j 0 To tb Rows i Cells Length 1 历遍每行的 每个单元格 Cells i 1 j 1 tb Rows i Cells j innertext 将其 innertext 写入单元格 Next Next End With End Sub 通过上面的代码 这个解禁清单就被我们提取下来了 27 4 框架 frames 对象 Frame 和 iframe 元素 均体现在 frames 对象集合里面 其最重要的属性就 是 documentdocume