4、简单的网络爬虫例子

4、简单的⽹络爬⾍例⼦1、在百度输⼊JavaScript，点击搜索，把搜索出来的标题，通过正则表达式找到这些标题。提取效果图：具体实现⽅法：1、搜索⼝，在浏览器的空⽩地⽅右键，查看页⾯源码，并把源码拷贝到RegexBuddy⼯具中，注：完整页⾯源码放在⽂末2、分析规律：（黄⾊区域是随便找的⼀个⼩结构，⾥⾯是我们要找的标题百度百科）<divclass="result-opc-containerxpath-log"srcid="1547"id="1"tpl="bk_polysemy"mu="/item/javascript/321142"data-op="{'y':'FFC8DDFB'}"data-click="{'p1':'1','rsv_bdr':'0','fm':'albk',rsv_stl:''}"><h3class="tc-gap-bottom-small"><ahref="/link?url=P7-T8M-HzpOWnRB_abbVi1rj477cfljHUoohYrfQyq1YFgZomb0snU6T4p5dj9VkEOtb1eRT4HnoPfJSj5HLma9s3HWyxMWqtBPZjAVpjDu"target="_blank"><em>javascript</em>_百度百科</a>3、以<div开头，找到好多结果，此时正则表达式：<div4、紧跟着有⼀个空格（可能有多个空格），此时正则表达式：<div\s+5、紧跟着class=”，此时正则表达式：<div\s+class="6、紧跟着result-op，写标贴跟着的是result，此时正则表达式：<div\s+class="(result|result-op)注：括号认为是⼀个分组，中间|表⽰或的关系。结果发现，匹配出来的都是result,⽽result-op没有匹配出来。这是由于|或条件前⾯写的是result后⾯写的是result-op，它会先匹配result假如匹配不上的话再匹配result-op，⽽result-op中有result，所以就先匹配出来result后就不去匹配result-op了解决办法⼀：把result-op写在前⾯：解决办法⼆：在这个组后多加元素限定，因为这个组后，紧跟着是空格7、后⾯紧跟着⼀个空格或多个，此时正则表达式：<div\s+class="(result|result-op)8、后⾯是⼀⼤串⽆规律的字符，⼀直到这个标题结构内的<a的出现,此时正则表达式：<div\s+class="(result|result-op)\s+.*?<a注：.*?<表⽰⽤懒惰匹配，匹配最近的<结果发现没匹配上，这是由于中间出现了换⾏。解决办法，修改参数：9、紧跟着⼀⼤串⽆规律的字符，⼀直到这个标题结构内的>的出现,此时正则表达式：<div\s+class="(result|result-op)\s+.*?<a.*?>9、紧跟着后⾯就是我们需要找到的标题（⽆规律的），再然后就是⼀个<\a>此时正则表达式：<div\s+class="(result|result-op)\s+.*?<a.*?>.*?</a>10、这是已经从⼀个很长的⽂本字符串中找到了每个标题结构。但是这个结构我们只想要标题，即从>到</a>之间的数据，即>到</a>之间.*?这时，我们可以在需要的这个数据（>到</a>之间.*?）加上分组：<div\s+class="(result|result-op)\s+.*?<a.*?>(.*?)</a>匹配出来的结果是⼀样的：但是我们可以按组查看的结果：上⾯的正则表达式已经有了两个组，我们需要的是第⼆组，所以下⾯选择第⼆组就会得出我们想要的标题(result|result-op)(.*?)11、以上最终的正则表达式是：<div\s+class="(result|result-op)\s+.*?<a.*?>(.*?)</a>12、为了⽅便跟快捷找到结果，可以给分组命名，然后通过这个命名即可找到分组如给第⼆组命名为：