Golang爬虫框架colly的使用

第Golang爬虫框架colly的使用目录项目特性安装colly实例colly的配置colly页面爬取和解析colly框架重构爬虫Golang爬虫框架colly简介

colly是一个采用Go语言编写的Web爬虫框架，旨在提供一个能够些任何爬虫/采集器/蜘蛛的简介模板，通过Colly。你可以轻松的从网站提取结构化数据，然后进行数据挖掘，处理或归档

项目特性

清晰明了的API速度快（每个内核上的请求数大于1K）管理每个域的请求延迟和最大并发数自动cookie和会话处理同步/异步/并行抓取高速缓存自动处理非Unicode编码支持Robots.txt支持GoogleAppEngine通过环境变量进行配置可拓展

安装colly

goget-u/gocolly/colly

第一个colly应用

packagemain

import(

"fmt"

"/gocolly/colly"

funcmain(){

c:=colly.NewCollector()

//goqueryselectorclass

c.OnHTML(".sidebar_link",func(e*colly.HTMLElement){

e.Request.Visit(e.Attr("href"))

/*link:=e.Attr("href")

//Printlink

fmt.Printf("Linkfound:%q-%s\n",e.Text,link)

//Visitlinkfoundonpage

//OnlythoselinksarevisitedwhichareinAllowedDomains

c.Visit(e.Request.AbsoluteURL(link))*/

c.OnRequest(func(r*colly.Request){

fmt.Println("url：",r.URL)

c.Visit("https://gorm.io/zh_CN/docs/")

回调函数的调用顺序

OnRequest在请求之前调用OnError如果请求期间发生错误，则调用OnResponseHeaders在收到响应标头后调用OnResponse收到回复后调用OnHTMLOnResponse如果接收到的内容是HTML，则在此之后立即调用OnXMLOnHTML如果接收到的内容是HTML或XML，则在之后调用OnScraped在OnXML回调之后调用

实例

funccollback(){//添加回调收集器

c:=colly.NewCollector()

c.OnRequest(func(r*colly.Request){

fmt.Println("请求前调用:OnRequest")

//fmt.Println("Visiting",r.URL)

c.OnError(func(_*colly.Response,errerror){

fmt.Println("发生错误调用:OnReOnError")

//log.Println("Somethingwentwrong:",err)

/*c.OnResponseHeaders(func(r*colly.Response){//高版本已经不用了

fmt.Println("Visited",r.Request.URL)

c.OnResponse(func(r*colly.Response){

fmt.Println("获得响应后调用:OnResponse")

//fmt.Println("Visited",r.Request.URL)

c.OnHTML("a[href]",func(e*colly.HTMLElement){

fmt.Println("OnResponse收到html内容后调用:OnHTML")

//e.Request.Visit(e.Attr("href"))

/*c.OnHTML("trtd:nth-of-type(1)",func(e*colly.HTMLElement){

fmt.Println("Firstcolumnofatablerow:",e.Text)

})*/

c.OnXML("//h1",func(e*colly.XMLElement){

fmt.Println("OnResponse收到xml内容后调用:OnXML")

//fmt.Println(e.Text)

c.OnScraped(func(r*colly.Response){

fmt.Println("结束",r.Request.URL)

c.Visit("https://gorm.io/zh_CN/docs/")

得到的:

colly的配置

设置UserAgent

//设置UserAgent的两种方式：

/*//方式一:

c2:=colly.NewCollector()

c2.UserAgent="xy"

c2.AllowURLRevisit=true*/

/*//方式二:

c2:=colly.NewCollector(

colly.UserAgent("xy"),

colly.AllowURLRevisit(),

设置Cookie

//设置cookie的两种方式

//方式一：通过手动网页添加cookies

c.OnRequest(func(r*colly.Request){

r.Headers.Add("cookie","_ga=GA1.2.1611472128.1650815524;_gid=GA1.2.2080811677.1652025429;__atuvc=2|17,0|18,5|19")

//方式二:通过url添加cookies

siteCookie:=c.Cookies("url")

c.SetCookies("",siteCookie)

HTTP配置

Colly使用Golang的默认http客户端作为网络层。可以通过更改默认的HTTProundtripper来调整HTTP选项。

c:=colly.NewCollector()

c.WithTransport(http.Transport{

Proxy:http.ProxyFromEnvironment,

DialContext:(net.Dialer{

Timeout:30*time.Second,

KeepAlive:30*time.Second,

DualStack:true,

}).DialContext,

MaxIdleConns:100,

IdleConnTimeout:90*time.Second,

TLSHandshakeTimeout:10*time.Second,

ExpectContinueTimeout:1*time.Second,