colly 扩展 ##10

扩展是Colly附带的小型辅助实用程序。插件列表可以在这里找到。

实例

下面的示例启用了随机用户代理切换器和引用设置器扩展，并两次访问httpbin.org。

import (
    "log"

    "github.com/gocolly/colly"
    "github.com/gocolly/colly/extensions"
)

func main() {
    c := colly.NewCollector()
    visited := false

    extensions.RandomUserAgent(c)
    extensions.Referrer(c)

    c.OnResponse(func(r *colly.Response) {
        log.Println(string(r.Body))
        if !visited {
            visited = true
            r.Request.Visit("/get?q=2")
        }
    })

    c.Visit("http://httpbin.org/get")
}