Python爬虫之urllib（一）

最近心血来潮（其实是蓄谋已久），想钻研一下爬虫。虽然对于这门技术心生向往，却不知道是何缘故？总觉得爬虫这方面的代码写起来有些别扭，大概是因为不熟悉吧。目前了解到两种发送http请求的方式，一种是使用urllib，另一种是requests。貌似大众对于requests的评价要高于urllib，但我却对urllib有一种莫名其妙的执念，索性先学一下，不行后续再转requests。

简单地了解了几种urllib的使用，记录如下（以免忘记还要上网查）：

首先是引入，引入有两种方式：

import urllib.request
from urllib import request

如果使用第一种方式，则后续代码写起来要麻烦一点

if __name__ == "__main__":
    res = urllib.request.urlopen("http://www.xxx.com")

如果使用第二种方式引入，那么后续代码可以省点力气

if __name__ == "__main__":
    res = request.urlopen("http://www.xxx.com")

然后是发出请求

from urllib import request

if __name__ == "__main__":
    res = request.urlopen("http://www.xxx.com")

使用urlopen来发出http请求，如果想传输数据，比如post请求之类的，可以给这个方法传入data参数

那么这个data以什么格式存在呢？urllib的parse模块可以搞定

from urllib import request
from urllib import parse

if __name__ == "__main__":
    parse.urlencode(dict({'param': 'can not write your name'})).encode("utf-8")

使用方法是先将各种参数塞进字典里，然后使用parse.urlencode将其转为正确格式，再然后可以对其进行编码

那么如何读取我们使用代码得到的网页数据呢？

from urllib import request

if __name__ == "__main__":
    res = request.urlopen("http://www.xxx.com/")
    html = res.read()
    html = html.decode("utf-8")
    print(html)

使用返回值调用read方法再选取合适的解码方式即可，但是，如果该网页使用的不是utf-8，又或者你懒得亲自去查看一下正确的解码方式，那么可以使用chardet来进行解析。

from urllib import request
import chardet

if __name__ == "__main__":
    res = request.urlopen("http://www.xxx.com/")
    html = res.read()
    charset = chardet.detect(html)['encoding']
    print(charset)

使用方式也很简单，解析的结果为字典，只需要使用key将你需要的value取出即可。

以上记录的都是使用字符串作为urlopen的参数，还有另一种方式构建urlopen的参数

req = request.Request("http://www.xxx.com/")

当需要修改user-agent等值的时候，可以直接构建进去。

另外记录三个方法：geturl(),info(),getcode()

这三个方法都是由请求的返回值进行调用的，依次为获取url，获取meta，获取状态码

最近学东西完全不在状态上，效率上不去是个大问题，可能是确实提不起那么大的兴趣，心里又明白多学知识的重要性，很烦！但愿早点度过这个阶段。