python网络爬虫学习笔记
9月 4 2014 更新日期:9月 4 2014
介绍：
网络爬虫的名字非常有意思，英文名称web spider。
真得非常形象。蜘蛛结网为了获取食物，而我们的爬虫程序，也是为了获取网络上的资源。
这篇blog是本人学习过程中的记录。学习过程中，使用的语言是python2.7；python2.7有两个模块，urllib和urllib2，这两个模块提供了非常好的网络訪问的功能。以下会更好的体会。值得一提的时，在python3中。将urllib和urllib2这两个模块合为一个urllib。感兴趣的能够看这里
urllib和urllib2是python中功能强大得网络工作库，它们让你的网络訪问像文件訪问一样（比如。文件訪问我们要先open()一个文件。它的操作也是类似的，后面就会看到样例）。之所以可以这么方便。由于这些模块的内部非常好的使用不同的网络协议来完毕这些功能，（学过网络应该了解，訪问一个网页这个简单的过程，事实上涉及到非常多的网络协议，像http。dns等等，而urllib和urllib2封装了这些协议。让我们不用和它们打交道，仅仅须要调用这些模块的方法来完毕我们须要的功能）。同一时候，这些模块也提供一些略微更复杂一点的借口来处理一些情形，比如用户认证，cookies和代理等等。
以下让我们開始来学习它们吧。
从简单语句中開始:
前面说过。使用两个模块，訪问网页变得就会像訪问文件一样方便。
在普通情况下。urllib2訪问会更好些（效率上更好，只是urllib还是须要使用，后面会介绍须要urllib做一些事情）。所以以下我们来看看使用urllib2的最简单的样例。
import urllib2; response = urllib2.urlopen("http://www.zhonghuan.info"); html = response.read(); print html;
在终端下下输入命令行 python test.py > zhonghuan.html ,
打开文件后显示的是我的个人blog首页的html代码：
这是最简单的一个利用urllib2訪问网页的样例。urllib2是依据URL中:前面的部分来推断是用什么协议訪问的，比如，上面的样例我们用的时http，这里也能够换成ftp:,file:,等。。。
我们能够不用去了解它内部是怎样封装这些网络协议的。
urllib2中能够用一个镜像对象（Request Object）来表示我们http訪问，它标示你想要訪问的URL地址，我们来看一下以下的样例。
import urllib2
req = urllib2.Request('http://www.zhonghuan.info')
response = urllib2.urlopen(req)
the_page = response.read()
print(the_page)req变量就是一个Request对象。它确切的标示了你要訪问的URL地址。
（这里是http://www.zhonghuan.info）。对于其他的形式的訪问，比如ftp和file。形式也是类似的。详细能够看[这里][2];
事实上。Request对象还能做两个额外的事情。
- 你能够发送数据给server。
- 你能够发送一些额外的信息（又叫元数据。描写叙述数据的数据。一些语言里面的元类是生成类的类，如python就在这些语言中；所以元数据，顾名思义。描写叙述数据的数据，那么这些被描写叙述的数据是什么呢？上面中，还有request对象的一些信息。而这些描写叙述被放在http头部发送出去了。有关http header，能够看这里）;
传送数据给server
有时候，你须要发送数据给server，这个地址是URL表示的。通常呢。这个地址的指向是CGI（Common Gateway Interface）脚本或者是其他一些网络应用。（关于CGI脚本,能够看这里。简单的说就是处理上传数据的脚本程序）。
在HTTP訪问中。通常使用哪个POST方式将数据发送出去，就好像你填完了html中得表单，你须要把表单中得数据发送出去。通常这里使用post请求。当然，post使用还有其他的情况。不单单指的是表单这一种情况。
让我们先看以下的代码：
import urllib import urllib2 url = 'http://www.someserver.com/cgi-bin/register.cgi' values = {'name' : 'Michael Foord', 'location' : 'Northampton', 'language' : 'Python' } data = urllib.urlencode(values) #数据须要又一次编码成合适的格式，这里使用的时urllib中得方法，由于urllib2中没有编码的方法 req = urllib2.Request(url, data) # #这里将须要上传的数据。传递给了equest对象，作为它的參数 response = urllib2.urlopen(req) the_page = response.read()
关于其他类型的数据上传，能够看这里
除了使用post方式上传数据外，还能够使用get方式上传数据，get上传和post上传明显的差别就是get上传的数据会在URL中得尾部显示出来。
能够看以下的代码：
import urllib import urllib2 data = {} data['name'] = 'Somebody Here' data['location'] = 'Northampton' data['language'] = 'Python' url_values = urllib.urlencode(data) print url_values # 这里的顺序不一定 url = 'http://www.example.com/example.cgi' full_url = url + '?' + url_values data = urllib2.urlopen(full_url)
能够悄悄打印出来url_value的形式。
HTTP头—描写叙述数据的数据
如今。我们来讨论一下HTTP头。来看看怎样在你的HTTP的Request对象，添加一个HTTP头。
有一些站点，它比較智能，它不喜欢被程序訪问（非人为的点击仅仅会加重它server的负担）。
或者有些站点更加智能点。对于不同的浏览器，会发送不同的网页数据。
但是呢，urllib2默认,会这样标示自己，Python-urllib/x.y(当中。x和y各自是大小版本，比如我如今使用的时Python-urllib/2.7);而这些数据可能会让一些网站认为迷惑。要是遇上了不喜欢被程序訪问的网站，那么这种訪问可能会直接被忽视。
所以，你能够构造一些身份。让网站不会拒绝你。看以下的样例。
import urllib import urllib2 url = 'http://www.someserver.com/cgi-bin/register.cgi' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' #user_agent用来标示你的浏览器的，向这里就是mozilla values = {'name' : 'Michael Foord', 'location' : 'Northampton', 'language' : 'Python' } headers = { 'User-Agent' : user_agent } data = urllib.urlencode(values) req = urllib2.Request(url, data, headers) response = urllib2.urlopen(req) the_page = response.read()
异常
异常时常有，要小心提防呐。想想一般文件操作的时候，会有什么异常呢？文件无法打开，什么权限不够啊。文件不存在啊等等异常。相同的。对于URL訪问。也会遇到这些问题，（python一些内部异常，比如ValueError，TypeError等异常。也可能会发生）
URLError
先说说URLError。当没有网络连接，或者訪问的server地址不存在的时候，在这样的情况下。URLError会被抛出来，这个时候，URLError异常会有个“reason”属性。它是一个元组。包括error code（int型）和text error message（string型），看以下的代码
import urllib import urllib2 req = urllib2.Request('http://www.pretend_server.org') try: urllib2.urlopen(req) except urllib2.URLError as e: print e.reason
输出[Errno 8] nodename nor servname provided, or not known;输出的内容就是reason。
HTTPError
每个HTTP訪问，会从server那儿获得一个“status code”（状态码）。通常这些状态码告诉我们server无法满足一些訪问（直白点说就是一些数据而已，仅仅只是表示的是当前訪问的状态，比方当前訪问被拒绝了，status code能够告诉你，你哪些举动过分了。出格了。注意，咸猪手不能够有啊~~）。
只是呢，urllib2的默认处理器可以帮助你处理一些server的响应，比方说你当前訪问的网址被server重定向了，就是说你的server给你一个新的URL訪问了，处理器会帮你直接去訪问新的URL。
可是默认的处理器毕竟功能有限。它不能帮助你解决全部问题。比方你訪问的站点不存在了（相应404错误。我们有时候会看到这个错误），或者你的訪问被禁止了（相应403错误，禁止的原因可能是由于你的权限不够啦等等），又或者是须要你验证啦（相应401）。详细的其他错误本文就不介绍啦，详细能够看这里
让我们看以下的程序，看一下当HTTPError的404错误，也就是页面不存在时候。它会输出点什么。
import urllib import urllib2 req = urllib2.Request('http://www.zhonghuan.info/no_way') try: urllib2.urlopen(req) except urllib2.HTTPError as e: print e.code; print e.read();
输出：
404
<!DOCTYPE html>
…
<title>Page not found · GitHub Pages</title>
…
处理异常
如果你想要捕捉HTTPError和URLError，有两种主要的方法。推荐另外一种噢！
第一种：
from urllib2 import Request, urlopen, URLError, HTTPError req = Request(http://zhonghuan.info) try: response = urlopen(req) except HTTPError as e: print 'The server couldn't fulfill the request.' print 'Error code: ', e.code except URLError as e: print 'We failed to reach a server.' print 'Reason: ', e.reason else: # everything is fine
第一种方法。HTTPError一定要放在URLError前面，原因呢，和非常多语言的异常处理机制一样，HTTPError是URLError的子类，假设发生了HTTPError。它能够被当做是URLError被捕捉。
另外一种：
from urllib2 import Request, urlopen, URLError req = Request(someurl) try: response = urlopen(req) except URLError as e: if hasattr(e, 'reason'): print 'We failed to reach a server.' print 'Reason: ', e.reason elif hasattr(e, 'code'): print 'The server couldn't fulfill the request.' print 'Error code: ', e.code else: # everything is fine
info和geturl
这里介绍两个方法info()和geturl()；
geturl():该方法会返回訪问的页面的真实的URL，它的价值在于我们訪问的网页可能会被重定向，所以导致訪问的URL和我们输入的可能不一样。看以下的样例：
import urllib import urllib2 url = 'http://weibo.com/u/2103243911'; req = urllib2.Request(url); response = urllib2.urlopen(req) print "URL:",url; print "After redirection:",response.geturl();
以我的微博个人主页为例，事实上真实訪问被重定向了，真实的网址，从输出中能够看出:
URL: http://weibo.com/u/2103243911
After redirection: http://passport.weibo.com/visitor/visitor?
a=enter&url=http%3A%2F%2Fweibo.com%2Fu%2F2103243911&_rand=1409761358.1794
info():能够得到描写叙述页面的信息，返回的是一个httplib.HTTPMessage实例，打印出来非常像字典。
看以下的代码：
import urllib import urllib2 url = 'http://zhonghuan.info'; req = urllib2.Request(url); response = urllib2.urlopen(req); print response.info(); print response.info().__class__;
输出：
Server: GitHub.com Content-Type: text/html; charset=utf-8 Last-Modified: Tue, 02 Sep 2014 17:01:39 GMT Expires: Wed, 03 Sep 2014 15:23:02 GMT Cache-Control: max-age=600 Content-Length: 4784 Accept-Ranges: bytes Date: Wed, 03 Sep 2014 16:38:29 GMT Via: 1.1 varnish Age: 5127 Connection: close X-Served-By: cache-lax1433-LAX X-Cache: HIT X-Cache-Hits: 1 X-Timer: S1409762309.465760,VS0,VE0 Vary: Accept-Encoding Class: httplib.HTTPMessage
Opener和Handler
这里介绍Opener和Handler。
什么是Opener呢？事实上上面的样例我们一直在用Opener了，就是urlopen。这个是默认的opener。网络訪问情况非常多，你能够创建比較合适的opener，
什么是Handler呢？事实上Opener会调用Handler来处理訪问中得琐事，所以Handler非常重要，对于特定的协议（比如FTP，HTTP）。它知道怎样怎样处理訪问。比如它会帮你处理重定向问题。
在訪问的时候。你可能对于Opener有一些要求，比如，你希望得到的Opener可以处理cookie，或者你不希望Opener帮助你处理重定向。
我们怎样生成须要得Opener呢？（这里插一下，个人认为这里的Opener生成方式，和设计模式中得生成器欧式，又叫建造者模式，英文名称Builder Pattern；有些相似，只是不全然一样，但总认为，在看下去之前。先了解一下这个模式会有优点。没有接触过的朋友能够看这篇Builder pattern）;
要创建一个 opener，能够实例化一个OpenerDirector，
然后调用.add_handler(some_handler_instance)。
只是，能够使用build_opener。这是一个更加方便的函数，用来创建opener对象，他仅仅须要一次函数调用。build_opener默认加入几个处理器，但提供快捷的方法来加入或更新默认处理器。
其它的处理器handlers你也许会希望处理代理，验证，和其它经常使用但有点特殊的情况。
刚刚提到handler会帮我们处理重定向，可是。假设我们不想要重定向呢，该怎么办，自己定义一个handler。
看以下的代码：
mport urllib import urllib2 class RedirectHandler(urllib2.HTTPRedirectHandler):# 这个RedirectHandler继承了HTTPRedirectHandler，只是，它覆盖了父类的方法，让它什么都不做。失去了重定向的功能。 def http_error_301(self, req, fp, code, msg, headers): pass def http_error_302(self, req, fp, code, msg, headers): pass webo = "http://weibo.com/u/2103243911"; #訪问的是我的微博页面，由于正常情况下，訪问时会发生重定向 opener = urllib2.build_opener(RedirectHandler) #这里，我们自己定义了一个opener，加入了一个重定向时处理的自己定义handler response = opener.open(webo);# response = urllib2.urlopen(webo); print response.geturl(); urllib2.install_opener(opener); #安装自己定义的opener，以后调用urllib2的时候，返回的就是这个opener。
输出结果是：
urllib2.HTTPError: HTTP Error 302: Moved Temporarily
之所以发生http error 302，是由于本来訪问我的微博个人主页的时候。它应该发生重定向的，但是我们自己的重定向Handler什么都不做，结果就是发生异常了。
能够看看以下的urllib2关于创建自己定义Opener的类图
Basic Authentication
假设一个站点。他提供注冊登入这些功能。那么一般它实username/password,假设你訪问的页面，系统要求你提供username/password，这个过程叫做Authentication，实在server那端所做的操作。它给一些页面提供了安全保护。
一个主要的Authentication（验证）过程是这种：
- client提出请求訪问某些页面。
- server返回一个错误，要求进行身份验证。
- client把username/password（一般这样）编码后发给server。
- server检查这对username/password是否正确，然后返回用户请求的页面或者是一些错误。
上面的过程。还有可能是其他形式，这里仅仅是举个比較普遍的。
通常server返回的是401错误，表明訪问的网页未授权。同一时候。返回的response的header内有形如
WWW-Authenticate: SCHEME realm="REALM".
的内容，比如，你想要訪问cPanel的管理应用程序，你会收到这种header：WWW-Authenticate: Basic realm="cPanel"（cPanel 是一套在网页寄存业中最享负盛名的商业软件。其基于 Linux 和 BSD 系统及以 PHP 开发且性质为闭源软件；cPanel 主要是面向客户权级的控制系统）
当我们訪问页面的时候，opener会调用handler来处理各种情况。而处理Authentication的handler是urllib2.HTTPBasicAuthHandler。同一时候须要一个用户password管理器urllib2.HTTPPasswordMgr。
不幸的时。HTTPPasswordMgr有一个小问题，就是在获取网页前，你须要知道它的realm。幸运的是，它有一个表兄弟HTTPPasswordMgrWithDefaultRealm，这个表兄弟能够事先不知道realm，在realm參数位置上，能够传一个None进去。它更友好的被使用。
以下參考以下的代码：
import urllib2 url = 'http://www.weibo.com'#分别相应域名，账号。密码 username = 'zhonghuan' password = 'forget_it' passman = urllib2.HTTPPasswordMgrWithDefaultRealm() #创建密码管理器 passman.add_password(None, url, username, password)# 參数形式（realm，URL，UserName，Password） authhandler = urllib2.HTTPBasicAuthHandler(passman)#创建Authentication的handler opener = urllib2.build_opener(authhandler) urllib2.install_opener(opener) #和上面介绍的一样。install_opener后，每次调用urllib2的urlopen，返回的就是这个opener pagehandle = urllib2.urlopen(url)
代理
有时候，我们本机不能直接訪问，须要代理server去訪问。urllib2对这个设置代理支持的还不错，能够直接实例化ProxyHandler，它的參数是一个map，key值是代理的訪问协议名称，value值是代理的地址。看以下的代码实现。
import urllib2 enable_proxy = True proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'}) null_proxy_handler = urllib2.ProxyHandler({}) if enable_proxy: opener = urllib2.build_opener(proxy_handler) else: opener = urllib2.build_opener(null_proxy_handler) urllib2.install_opener(opener)
Timeout 设置
在老版 Python 中，urllib2 的 API 并没有暴露 Timeout 的设置，要设置 Timeout 值，仅仅能更改 Socket 的全局 Timeout 值。
import urllib2 import socket socket.setdefaulttimeout(10) # 10 秒钟后超时 urllib2.socket.setdefaulttimeout(10) # 还有一种方式
在 Python 2.6 以后，超时能够通过 urllib2.urlopen() 的 timeout 參数直接设置。
import urllib2 response = urllib2.urlopen('http://www.google.com', timeout=10)
Cookie
urllib2 对 Cookie 的处理也是自己主动的。假设须要得到某个 Cookie 项的值，能够这么做：
import urllib2 import cookielib cookie = cookielib.CookieJar() opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) response = opener.open('http://www.google.com') for item in cookie: if item.name == 'some_cookie_item_name': print item.value
Debug Log
使用 urllib2 时，能够通过以下的方法把 debug Log 打开，这样收发包的内容就会在屏幕上打印出来。方便调试。有时能够省去抓包的工作
import urllib2 httpHandler = urllib2.HTTPHandler(debuglevel=1) httpsHandler = urllib2.HTTPSHandler(debuglevel=1) opener = urllib2.build_opener(httpHandler, httpsHandler) urllib2.install_opener(opener) response = urllib2.urlopen('http://www.google.com')
參考资料：
版权声明：本文博主原创文章。博客，未经同意不得转载。