洗礼灵魂,修炼python(59)--爬虫篇—httplib模块

httplib

1.简介

同样的,httplib默认存在于python2,python3不存在:

httplib是python中http协议的客户端实现,可以用来与 HTTP 服务器进行交互,支持HTTP和HTTPShttplib功能挺实用,也挺简单,不信的话,接着看

 

2.方法/属性

 httplib的内容不是很多,也比较简单

 

3.常用方法/属性解析

httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] ):HTTPConnection类的构造函数(有没有发现和urllib.urlopen对象很像?),表示一次与服务器之间的交互,即请求/响应。

  • host:服务器ip或者url,如:www.baidu.com
  • port:端口号,默认值为80
  • strict:默认值为false, 表示在无法解析服务器返回的状态行时( status line),是否抛BadStatusLine 异常(最常见的: HTTP/1.0 200 OK )
  • timeout:超时时间

 

对象HTTPConnection的方法

HTTPConnection.request ( method , url [ , body [ , headers ]] )(这里是不是又很像urllib2.request):调用request 方法会向服务器发送一次请求

  • method:请求的方法,常用有方法有get 和post
  • url:请求的资源的url
  • body:提交到服务器的数据,必须是字符串(如果method 是”post” ,则可以把body 理解为html 表单中的数据)
  • headers:请求的http头

HTTPConnection.connect():连接到Http服务器

HTTPConnection.close():关闭与服务器的连接

HTTPConnection.set_debuglevel ( level ):设置高度级别,参数level的默认值为0 ,表示不输出任何调试信息

HTTPConnection.getresponse():表示服务器对客户端请求的http响应,返回的对象是HTTPResponse 的实例,下面提到

 

 

对象httplib.HTTPResponse方法

 

HTTPResponse.read([amt]):获取响应的消息体。如果请求的是一个普通的网页,那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。

 

HTTPResponse.getheader(name[, default]):获取响应头

  • name表示头域(header field)
  • default在头域名不存在的情况下作为默认值返回

 

HTTPResponse.getheaders():以列表的形式返回所有的头信息

 

HTTPResponse.msg:获取所有的响应头信息

 

HTTPResponse.version:获取服务器所使用的http协议版本,比如11表示http/1.110表示http/1.0

 

HTTPResponse.status:获取响应的状态码,如:200

 

HTTPResponse.reason:返回服务器处理请求的结果说明,多为”OK

 

例:

#coding=utf-8 
import httplib  
test=httplib.HTTPConnection('www.baidu.com',80,False)
test.request('GET','/',headers={'Host': 'www.baidu.com',  
                                    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0',  
                                    'Accept': 'text/plain'}) 
res = test.getresponse()  
print 'version:%s'%res.version  
print 'reason:%s'%res.reason  
print 'status:%s'%res.status  
print 'msg:%s'%res.msg  
print 'headers:%s'%res.getheaders()  
 
print res.read()  
test.close()

 

 结果:

其他方法和属性自己下去再测试了

 

Httplib模块中还定义了一些常量

Httplib. HTTP_PORT:值为80,表示默认的端口号为80

Httplib.OK:值为200,表示请求成功返回

Httplib. NOT_FOUND:值为404,表示请求的资源不存在

 

可以通过httplib.responses 查询相关变量的含义

 

 其实有没有觉得httplib还相对挺简单的,我个人感觉比urllib功能多点,比urllib2简单。

免责声明

本博文只是为了分享技术和共同学习为目的,并不出于商业目的和用途,也不希望用于商业用途,特此声明。如果内容中测试的贵站站长有异议,请联系我立即删除

原文地址:https://www.cnblogs.com/Eeyhan/p/7783392.html