python爬虫 aiohttp的安装 (aiohttp 一个提供异步Web服务的库)

python爬虫 aiohttp的安装

简介

  之前介绍的requests库是一个阻塞式的HTTP请求库,当我们发出一个请求后,程序会一直等待服务器相应,直到得到相应后,程序才会进行下一步处理,其实,这个过程比较耗费时间。如果程序可以在这个等待过程中做一些其他的事情,如进行请求的调度、响应的处理等,那么爬取效率一定会大大提高。
  aiohttp就是这样一个提供异步Web服务的库,从Python3.5版本开始,Python中加入了async/await关键字,使得回调的写法更加直观和人性化。aiohttp的异步操作借助于async/await关键字的写法变得更加简洁,架构更加清晰。使用异步请求库进行数据抓取时,会大大提高效率,下面我们来看一下这个库的安装方法。

pip安装

pip安装:命令如下
pip3 install aiohttp -i https://pypi.tuna.tsinghua.edu.cn/simple/
另外,官方还推荐安装如下两个库:一个是字符编码检测库cchardet,另一个是加速DNS的解析库aiodns。安装命令如下:
pip3 install cchardet aiodns -i https://pypi.tuna.tsinghua.edu.cn/simple/

测试安装

结语

在后面的实例中用到这个库,比如维护一个代理池时,利用异步方式检测大量代理的运行状况,会极大地提升效率。

原文地址:https://www.cnblogs.com/lyhLive/p/13867727.html