爬虫---10.scrapy框架(肆-中间件) 中间件 作用 批量拦截请求和响应的 爬虫中间件 引擎和spider中间的是爬虫中间件 下载中间件(推荐) 下载器和引擎之间是下载中间件 拦截请求 篡改请求url 伪装请求头信息 UA Cookie 设置请求代理(重点) 拦截响应 篡改响应数据