requests 中的参数 stream
这个参数不常用,不过很巧妙的一个参数.
当下载大的文件的时候，建议使用strea模式．
默认情况下是stream=Ffalse，他会立即开始下载文件并存放到内存当中，倘若文件过大就会导致内存不足的情况．
当把get函数的stream参数设置成True时，它不会立即开始下载，当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点：文件没有下载之前，它也需要保持连接。这里就用到了另一个巧妙的库了: contextlib.closing
iter_content：一块一块的遍历要下载的内容
iter_lines：一行一行的遍历要下载的内容
使用上面两个函数下载大文件可以防止占用过多的内存，因为每次只下载小部分数据。
示例代码：
r = requests.get(url_file, stream=True)
f = open("file_path", "wb")
for chunk in r.iter_content(chunk_size=512): # 按照块的大小读取
# for chunk in r.iter_lines(): # 按照一行一行的读取
if chunk:
f.write(chunk)
更详细的介绍:
抓取一批URL，并获取对应URL的
标签中的文字，忽略对应URL网站的封禁问题，这个任务并不是一个特别麻烦的事情。然后实际跑起来，却发现流量打的很高，超过10Mb/s。</p>
<p>经过排查发现，是因为很多URL，实际是下载链接，会触发文件下载，这些URL对应的html中根本不会包含<title>标签，那么处理逻辑就很清晰了，先拿到headers，取出Content-Type，判断是否是<br>
text/html，如果不是，则该Response的body体，就没有必要读取了。</p>
<p>这样的话,只有headers头被下载了，body中的数据还没有被下载，这样就能避免不必要的流量开销，只有当你使用r.content 的时候，所有body内容才会被下载</p>
<p>实时上还可以使用Response.iter_content() Response.iter_lines()<br>
Response.raw()来自己决定要读取多少数据</p>
<p>最后要注意的是，使用stream=True以后需要自己执行Response的<br>
关闭操作</p>
<p>改进后的程序</p>
<pre><code class="language-python">import logging
import threading
import redis
import requests
from lxml.html import fromstring
r = redis.Redis(host='127.0.0.1', port=6379, db=10)
logging.basicConfig(level=logging.INFO,
format='%(asctime)s %(name)-12s %(levelname)-8s %(message)s',
filename='all.log',
filemode='w')
def extract(url):
logger = logging.getLogger()
try:
res = requests.get(url, stream=True, timeout=0.5)
ctype = res.headers['Content-Type']
ctype = ctype.lower()
if ctype.find('text/html') == -1:
res.close()
return None
doc = fromstring(res.content)
res.close()
item_list = doc.xpath('//head/title')
if item_list:
res = item_list[0].text_content()
res = unicode(res)
logger.info('title = %s', res)
return res
except:
return None
return None
</code></pre>
<p>经过测试，带宽开销确实大幅下降了。为requests点个赞，设计者想的太周到了，既允许从hign level去使用它，也可以回到low level去精细化的管理控制连接。</p>
<p>默认情况下requests对URL的访问是阻塞式的，可以通过使用<br>
1）grequests<br>
2）requests-futures<br>
来实现非阻塞式的访问</p>
<p>参考链接</p>
<p> <br>
<a href="https://www.cnblogs.com/yuanyongqiang/p/12609860.html" target="_blank">https://www.cnblogs.com/yuanyongqiang/p/12609860.html</a></p>