多线程,进程实现并发请求


'''方式一:线程池的方式'''
# from concurrent.futures import ThreadPoolExecutor
# import requests
# import time
#
#
# def task(url):
# response=requests.get(url)
# print(url,response)
#
#
# pool=ThreadPoolExecutor(7)
#
#
# url_list=[
# 'http://www.baidu.com',
# 'http://www.baidu.com',
# 'http://www.baidu.com',
# 'http://www.baidu.com',
# ]
#
#
# for url in url_list:
# pool.submit(task,url)
# pool.shutdown(wait=True)





'''编写方式二'''

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor##前面是多线程,后面是多进程
import requests
import time


'''(url,response)当返回一个参数的时候,就会被当做一个整体进行返回,就是一个参数'''
def task(url):
'''下载页面'''
response=requests.get(url)
# print(url,response)
# return (url,response)##在这里进行返回值回去,当有返回值的时候,在下面的return_obj里面可以被接收到,就可以打印出来
return response##在这里进行返回值回去,当有返回值的时候,在下面的return_obj里面可以被接收到,就可以打印出来



'''arg是放列表和字典的 '''
def done(return_obj,*args,**kwargs):
response=return_obj.result()
# print(response)
print(response.status_code)###返回状态码
# print(response.content)
# print(args)
# print(kwargs)


pool=ThreadPoolExecutor(7)


url_list=[
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.baidu.com',
]


for url in url_list:
v=pool.submit(task,url)
v.add_done_callback(done)##当执行完上面的程序的时候,就会自动执行回调函数
pool.shutdown(wait=True)
原文地址:https://www.cnblogs.com/yunxintryyoubest/p/10033095.html