关于爬虫urllib.request模块、urllib.parse模块的基础使用

#构建get参数
data={
    "start":(page-1)*number ,
    "limit": number
}
#将字典转化为 query_string
query_string = urllib.parse.urlencode(data)

#构建完整的请求url
movie_url+=query_string
#爬取肯德基餐厅 查询某个地区的餐厅信息
#实则是通过构造post传参 捕获肯德基的查询地址端口
import  urllib.request
import  urllib.parse

post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword"

#form_data 生成字典来拼接生成url
city= input("请输入你要查询的城市:")
page = input("请输入要查询的页数:")
size = input("请输入要查询多少个:")

#关于post参数
form_data = {
    'cname': '',
    'pid':'',
    'keyword': city,
    'pageIndex': page,
    'pageSize': size
}

#构建请求头
headers={
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0'
}

#发送请求
request = urllib.request.Request(url=post_url,headers=headers)
#post数据需要加这一句编码
form_data =urllib.parse.urlencode(form_data).encode()

#获取响应
response = urllib.request.urlopen(request,data=form_data)

print(response.read().decode())

作者:求知鱼

-------------------------------------------

个性签名:你有一个苹果,我有一个苹果,我们交换一下,一人还是只有一个苹果;你有一种思想,我有一种思想,我们交换一下,一个人就有两种思想。

如果觉得这篇文章对你有小小的帮助的话,记得在右下角点个“推荐”哦,博主在此感谢!

独学而无友,则孤陋而寡闻,开源、分享、白嫖!

原文地址:https://www.cnblogs.com/Qiuzhiyu/p/12182729.html