爬取自己需要的数据
网址：https://www.yt1998.com/priceHistory.html
通过网址的分析能够看出这个网页的数据是通过post的方式请求的服务器，来看一下form的请求表单
这里能够看到form表单对应的数据如下所示
market对应亳州市场，编号1
代码如下：
#爬取的近三年的药材的价格的数据 import requests import json #基于控制台获取到输入的待翻译词语 content = input("请输入：") #设定请求的URL url = 'https://www.yt1998.com/price/historyPriceQ!getHistoryPrice.do' #这里有一个反爬的措施，translate_o?这个_o删除即刻 #url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' #建立post的表单，并且将浏览器拷贝下来的表单修改成最基本的字典的格式 post_form = { 'ycnam': '板蓝根', 'guige': '统', 'chandi': '东北', 'market': '1' } #提交post请求 response = requests.post(url,data=post_form) #接受到相应的结果 trans_json = response.text #json字符串转化成python的字典格式 trans_dict = json.loads(trans_json) #result = trans_dict['translateResult'][0][0] #打印翻译的结果 print("药材价格") print(trans_dict) print()
能够爬取到的数据如下展示：
