分析AJAX抓取今日头条的街拍美图并把信息存入mongodb中

今天学习分析ajax 请求,现把学得记录,

把我们在今日头条搜索街拍美图的时候,今日头条会发起ajax请求去请求图片,所以我们在网页源码中不能找到图片的url,但是今日头条网页中有一个json 文件,这相文件中就包括单个图集的具体url,通过访问这个url ,又可以获取一个json 文件,这个json 文件中有个键是url_list 这个键的值是一个List ,这个list中就存入了具体单个图片的下载url ,通过request.get()方法去访问这个url ,然后把得到content以二进制的方式写入到本地,并把其他数据存入到mongodb中,

代码如下,

  1 import requests
  2 import json
  3 from urllib.parse import urlencode
  4 from requests.exceptions import RequestException
  5 import re
  6 from bs4 import BeautifulSoup
  7 from config import *
  8 import pymongo
  9 from hashlib import md5
 10 import os
 11 from multiprocessing import Pool
 12 
 13 
 14 def get_page_index(offset, keyword):
 15     """传入要数据,获得详情页面"""
 16     data = {
 17         "autoload": "true",
 18         "count": 20,
 19         "cur_tab": 3,
 20         "format": "json",
 21         "from": "gallery",
 22         "keyword": keyword,
 23         "offset": offset,
 24     }
 25     url = "https://www.toutiao.com/search_content/?" + urlencode(data)
 26     try:
 27         response = requests.get(url)
 28         if response.status_code == 200:
 29             return response.text
 30         return None
 31     except RequestException:
 32         print("请求index页面失败")
 33         return None
 34 
 35 
 36 def parse_page_index(html):
 37     """头条街拍图片存在一个json中,json中的data就是单个图集的信息"""
 38     data = json.loads(html)
 39     if data and "data" in data.keys():
 40         for item in data.get("data"):
 41             yield item.get("article_url")
 42 
 43 
 44 def get_page_detail(url):
 45     """获得单个图集url的信息"""
 46     try:
 47         response = requests.get(url)
 48         if response.status_code == 200:
 49             return response.text
 50         return None
 51     except RequestException:
 52         print("请求详情页面失败")
 53         return None
 54 
 55 
 56 def parse_page_detail(html, url):
 57     """解析单位个图集url的网页信息,因为信息存放于一个json文件中,这个json文件嵌套在html中,所以使用re解析"""
 58     # 先用BeautifulSoup获得title.
 59     soup = BeautifulSoup(html, "lxml")
 60     title = soup.select("title")[0].get_text()
 61     print(title)
 62     images_pattern = re.compile('parse("(.*?)"),', re.S)
 63     result = re.search(images_pattern, html)
 64 
 65     if result:
 66         data = result.group(1)
 67         data = json.loads(data)
 68         if data and "url_list" in data.keys():
 69             url_list = data.get("url_list")
 70             images = [item.get("url") for item in url_list]
 71             for image in images:
 72                 # 调用函数下载图片到本地
 73                 download_imag(image)
 74             # 返回数据,返回的数据存入mongodb
 75             return {
 76                 "title": title,
 77                 "images": images,
 78                 "url": url,
 79             }
 80 
 81 
 82 def save_to_mongo(result):
 83     client = pymongo.MongoClient(MONGO_URL, connect=False)
 84     db = client[MONGO_DB]
 85     if db[MONGO_TABLE].insert(result):
 86         print("insert into mongo success", result)
 87         return True
 88     else:
 89         return False
 90 
 91 
 92 def download_imag(url):
 93     """# 下载图片到本地"""
 94     print("正在下载 :", url)
 95     try:
 96         response = requests.get(url)
 97         if response.status_code == 200:
 98             # response.content 返回二进制内容
 99             # response.text返回字符串
100             save_image(response.content)
101     except RequestException:
102         print("请求图片失败", url)
103 
104 
105 def save_image(content):
106     """解析图片url的信息,把获得的信息写入本地文件中"""
107     file_path = '{0}/{1}.{2}'.format(os.getcwd(), md5(content).hexdigest(), "jpg")
108     if not os.path.exists(file_path):
109         with open(file_path, "wb") as f:
110             f.write(content)
111 
112 
113 def main(offset):
114     """主函数"""
115     html = get_page_index(offset, KEYWORD)
116     # 防止get_page_index没有取回数据
117     if html is not None:
118         for url in parse_page_index(html):
119             html = get_page_detail(url)
120             if html:
121                 result = parse_page_detail(html, url)
122                 save_to_mongo(result)
123                 print(result)
124     else:
125         print("get_page_index 函数没有取到数据")
126 
127 
128 if __name__ == "__main__":
129     """使用多进程加快速度"""
130     groups = [x * 20 for x in range(GROUP_START, GROUP_END)]
131     pool = Pool()
132     pool.map(main, groups)

这个程度代码相对简单,逻辑清楚,程序之间参数传递及程序的跳转也不难,只是分析今日头条的ajax请求,及获得各个json文件相对复杂一点.

我把程度的配置信息写在config.py 这个文件中,这样方法之后程序的重用,

config.py 代码如下:

MONGO_URL="localhost"
MONGO_DB="toutiao"
MONGO_TABLE="toutiao"

GROUP_START = 1 # 定义起始循环点
GROUP_END = 20 # 定义终止循环点
KEYWORD="街拍"

通过这个程序,学会了分析,这种通过发起ajax请求而获取数据的网页的源码分析.这个程序不足的地方是,这个程序是用requsts库做的解析,程序会是用函数而不是类去实现,后续要把这个程序改用scrapy 库去实现.