获取AJAX加载的内容

1.有些网页内容使用AJAX加载，AJAX一般返回的是JSON,直接对AJAX地址进行post或get，就返回JSON数据了。

2.用抓包工具分析https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20 

提取https://movie.douban.com/j/chart/top_list?后面是get请求。可以传到data里面。

3.用抓包工具分析。

4.代码如下

  1 # -*- coding:utf-8 -*-
  2 
  3 import urllib,urllib2
  4 
  5 url = "https://movie.douban.com/j/chart/top_list?"
  6 
  7 header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) App    leWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36    "}
  8 data = {
  9     'type':'11',
 10     'interval_id':'100:90',
 11     'action':'',
 12     'start':'0',
 13     'limit':'110'
 14     }
 15 data = urllib.urlencode(data)
 16 request = urllib2.Request(url, data=data, headers=header)
 17 # 返回的是json数据
 18 response = urllib2.urlopen(request).read()
 19 print response