长安铃木经销商爬取（解析xml、post提交、python中使用js代码）

1、通过火狐浏览器，查找大长安铃木官网中关于经销商的信息主要在两个网页中

http://www.changansuzuki.com/khfw/xml/pro.xml 地域信息

http://www.changansuzuki.com/khfw/sqcx.php 查询经销商具体信息

2、第一步解析地域信息

上面的图为xml中的格式

3、解析XML文件主要代码

 1     def get_area_list(self):
 2         """获取地域省份和城市名称字典"""
 3         page = urllib2.urlopen(self.xml_url).read()
 4         area_list = {}
 5         root = ElementTree.fromstring(page)
 6         #读取xml格式文本
 7         for onep in root:
 8             province =  onep.get('name')
 9             #父标签中的name数据（province中）
10             city_list = []
11             for onec in onep:
12                 #子标签中的name数据（city中）
13                 city = onec.get('name')
14                 city_list.append(city)
15             area_list[province] = city_list
16             #返回一个省份与城市关系的字典，即：{省份名称：[城市名称1，城市名称2,···]}
17         return area_list

3、得到每个城市经销商信息主要代码

 1  def get_post_data(self,province=None,city=None):
 2         '''得到每个城市经销商信息'''
 3         city1 = city.encode('utf8')
 4         #将数据转码为utf8
 5         province1 = province.encode('utf8')
 6         ctxt = PyV8.JSContext()
 7         ctxt.enter()
 8         #使用python执行js代码的准备
 9         func = ctxt.eval('''(function(){return (new Date())})''')
10         #通过代码得到js格式的时间
11         params = {  'act':'3',
12                     'city':city1,
13                     'date':func(),
14                     'name':'',
15                     'pro':province1,
16                     'ty':'2',
17                   }
18         #整理post数据
19         data = urllib.urlencode(params)
20         req = urllib2.Request(self.index_url,data)
21         page =urllib2.urlopen(req).read().decode('utf8')
22         #通过提交post数据得到相应的结果数据
23         if page != 'sorry':
24             #判断结果是否符合需求
25             dealers = page.split('@@')
26             i = 0
27             dealerlist =[]    
28             while i < len(dealers):
29                 dealerinfo = {}
30                 j = 0
31                 dealer = dealers[i].split('|')
32                 dealerinfo[Constant.PROVINCE] = province
33                 dealerinfo[Constant.CITY] = city
34                 dealerinfo[Constant.NAME] = dealer[0]
35                 dealerinfo[Constant.ADDRESS] = dealer[1]
36                 dealerinfo[Constant.SALETEL] = dealer[2]
37                 if len(dealer) ==6:
38                     dealerinfo[Constant.URL] = dealer[3]
39                 elif len(dealer) == 5:
40                     dealerinfo[Constant.URL] = ''
41                 else:
42                     print '###############'
43                     print dealer[0] +' ' +province
44                     print '###############'
45                 dealerlist.append(dealerinfo)
46                 i+=1
47             self.saver.add(dealerlist)

4、最终整合方法实现功能

 1     def deal_dealers_info(self):
 2         areas = self.get_area_list()    
 3         for area in areas:
 4             province = area
 5             #得到省份名称
 6             for area_city in areas[area]:
 7                     city = area_city
 8                     #得到城市名称
 9                     self.get_post_data(province,city)
10                     #调用经销商处理方法
11         self.saver.commit()
12         #保存excel