1.目标分析：
（1）网址：http://www.zhcw.com/ssq/kaijiangshuju/index.shtml?type=0
（2）查看框架的源代码：在中奖信息表格上右击，选择弹出菜单中的“查看框架的源代码”：
（3）右击下一页的链接，再次查看框架源代码，新的框架源代码是：kaijiang.zhcw.com/zhcw/html/ssq/list_2.html
（4）大致明白了，URL的变化规律了，变化的只有list.html这部分，表格中的每一行的数据都包含在一对<tr>标签内，所以在写爬虫时只需先将<tr>标签挑选出来，然后再到其中过滤数据就可以了；
2.项目实施
（1）项目文件结构：
（2）getWinningNum.py文件内容：
#! /usr/bin/env python
#-*- coding:utf-8 -*-
import re
from bs4 import BeautifulSoup
import urllib2
from mylog import MyLog as mylog
class DoubleColorBallItem(object):
date=None #开奖日期
order=None #当年的开奖顺序
red1=None #第一个红色号码
red12=None #第二个红色号码
red3=None #第三个红色号码
red4=None #第四个红色号码
red5=None #第五个红色号码
red6=None #第六个红色号码
blue=None #蓝色号码
money=None #彩池金额
firstPrize=None #一等奖中奖人数
secondPrize=None #二等奖中奖人数
class GetDoubleColorBallNumber(object):
def __init__(self):
self.urls=[ ]
self.log=mylog()
self.getUrls()
self.items=self.spider(self.urls)
self.pipelines(self.items)
def getUrls(self):
URL=r'http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html'
htmlContent=self.getResponseContent(URL)
soup=BeautifulSoup(htmlContent,'lxml')
tag=soup.find_all(re.compile('p'))[-1]
pages=tag.strong.get_text()
for i in xrange(1,int(pages)+1):
url=r'http://kaijiang.zhcw.com/zhcw/html/ssq/list_'+str(i)+'.html'
self.urls.append(url)
self.log.info(u'添加URL：%s到URLS ' %url)
def getResponseContent(self,url):
try:
response=urllib2.urlopen(url.encode('utf8'))
except:
self.log.error(u'python 返回 URL:%s 数据失败' %url)
else:
self.log.info(u'Python 返回URL:%s A数据成功' %url)
return response.read()
def spider(self,urls):
items=[ ]
for url in urls:
htmlContent=self.getResponseContent(url)
soup=BeautifulSoup(htmlContent,'lxml')
tags=soup.find_all('tr',attrs={ })
for tag in tags:
if tag.find('em'):
item=DoubleColorBallItem()
tagTd=tag.find_all('td')
item.date=tagTd[0].get_text()
item.order=tagTd[1].get_text()
tagEm=tagTd[2].find_all('em')
item.red1=tagEm[0].get_text()
item.red2=tagEm[1].get_text()
item.red3=tagEm[2].get_text()
item.red4=tagEm[3].get_text()
item.red5=tagEm[4].get_text()
item.red6=tagEm[5].get_text()
item.blue=tagEm[6].get_text()
item.money=tagTd[3].find('strong').get_text()
item.firstPrize=tagTd[4].find('strong').get_text()
item.secondPrize=tagTd[5].find('strong').get_text()
items.append(item)
self.log.info(u'获取日期为:%s 的数据成功' %(item.date))
return items
def pipelines(self,items):
fileName=u'双色球.txt'.encode('GBK')
with open(fileName,'w') as fp:
for item in items:
fp.write('%s %s %s %s %s %s %s %s %s %s %s %s '
%(item.date,item.order,item.red1,item.red2,item.red3,item.red4,item.red5,item.red6,item.blue,item.money,item.firstPrize,item.secondPrize))
self.log.info(u'将日期为：%s 的数据存入"%s"...' %(item.date,fileName.decode('GBK')))
if __name__ == '__main__':
GDCBN=GetDoubleColorBallNumber()
(3)mylog.py文件的内容：
#! /usr/bin/env python
#-*- coding:utf-8 -*-
import logging
import getpass
import sys
class MyLog(object):
###########类MyLog的构造函数
def __init__(self):
self.user=getpass.getuser()
self.logger=logging.getLogger(self.user)
self.logger.setLevel(logging.DEBUG)
#########日志文件名
self.logFile=sys.argv[0][0:-3]+'.log'
self.formatter=logging.Formatter('%(asctime)-12s %(levelname)-8s %(name)-10s %(message)-12s ')
#########日志显示到屏幕并输出到日志文件中
self.logHand=logging.FileHandler(self.logFile,encoding='utf8')
self.logHand.setFormatter(self.formatter)
self.logHand.setLevel(logging.DEBUG)
self.logHandSt=logging.StreamHandler()
self.logHandSt.setFormatter(self.formatter)
self.logHandSt.setLevel(logging.DEBUG)
self.logger.addHandler(self.logHand)
self.logger.addHandler(self.logHandSt)
#####日志的5个级别对应以下5个函数
def debug(self,msg):
self.logger.debug(msg)
def info(self,msg):
self.logger.info(msg)
def warn(self,msg):
self.logger.warn(msg)
def error(self,msg):
self.logger.error(msg)
def critical(self,msg):
self.logger.critical(msg)
if __name__ == '__main__':
mylog=MyLog()
mylog.debug(u"I'm debug 测试中文")
mylog.info("I'm info")
mylog.warn("I'm warn")
mylog.error(u"I'm error 测试中文 ")
mylog.critical("I'm critical")
（4）运行结果：
3.结果保存到Excel中：从第三方库中安装xlwt模块，其中xlrd模块负责从Excel中读取数据，xlwt则是将数据写入到Excel中；
（2）先写一个简单的python程序测试一下，excelWrite.py：
#! /usr/bin/env python
#-*- coding:utf-8 -*-
import xlwt
if __name__ == '__main__':
book=xlwt.Workbook(encoding='utf8',style_compression=0)
sheet=book.add_sheet('dede')
sheet.write(0,0,'hstking')
sheet.write(1,1,u'中文测试'.encode('utf8'))
book.save('F:\PythonPythonWebScraping\PythonBeautiSoupProject\winningNumBS4\getWinningNum\1.xls')
在编辑器pycharm中打开1.xls文件：
（3）编写文件sava2excel.py，和getWinningNum.py必须是在同一目录下：
#! /usr/bin/env python
#-*- coding:utf-8 -*-
import xlwt
class SaveBallDate(object):
def __init__(self,items):
self.items=items
self.run(self.items)
def run(self,items):
fileName=u'双色球.xls'.encode('GBK')
book=xlwt.Workbook(encoding='utf8')
sheet=book.add_sheet('ball',cell_overwrite_ok=True)
sheet.write(0,0,u'开奖日期'.encode('utf8'))
sheet.write(0,1,u'期号'.encode('utf8'))
sheet.write(0,2,u'红1'.encode('utf8'))
sheet.write(0,3,u'红2'.encode('utf8'))
sheet.write(0,4,u'红3'.encode('utf8'))
sheet.write(0,5,u'红4'.encode('utf8'))
sheet.write(0,6,u'红5'.encode('utf8'))
sheet.write(0,7,u'红6'.encode('utf8'))
sheet.write(0,8,u'蓝'.encode('utf8'))
sheet.write(0,9,u'销售金额'.encode('utf8'))
sheet.write(0,10,u'一等奖'.encode('utf8'))
sheet.write(0,11,u'二等奖'.encode('utf8'))
i=1
while i<len(items):
item=items[i-1]
sheet.write(i,0,item.date)
sheet.write(i,1,item.order)
sheet.write(i,2,item.red1)
sheet.write(i,3,item.red2)
sheet.write(i,4,item.red3)
sheet.write(i,5,item.red4)
sheet.write(i,6,item.red5)
sheet.write(i,7,item.red6)
sheet.write(i,8,item.blue)
sheet.write(i,9,item.money)
sheet.write(i,10,item.firstPrize)
sheet.write(i,11,item.secondPrize)
i+=1
book.save(fileName)
if __name__ == '__main__':
pass
（4）修改getWinningNum.py文件：
（5）运行结果，在编辑器中打开文件双色球.xls：
