黑板客爬虫闯关代码

简介：

提供给网友的一个学习爬虫的网站，关卡设计由易到难，到后面逐渐涉及模拟登陆，多线程等，让你掌握网络爬虫的基本技术。

第一关：

简单的在网址后面输入数字就可以，只不过你需要N++++个数字才能到达第二关的入口，每次跳转页面里都有下一个页面的跳转数字。所以这里需要用爬虫爬取出每个页面的跳转数字，直到没有跳转数字为止就是第二关的入口了。

代码：

 1 #coding=gbk
 2 import re
 3 import urllib2
 4 
 5 rooturl = 'http://www.heibanke.com/lesson/crawler_ex00/'
 6 url = rooturl
 7 
 8 while True:
 9     request = urllib2.Request(url)
10     response = urllib2.urlopen(request,timeout=30)
11 
12     html = response.read().decode('utf8')
13 
14     items = re.findall(r'<h3>.*?(d+).*?</h3>',html)
15 
16     if len(items)==0:
17         break
18     else:
19         num = items[0]
20         url = rooturl + num
21 
22     print 'go:'
23     print url
24 
25 print 'answer:%s'%url

第二关：

使用爬虫模拟post请求穷举密码即可。

代码：

 1 #coding=gbk
 2 import re
 3 import urllib
 4 import urllib2
 5 
 6 rooturl = 'http://www.heibanke.com/lesson/crawler_ex01/'
 7 url = rooturl
 8 
 9 for pwd in range(0,31):
10         data = {}
11         data['username'] = 'yym'
12         data['password'] = pwd
13         print '尝试%d'%pwd
14 
15         post_data = urllib.urlencode(data)
16         #print post_data
17 
18         request = urllib2.Request(url)
19         response = urllib2.urlopen(request,post_data,timeout=30)
20 
21         html = response.read().decode('utf8')
22         if  html.find('密码错误'.decode('gbk')) == -1:
23                 print '密码正确'
24                 print 'answer:%d'%pwd
25                 break
26         else:
27                 print '密码错误'
28 if pwd==30:
29         print '没找到密码'

Freecode# : www.cnblogs.com/yym2013

黑板客爬虫闯关 代码

简介：

第一关：

第二关：

黑板客爬虫闯关代码