关于爬虫的文章，有时间要细细看一下面

http://fly5.com.cn/p/p-work/%E8%B0%B7%E6%AD%8C%E7%BD%91%E9%A1%B5%E7%9B%AE%E5%BD%95%E6%95%B0%E6%8D%AE%E6%8A%93%E5%8F%96.html

谷歌网页目录数据抓取

Qign / 四月 12th, 2010 / 1 Comment / Tags: python, spider, 抓取, 谷歌网页目录/ Posted in Work /

目标地址为：http://www.google.com/Top/World/Chinese_Simplified/ 我们要获取这些站点的keyword(网站名)、pr值、以及网址

抓取采用了 urllib2 + regex 的组合方式
数据库为mysql,使用模块 MySQLdb
分为三个文件: spider_Model.py、dbModel.py、google_list.py
如果想更改存储方式，只需自行设定 google_list.py 中的 save函数即可

废话不多说，上程序：
抓取model: spider_Model.py
这个文件预置了 手动输入验证码、生成随机数、代理抓取，便于以后用于更多用途
抓取时模拟firefox浏览器访问留下的痕迹，自带cookie管理,并且自动refer为上一次访问的页面

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81

#!/usr/bin/env python
#coding=utf-8
 
import urllib,urllib2
import socket
import cookielib
import time
import random,string
 
#超时设定
socket.setdefaulttimeout(10.0)
 
class Spider(object):
  def __init__(self,host='www.google.com',encode='utf-8'):
    self.HOST = host
    self.ENCODE = encode
    self._set_cookie()
 
  def _set_cookie(self):
    #加载cookie
    cj = cookielib.CookieJar()
    #proxy_support = urllib2.ProxyHandler({"http":"http://127.0.0.1:7070"})
    self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
    self.opener.addheaders = [("Host",self.HOST),
                        ("User-Agent","Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.1.8) Gecko/20100215 Ubuntu/9.04 (jaunty) Shiretoko/3.5.8"),
                        ("Accept","text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5"),
                        ("Accept-Language","zh-cn,zh;q=0.8"),
                        ("Accept-Charset","GB2312,utf-8;q=0.5,*;q=0.5"),
                        ("Keep-Alive","300"),
                        ("Cookie","PREF=ID=5ac93d1521e08c1b:U=8260225976856014:LD=en:NR=10:CR=2:TM=1268648036:LM=1270784729:GM=1:S=iGzspMhd7z9-Xnj7; NID=33=CYN_u9CMi6tE_KN8ACu8DIgXgo4-jeHVsQ_nCDzN7UBxtDsy4-D4dEX67EB99YAYZ_S4li699CFoVWP5xPAUbIatvHLHHECWjl87-X8TZvhMZlSNKZVT_pXocx8_jo6m"),
                        ("Connection","keep-alive")]
 
  #发送post 信息
  def post(self,url,values):
    urllib2.install_opener(self.opener)
    WS_data = urllib.urlencode(values)
    WS_req = urllib2.Request(url,WS_data)
 
    WS_response = urllib2.urlopen(WS_req).read().decode(self.ENCODE,'ignore')
    return WS_response    
 
  #获取网页信息
  def get(self,url):
    urllib2.install_opener(self.opener)
    num = 0
    while True:
      try:
        response = urllib2.urlopen(url).read().decode(self.ENCODE,'ignore')
        num = 0
        break
      except:
        num = num + 1
        if num == 1:
          print '*****get html error*****\nURL:%s,Num:%s' % (url,num)
        elif num >= 10:
          print num
          return False
        time.sleep(3)
 
    #设置referer
    self.opener.addheaders.append(('Referer',url))
    #print "获取成功" # 获取发送后的返回信息
    return response
 
  #获取验证码
  def save_validate_code(img_code,path = '1.bmp'):
    f = open(path,"wb")
    f.write(img_code)
    f.close()
 
  #生成随机数
  def get_random_num(self):
    n = random.randint(4,12)
    rnum = "ABCDEFGHIJKLMNOPQRSTUVWXYZ23456789"
    st = string.join(random.sample(rnum, n)).replace(" ","")
    print st
    return st
 
if __name__ == '__main__':
  S = Spider()
  print S.get('http://ip138.com/ip2city.asp')

逻辑&&控制主脚本：google_list.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67

#! /usr/bin/env python
#coding=utf-8
# 记录 pr,name,网址
 
import re
import urllib
 
from dbModel import MySQL
from spiderModel import Spider
 
HOST = 'http://www.google.com'
PATH = '/Top/World/Chinese_Simplified/'
R_DATA = re.compile(r'''<img src="/images/(?:pos.gif|cleardot.gif)"\s*width=(\d+.).*?</nobr></td>\s*<td><font face="arial,sans-serif"><a href="([^"]*?)">([^<]*?)</a>''')
R_CHILD = r'''<a href="(?:%s)?([^/]*?)/">'''
SQL = MySQL()
S = Spider(HOST,'gb2312')
#ISNO = True
 
def save(keyword,pr='',url='',come_from='google_list'):
  SQL.insert_google_list(keyword,pr,url,come_from)  
  print "keyword:%s,pr:%s,url:%s\n-----\n" % (keyword,pr,url)
 
 
def get_child_list(html,path):
  r_list = re.compile( R_CHILD % path)
  child_list = r_list.findall(html)
  for child in child_list:
    keyword = urllib.unquote(str(child))
    save(keyword)
 
  return child_list
 
def get_data(html):
  data_list = R_DATA.findall(html)
  if data_list != []:
#    print data_list
    for data in data_list:
      pr,url,keyword = data
      if pr[-1] != ',':
        pr = 0
      else:
        pr = pr[:-1]
        pr = str(int(pr)/4)
      save(keyword,pr,url)
  return
 
def get_html(path=PATH):
  global ISNO
  url = HOST+path
  print "Get html,url: %s" % url
  html = S.get(url)
  if not html:
    return
  html = html.encode('utf-8')
 
  get_data(html)
  child_paths = get_child_list(html,path)
 
  for child in child_paths:
#    if ISNO and child != '%E8%B4%AD%E7%89%A9':
#      continue
#    ISNO = False
    child_path = path + child + '/'
    get_html(child_path)  
 
if __name__ == "__main__":
  get_html(PATH)

存储model: DBmodel.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

#! /usr/bin/env python
#coding=utf-8
import MySQLdb
 
class MySQL(object):
  def __init__(self,db_name='keywordict'):
    self.db_name = db_name
    self.cursor = self._connect()
 
  def _connect(self):
    conn = MySQLdb.connect(host='127.0.0.1', user='root',passwd='root',charset='utf8')
    conn.select_db(self.db_name)
    return conn.cursor()
 
  def insert(self,value):
    self.cursor.execute("insert into keyword_list values(%s)" % (value))
 
  def insert_google_list(self,keyword,pr,url,come_from):
    self.cursor.execute('''insert into keyword_google(`keyword`,`pr`,`url`,`from`) values(%s,%s,%s,%s) ''',(keyword,pr,url,come_from))
 
  def close(self):
    self.cursor.close();
 
if __name__ == "__main__":
  aa = MySQL()
  aa.insert_google_list('门事网.网络门事件','3','http://wwww.doorthing.com')

相关文章

about 编码的一段话

=Python编码和Windows控制台=
我发现，很多初学者出错的地方都在print语句，这牵涉到控制台的输出。我不了解linux，所以只说控制台的。
首先，Windows的控制台确实是unicode（utf16_le编码）的，或者更准确的说使用字符为单位输出文本的。
但是，程序的执行是可以被重定向到文件的，而文件的单位是“字节”。
所以，对于C运行时的函数printf之类的，输出必须有一个编码，把文本转换成字节。可能是为了兼容95，98，
没有使用unicode的编码，而是mbcs（不是gbk之类的）。
windows的mbcs，也就是ansi，它会在不同语言的windows中使用不同的编码，在中文的windows中就是gb系列的编码。
这造成了同一个文本，在不同语言的windows中是不兼容的。
现在我们知道了，如果你要在windows的控制台中输出文本，它的编码一定要是“mbcs”。
对于python的unicode变量，使用print输出的话，会使用sys.getfilesystemencoding()返回的编码，把它变成str。
如果是一个utf8编码str变量，那么就需要 print s.decode('utf8').encode('mbcs')
 
最后，对于str变量，file文件读取的内容，urllib得到的网络上的内容，都是以“字节”形式的。
它们如果确实是一段“文本”，比如你想print出来看看。那么你必须知道它们的编码。然后decode成unicode。
如何知道它们的编码：
1.事先约定。（比如这个文本文件就是你自己用utf8编码保存的）
2.协议。（python文件第一行的#coding=utf8，html中的等）
3.猜。

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/lexus/p/1853140.html