爬虫

网站爬虫，主要是爬博客http://www.cnblogs.com/xxxx下的所有文章内容及标题，保存到data目录下。具体如下：

import requests
import re
import os 
BASE_PATH = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
DATA_PATH = os.path.join(BASE_PATH, 'data')
#将爬虫下来的文章内容写入文件，需要写入文章的内容、编码
def write_content(filename, content, coding):
    with open(os.path.join(DATA_PATH, filename), 'w', coding) as fw:
        fw.write(content)

url = 'http://www.cnblogs.com/xxxx'
def get_html(url):
    #打开url并获取该url的所有html信息
    html_content = requests.get(url).text
    #从html_conten所有的html信息中匹配到所有博客的超链接地址
    href_list = re.findall(r'href="(.*)">(.*)</a>', html_content)
    for line in href_list:
        line_html = requests.get(line[0])
        content = line[1]  # 获取每篇文章的标题titile
        line_content = line_html.text  # 获取文章的内容
        line_conding = line_html.encoding  # 获取文章的编码格式
        # 写入文件
        write_content('%s.html' % content, line_content, line_conding)

if __name__ == '__main__':
    get_html(url)

网站爬虫，爬取http://tieba.baidu.com/p/2166231880内所有的图片并保持到本地。

待续