python基础-爬虫

爬虫引入

爬虫：

1 百度：搜索引擎

爬虫：spider 种子网站开始爬，下载网页，分析链接，作为待抓取的网页

分词

index：词---》某个结果

Page rank(1 网站很大（互链） 2 包含多少个词 3 更新频率 )

cache：缓存里面

为啥哈希快：

书的目录

hash(xxx)---->内存地址---》保存

查找hash(xxx)---》获取到内存地址---》找

练习：写一个爬虫脚本，抓取出搜狐上所有的链接

步骤： 1 打开sohu网页 2 分析页面中所有的链接 3 打印所有的链接内容(re.findall 查找全部链接)，看看是否有非法的链接地址 4 过滤掉非法的链接地址

# -*- coding: utf-8 -*- #
import requests
import re

resq = requests.get("http://www.sohu.com/")
print resq.text[:500]
links = re.findall(r'href="(.*?)"', resq.text)
print len(links)
valid_link = []
invalid_link = []
for link in links:
#先看一下前200个链接里面有啥，主要思路是根据打印出来的结果去判定该去除哪些内容
#for link in links[:200]:
#print link
if re.search(r"(.jpg)|(.jpeg)|(.gif)|(.ico)|(.png)|(.js)|(.css)$", link.strip()): #排除结尾是图片的
print 6, link
invalid_link.append(link.strip())
continue
if link.strip() == "" or link.strip() == "#" or link.strip() == "/": #排除#号、空格
# print 1,link
invalid_link.append(link)
continue
elif link.strip().startswith("//"):
# print 2,link
valid_link.append("http:" + link.strip())
continue
elif link.strip().count("javascript") >= 1 or link.strip().count("mailto:") >= 1:#排除javascript
# print 3,link
invalid_link.append(link.strip())
continue
elif re.match(r"/w+", link): #相对链接进行匹配
# print 5,link
if re.match(r"http://.*?/",resq.url.strip()):
valid_link.append(re.match(r"http://.*?/",resq.url.strip()).group()+link.strip())
else:
valid_link.append(re.match(r"http://.*",resq.url.strip()).group()+link.strip())
continue
else:
# print 7,link
valid_link.append(link.strip())

# for link in valid_link[:100]:
# print link
print len(valid_link)

# for link in invalid_link:
# print link
print len(invalid_link)

变形练习: 把首页中带篮球的页面全部下载下来

# -*- coding: utf-8 -*- #
import requests
import re

resq = requests.get("http://www.sohu.com/")
#print resq.text[:500]
links = re.findall(r'href="(.*?)"', resq.text)
#print len(links)
valid_link = []
invalid_link = []
for link in links:
#先看一下前200个链接里面有啥，主要思路是根据打印出来的结果去判定该去除哪些内容
#for link in links[:200]:
#print link
if re.search(r"(.jpg)|(.jpeg)|(.gif)|(.ico)|(.png)|(.js)|(.css)$", link.strip()): #排除结尾是图片的
#print 6, link
invalid_link.append(link.strip())
continue
if link.strip() == "" or link.strip() == "#" or link.strip() == "/": #排除#号、空格
# print 1,link
invalid_link.append(link)
continue
elif link.strip().startswith("//"):
# print 2,link
valid_link.append("http:" + link.strip())
continue
elif link.strip().count("javascript") >= 1 or link.strip().count("mailto:") >= 1:#排除javascript
# print 3,link
invalid_link.append(link.strip())
continue
elif re.match(r"/w+", link): #相对链接进行匹配
# print 5,link
if re.match(r"http://.*?/",resq.url.strip()):
valid_link.append(re.match(r"http://.*?/",resq.url.strip()).group()+link.strip())
else:
valid_link.append(re.match(r"http://.*",resq.url.strip()).group()+link.strip())
continue
else:
# print 7,link
valid_link.append(link.strip())

# for link in valid_link[:100]:
# print link

#print len(valid_link)

# for link in invalid_link:
# print link
#print len(invalid_link)

file_num =1
for link in valid_link:

#print link
resq = requests.get(link)
if u"篮球" in resq.text: #如果是二进制的文件，就用content找
if u'meta charset="utf-8"' in resq.text: #判断一下当前页面的格式
with open(r"e:\pic\"+str(file_num )+".html","w") as fp:
fp.write(resq.text.strip().encode("utf-8"))
else:
with open(r"e:\pic\"+str(file_num )+".html","w") as fp:
fp.write(resq.text.strip().encode("gbk"))
file_num +=1 #文件名累加

print "Done!"

练习2：下载所有美女图片 http://www.meituri.com

自己：

# -*- coding: utf-8 -*- #
import requests
import re
resq = requests.get("http://www.win4000.com/meinvtag34.html")
#print resq.text[:100]
#<img src="http://i.situmei.com/a/1/7215/0.jpg">
links = re.findall(r'src="(.*?)"', resq.text)
#print len(links) #打印有多少个src
valid_link = []
invalid_link = []
pic_num = 0
for link in links:
#print link #打印所有src匹配的结果，结果中发现有js的并不是图片，需要去除
if re.search(r"(.jpg)|(.jpeg)|(.gif)|(.ico)|(.png)$",link.strip()): #找出所有图片链接
pic_num += 1
# print link #打印出图片链接
resq1 = requests.get(link.strip(),allow_redirects=True)
print resq1
with open(r"e:\pic\" + str(pic_num) + ".png", "wb") as fp:
fp.write(resq1.content)
print pic_num #打印图片总个数

老师：

# -*- coding: utf-8 -*- #
import requests
import re
import urllib

resq = requests.get("http://www.win4000.com/meinvtag34.html")

link1s = re.findall(r'img src="(.*?)"', resq.text)
link2s = re.findall(r'data-original="(.*?)"', resq.text) #直接用地址下载不行，一些网站缩略图和进入的大图不一致，加载大图费时

#import re
#print re.findall(r'src="(.*?)"|data-original="(.*?)"','src="1.jpg" data-original="2.jpg"') 或者直接用正则也可以

print link2s
valid_link = []
links = link1s + link2s
print len(links)

for link in links:
if re.search(r"(.jpg)|(.jpeg)|(.gif)$", link.strip()):
# print 6,link
valid_link.append(link.strip())
continue

# for link in valid_link[:100]:
# print link
print len(valid_link)

file_num = 1
for link in list(set(valid_link)):
print link
resq1 = requests.get(link.strip(), allow_redirects=True)
print "final url:", resq1.url
# print resq1.text
with open(r"e:\pic\" + str(file_num) + ".jpg", "wb") as fp:
fp.write(resq1.content)
file_num += 1
print "Done!"

老师：