Python 网络爬虫

 

一、目的

  1、 掌握requests库和bs4库的使用方法；

  2、 能熟练运用requests库和bs4库进行基本的数据爬取；

  3、 掌握基于matplotlib库的数据可视化方法。

二、内容

  1、以软科中国最好大学排名为分析对象，基于requests库和bs4库编写爬虫程序，对2015年至2019年间的中国大学排名数据进行爬取，并按照排名先后顺序输出不同年份的前10位大学信息，要求对输出结果的排版进行优化。

   代码：

import requests
from bs4 import BeautifulSoup
 
class Univ:
    def __init__(self, url, num):
        self.url=url
        self.allUniv=[]
        self.num=num
    def get_htmltext(self):
        try:
            r=requests.get(self.url,timeout=30)
            r.raise_for_status()
            r.encoding='utf8'
            return r.text
        except:
            return ''
    def fillUnivList(self,soup):
        data=soup.find_all('tr')
        for tr in data:
            ltd=tr.find_all('td')
            if len(ltd)==0:
                continue
            singleUniv=[]
            for td in ltd:
                singleUniv.append(td.string)
            self.allUniv.append(singleUniv)
    def printUnivList(self):
        print("{:^4}	{:^20}	{:^10}	{:^8}	{:^10}	".format("排名","学校名称","省市","总分","生源质量"))
        for i in range(self.num):
            u=self.allUniv[i]
            if u[0]:
                print("{:^4}	{:^20}	{:^10}	{:^8}	{:^10}	".format(u[0],u[1],u[2],u[3],u[4]))
            else:
                print("{:^4}	{:^20}	{:^10}	{:^8}	{:^10}	".format(i+1,u[1],u[2],u[3],u[4]))
    def main(self):
        html=self.get_htmltext()
        soup=BeautifulSoup(html,'html.parser')
        self.fillUnivList(soup)
        self.printUnivList()
if __name__ == "__main__":
        url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2015_0.html"
        print('2015')
        u=Univ(url,10)
        u.main()
        years=["2016","2017","2018","2019"]
        for year in years:
            url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming"+year+".html"
            print(year)
            u=Univ(url,10)
            u.main()

      运行结果：

    

  2、豆瓣图书评论数据爬取。在豆瓣图书上自行选择一本书，编写程序爬取豆瓣图书上针对该图书的短评信息，要求：

  （1）对不同页码的短评信息均可以进行爬取；

  （2）爬取的数据包含用户名、短评内容、评论时间和评分；

  （3）能够根据选择的排序方式进行爬取，并针对热门排序，输出前10个短评信息（包括用户名、短评内容、评论时间和评分）；

  （4）结合中文分词和词云生成，对前3页的短评内容进行文本分析，并生成一个属于自己的词云图形。

   图书选取：生存还是毁灭作者: [南非] 大卫·贝纳塔

  代码：

import requests
import re
import imageio
import jieba
import wordcloud
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
class com:
    def __init__(self, no,num,page):
        self.no=no
        self.page=page
        self.num=num
        self.url=None
        self.header=None
        self.bookdata=[]
        self.txt=''       
    def set_header(self):
        ua = UserAgent()
        self.header={"User-Agent":ua.random}
    def set_url(self,page):
        self.url='https://book.douban.com/subject/{0}/comments/hot?p={1}'.format(str(self.no),str(page+1))
    def get_html(self):
        try:
            r=requests.get(self.url,headers=self.header,timeout=30)
            r.raise_for_status()
            r.encoding='utf8'
            return r.text
        except:
            return ''
    def fill_bookdata(self,soup):
        commentinfo=soup.find_all('span','comment-info')
        pat1=re.compile(r'allstar(d+) rating')
        pat2=re.compile(r'<span>(dddd-dd-dd)</span>')
        comments=soup.find_all('span','short')
        for i in range(len(commentinfo)):
            p=re.findall(pat1,str(commentinfo[i]))
            t=re.findall(pat2,str(commentinfo[i]))
            self.bookdata.append([commentinfo[i].a.string,comments[i].string,p,t[0]])
    def printList(self, num):
        for i in range(num):
            u=self.bookdata[i]       
            try:
                print("序号: {}
用户名: {}
评论内容: {}
时间：{}
评分: {}星
".format(i+1,u[0],u[1],u[3],int(eval(u[2][0])/10)))
            except:      
                print("序号: {}
用户名: {}
评论内容: {}
".format(i+1,u[0],u[1]))
    def comment(self):
        self.set_header()
        self.set_url(0)
        html=self.get_html()
        soup=BeautifulSoup(html,'html.parser')
        self.fill_bookdata(soup)
        self.printList(self.num)
    def txtcloud(self):
        self.set_header()
        for i in range(self.page):
            self.bookdata=[]
            self.set_url(i)
            html=self.get_html()
            soup=BeautifulSoup(html,'html.parser')
            self.fill_bookdata(soup)
            for j in range(len(self.bookdata)):
                self.txt+=self.bookdata[j][1]
        image=imageio.imread("钻石.jpg")
        w=wordcloud.WordCloud(width=1000,font_path="msyh.ttc",height=700,
                              mask=image,background_color="white")
        w.generate(self.txt)
        w.to_file("comment.png")
    def main(self):
        self.comment()
        self.txtcloud()
if __name__ == "__main__":
     com(35019783,10,10).main()

     运行结果：

   

  选取图片：

  词云图片：

 

三、实验总结

    通过本次实验，对Python有了更深一步的了解，能熟练掌握Python网络爬虫与数据处理，掌握了requests库和bs4库的使用方法；能熟练运用requests库和bs4库进行基本的数据爬取；掌握基于matplotlib库的数据可视化方法。