爬取校园新闻首页的新闻

1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。

import requests
from bs4 import BeautifulSoup
url='http://news.gzcc.cn/html/xiaoyuanxinwen/'
res = requests.get(url)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, 'html.parser')
for news in soup.select('li'):
    if len(news.select('.news-list-title'))>0:
        title = news.select('.news-list-title')[0].text
        source = news.select('.news-list-description')[0].text
        a = news.select('a')[0].attrs['href']
        print(title, source, a)
        break

我校2018年新增学士学位授予专业评审工作顺利完成 3月29日，我校2018年新增学士学位授予专业评审会议在第二行政楼208会议室举行。 http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0330/9155.html
国际学院召开澳洲阿德莱德海外语言实践项目总结会学院对项目学生出国前与回国后的语言能力进行测试，发现同学们的语言能力取得了明显进步。 http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0330/9140.html
加强校企合作，打造高素质人才培养平台为了进一步完善学生人才培养和实践能力培育体系，深化产教融合、校企合作，旅游学院积极主动探索酒店管理专业校企合作多元化模式。 http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0329/9129.html
广东财经大学华商学院副院长郭银华一行来我校交流 3月29日，广东财经大学华商学院副院长郭银华一行4人来我校交流。 http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0329/9125.html
学校党委书记吕泉荣讲授新学期“思政第一课” 3月28日，我校党委书记吕泉荣讲授以“坚定信仰，执着追求”为主题的新学期“思政第一课”。 http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0329/9122.html
我校校长杨文轩教授讲授新学期“思政第一课” 3月27日下午，我校校长杨文轩教授在第四教学楼310室为学生讲授了新学期“思政第一课”。 http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0328/9113.html
新西兰梅西大学代表团来我校访问 3月27日，新西兰梅西大学商务发展与运营经理Rebecca Argyle一行来我校访问交流。 http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0327/9106.html
展大国风范，燃民族豪情——我校党委组织党员集体观影《厉害了，我的国》本学期第三至四周，学校党委统筹，各支部组织教工党员集体观看电影《厉害了，我的国》。 http://news.gzcc.cn/html/2018/xibusudi_0327/9101.html
我校学子在“外研社杯”华南大学生英语辩论赛中获佳绩 3月25日，我校学生在第二十一届“外研社杯”全国大学生英语辩论赛华南总决赛中荣获三等奖。 http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0327/9100.html
弘扬太极文化提升身体素质——我校举行政工干部太极训练启动仪式 3月23日下午，学校在体育馆3楼举行政工干部太极训练启动仪式。 http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0323/9089.html

爬取正文：

for news in soup.select('li'):
    if len(news.select('.news-list-title'))>0:
        a = news.select('a')[0].attrs['href']
        print(a)
        resd = requests.get(a)
        resd.encoding ='utf-8'
        soupd = BeautifulSoup(resd.text,'html.parser')
        print(soupd.select('#content')[0].text)
        break

3月29日下午，我校2018年新增学士学位授予专业评审会议在第二行政楼208会议室举行。根据《广东省学位委员会关于做好2017年新增学士学位授予专业备案工作的通知》精神和广东省学位办要求，我校商务英语专业参加了本年度审核。

　　评审专家组由湖南大学莫再树教授、华南师范大学教务处处长熊建文教授、暨南大学黄若妤教授、华南农业大学何高大教授、广东外语外贸大学朱文忠教授、广东第二师范学院吴慧坚教授、广州商学院袁泽沛教授组成，熊建文教授任组长。我校副校长刘根正、欧洁梅，相关职能部门负责人和工作人员参加了评审会议。会议由我校评建与督导办主任邬家炜教授主持。刘根正代表学校向专家组莅临我校指导工作表示感谢。他简要回顾了学校历年来学士学位授予专业的总体情况，并就商务英语专业的整体情况向专家组进行了介绍。

　　答辩点评由熊建文教授主持。根据审核工作安排，专家组在评审会议之前已对申报专业开展了通讯评议。专家组审阅了相关材料，听取了商务英语专业负责人曾利沙教授的汇报，并进行了现场答辩。专家组一致认为，我校商务英语专业办学定位准确，建设思路清晰，教学管理规范，教学条件满足人才培养需要。商务英语专业已达到文学学士学位授予条件。曾利沙表示，商务英语专业将加大建设力度，加强师资队伍建设，充分发挥自身优势，培养高素质应用型人才。

副校长刘根正讲话

专家组组长熊建文点评

会议现场

2. 分析字符串，获取每篇新闻的发布时间，作者，来源，摄影等信息。


for news in soup.select('li'):
    if len(news.select('.news-list-title'))>0:
        title = news.select('.news-list-title')[0].text
        a = news.select('a')[0].attrs['href']

        resd = requests.get(a)
        resd.encoding = 'utf-8'
        soupd = BeautifulSoup(resd.text, 'html.parser')
        d = soupd.select('#content')[0].text
        info = soupd.select('.show.info')[0].text
        print(info)
        dt = info.lstrip('发布时间:')[:19]#发布时间
        dt2 = datetime.strptime(dt, '%Y-%m-%d %H:%M:%S')
        print(dt2)
        i = info.find('来源:')
        if i>0:
            s = info[info.find('来源:'):].split()[0].lstrip('来源:')#来源
            print(s)
        a = info.find('作者：')
        if a > 0:
            l = info[info.find('作者：'):].split()[0].replace('作者：')#作者
            print(l)
        y = info.find('摄影：')
        if y > 0:
            u = info[info.find('摄影：'):].split()[0].replace('摄影：')#摄影
            print(u)

3. 将其中的发布时间由str转换成datetime类型。

from _datetime import datetime
str = '2018-03-30 17:10:12'
dt =datetime.strptime(str,'%Y-%m-%d %H:%M:%S')
now = datetime.now()
type(now)
now.strftime("%Y-%m-%d %H:%M:%S")