理解爬虫原理

作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851

1. 简单说明爬虫原理

1、发起请求

使用http库向目标站点发起请求，即发送一个Request

Request包含：请求头、请求体等

Request模块缺陷：不能执行JS 和CSS 代码

2、获取响应内容

如果服务器能正常响应，则会得到一个Response

Response包含：html，json，图片，视频等

3、解析内容

解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等

解析json数据：json模块

解析二进制数据:以wb的方式写入文件

4、保存数据

数据库（MySQL，Mongdb、Redis）

文件

2. 理解爬虫开发过程

1).简要说明浏览器工作原理；

输入url，发送请求，通过网络连接，等待服务器相应返回数据，浏览器出现界面

2).使用 requests 库抓取网站数据；

requests.get(url) 获取校园新闻首页html代码

import requests
url='http://news.gzcc.cn/html/xiaoyuanxinwen/'
res=requests.get(url)
print(res.text)

3).了解网页

写一个简单的html文件，包含多个标签，类，id

<body>
<div id="wrapper">
    <header id="header">
        <div class="content">
            <div class="inner">
                <h2>测试网站</h2>
                <p>这是一个测试用的网站你可以跳转到
 <a href="https://www.baidu.com">百度</a> 看看<br>
                    当然也可以去 <a href="http://www.gzcc.cn">广州商学院</a> 玩一玩</p>
            </div>
        </div>
        <nav class="use-middle">
            <ul>
                <li><a id="intro">123</a></li>
                <li><a id="work">3421</a></li>
                <li><a id="about">w(?Д?)w</a></li>
                <li><a id="contact">444444</a></li>
            </ul>
        </nav>
    </header>
</div>
</body>

4).使用 Beautiful Soup 解析网页；

通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree

select（选择器）定位数据

找出含有特定标签的html元素

找出含有特定类名的html元素

找出含有特定id名的html元素

from bs4 import BeautifulSoup

simple = open(r'simpleHTML.html','r',encoding='utf-8')
simpleR = simple.read()
soup=BeautifulSoup(simpleR,'html.parser')
h=soup.select('h1')
id=soup.select('#from1')
cls=soup.select('.AD')
print(h,id,cls)

3.提取一篇校园新闻的标题、发布时间、发布单位

url = 'https://www.bilibili.com/read/cv2335645?from=category_2'

import requests
from bs4 import BeautifulSoup

url ="https://www.bilibili.com/read/cv2335645?from=category_2"
res=requests.get(url)
type(res)
res.encoding="utf-8"
soup1=BeautifulSoup(res.text,'html.parser')
time=soup1.select('.create-time')
au=soup1.select('.author-name')
title=soup1.select('.title')
print(time,'
',au,'
' 'title')