1. 爬虫是如何采集网页数据的：
网页的三大特征:
-1. 每个网页都有自己的 URL（统一资源定位符）地址来进行网络定位。
-2. 每个网页都使用 HTML（超文本标记语言）来描述页面信息。
-3. 网页都使用 HTTP（超文本传输协议）来传递 HTML数据。
爬虫的设计流程：
-1. 爬虫通过网页的 URL地址，发送对应的HTTP请求给网站服务器。
-2. 网站服务器返回对应的 HTTP 响应给爬虫，爬虫提取响应中的 HTML 数据内容。
-3. 通过相关的HTML解析工具，提取HTML里的数据：
-a. 如果是需要保存的目标数据，则根据需求保存数据（入库：txt、json、csv、mysql、redis、mongodb）
-b. 如果是需要继续抓取的新的 URL地址，则从第一步重新开始执行。
-4. 当所有的URL地址全部抓取完毕，程序结束。
爬虫的主要两个瓶颈：硬件瓶颈（CPU、内存）、带宽瓶颈（网速）
90%的网站没有反爬
10%的网站有反爬
-> 90%的反爬可以通过更改IP代理解决
-> 10%的高级反爬：验证码、JS加密、动态渲染
只要是用户可以访问的网络数据，爬虫都可以爬下来。
Baidu每天处理的用户数据量大约 20EB
1 bytes = 8 bit
1024 bytes = 1KB
1024 KB = 1 MB
1024 MB = 1 GB
1024 GB = 1 TB
1024 TB = 1 PB
1024 PB = 1 EB
1024 EB = 1 ZB
搜索引擎的排名算法：page rank（Google）、超链分析（Baidu）
2. 什么是字符编码？
-1. 计算机里的所有数据，本质都是二进制数。
二进制： 01100001
十进制： 97
十六进制: 61
ASCII编码表： a
1. ASCII 美国信息交换标准码，基于拉丁字母的一套电脑编码系统, 用来表示英文字母、数字和常用符号，总共 128 个字符（0~127）
2. 后来计算机开始普及全球，每个国家都有自己的语言符号，ASCII 编码就不满足其他国家的需求。于是各个国家开始制定自己的编码（但是都是在 ASCII 基础上进行扩展）
欧洲：Latin-1 （ 0~256）ISO-8859-1
简体中文：gb2312->gbk->gb18030 （一个汉字占 2 个字节）
繁体中文：Big5
日文：Shift-JIS
3. 编码不一致，导致文件交流不方便，为了解决整个问题，国际标准组织指定了一个编码：Unicode
Unicode 又名万国码，包含了世界上所有国家的文字符号。但是有个缺点，浪费空间（汉字占4个字节等等）
4. 于是在Unicode基础上进行了升级：utf-8(可变长的Unicode),可以根据文本类型指定不同的编码（在utf-8里一个汉字占 3 个字节，一个字母占 1 个字节），utf-8 是目前世界上最流行的编码。
在所有的Linux系统终端默认编码，都是utf-8，90%以上的网页字符串，都是utf-8。
-2 爬虫程序需要处理的编码场景：
1. 发送请求获取网页响应（不同的网页有不同的编码）
2. 数据处理过程中不同的字符串需要编码统一（编码要统一处理）
3. 将处理结果保存起来（保存数据库、文件中要编码统一）
如果编码不统一，会导致 "乱码"（按照其他编码表显示这个字符）
-3. Python中如何处理字符串编码统一：
1. Python3的字符串 类型和编码 对应：
str 数据类型： Unicode 编码字符串
bytes 数据类型： 非Unicode编码 字符串（其他编码字符串、图片音视频数据等）
（了解）python2中的字符串类型和编码对应：
unicode 数据类型： Unicode 字符串
str 数据类型： 非Unicode字符串（其他编码字符串、图片音视频数据等）
3. 字符串如何转码（编码统一）
口诀：任何操作系统的 任何编程语言 的任何编码，都可以和 Unicode互相转换。
任何编码的字符串都可以解码为Unicode。再通过Unicode字符串转为其他编码
gbk_str 转为 Unicode 转为 utf8_str：
# 先将gbk字符串 通过 decode() 解码为 Unicode字符串
unicode_str = gbk_str.decode("gbk")
# 再将Unicode字符串 通过 encode() 编码为 utf-8字符串
utf8_str = unicode_str.encode("utf-8")
4. 终端、代码中创建的字符串编码
-1. Python3 和 iPython3 创建的字符串 是 Unicode 编码，str 类型的字符串。
-2. Python2 根据使用的操作系统来定，Linux 是 utf-8、 简体中文Windows下是 GBK(可以通过 chcp 65001 修改为 utf-8)
注意：在iPython2 下创建的字符串，默认全部都是 utf-8
-3. print：字符串格式化输出函数，若将其他编码的字符串放入容器中输出时，不会进行解码
5. 将 Unicode 字符串数据保存在本地文件时
Python3保存Unicode 字符串到本地文件时的编码，有三种处理方式：
unicode_str = ""
1. 直接保存Unicode字符串到本地文件时，解释器编码会参与工作:
-1 Python3 默认的解释器编码是 utf-8，所以会把Unicode字符串按 utf-8 转码再保存文件，所以默认文件编码为 utf-8
with open("test.txt", "w") as f:
f.write(unicode_str)
-2 Python2 默认的解释器编码是 ascii，所以会把Unicode字符串按 ascii 转码再保存文件（可能会导致 无法处理中文转码，导致报错: UnicodeEncodeError）
查看解释器的默认编码： sys.getdefaultencoding()
临时更改解释器编码 :
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
with open("test.txt", "w") as f:
f.write(unicode_str)
2. 保存非 Unicode字符串到本地文件，手动对 Unicode字符串 进行转码再写入
Python2 和 Python3 语法一致。
with open("test.txt", "wb") as f:
f.write(unicode_str.encode("utf-8"))
#f.write(unicode_str.encode("gbk"))
注: 写入文件时，禁止使用不同编码写入数据，会默认使用最后一次的编码格式，导致前面数据的不可逆的丢失。
3. 通过 open() 的encoding 参数指定编码，再写入 Unicode字符串
-1. Python3 的 open()方法 有 encoding 参数。
with open("test.txt", "w", encoding="utf-8") as f:
f.write(unicode_str)
-2 Python2 的 open() 方法 没有 encoding参数，但是通过codecs模块的open方法，可以指定encoding参数。
import codecs
with codecs.open("test.txt", "w", encoding="utf-8") as f:
f.write(unicode_str)
6. 文件编码注意
文件当中没有 Unicode编码, 都是 utf-8编码, 当数据需要存储到文件当中时, 需要对其进行转码(例如: gbk 转码为 utf-8)
当写入一个字符串到文件中时，文件编码 等于 该字符串编码。
如果写入了不同 编码 到同一个文件中，会导致文件编码被修改为最后一次写入的字符串编码，同时导致之前的数据不可逆的丢失。
7. 网页编码
/html/head/meta/charset 指定的，不同的网页编码类型可能不一样，会影响爬虫获取的数据编码。
8. 代码文件头部编码声明
默认Python2的 代码文件头部编码声明是 ASCII，在python2的代码不能写非ASCII字符，否则会报错，所以需要提前加上下面这行代码。
# -*- coding:utf-8 -*-
Python 3默认的代码文件头部编码声明是 utf-8，无需手动修改。
10. 扩展点
Chrome抓包工具中获取的请求报头 快速转换字典：
匹配：''' ^(.*?):s(.*?)$ '''
替换：''' "1" : "2", '''
NetScape 网景 Mozilla 浏览器 -> Frame
Microsoft 微软 IE 1.0 浏览器 -> Frame 添加了Mozilla前缀
三流公司 做产品
二流公司 做设计
一流公司 做标准
Mozilla 基金会 Firefox 支持内核 Gecko
Linux 借鉴了Gecko-> KTHML 内核
Apple 借鉴了KHTML-> Webkit Safari
Google 借鉴了Webkit -> Chrome
11. 案例：百度贴吧页面分析
固定url地址部分: http://tieba.baidu.com/f?
表示贴吧名: kw=美食
百度贴吧页码值计算：
page =1 pn = 0
page =2 pn = 50
page =3 pn = 100
pn = (page - 1) * 50
12. 对于爬虫来说：网页通常分为两种 1. 静态页面； 2.动态页面
静态页面：数据内容直接保存在html中。
url变化内容也会变化。
动态页面：数据不是直接保存在html里的，而是通过 ajax 请求获取数据再渲染的。
url不变但内容会变化。
注意：动态页面必须要抓包，找到浏览器和服务器之间到底偷偷传递了什么文件。
动态页面由ajax进行动态请求数据，抓包时如果没有数据不会导致报错。 会返回一个空列表。
抓包：抓取网络数据包。
浏览器：第一次请求返回HTML，后续浏览器会自动尝试发送HTML中的CSS，js等其他请求，全部请求完成，再进行渲染。
爬虫： 一个请求对应一个文件，所有网站绝对支持HTTP，但不一定支持HTTPS
13. requests模块
response.text: 会自动实现解码操作，但解码不一定成功。requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，所推测的文本编码不一定正确。
修改解码方式： response.encoding = "gbk", 再使用 response.text 取出数据
response.content: 获取到的是bytes类型的原始网页数据，还需要手动进行解码。【推荐】
修改解码方式: response.content.decode("GBK"), 默认为 utf-8
占位符： "{}".format（参数）