爬虫之初识爬虫

1,爬虫的介绍:

引入

我们都知道,我们当前所处的环境是一个大数据的时代,油漆是互联网,数掌握了数据,谁就掌握了市场的先机,要想掌控数据,就得先获取数据,而爬虫就可以让我们获取到数据源,并且这些数据源考科一根据我们的目的进行采集

优酷的火星情报局就是基于网络爬虫和数据分析制作完成的,其中每期的节目话题都是从相关热门的互动平台进行相关数据的爬取,然后对爬取的数据进行数据分析而得来的,而另一方面优酷根据用户实时观看视频的前进,后退等行为,能够推测出计算出冠照片那个的兴趣点和爱好点,这样有助于节目的剪辑和后期节目方案的编写.

今日头条作为一个新闻推荐类的应用,器内部的新闻数据都是通过爬虫程序在各个新闻网站进行新闻数据的爬取,然后通过处理和运算将用户感兴趣的新闻话题推送到用户的手机上

爬虫简介
爬虫分类
robots协议
反爬机制
反反爬策略

本节内容:

什么是爬虫:
- 爬虫就是通过编写程序模拟浏览器上网,然后让其去互联网撒花姑娘抓取数据的过程
那些语言可以实现爬虫
1. php:可以实现爬虫,但是php在实现爬虫中支持多线程和多进程的当面做的不好
2. java:可以实现爬虫,java可以非常好的处理和实现爬虫,是唯一可以与python并驾齐驱且是python的头号劲敌,但是java实现爬虫代码较为臃肿,重构成本较大
3. c,c++可以实现爬虫,但是使用这种方式实现爬虫纯粹是技术大牛的能力的体现,却不是明智和合理的选择
4. python: 可以实现爬虫,Python实现和处理爬虫语法简单,代码优美,支持的模块繁多,学习成本低,具有非常强大的框架(scrapy框架)
爬虫的分类
1. 通用爬虫:通用爬虫是搜索引擎(Baidu,Google, Yahoo)"抓取系统"的重要组成部分.主要目的是将互联网的网下载到本地,形成一个互联网内容的镜像备份,简单来讲简单来讲就是尽可能的;把互联网上所有的网页下载下来,放到本地服务器里形成备份,在对这些网页做相关处理(处理关键字,去掉广告),然后提供一个用户检索接口
  - 搜索引擎抓取互联网上的网站数据
  - 门户网站主动向搜索引擎公司提供其网站的url
  - 搜索引擎公司与DNS服务商合作, 获取网站的url
  - 门户网站主动挂靠在一些知名网站的友情连接中
2. 聚焦爬虫:聚焦爬虫是根据指定的需求抓取网络上指定的数据.列如:获取豆瓣电影的名称和影评,而不是获取整张页面中所有的数据值
  - robots.txt协议:如果自己的门户网站中的指定页面中的数据不想让爬虫程序爬到的话,name则可以通过编写一个robots.txt的协议文件来约束爬虫程序的数据爬取.robots协议的编写格式可以观察淘宝网的robots(www.taobao.com/robots.txt).但是需要注意的是,该协议执行只是相当于口头的协议,并没有使用相关技术轻质进行技术的管制,因此,该协议是防君子,不放小人
  - 反爬虫:门户网站通过相应的策略和技术手段,防止爬虫程序进行网站数据的爬取
  - 反反爬策略:爬虫程序通过相应的策略和技术手段,破解门户网站的反爬手段,从而爬取到相应的数据

2,python爬虫的http协议和https

官方概念:HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,适用于万维网(www:World Wide Web)服务器传输超文本到本地浏览器的传输协议
白话概念:HTTP协议就是该服务器(Server)和客户端(Client)之间进行数据交互(相互传输数据)的一种形式,我们可以将Server和Client进行拟人化,那么该协议就是Server和Client这俩兄弟间进行指定的一种沟通方式.
HTTP工作原理:HTTP协议工作与客户端-服务端架构上.浏览器作为HTTP服务器接web服务器发送请求,web服务器根据收到的请求后,向客户端发送响应信息
HTTP四点注意事项:
1. HTTP允许传输任意类型的数据对象,正在传输的类型由Content-Type加以标记
2. HTTP是无连接的,无连接的含义是限制每次连接值处理一个请求,服务器处理完客户的请求,并受到客户的应答后,即断开连接.采用这种方式可以节省传输时间
3. HTTP是媒体独立的,这意味着,只要客户端和服务器知道如何处理数据的内容,任何类型的数据都可以通过HTTP发送,客户端以及服务器指定使用适合的MIME-type.
4. HTTP是无状态的:HTTP协议是无状态协议,无状态协议对于事物处理没有记忆能力,缺少状态意味着如果后续处理需要前面的信息,则它必须重传,这样可能导致每次连接传输的数据量增大.另一方面,在服务器不需要先前信息时它的应答就较快
5. HTTP值url:HTTP使用统一资源标识符(Uniform Resource Identifiers, URL)来传输数据和建立连接,URL是一种特殊的URL,包含了用于查找某个资源的足够到的信息
URL:全称是UniformResourceLocator,中文叫统一资源定位符,是互联网上用来标识某一处资源地址,一下面这个url为例,介绍下普通url各组成部分: https://i.cnblogs.com/EditDiary.aspx?postid=10296205从这个url可以看出包含以下几部分:
- 协议部分:该url的协议部分为"https":,这个网页代表使用的是HTTP协议,在Internet中农可以使用多种协议,如HTTPS,FTP等,本例使用的是HTTPS协议 ,在HTTPS后边的"//"表示分隔符
- 域名部分:跟在域名后端的是端口.域名和端口之间用":"作为分隔,端口不是一个URL必须的部分,如果省略端口部分 ,则采用默认端口
- 虚拟目录部分:从域名后的第一个"/"开始到最后一个为止"/"是虚拟目录部分,虚拟目录也不是一个URL必须的部分,本例的虚拟部分是i.cnblogs.com
- 文件名部分:从域名后的最后一个"/"开始到"?"为止,是文件名部分,如果没有"?",则是从域名的最后一个"/"开始到"#"为止,是文件部分,如果没有"?"和"#",那么从域名后的最后一个"/"开始到结束,都是文件名的部分,本例中是:EditDiary.aspx
- 锚部分:从"#"开始到最后,都是锚部分,本例中的锚部分是:没有,锚部分也不是一个url的必须部分
- 参数部分"从"?"开始到"#"为止之间的部分为参数部分,又称搜索部分,查询部分,本例的参数部分是:postid=10296205
HTTP之Request:

- 客户端发送的一个HTTP请求到服务器的请求消息,包括以下组成部分:

报文头:常被叫做请求体,请求体中存储的是将要传输/发送给服务器的数据信息
HTTP之Response:

服务器传回一个HTTP响应都客户端的响应信息包括以下几部分:

状态码:以清晰的语言告诉客户端本次请求的处理结果.

HTTP响应状态码由5段组成:
- 1xx消息,一般是告诉客户端,请求已经收到了,正在处理,别急...
- 2xx处理成功,一般表示:请求收悉,我明白你要的,请求已受理,已经处理完信息等
- 3xx重定向到其他地方,他让客户端再发起一个请求以完成处理结果
- 4xx 处理发生错误,责任在客户端,如客户端的一个请求不存在的资源,客户端未被授权,禁止访问等
- 5xx处理发生错误,责任在服务器,如服务端抛出异常,路由出错,HTTP版本不支持等
HTTP响应的详解:
- 100 Continue: 客户端应当继续发送请求这个临时响应是用来通知客户端它的部分请求已经被服务器接收到了,且仍未被拒绝,客户端应该当继续发送请求的剩余部分,或者如果请求已经完成,忽略这个响应.服务器必须在请求完成后向客户端发送一个最终响应
- 101 Switich Protocols: 服务器已经了解了客户端的请求,并将通过Upgrade消息头通知客户端采用不同的协议来完成这个请求在发送完这个响应
- 102 Processing:由WebDAV(RFC2518)扩展的状态码,代表处理将继续执行
- 200 OK: 请求成功,请求所希望的响应头或数据体将随此响应返回,出现此状态码表示正常状态.
- 201 Created: 请求已经被实现,而且有一个新的资源已经依据请求的需要而建立,且器url已经随Location头信息返回,加入需要的资源,无法及时建立,返回的是"202 Accepted"
- 202 Accepted: 服务器已经接受请求,但尚未处理.正如他可能被拒绝一样,最终该请求可能会可能不会被执行,在异步操作的场合下,没有比发这个状态码更方便的了, 返回202状态的响应的目的是允许服务器接收其他过程的请求(列如某个每天只执行一次的基于批处理的操作)而不必让客户一致保持与服务器连接直到操作全部完成,在接收请求处理并返回202状态码的响应应当在返回的实体中包含一些指示处理当前状态的信息,以及指向处理状态预测的指针,以便用户能够估计操作是否已经完成
- 203 Non-Authoritative Information: 服务器已经处理了请求,但返回的实体头部包括元信息不是在原始服务器上有效的确定集合,而是来自本地或者第三方的拷贝,当前的信息可能是原始版本的子集或者超集.列如,包含资源的元数据可能导致原始服务器知道元信息的超集.但用此状态码不是必须的,而且只有响应不使用此状态便会返回200 ok的情况下才是合适的.
- 204 No Content: 服务器成功处理了请求, 但不需要返回任何实体内容,并且希望返回更新了的元信息.响应可能通过实体头部的形状返回新的或更新后的元信息,如果存在这些头部信息,则应当与所请求的变量相呼应.,如果客户端是浏览器的话,那么用户浏览器应保留发送了该请求的页面,而不产生任何文档视图上的变化,即使按照规范新的或更新后的元信息应当被运用到用户浏览器活动视图中的文档
- 205 Reset Content: 服务器成功处理了请求,且没有返回任何内容,但是与204响应不同,返回此状态码的响应要求请求者重置文档视图,该响应主要是被用于接收用户输入后,立即重置表单,以便能够轻松地开始另一次输入
- 206 Partial Content: 服务器已经成功处理了部分GET请求,类似于flashGet或者迅雷这类的HTTP下载
  具都是使用此类响应实现断点续传或者将一个大文档分解为多个下载段同时下载。
  
  该请求必须包含 Range 头信息来指示客户端希望得到的内容范围，并且可能包含 If-Range 来作为请求条件。
  
  响应必须包含如下的头部域：
  
  Content-Range 用以指示本次响应中返回的内容的范围；如果是 Content-Type 为 multipart/byteranges 的多段下载，则每一 multipart 段中都应包含 Content-Range 域用以指示本段的内容范围。假如响应中包含 Content-Length，那么它的数值必须匹配它返回的内容范围的真实字节数。
  
  Date
  
  ETag 和/或 Content-Location，假如同样的请求本应该返回200响应。
  
  Expires, Cache-Control，和/或 Vary，假如其值可能与之前相同变量的其他响应对应的值不同的话。
  
  假如本响应请求使用了 If-Range 强缓存验证，那么本次响应不应该包含其他实体头；假如本响应的请求使用了 If-Range 弱缓存验证，那么本次响应禁止包含其他实体头；这避免了缓存的实体内容和更新了的实体头信息之间的不一致。否则，本响应就应当包含所有本应该返回200响应中应当返回的所有实体头部域。
  
  假如 ETag 或 Last-Modified 头部不能精确匹配的话，则客户端缓存应禁止将206响应返回的内容与之前任何缓存过的内容组合在一起。
- 207 Multiple Choices:
  被请求的资源有一系列可供选择的回馈信息，每个都有自己特定的地址和浏览器驱动的商议信息。用户或浏览器能够自行选择一个首选的地址进行重定向。
  
  除非这是一个 HEAD 请求，否则该响应应当包括一个资源特性及地址的列表的实体，以便用户或浏览器从中选择最合适的重定向地址。这个实体的格式由 Content-Type 定义的格式所决定。浏览器可能根据响应的格式以及浏览器自身能力，自动作出最合适的选择。当然，RFC 2616规范并没有规定这样的自动选择该如何进行。
  
  如果服务器本身已经有了首选的回馈选择，那么在 Location 中应当指明这个回馈的 URI；浏览器可能会将这个 Location 值作为自动重定向的地址。此外，除非额外指定，否则这个响应也是可缓存的。
- 301 Moved Permanently :
  被请求的资源已永久移动到新位置，并且将来任何对此资源的引用都应该使用本响应返回的若干个 URI 之一。如果可能，拥有链接编辑功能的客户端应当自动把请求的地址修改为从服务器反馈回来的地址。除非额外指定，否则这个响应也是可缓存的。
  
  新的永久性的URI 应当在响应的 Location 域中返回。除非这是一个 HEAD 请求，否则响应的实体中应当包含指向新的 URI 的超链接及简短说明。
  
  如果这不是一个 GET 或者 HEAD 请求，因此浏览器禁止自动进行重定向，除非得到用户的确认，因为请求的条件可能因此发生变化。
  
  注意：对于某些使用 HTTP/1.0 协议的浏览器，当它们发送的 POST 请求得到了一个301响应的话，接下来的重定向请求将会变成 GET 方式。
- Moved temporarily:
  请求的资源临时从不同的 URI响应请求。由于这样的重定向是临时的，客户端应当继续向原有地址发送以后的请求。只有在Cache-Control或Expires中进行了指定的情况下，这个响应才是可缓存的。
  
  上文有提及。
  
  如果这不是一个 GET 或者 HEAD 请求，那么浏览器禁止自动进行重定向，除非得到用户的确认，因为请求的条件可能因此发生变化。
  
  注意：虽然RFC 1945和RFC 2068规范不允许客户端在重定向时改变请求的方法，但是很多现存的浏览器将302响应视作为303响应，并且使用 GET 方式访问在 Location 中规定的 URI，而无视原先请求的方法。状态码303和307被添加了进来，用以明确服务器期待客户端进行何种反应。
- 303 See Other:
  对应当前请求的响应可以在另一个 URL 上被找到，而且客户端应当采用 GET 的方式访问那个资源。这个方法的存在主要是为了允许由脚本激活的POST请求输出重定向到一个新的资源。这个新的 URI 不是原始资源的替代引用。同时，303响应禁止被缓存。当然，第二个请求（重定向）可能被缓存。
  
  注意：许多 HTTP/1.1 版以前的浏览器不能正确理解303状态。如果需要考虑与这些浏览器之间的互动，302状态码应该可以胜任，因为大多数的浏览器处理302响应时的方式恰恰就是上述规范要求客户端处理303响应时应当做的。
- 304 Not Modified:
  如果客户端发送了一个带条件的 GET 请求且该请求已被允许，而文档的内容（自上次访问以来或者根据请求的条件）并没有改变，则服务器应当返回这个状态码。304响应禁止包含消息体，因此始终以消息头后的第一个空行结尾。
  
  该响应必须包含以下的头信息：
  
  Date，除非这个服务器没有时钟。假如没有时钟的服务器也遵守这些规则，那么代理服务器以及客户端可以自行将 Date 字段添加到接收到的响应头中去（正如RFC 2068中规定的一样），缓存机制将会正常工作。
  
  ETag 和/或 Content-Location，假如同样的请求本应返回200响应。
  
  Expires, Cache-Control，和/或Vary，假如其值可能与之前相同变量的其他响应对应的值不同的话。
  
  假如本响应请求使用了强缓存验证，那么本次响应不应该包含其他实体头；否则（例如，某个带条件的 GET 请求使用了弱缓存验证），本次响应禁止包含其他实体头；这避免了缓存了的实体内容和更新了的实体头信息之间的不一致。
  
  假如某个304响应指明了当前某个实体没有缓存，那么缓存系统必须忽视这个响应，并且重复发送不包含限制条件的请求。
  
  假如接收到一个要求更新某个缓存条目的304响应，那么缓存系统必须更新整个条目以反映所有在响应中被更新的字段的值。
- 305 Use Proxy:
  被请求的资源必须通过指定的代理才能被访问。Location 域中将给出指定的代理所在的 URI 信息，接收者需要重复发送一个单独的请求，通过这个代理才能访问相应资源。只有原始服务器才能建立305响应。
  
  注意：RFC 2068中没有明确305响应是为了重定向一个单独的请求，而且只能被原始服务器建立。忽视这些限制可能导致严重的安全后果。
- 306 Switch Proxy: 在最新版的规范中，306状态码已经不再被使用。
- 307 Temporary Redirect:
  请求的资源临时从不同的URI 响应请求。
  
  新的临时性的URI 应当在响应的 Location 域中返回。除非这是一个HEAD 请求，否则响应的实体中应当包含指向新的URI 的超链接及简短说明。因为部分浏览器不能识别307响应，因此需要添加上述必要信息以便用户能够理解并向新的 URI 发出访问请求。
  
  如果这不是一个GET 或者 HEAD 请求，那么浏览器禁止自动进行重定向，除非得到用户的确认，因为请求的条件可能因此发生变化。
- 400 Bad Request:
  1、语义有误，当前请求无法被服务器理解。除非进行修改，否则客户端不应该重复提交这个请求。
  
  2、请求参数有误。
- 401 Unauthorized: 当前请求需要用户验证。该响应必须包含一个适用于被请求资源的 WWW-Authenticate 信息头用以询问用户信息。客户端可以重复提交一个包含恰当的 Authorization 头信息的请求。如果当前请求已经包含了 Authorization 证书，那么401响应代表着服务器验证已经拒绝了那些证书。如果401响应包含了与前一个响应相同的身份验证询问，且浏览器已经至少尝试了一次验证，那么浏览器应当向用户展示响应中包含的实体信息，因为这个实体信息中可能包含了相关诊断信息。参见RFC 2617。
- 402 Payment Required: 该状态码死为了将来可能的需求而预留的
- 403 Forbidden :服务器已经理解请求，但是拒绝执行它。与401响应不同的是，身份验证并不能提供任何帮助，而且这个请求也不应该被重复提交。如果这不是一个 HEAD 请求，而且服务器希望能够讲清楚为何请求不能被执行，那么就应该在实体内描述拒绝的原因。当然服务器也可以返回一个404响应，假如它不希望让客户端获得任何信息。
- 404 Not Found:请求失败，请求所希望得到的资源未被在服务器上发现。没有信息能够告诉用户这个状况到底是暂时的还是永久的。假如服务器知道情况的话，应当使用410状态码来告知旧资源因为某些内部的配置机制问题，已经永久的不可用，而且没有任何可以跳转的地址。404这个状态码被广泛应用于当服务器不想揭示到底为何请求被拒绝或者没有其他适合的响应可用的情况下。出现这个错误的最有可能的原因是服务器端没有这个页面。
- 405 Method Not Allowed:
  请求行中指定的请求方法不能被用于请求相应的资源。该响应必须返回一个Allow 头信息用以表示出当前资源能够接受的请求方法的列表。
  
  鉴于 PUT，DELETE 方法会对服务器上的资源进行写操作，因而绝大部分的网页服务器都不支持或者在默认配置下不允许上述请求方法，对于此类请求均会返回405错误。
- Not Acceptable :
  请求的资源的内容特性无法满足请求头中的条件，因而无法生成响应实体。
  
  除非这是一个 HEAD 请求，否则该响应就应当返回一个包含可以让用户或者浏览器从中选择最合适的实体特性以及地址列表的实体。实体的格式由 Content-Type 头中定义的媒体类型决定。浏览器可以根据格式及自身能力自行作出最佳选择。但是，规范中并没有定义任何作出此类自动选择的标准。
- 407 Proxy Authentication Required: 与401响应类似，只不过客户端必须在代理服务器上进行身份验证。代理服务器必须返回一个 Proxy-Authenticate 用以进行身份询问。客户端可以返回一个 Proxy-Authorization 信息头用以验证。参见RFC 2617
- 408 Request Timeout: 请求超时。客户端没有在服务器预备等待的时间内完成一个请求的发送。客户端可以随时再次提交这一请求而无需进行任何更改。
- 409 Conflict :
  由于和被请求的资源的当前状态之间存在冲突，请求无法完成。这个代码只允许用在这样的情况下才能被使用：用户被认为能够解决冲突，并且会重新提交新的请求。该响应应当包含足够的信息以便用户发现冲突的源头。
  
  冲突通常发生于对 PUT 请求的处理中。例如，在采用版本检查的环境下，某次 PUT 提交的对特定资源的修改请求所附带的版本信息与之前的某个（第三方）请求向冲突，那么此时服务器就应该返回一个409错误，告知用户请求无法完成。此时，响应实体中很可能会包含两个冲突版本之间的差异比较，以便用户重新提交归并以后的新版本。
- 410 Gone:
  被请求的资源在服务器上已经不再可用，而且没有任何已知的转发地址。这样的状况应当被认为是永久性的。如果可能，拥有链接编辑功能的客户端应当在获得用户许可后删除所有指向这个地址的引用。如果服务器不知道或者无法确定这个状况是否是永久的，那么就应该使用404状态码。除非额外说明，否则这个响应是可缓存的。
  
  410响应的目的主要是帮助网站管理员维护网站，通知用户该资源已经不再可用，并且服务器拥有者希望所有指向这个资源的远端连接也被删除。这类事件在限时、增值服务中很普遍。同样，410响应也被用于通知客户端在当前服务器站点上，原本属于某个个人的资源已经不再可用。当然，是否需要把所有永久不可用的资源标记为'410 Gone'，以及是否需要保持此标记多长时间，完全取决于服务器拥有者
- 500 Internal Server Error: 服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器端的源代码出现错误时出现。
- 501 Not Implemented: 服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法，并且无法支持其对任何资源的请求
- 502 Bad Gateway: 作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应
- 503 Server Unavaiable: 由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况是临时的，并且将在一段时间以后恢复。如果能够预计延迟时间，那么响应中可以包含一个 Retry-After 头用以标明这个延迟时间。如果没有给出这个 Retry-After 信息，那么客户端应当以处理500响应的方式处理它
- 504 Gateway Timeout:
  作为网关或者代理工作的服务器尝试执行请求时，未能及时从上游服务器（URI标识出的服务器，例如HTTP、FTP、LDAP）或者辅助服务器（例如DNS）收到响应。
  
  注意：某些代理服务器在DNS查询超时时会返回400或者500错误
- 505 HTTP Version Not Supported: 服务器不支持，或者拒绝支持在请求中使用的 HTTP 版本。这暗示着服务器不能或不愿使用与客户端相同的版本。响应中应当包含一个描述了为何版本不被支持以及服务器支持哪些协议的实体。

详情访问网址:https://baike.baidu.com/item/HTTP%E7%8A%B6%E6%80%81%E7%A0%81/5053660?fr=aladdin

3,HTTPS协议:

官方概念:HTTPS(secure Hypertext Transder Protocol)安全超文本传输协议,HTTPS是在HTTP上建立ssl加密层,并对传输数据进行加密,HTTP协议的安全版
普通理解:加了密钥版的HTTP协议
HTTPS采用的加密技术
- SSL加密技术:SSL采用的加密技术叫"共享密钥加密",也叫作"对称密钥加密",这种加密方法是这样的,比如客户端向服务器发送一条消息,首先客户端会采用已知的算法进行加密,比如md5或者base64加密,接收端加密的信息进行解密的时候需要用到密钥,中间会传递密钥,(加密和解密的密钥是同一个),密钥在传输过程中是被加密的,这种方式看起来安全,但是仍有潜在的危险,一旦被窃听,或者信息被挟持,就有可能破解密钥,从而破解其中的信息.因此"共享密钥加密"这种方式存在安全隐患:
- 非对称密钥加密技术:"非对称密钥加密"使用的时候有2把锁,一把叫做"公有私钥"一把是"公开密钥",使用非对象加密方式的时候,服务器首先告诉客户端按照自己给定的公开密钥进行加密处理,客户端按照公开密钥加密以后,服务器接收到信息再通过自己的私有密钥进行解密,这样做的好处就是解密的密钥根本不会进行传输,因此也就避免了被挟持的风险,就算公开密钥被窃听或者拿了,它也很难进行破解,因为解密过程是对离散对数求值,这可不是轻而易举就能做到的事.
- 但是非对称密钥加密也存在如下缺点:
- 第一个就是:如何保证接收端向发送端发出公开密钥的时候,发送端确保收到的是预先要发送的,而不会被挟持,只要是发送密钥,就有可能被挟持的可能
- 第二个是:非对称加密的方式效率比较低,它处理起来更复杂,通信过程中使用就有一定的效率问题而影响通信速度
HTTPS的证书机构,在上面我们讲了非对称加密的缺点,其中第一个就是公钥很可能存在被挟持的情况,无法保证客户端收到公开密钥就是服务器发行的公开密钥,此时就引出了公开密钥证书机制,数字证书认证机构是客户端与服务器都可信赖的第三方机构.证书的具体传播过程如下:
1. 服务器的开发者携带公开密钥,向数字证书认证机构提出公开密钥的申请,数字证书认证机构在认清申请者的身份,审核通过后,会对开发申请的公开密钥做数字签名,然后分配这个已签名的公开密钥,并将密钥放在证书里,绑定在一起.
2. 服务器将这份数字证书发送给客户端,因为客户端也认可证书机构,客户端可以通过数字证书签名来验证公钥的真伪,来确保服务器传过来的公开密钥是真实的,一般情况下证书的数字签名是很难伪造的,这取决于证书机构的公信力.一旦确认无误后,客户端会通过公钥对报文进行加密发送.服务器接收到以后用自己的私钥进行解密.