网络爬虫学习(1)

URI(Universal Resource Identifier)

什么是URI?Web上的每种可用的资源,如Html文档、图像、视频片段、程序等都是由一个通用的资源标识符(Universal Resource Identifier,URI)进行定位。

URI通常是由三部分组成:1.访问资源的命名机制;2.存放资源的主机名;3.资源自身的名称,有路径表示。

如:http://baike.baidu.com/view。我们可以这样理解:我们通过HTTP协议访问资源,主机是http://baike.baidu.com,路径是/viev/。

URL(Uniform Resource Locator)

URL是URI的一个子集。是Uniform Resource Locator 的缩写,称为“同意资源定位符”。一般来说,URL是Internet上描述信息资源的字符串,主要用在各种www客户程序和服务器程序上。采用URL可以用一种统一的格式来描述各种信息资源,包括文件、服务器的地址和目录等。

URL的格式有三部分组成:1.协议;2.存在有该资源的主机IP地址(有时候包括端口号);3.主机资源的具体地址,如文件名或目录。

第一部分和第二部分用“://”隔开,第二部分和第三部分用”/“来隔开,第一、二部分不能缺少,第三部分有事可以缺省。

例如:http://baike.baidu.com/view/284853.htm。计算机的域名为http://baike.baidu.com。超级文本文件在目录/view下的284853.htm

文件的URL

用URL表示文件时,服务器用file表示,后面要有主句的IP地址、文件的存放路径和文件的名称等信息。有事尅省略目录和文件名。

例: file://ftp.yoyodyne.com/pub/files/foobar.txt

上面这个 URL 代表存放 在 主机 ftp.yoyodyne.com 上的 pub/files/ 目录下的一个文件,文件名是 foobar.txt 。

爬虫最主要的处理对象就是URL,他根据URL地址获得所需要的文件内容,然后对它进一步的处理。

原文地址:https://www.cnblogs.com/lgfeng/p/2634400.html