20190603 (一)安装Scrapy的环境

题外话:

今天有人说我像一只咸鱼,我承认我已经变成了咸鱼,那么又有人问我了“咸鱼翻身” 是什么意思

我答:“为了晒得更均匀”   -- 哎,已经很黑,不想再黑

第一步:

安装beautifulsoup  前提,你的系统支持pip安装方式 否则去百度 (我好像之前也写过,忘记了)

一个警告Pycharm 工具中

原因是

此段:from_encoding="utf-8"

是多余的,删除后,执行就没有警告

上面是,没有用框架的请求-获取-解析-打印,可以百度出一堆代码,就是没得详细的部分

第三方包

Urllib Urllib2有什么区别

urlliburllib2

urllib urllib2都是接受URL请求的相关模块,但是urllib2可以接受一个Request类的实例来设置URL请求的headersurllib仅可以接受URL

这意味着,你不可以伪装你的User Agent字符串等。

urllib提供urlencode方法用来GET查询字符串的产生,而urllib2没有。这是为何urllib常和urllib2一起使用的原因。

目前的大部分http请求都是通过urllib2来访问的

 

httplib

httplib实现了HTTPHTTPS的客户端协议,一般不直接使用,在python更高层的封装模块中(urllib,urllib2)使用了它的http实现。

这里会出现用python3 安装Urllib2 ,因为你需要模仿用户访问

还有一个Urllib4,5 我没试,我把Urllib3 安装了一下

安装的时候就会提示你找不到

不能用2 那你就用3

安装Urllib3

更换了一个工具采用了VS2019社区版

反正都安装不了urllib2   -- 难过了

安装一个自动测试包

pip install selenium

失败

换了个方式下载了.whl文件,安装

这样就可以了,是不是我的网有问题?

首先scrapy的安装之前需要安装这个模块:wheellxmlTwistedpywin32,最后在安装scrapy

慢慢安装了

为什么要用框架呢,因为很多东西都写好了,我懒

安装Twisted 东西的时候提示出了一个c++的错误,没事的,我安装vs的时候把c++ 扩展需要的东西更新了一下,再次安装Twisted  就可以通过了(怎么更新不用我再写了吧)  汗。。。

 (反正安装VS2019的更新需要时间,耐心了)

OK了,基本环境安装好了

也许并不是你需要的内容,这只是我人生的一些痕迹. -- soar.pang
原文地址:https://www.cnblogs.com/Soar-Pang/p/10968464.html