把爬虫部署到这个vps云主机上面-操作方法


现在的问题是如何操作把爬虫部署到这个vps云主机上面,

第一步,购买云主机,http://www.5jwl.com/ 无极网络,

我使用这个公司的,

第二步,在云主机配置拨号,这个每个厂商都有教程,

买了之后问问厂商,

第三步,在vps安装python和配置python虚拟环境,

这一步在centos安装python可能会比较麻烦,

第四步,部署爬虫代码,

既然你要让这个vps能改变ip,就要知道用代码来控制断开拨号和开启拨号,这样才可以改变ip,

然后就是要知道怎么通过代码获取ip和端口,这样才可以在代码里使用这个ip代理,

但是如果只是把爬虫部署到vps上,就不需要获取这个ip和端口了,因为你就在机器里面,用的就是这个ip和端口,

只是如果你需要远程调用的话,需要知道这个ip和端口,才可以远程调用,

#####

centos的网络的操作,

ifconfig

这是初始的ip,

 

这是停止拨号的情况,会发现ppp0不见了,

这是停止拨号之后,重新开始拨号,会发现这个ppp0的ip变换了,

pppoe-start 开始拨号,我发现这一步很慢, 应该是在建立连接,打开要好几秒,这种效率低,

ping www.baidu.com 进行网络验证

开始拨号的网络

停止拨号的网络

pppoe-stop 停止拨号

pppoe-status查看拨号状态和拨号后的信息

开始拨号的状态

停止拨号的状态

#####

上面是centos的操作

如果能使用代码操作这个拨号

如果需要把断网重拨命令写入脚本的话,pppoe-stop && pppoe-start命令之间需要加sleep 1s一秒延迟,否则会拨号不成功。若使用/sbin/ifdown ppp0 && /sbin/ifup ppp0,则不需要加一秒延迟,也能正常拨号成功。

import os
import time
os.system("ifdown ppp0")
status = os.system("pppoe-status")
print(status)
time.sleep(6)
os.system("ifup ppp0")
status = os.system("pppoe-status")
print(status)

这样就可以实现拨号了,然后你就可以继续下一步了,把这个命令融入你的爬虫脚本

#####

原文地址:https://www.cnblogs.com/andy0816/p/15324164.html