在GitHub 上找了个获取代理IP的脚本，发现已经失效了，所以自己改了下
使用python3.8
# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import subprocess as sp
import requests
import random
import re
import logging
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s- %(message)s')
def get_proxys():
# requests的Session可以自动保持cookie,不需要自己维护cookie内容
S = requests.Session()
# 西祠代理高匿IP地址
target_url = 'http://www.xiladaili.com/gaoni/'
# 完善的headers
target_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/88.0.4324.146 Safari/537.36'}
# get请求
target_response = S.get(url=target_url, headers=target_headers)
# utf-8编码
target_response.encoding = 'utf-8'
# 获取网页信息
target_html = target_response.text
# 获取id为ip_list的table
bf1_ip_list = BeautifulSoup(target_html, 'lxml')
bf2_ip_list = bf1_ip_list.find('tbody').find_all('tr')
proxys_list = []
for i in bf2_ip_list:
iptxt = i.find('td').string
try:
ph = re.compile(r'd+.d+.d+.d+')
mo = ph.search(iptxt)
ipmo = mo.group()
proxys_list.append(ipmo)
logging.debug(proxys_list)
except AttributeError:
return None
#print(proxys_list)
return proxys_list
def check_ip(ip, lose_time, waste_time):
# 命令 -n 要发送的回显请求数 -w 等待每次回复的超时时间(毫秒)
cmd = "ping -n 4 -w 4 %s"
# 执行命令
p = sp.Popen(cmd % ip, stdin=sp.PIPE, stdout=sp.PIPE, stderr=sp.PIPE, shell=True)
# 获得返回结果并解码
out = p.stdout.read().decode("gbk")
# 丢包数
lose_time = lose_time.findall(out)
# 当匹配到丢失包信息失败,默认为三次请求全部丢包,丢包数lose赋值为3
if len(lose_time) == 0:
lose = 3
else:
lose = int(lose_time[0])
# 如果丢包数目大于2个,则认为连接超时,返回平均耗时1000ms
if lose > 2:
# 返回False
return 1000
# 如果丢包数目小于等于2个,获取平均耗时的时间
else:
# 平均时间
average = waste_time.findall(out)
# 当匹配耗时时间信息失败,默认三次请求严重超时,返回平均好使1000ms
if len(average) == 0:
return 1000
else:
average_time = int(average[0])
# 返回平均耗时
return average_time
def initpattern():
# 匹配丢包数
lose_time = re.compile(u"丢失 = (d+)", re.IGNORECASE)
# 匹配平均时间
waste_time = re.compile(u"平均 = (d+)ms", re.IGNORECASE)
return lose_time, waste_time
def proxyip():
# 初始化正则表达式
lose_time, waste_time = initpattern()
proxys_list = get_proxys()
# 如果平均时间超过200ms重新选取ip
while True:
# 从50个IP中随机选取一个IP作为代理进行访问
split_proxy = random.choice(proxys_list)
# 获取IP
ip = split_proxy
logging.debug(ip)
# 检查ip
average_time = check_ip(ip, lose_time, waste_time)
logging.debug(average_time)
if average_time > 300:
# 去掉不能使用的IP
proxys_list.remove(split_proxy)
# print("ip连接超时, 重新获取中!")
if average_time < 300:
break
# 去掉已经使用的IP
proxys_list.remove(split_proxy)
proxy_dict = split_proxy
# print("使用代理:", proxy_dict)
return proxy_dict
if __name__ == '__main__':
# 获取