最近，我接受到的任务是在CSV文件（文件中有三列，第一个ip编码，第二个ip编码，国家编码），指定国家编码，检查ip地址是否能与国家编码对应，其中需要调用API检查ip归属。做的时候遇到不少问题，做完之后学到了很多东西。
遇到的问题和解决方法
1. 如何调用API
- API(Application Programming Interface)是应用程序接口。大多数API是基于Web标准设计的，Web API通常使用HTTP来传输信息，并提供响应信息的结构定义。这些响应消息通常都会以 XML 或 JSON 文件的形式来提供。
关于API的解释参考：https://www.redhat.com/zh/topics/api/what-are-application-programming-interfaces
-
JSON文件又是什么？简便的数据交换格式，能在服务器之间交换数据。
参考博客：https://www.cnblogs.com/hwtblog/p/8483573.html -
API传入参数有GET和POST两种
有一些查询ip归属地的API
使用GET传递参数的有：https://ip.mcr.moe/、http://ip-api.com/json、https://ip.seeip.org/geoip/、https://ip.nf/
使用POST传递参数的有：https://www.kda.im/ 、http://open.sevenidc.com/api/ip -
调用API用requests
例如
url = 'https://ip.mcr.moe/?ip='
url1 = url + '1.16.0.0'
reponse = requests.get(url1)
print(reponse.text)
要提取出API返回内容的国家代码，用字典接收返回的信息
url = 'https://ip.nf/'
url1 = url + '1.16.0.0' + '.json'
print(url1)
reponse = requests.get(url1)
dic = reponse.json()
dic1 = dic.get('ip')
print(dic1.get('country'))
2. ip编码后的数字如何转化为ipv4的编码
ipv4使用32位的地址，为了方便人阅读和分析，地址采用点分十进制表示。（即四个字节分开用十进制写，中间用点隔开）
def trans(ip_num):
buf = [0]*4
ip = ''
buf[0] = (ip_num >> 24) & 0xff
buf[1] = (ip_num >> 16) & 0xff
buf[2] = (ip_num >> 8) & 0xff
buf[3] = (ip_num >> 0) & 0xff
flag = 1
for i in range(4):
if flag == 1:
ip += str(buf[i])
flag = 0
else:
ip = ip + '.' + str(buf[i])
return ip
3. 在python上运行数据量很大，运行很慢，怎么解决？
在装有conda环境的linux主机上后台运行python程序
- conda上可以创建环境，激活环境
Conda 是一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。
1.创建环境： conda create --name tf python=3.6
2.激活环境： conda activate tf
3.查看所有虚拟环境：conda info --envs
- 在linux后台运行程序
使用命令 nohup python -u 你的文件 >log.log 2>&1 &
liunx支持多用户、多任务、多进程
1.nohup（即 no hang up）为不断地执行，在界面关闭后不会停止运行
2.命令最后面的&：指后台运行，不会占据终端
具体参考：https://blog.csdn.net/weixin_42840933/article/details/85780125
3.和linux后台相关指令
jobs：查看工作进展
kill -9 进程号：杀死进程
ps -ef|grep python：终止后台运行的进程
常用命令：https://www.cnblogs.com/kaituorensheng/p/3980334.html
学到的知识
1.和python相关的细节
-
如果程序中有中文，要在程序最开始加上
# coding=UTF-8，不然用其他打开会乱码 -
编程风格细节
函数上面要空出两行、要在定义函数下面用三个双引号注释函数功能、注释#后面要跟一个空格
2.linux常用指令
- 处理文件相关
vi或者vim: vi是打开文件后是文本文件的格式（相当于记事本），vim是打开文件后有语法高亮（类似notepad++），
touch：新建文件
mv：给文件改名
rm：删除文件
cat：查看文件
tail:查看文件末尾几行内容
进入文件后：
a或者i：编辑文件
ESC：退出编辑，：wq是保存并退出 - 命令自动补全
输入命令前几个字母，按Tab键自动补全 - man是命令手册
常用命令大全参考：https://blog.csdn.net/qq_23329167/article/details/83856430?utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-1.control
3.linux远程传输文件scp指令
scp（secure copy）：是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令
从本地复制到远程命令格式：
scp local_file remote_username@remote_ip:remote_folder
参考：https://www.runoob.com/linux/linux-comm-scp.html
4.Windows Power Shell
Windows PowerShell 是一种命令行外壳程序和脚本环境，使命令行用户和脚本编写者可以利用 .NET Framework的强大功能。
可以使用ssh进行远程登陆
命令：ssh username@hostip
5.linux上使用ffmpeg
小知识：多媒体视频处理工具FFmpeg有非常强大的功能包括视频采集功能、视频格式转换、视频抓图、给视频加水印等。
如果会用到：https://eyehere.net/2019/the-complete-guide-for-using-ffmpeg-in-linux/
最后附上整个代码
# coding=UTF-8
import requests
import csv
import time
def trans(ip_num):
"""
将ip编码转化为ipv4格式
:param ip_num:
:return: ip
"""
buf = [0]*4
ip = ''
buf[0] = (ip_num >> 24) & 0xff
buf[1] = (ip_num >> 16) & 0xff
buf[2] = (ip_num >> 8) & 0xff
buf[3] = (ip_num >> 0) & 0xff
flag = 1
for i in range(4):
if flag == 1:
ip += str(buf[i])
flag = 0
else:
ip = ip + '.' + str(buf[i])
return ip
if __name__ == '__main__':
with open(r'/root/ipv4.CSV', 'r') as csvfile:
reader = csv.reader(csvfile)
list1 = [row for row in reader] # list1存放CSV表中所有的行
list2 = [] # list2中存放表中国家代码是KR的行
url = ['http://ip-api.com/json/', 'https://ip.seeip.org/geoip/', 'https://ip.nf/']
for row in list1: # row是list1中一行，也是一个列表
if row[2] == 'KR':
list2.append(row)
for row in range(len(list2)): # 遍历list2中的每一行
# 一行中的ip范围每个255检测一下
for num in range(int(list2[row][0]), int(list2[row][0])+1, 255):
list_country = [] # 存放API返回的国家
ip = trans(num)
flag1 = 1 # ip是否正确的标志，不正确为0
# 每个ip在三个API中检查
for i in range(3):
if i == 2:
url1 = url[i] + ip + '.json'
else:
url1 = url[i] + ip
response = requests.get(url1)
dic = response.json()
# 根据三个API返回的格式不同，分别处理三个API
# 还有一些特殊例子不同成功运行，就特殊处理
if i == 0:
if dic.get('state') == 'fail':
list_country.append('NONE')
else:
list_country.append(dic.get('country'))
if i == 1:
if dic.get('country') == None:
list_country.append('NONE')
else:
list_country.append(dic.get('country'))
if i == 2:
if dic.get('ip').get('country') == '':
if dic.get('ip').get('country_code') == '':
list_country.append('NONE')
else:
list_country.append(dic.get('ip').get('country_code'))
else:
if dic.get('ip').get('country') == 'Korea, Republic of':
list_country.append('South Korea')
else:
list_country.append(dic.get('ip').get('country'))
# 三个API检测的ip有一个不正确就加入列表
if (i == 0 and dic.get('countryCode') != 'KR') or (i == 1 and dic.get('country_code') != 'KR') or (i == 2 and dic.get('ip').get('country_code') != 'KR'):
flag1 = 0
if flag1 == 0:
print(ip + ' ' + str(num) + ' ' + list_country[0] + ', ' + list_country[1] + ', ' + list_country[2])
time.sleep(5) # 运行太频繁会导致requests失败