一、网络基础
1、端口，是什么？为什么要有端口？
端口是为了将同一个电脑上的不同程序进行隔离。
IP是找电脑；端口是找电脑上的应用程序；
端口范围：1 – 65535;
1 - 1024 不要用;
一般程序员用8000、8001……
2、OSI七层模型(背会)
应用层，使用软件； 打开软件或网站
表示层，看到数据，如图片和视频； 生产原始数据
会话层，保持登录或链接状态； 应用偷偷携带一点其他数据： 令牌 19rRNAwf8g
传输层，TCP/UDP； [TCP][原始数据|19rRNAwf8g]
网络层，IP； 【IP】【[TCP][原始数据|19rRNAwf8g]】
数据链路层，MAC； [MAC][ 【IP】【[TCP][原始数据|19rRNAwf8g]】]
物理层，将数据转换成电信号发送；
3、TCP三次握手/四次挥手
socket客户端向服务端发起连接请求：三次握手
client.connect((....))
|客户端| |服务端|
我能打你吗
来呀来呀
好的，我这就来
-----------------------------
client.send('发送数据')
收发数据 收发数据
客户端和服务端断开连接：四次挥手
client.close() 或 conn.close()
-----------------------------
我要断开连接
断开就断开，等我处理一些手头的事情
...
我处理完了，断开吧。
拜拜
补充: 断开连时, 反应到代码上: 抛出异常/发送异常
总结：必须了解网络相关知识。
二、FTP任务分析
1、进度条( 表示将光标回退到本行的开头位置, 不换行end=””)
import time def func(size, total_size): val = int(size/total_size*100) time.sleep(0.2) print(' %s%%|%s' % (val, '#'*val,), end='') for i in range(101): func(i, 100)
2、计算文件大小
我们以前学过os模块里面的os.path.getsize来计算文件大小,现在我们来学习os模块中的另一种方法:
import os # os.stat(path).st_size和os.path.getsize(path)作用相同 size = os.stat(r'D:pythonprojectday30 1课程大纲').st_size print(size)
3、修改文件名字(os模块和shutil模块)
import os# py2+win: 报错 os.rename('a.txt', 'b.txt') # 会出现两种情况 # (1)没有文件叫b.txt # 可以直接改os.rename('a.txt', 'b.txt') # (2)已经有文件叫b.txt, # 那么这时会报错: FileExistsError: [WinError 183] 当文件已存在时，无法创建该文件。: 'a.txt' -> 'b.txt' # 所以,这时候需要先os.remove这个修改的名字的文件,才能改为证名字 # os.remove('b.txt') # os.rename('a.txt', 'b.txt')
import shutil # py2+py3都不报错 # 默认:如果存在同名的,先把同名的删除,然后把自己改成那个名字 # shutil.move('a.txt', 'b.txt') # 不管b.txt的文件存不存在,都会执行. # (1)不存在就直接改 # (2)存在就覆盖(先删除b.txt的文件,再修改自己的名字为b.txtx), # 文件存在的时候,shutil.move 这一步等于 os.remove + os.rename 两步的作用 # 删除 # shutil.rmtree() # 递归删除一个目录以及目录内的所有内容
4、断点续传
我们先来写一个断点续传（脚本主要实现了客户端向服务端上传文件，上传过程中中断的话，再次上传此文件时接着上次中断的地方继续上传）的简单示例，然后从中提取一些编程思想：
import os import json import socketserver import shutil CODE = { '1001':'上传文件，从头开始上传' } def upload(cmd_dict,conn,username): """ 服务端完成上传文件（含断点续传） :param cmd_dict: :param conn: :return: """ # 2. 获取文件信息 file_md5 = cmd_dict['md5'] file_name = cmd_dict['file_name'] file_md5_path = os.path.join(username, file_md5) file_name_path = os.path.join(username, file_name) upload_file_size = cmd_dict['size'] # 3. 判断文件是否存在 exist = os.path.exists(file_md5_path) if not exist: # 不续传 # 3.1.1 可以开始上传了，我已经准备好。 response = {'code': 1001} conn.sendall(json.dumps(response).encode('utf-8')) # 3.1.2 接收上传的文件内容 f = open(file_md5_path, 'wb') recv_size = 0 while recv_size < upload_file_size: data = conn.recv(1024) f.write(data) f.flush() recv_size += len(data) return f.close() # 3.1.3 改名字 shutil.move(file_md5_path, file_name_path) else: # 续传 # 3.2 续传+大小 exist_size = os.stat(file_md5_path).st_size response = {'code': 1002, 'size': exist_size} conn.sendall(json.dumps(response).encode('utf-8')) f = open(file_md5_path, 'ab') recv_size = exist_size while recv_size < upload_file_size: data = conn.recv(1024) f.write(data) f.flush() recv_size += len(data) f.close() # 3.1.3 改名字 shutil.move(file_md5_path, file_name_path) class NbServer(socketserver.BaseRequestHandler): def handle(self): """ self.request 是客户端的socket对象 :return: """ # 1. 接收命令 upload_cmd_bytes = self.request.recv(8096) cmd_dict = json.loads(upload_cmd_bytes.decode('utf-8')) if cmd_dict['cmd'] == 'upload': upload(cmd_dict,self.request,'lili') # 服务端代码有个文件夹（lili）才能运行 elif cmd_dict['cmd'] == 'download': pass if __name__ == '__main__': server = socketserver.ThreadingTCPServer(('127.0.0.1',8001),NbServer) server.serve_forever()
import os import socket import json import hashlib CODE = { '1001':'上传文件，从头开始上传' } def file_md5(file_path): """ 文件进行md5加密 :param file_path: :return: """ obj = open(file_path,'rb') m = hashlib.md5() for line in obj: m.update(line) obj.close() return m.hexdigest() def jdt(size,total_size): """ 显示进度条 :return: """ val = int(size / total_size * 100) print(' %s%%|%s' % (val, "#" * val,), end='') def send_file(exist_size,file_total_size): """ 发送文件 :param exist_size:开始读取字节的位置 :param file_total_size: 文件总字节大小 :return: """ f = open(file_path, 'rb') f.seek(exist_size) send_size = exist_size while send_size < file_total_size: data = f.read(1024) sk.sendall(data) send_size += len(data) jdt(send_size,file_total_size) f.close() print('上传成功') def upload(file_path): """ 文件上传（含断点） :param file_path: :return: """ file_md5_val = file_md5(file_path) file_name = os.path.basename(file_path) file_size = os.stat(file_path).st_size cmd_dict = {'cmd': 'upload', 'file_name': file_name, 'size': file_size, 'md5': file_md5_val} upload_cmd_bytes = json.dumps(cmd_dict).encode('utf-8') sk.sendall(upload_cmd_bytes) # 2. 等待服务端的响应 response = json.loads(sk.recv(8096).decode('utf-8')) if response['code'] == 1001: send_file(0, file_size) else: # 短点续传 exist_size = response['size'] send_file(exist_size,file_size) sk = socket.socket() sk.connect(('127.0.0.1',8001)) while True: # upload|文件路|径 user_input = input("请输入要执行的命令") # 1. 自定义协议{'cmd':'upload','file_path':'.....'} cmd,file_path = user_input.split('|',maxsplit=1) if cmd == 'upload': upload(file_path) elif cmd == 'download': pass
总结:
(1) CODE自定义状态码;
(2) 自定义规范: {'code': 1000};
(3) if...else... 用反射;
5、搭建框架
-- nb_server
-- bin (放启动的脚本)
-- start.py
-- config (配置文件,多处用到某个值以后可能会被修改，则写到配置文件中)
-- settings.py
-- core (核心代码)
-- main.py
-- lib (存放自定义的模块与包)
-- db (放数据)
-- userInfo.json
-- log (日志文件, 供用户查看追责或者公司分析数据)
-- xx.log
-- readme (对程序作说明，说明如何使用此程序)