网络编程-socket

本节内容：

一：TCP/IP:Transmission Control Protocol/Internet Protocol 传输控制协议/因特网互联协议。即通讯协议。
是主机接入互联网以及互联网中两台主机通讯的标准。即通讯标准，这个标准即协议。
二：OSI七层介绍:

1：物理层是由电缆、双绞线等组成，通过发送电信号来表示传输的数据，比如说：强电信号表示1，低电信号表示0，也就是说在传输过程中A主机通过物理层给B主机传输一系列类似：0110100

2：链路层遵循以太网协议，把从网络层的数据包分割成可被物理层传输的帧，帧由报头、数据组成，数据由源地址、目标地址以及数据类型。数据部分最多为1500字节。通过mac地址在子网内广播找到具体的主机。

3：网络层：通过IP协议以及路由设备扩网找目标主机所处的网络。

4：传输层通过TCP UDP协议以及端口来唯一标识应用程序。

应用层、表示层、会话层统称为应用层。

比如一个走http协议的软件：应用层—>http数据包—>传输层—>tcp报头+http数据包—>网络层—>IP报头+tcp报头+http数据包—>链路层—Ethernet报头+IP报头+tcp报头+http数据包到达B主机在从物理层到应用层

层层解包。

5：常用软件的结构：

C/S即clent和server。

三：socket介绍

正因为recv()和accept()阻塞的作用，才使我们写程序的可以按照客户端发送服务端等待接收。

socket不负责传输，负责输出是他封装的tcp/ip协议进行数据的传输。

1：服务端：首先通过socket模块的socket()绑定TCP、UDP协议，通过他进行传输。bind()绑定本机的端口和IP，该函数使用需要传入一个IP和PORT的元组。listen()函数表示可等待连接的数目。

accept()阻塞，等待客户端连接。

2：客户端,需要建立一个socket()对象，通过socket对象跟服务器端进行通讯。connect()是连接服务端，建立连接，参数为服务端IP和服务端的端口。通过connect()跟服务端连接。

在socket编程中需要使用：

sk.send(string[,flag])

将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。

sk.sendall(string[,flag])

将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。

内部通过递归调用send，将所有内容发送出去。

需要使用sendall而不是send函数。

常用函数介绍：

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)，这种写法是在2.7之前，现在默认socket.socket()默认绑定是tcp协议族。

参数一：地址簇

　　socket.AF_INET IPv4（默认）
　　socket.AF_INET6 IPv6

　　socket.AF_UNIX 只能够用于单一的Unix系统进程间通信

参数二：类型

　　socket.SOCK_STREAM　　流式socket , for TCP （默认）
　　socket.SOCK_DGRAM　　数据报式socket , for UDP

　　socket.SOCK_RAW 原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。
　　socket.SOCK_RDM 是一种可靠的UDP形式，即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问，在需要执行某些特殊操作时使用，如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。
　　socket.SOCK_SEQPACKET 可靠的连续数据包服务

参数三：协议

　　0　　（默认）与特定的地址家族相关的协议,如果是 0 ，则系统就会根据地址格式和套接类别,自动选择一个合适的协议

UDP Demo
sk.bind(address)

　　s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。

sk.listen(backlog)

　　开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。

backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5
这个值不能无限大，因为要在内核中维护连接队列

sk.setblocking(bool)

　　是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。

sk.accept()

　　接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。

　　接收TCP 客户的连接（阻塞式）等待连接的到来

sk.connect(address)

　　连接到address处的套接字。一般，address的格式为元组（hostname,port）,如果连接出错，返回socket.error错误。

sk.connect_ex(address)

　　同上，只不过会有返回值，连接成功时返回 0 ，连接失败时候返回编码，例如：10061

sk.close()

　　关闭套接字

sk.recv(bufsize[,flag])

　　接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。

sk.recvfrom(bufsize[.flag])

　　与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。

sk.send(string[,flag])

　　将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。

sk.sendall(string[,flag])

　　将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。

内部通过递归调用send，将所有内容发送出去。

sk.sendto(string[,flag],address)

　　将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)

　　设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）

sk.getpeername()

　　返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。

sk.getsockname()

　　返回套接字自己的地址。通常是一个元组(ipaddr,port)

sk.fileno()

b:简单的交互：

客户端：

1 import  socket
2 S=socket.socket()#创建一个socket对象，在python3中默认绑定TCP协议。
3 BUF_SIZ=1024#接收数据的大小，单位字节。
4 IP_PORT=('127.0.0.01',4567)#服务端IP和端口。
5 S.connect(IP_PORT)#建立连接。
6 S.send(bytes('ok',encoding='utf=-8'))#发送数据，注意在python3中传输的只能是字节2.7以前可以传输字符串。
7 REV_DATA=S.recv(BUF_SIZ).decode()#接收数据，
8 print(REV_DATA)#输出数据。
9 S.close()#关闭连接。

服务端：

import socket
S=socket.socket()#创建一个socket()对象，默认绑定是tcp协议。
IP_PORT=('0.0.0.0',4567)#监听端口
S.bind(IP_PORT)#绑定端口。
S.listen(4)#可排队连接数目。
conn,addres=S.accept()#接收客户端socket对象，并通过conn跟客户端建立连接并进行通信。addres远程客户端的IP地址以及端口号。
REV_DATA=conn.recv(1024).decode()#接收数据。
print(REV_DATA)#输出数据。
conn.send(bytes('OK',encoding='utf-8'))#发送数据。

c：服务端持续接收连接。

 1 import socket
 2 S=socket.socket()
 3 IP_PORT=('0.0.0.0',4567)
 4 S.bind(IP_PORT)
 5 S.listen(4)
 6 while True:
 7     conn,addres=S.accept()
 8     while True:
 9         REV_DATA=conn.recv(1024).decode()
10         print(REV_DATA)
11         conn.send(bytes(REV_DATA,encoding='utf-8'))

客户端：

 1 import  socket
 2 S=socket.socket()
 3 BUF_SIZ=1024
 4 IP_PORT=('127.0.0.01',4567)
 5 S.connect(IP_PORT)
 6 while True:
 7     SEND_DATA=input('Entre send data >:')
 8     S.send(bytes(SEND_DATA,encoding='utf=-8'))
 9     REV_DATA=S.recv(BUF_SIZ).decode()
10     print(REV_DATA)
11 S.close()

d：客户端断开，服务端不断开，可以持续接收请求：
服务端：

 1 import socket
 2 S=socket.socket()
 3 IP_PORT=('0.0.0.0',4567)
 4 S.bind(IP_PORT)
 5 S.listen(4)
 6 while True:
 7     conn,addres=S.accept()
 8     while True:
 9         try:
10             REV_DATA=conn.recv(1024).decode()
11             print(REV_DATA)
12             conn.send(bytes(REV_DATA,encoding='utf-8'))
13         except ConnectionResetError as e:
14             break

客户端：

 1 import  socket
 2 S=socket.socket()
 3 BUF_SIZ=1024
 4 IP_PORT=('127.0.0.01',4567)
 5 S.connect(IP_PORT)
 6 while True:
 7     SEND_DATA=input('Entre send data >:')
 8     S.send(bytes(SEND_DATA,encoding='utf=-8'))
 9     REV_DATA=S.recv(BUF_SIZ).decode()
10     print(REV_DATA)
11 S.close()

e:模拟ssh隧道：

 1 import socket
 2 import subprocess
 3 S=socket.socket()
 4 IP_PORT=('0.0.0.0',4567)
 5 S.bind(IP_PORT)
 6 S.listen(4)
 7 while True:
 8     conn,addres=S.accept()
 9     while True:
10         try:
11             REV_DATA=conn.recv(1024).decode()
12             p=subprocess.Popen(REV_DATA,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)##接收命令。
13             SEND_DATA=p.stdout.read()
14             ERROR=p.stderr.read()
15             if not SEND_DATA:##注意当命令不存在的时候，error有值。send_data重新赋值导致不为0，所以下面条件不走。而当命令没有输出的时候，标准输出和错误都为0，第2个条件肯定走。
16                 SEND_DATA=ERROR
17             if len(SEND_DATA)==0:
18                 print(SEND_DATA)
19                 SEND_DATA='command has no ouput!'
20                 conn.send(bytes(SEND_DATA,encoding='utf-8'))
21                 continue
22             SEND_DATA=str(SEND_DATA,encoding='gbk')
23             print(REV_DATA)
24             conn.send(bytes(SEND_DATA,encoding='utf-8'))
25         except ConnectionResetError as e:
26             break

客户端：

 1 import  socket
 2 S=socket.socket()
 3 BUF_SIZ=1024
 4 IP_PORT=('127.0.0.01',4567)
 5 S.connect(IP_PORT)
 6 while True:
 7     SEND_DATA=input('Entre send data >:')
 8     S.send(bytes(SEND_DATA,encoding='utf=-8'))
 9     REV_DATA=S.recv(BUF_SIZ).decode()
10     print(REV_DATA)
11 S.close()

f：黏包问题：上面客户端和服务端只是接收简单的字符而且小于接收的大小1024字节，如果发送的数据超过1024字节的时候会出现黏包现象，导致收数据的时候内容有可能是上次未接收的数据。
解决方法：在发送的时候，告诉对端发送的多少字节既可解决黏包问题。
服务端：

 1 #!/usr/bin/env python
 2 # -*- coding:utf-8 -*-
 3 import socket
 4 import subprocess #导入执行命令模块
 5 ip_port=('127.0.0.1',7777) #定义元祖
 6 s=socket.socket()  #绑定协议，生成套接字
 7 s.bind(ip_port)    #绑定ip+协议+端口：用来唯一标识一个进程，ip_port必须是元组格式
 8 s.listen(5)        #定义最大可以挂起的链接数
 9 while True:  #用来重复接收新的链接
10     conn,addr=s.accept()   #接收客户端胡链接请求，返回conn（相当于一个特定胡链接），addr是客户端ip+port
11     #收消息
12     while True: #用来基于一个链接重复收发消息
13             try: #捕捉客户端异常关闭（ctrl+c）
14                 recv_data=conn.recv(1024) #收消息，阻塞
15                 if len(recv_data) == 0:break #客户端如果退出，服务端将收到空消息，退出
16 
17                 #发消息
18                 p=subprocess.Popen(str(recv_data,encoding='utf8'),shell=True,stdout=subprocess.PIPE) #执行系统命令，windows平
19                                                                                                       # 台命令的标准输出是gbk编码，需要转换
20                 res=p.stdout.read()   #获取标准输出
21                 if len(res) == 0:   #执行错误命令，标准输出为空，
22                     send_data='cmd err'
23                 else:
24                     send_data=str(res,encoding='gbk')  #命令执行ok，字节gbk---->str---->字节utf-8
25 
26                 send_data=bytes(send_data,encoding='utf8')
27 
28 
29                 #解决粘包问题
30                 ready_tag='Ready|%s' %len(send_data)
31                 conn.send(bytes(ready_tag,encoding='utf8')) #发送数据长度
32                 feedback=conn.recv(1024)  #接收确认信息
33                 feedback=str(feedback,encoding='utf8')
34 
35                 if feedback.startswith('Start'):
36                     conn.send(send_data)  #发送命令的执行结果
37             except Exception:
38                 break
39     
40     conn.close()

客户端：

 1 #!/usr/bin/env python
 2 # -*- coding:utf-8 -*- 
 4 import socket
 5 ip_port=('0.0.0.0',7777) 7 s=socket.socket
 8 9 s.connect(ip_port)  #链接服务端，如果服务已经存在一个好的连接，那么挂起
10 
11 while True:        #基于connect建立的连接来循环发送消息
12     send_data=input(">>: ").strip()
13     if send_data == 'exit':break
14     if len(send_data) == 0:continue
15     s.send(bytes(send_data,encoding='utf8'))
16 
17     #解决粘包问题
18     ready_tag=s.recv(1024) #收取带数据长度的字节。
19     ready_tag=str(ready_tag,encoding='utf8')
20     if ready_tag.startswith('Ready'):#Ready|9998
21         msg_size=int(ready_tag.split('|')[-1])  #获取待接收数据长度
22     start_tag='Start'
23     s.send(bytes(start_tag,encoding='utf8')) #发送确认信息
24 
25     #基于已经收到的待接收数据长度，循环接收数据
26     recv_size=0
27     recv_msg=b''
28     while recv_size < msg_size:
29         recv_data=s.recv(1024)
30         recv_msg+=recv_data
31         recv_size+=len(recv_data)
32         print('MSG SIZE %s RECE SIZE %s' %(msg_size,recv_size))
33 
34     print(str(recv_msg,encoding='utf8'))
35 36 s.close()

 四：socketserver 模块介绍：
SocketServer内部使用 IO多路复用 以及 “多线程” 和 “多进程” ，从而实现并发处理多个客户端请求的Socket服务端。即：每个客户端请求连接到服务器时，Socket服务端都会在服务器是创建一个“线程”或者“进程” 专门负责处理当前客户端的所有请求。

 1 import socketserver
 2 import subprocess
 3 class MyServer(socketserver.BaseRequestHandler):
 4     def handle(self):
 5         # print self.request,self.client_address,self.server
 6         self.request.sendall(bytes('欢迎致电 10086，请输入1xxx,0转人工服务.',encoding="utf-8"))
 7         while True:
 8             data = self.request.recv(1024)
 9             if len(data) == 0:break
10             print("[%s] says:%s" % (self.client_address,data.decode() ))
11             #self.request.sendall(data.upper())
12             cmd = subprocess.Popen(data.decode(),shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
13             cmd_res =cmd.stdout.read()
14             if not cmd_res:
15               cmd_res = cmd.stderr.read()
16             if len(cmd_res) == 0: #cmd has not output
17               cmd_res = bytes("cmd has output",encoding="utf-8")
18             self.request.send(cmd_res )
19 
20 if __name__ == '__main__':
21     server = socketserver.ThreadingTCPServer(('0.0.0.0', 8009), MyServer)###‘0.0.0.0’表示服务器所有网卡都进行监听。
22     server.serve_forever()


在类中必须定义一个函数handle.
第3行：继承socketserver.BaseRequestHandler类中，该类中自动执行函数handle函数，在类中该函数未定义。也就是自动执行我们自定义类Myserver中的handle()函数。

21：在我们定义的类Myserver当做实参传入ThreadingTCPServer中。

在BaseServer类中需要传入RequestHandlerClass

22：server.serve_forever()表示永远运行下去。
多并发处理客户端请求。
服务器端：

 1 import socketserver
 2 
 3 class MyServer(socketserver.BaseRequestHandler):
 4     def handle(self):
 5         # print self.request,self.client_address,self.server
 6         self.request.sendall(bytes('welcome to socketserver.',encoding="utf-8"))
 7         while True:
 8             data = self.request.recv(1024)
 9             print("-->",len(data))
10             if len(data) == 0:break
11             print("[%s] says:%s" % (self.client_address,data.decode() ))
12             self.request.sendall(data.upper())
13 
14 if __name__ == '__main__':
15     server = socketserver.ThreadingTCPServer(('127.0.0.1',8009),MyServer)
16     server.serve_forever()

客户端：

 1 import socket
 2 ip_port=('192.168.11.58',8009)
 3 
 4 s=socket.socket()
 5 
 6 s.connect(ip_port)
 7 
 8 welcome_msg = s.recv(1024)
 9 print("from server:",welcome_msg.decode())
10 while True:
11     send_data=input(">>: ").strip()
12     if len(send_data) == 0:continue
13     s.send(bytes(send_data,encoding='utf8'))
14 
15     recv_data=s.recv(1024)
16     print(str(recv_data,encoding='utf8'))
17 
18 s.close()