初识网络编程

一、客户端/服务器架构

1、硬件c/s架构(打印机)

2、软件c/s架构

  互联网中处处是c/s架构

  如网站是服务端,你的浏览器就是客户端(B/S架构也是C/S架构的一种)

C/S架构与socket的关系:

我们学习socket就是为了完成C/S架构的开发

二、osi七层

引子:

  须知一个完整的计算机系统是由硬件、操作系统、应用软件三者组成,具备了这三个条件,一台计算机系统就可以自己跟自己玩了(打个单击游戏、玩个扫雷)

如果想要多个人一起玩的话就需要连上网,那么什么是互联网?

互联网的核心是由一堆协议组成的,其中协议就是标准。

如果把计算机比作人,互联网协议就是计算机界的英语,所有的计算机都学会了互联网协议,那所有的计算机就都可以按照统一的标准去收发信息,从而完成通信。

人们按照分工不同将互联网协议从逻辑上划分了层级:
  互联网协议按照功能不同分为osi七层或tcp/ip五层或tcp/ip四层:

 

每层运行常见物理设备

三、tcp/ip五层模型讲解

1、物理层功能:主要是基于电器特性发送高低电压(电信号),高电压对应数字1,低电压对应数字0

2、数据链路层:   

①由来:单纯的电信号0和1没有任何意义,必须规定电信号多少位一组,每组什么意思;

②功能:定义的电信号的分组方式。

以太网的协议:

早期的时候各个公司都有自己的分组方式,后来形成了统一的标准,即以太网协议(ethernet)

ethernet规定

  1、一组电信号构成一个数据包,叫做'帧'

  2、每一数据帧分成:报头head和数据data两部分

 

其中:

head包含:(固定18个字节)

  发送者/源地址:6个字节

  接受者/目标地址:6个字节

  数据类型:6个字节

data包含:(最短46个字节,最长1500字节)

  数据包的具体内容

    head长度+data长度 = 最短64字节,最长1518字节,超过最大限制就分片发送

mac地址:

head中包含的源和目标地址由来:ethernet规定接入internet的设备都必须具备网卡,发送端和接收端的地址便是指网卡的地址,即mac地址。

mac地址:每块网卡出厂时都被烧制上一个世界唯一的mac地址,长度为48位2进制,通常由12位16进制数表示(前六位是厂商编号,后六位是流水线号)

 广播:
有了mac地址,同一网络内的两台主机就可以通信了(一台主机通过arp协议获取另外一台主机的mac地址)

ethernet采用最原始的方式,广播的方式进行通信,即计算机通信即便靠吼。

3、网络层

网络层由来:有了ethernet、mac地址、广播的发送方式,世界上的计算机就可以彼此通信了,问题是世界范围的互联网是由一个个彼此隔离的小的局域网组成的,那么如果所有的通信都采用以太网的广播方式,那么一台机器发送的包全世界都会收到,这就不仅仅是效率低的问题,这时候会造成一种灾难。此时我们需要找出一种方法来区分哪些计算机属于同一广播域,那些不是,如果是就采用广播的方式发送,如果不是,就采用路由的方式(向不同广播域/子网分发数据包),mac地址是无法区分的,它只和厂商有关。

网络层功能:引入一套新的地址用来区分不同的广播域/子网,这套地址即网络地址

IP协议: 

  1、规定我拿过来地址的协议叫ip协议,它定义的地址称之为ip地址,广泛采用的v4版本即ipv4,它规定网络地址由32为2进制表示

  2、范围0.0.0.0-----255.255.255.255

  3、一个ip地址通常写成四段十进制数,例:172.16.10.1

ip地址分成两部分

  • 网络部分:标识子网
  • 主机部分:标识主机

注意:单纯的ip地址段只是标识了ip地址的种类,从网络部分或主机部分都无法辨识一个ip所处的子网

例:172.16.10.1与172.16.10.2并不能确定二者处于同一子网

子网掩码

所谓”子网掩码”,就是表示子网络特征的一个参数。它在形式上等同于IP地址,也是一个32位二进制数字,它的网络部分全部为1,主机部分全部为0。比如,IP地址172.16.10.1,如果已知网络部分是前24位,主机部分是后8位,那么子网络掩码就是11111111.11111111.11111111.00000000,写成十进制就是255.255.255.0。

知道”子网掩码”,我们就能判断,任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算(两个数位都为1,运算结果为1,否则为0),然后比较结果是否相同,如果是的话,就表明它们在同一个子网络中,否则就不是。

比如,已知IP地址172.16.10.1和172.16.10.2的子网掩码都是255.255.255.0,请问它们是否在同一个子网络?两者与子网掩码分别进行AND运算,

172.16.10.1:10101100.00010000.00001010.000000001

255255.255.255.0:11111111.11111111.11111111.00000000

AND运算得网络地址结果:10101100.00010000.00001010.000000001->172.16.10.0

172.16.10.2:10101100.00010000.00001010.000000010

255255.255.255.0:11111111.11111111.11111111.00000000

AND运算得网络地址结果:10101100.00010000.00001010.000000001->172.16.10.0

结果都是172.16.10.0,因此它们在同一个子网络。

总结一下,IP协议的作用主要有两个,一个是为每一台计算机分配IP地址,另一个是确定哪些地址在同一个子网络。

ip数据包

ip数据包也分为head和data部分,无须为ip包定义单独的栏位,直接放入以太网包的data部分

  head:长度为20到60字节

  data:最长为65,515字节。

而以太网数据包的”数据”部分,最长只有1500字节。因此,如果IP数据包超过了1500字节,它就需要分割成几个以太网数据包,分开发送了。

以太网头                ip 头                                     ip数据                                

 ARP协议

arp协议由来:计算机通信基本靠吼,即广播的方式,所有上层的包到最后都要封装上以太网头,然后通过以太网协议发送,在谈及以太网协议时候,我门了解到

通信是基于mac的广播方式实现,计算机在发包时,获取自身的mac是容易的,如何获取目标主机的mac,就需要通过arp协议

arp协议功能:广播的方式发送数据包,获取目标主机的mac地址

协议工作方式:每台主机ip都是已知的

例如:主机172.16.10.10/24访问172.16.10.11/24

一:首先通过ip地址和子网掩码区分出自己所处的子网

场景 数据包地址
同一子网 目标主机mac,目标主机ip
不同子网 网关mac,目标主机ip

 

二:分析172.16.10.10/24与172.16.10.11/24处于同一网络(如果不是同一网络,那么下表中目标ip为172.16.10.1,通过arp获取的是网关的mac)

  源mac 目标mac 源ip 目标ip 数据部分
发送端主机 发送端mac FF:FF:FF:FF:FF:FF 172.16.10.10/24 172.16.10.11/24 数据

三:这个包会以广播的方式在发送端所处的自网内传输,所有主机接收后拆开包,发现目标ip为自己的,就响应,返回自己的mac

4 、传输层

传输层的由来:网络层的ip帮我们区分子网,以太网层的mac帮我们找到主机,然后大家使用的都是应用程序,你的电脑上可能同时开启qq,暴风影音,等多个应用程序,

那么我们通过ip和mac找到了一台特定的主机,如何标识这台主机上的应用程序,答案就是端口,端口即应用程序与网卡关联的编号。

传输层功能:建立端口到端口的通信

补充:端口范围0-65535,0-1023为系统占用端口

tcp协议:

可靠传输,TCP数据包没有长度限制,理论上可以无限长,但是为了保证网络的效率,通常TCP数据包的长度不会超过IP数据包的长度,以确保单个TCP数据包不必再分割。

以太网头 ip 头               tcp头               数据                                                    

 

udp协议:

不可靠传输,”报头”部分一共只有8个字节,总长度不超过65,535字节,正好放进一个IP数据包。

以太网头 ip头                      udp头                            数据                                           

tcp报文

tcp三次握手和四次挥手

5、 应用层

应用层由来:用户使用的都是应用程序,均工作于应用层,互联网是开发的,大家都可以开发自己的应用程序,数据多种多样,必须规定好数据的组织形式 

应用层功能:规定应用程序的数据格式。

例:TCP协议可以为各种各样的程序传递数据,比如Email、WWW、FTP等等。那么,必须有不同协议规定电子邮件、网页、FTP数据的格式,这些应用程序协议就构成了”应用层”。

 

 

6、 socket

我们知道两个进程如果需要进行通讯最基本的一个前提能能够唯一的标示一个进程,在本地进程通讯中我们可以使用PID来唯一标示一个进程,但PID只在本地唯一,网络中的两个进程PID冲突几率很大,这时候我们需要另辟它径了,我们知道IP层的ip地址可以唯一标示主机,而TCP层协议和端口号可以唯一标示主机的一个进程,这样我们可以利用ip地址+协议+端口号唯一标示网络中的一个进程。

能够唯一标示网络中的进程后,它们就可以利用socket进行通信了,什么是socket呢?我们经常把socket翻译为套接字,socket是在应用层和传输层之间的一个抽象层,它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用已实现进程在网络中通信。

socket起源于UNIX,在Unix一切皆文件哲学的思想下,socket是一种"打开—读/写—关闭"模式的实现,服务器和客户端各自维护一个"文件",在建立连接打开后,可以向自己文件写入内容供对方读取或者读取对方内容,通讯结束时关闭文件。

 

四、socket是什么

Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接口就是全部,让socket去组织数据,已符合指定的协议。

所以,我们无需深入理解tcp/ip协议,socket已经为我们封装好了,我们只需要遵循socket的规定其编程,写出的编程自然就是遵循tcp/ip标准的。

扫盲篇

 五、套接字发展史及分类

基于文件类型的套接字家族(AF_UNIX)

unix一切皆文件,基于文件的套接字调用的就是底层的文件系统来取数据,两个套接字进程运行中同一机器,可以通过访问同一个文件系统间接完成通信

基于网络类型的套接字家族(AF_INET)

(还有AF_INET6被用于ipv6,还有一些其他的地址家庭,不过,他们要么是只用于某个平台,要么就是已经被废弃,或者是很少被使用,或者是根本没有实现,所有地址家庭中,AF_INET是使用范围最广的一个,python支持很多种地址家族,但是由于我们只关心网络编程,所以大部分时候我们只是用AF_INET)

 六、套接字工作流程

     

先从服务器端说起。服务器端先初始化socket,然后与端口绑定(bind),对端口进行监听(listen),调用accept阻塞,等待客户端连接。在这时如果有个客户端初始化一个socket,然后连接服务器(connect),如果连接成功,这时客户端与服务器端的连接就建立了。客户端发送数据请求,服务器端接收请求并处理请求,然后把回应数据发送给客户端,客户端读取数据,最后关闭连接,一次交互结束。

socket()模块函数用法:

socket()模块函数用法

 服务端套接字函数

s.bind()    绑定(主机,端口号)到套接字

s.listen()  开始TCP监听

s.accept()    被动接受TCP客户的连接,(阻塞式)等待连接的到来

客户端套接字函数

s.connect()      主动初始化TCP服务器连接

s.connect_ex()      connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

公共用途的套接字函数

s.recv()                     接收TCP数据

s.send()                    发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)

s.sendall()                发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)

s.recvfrom()             接收UDP数据

s.sendto()                发送UDP数据

s.getpeername()      连接到当前套接字的远端的地址

s.getsockname()      当前套接字的地址

s.getsockopt()          返回指定套接字的参数

s.setsockopt()          设置指定套接字的参数

s.close()                   关闭套接字

 面向锁的套接字方法

s.setblocking()            设置套接字的阻塞与非阻塞模式

s.settimeout()              设置阻塞套接字操作的超时时间

s.gettimeout()              得到阻塞套接字操作的超时时间

面向文件的套接字的函数

s.fileno()                      套接字的文件描述符

s.makefile()                  创建一个与该套接字相关的文件

socket实验推演流程

 

七、基于TCP的套接字

tcp是基于链接的,必须先启动服务器,然后再启动客户端去链接服务端

tcp服务端

ss = socket()   #创建服务器套接字
ss.bind()       # 把地址绑定到套接字
ss.listen()     # 监听链接
inf_loop:       # 服务器无限循环
    cs = ss.accept()    #接受客户端链接
    comm_loop:          # 通讯循环
        cs.recv()/cs.send()    #对话(接收与发送)
    cs.close()        # 关闭客户端套接字
ss.close()            # 关闭服务器套接字(可选)

tcp客户端

cs = socket()      # 创建客户套接字
cs.connect()       # 尝试连接服务器
comm_loop:         # 通讯循环
    cs.send()/cs.recv()     # 对话(发送/接收)
cs.slose()         # 关闭客户套接字

socket通信流程与打电话流程类似,以打电话为例来实现一个套接字通信

import socket
#1、先买手机
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #SOCK_STREAM指的是TCP协议

#2、绑定电话卡
# phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它,在bind前加
phone.bind(('127.0.0.1',8082)) #0-65535,1-1024系统占用

#3、开机
phone.listen(5)

#4、等电话
print('starting....')
while True: #链接循环
    conn,addr=phone.accept() #(conn,client_addr)
    print(addr)
    #5、收发消息
    while True: #通信循环
        try:
            # print('======>ready recv')
            data=conn.recv(1024) #1024最大接收的字节数
            # print('====>recv: ',data)
            conn.send(data.upper())
        except ConnectionResetError:
            break

    #6、挂电话
    conn.close()

#7、关机
phone.close()
import socket

#1、先买手机
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #SOCK_STREAM指的是TCP协议

#2、打电话
phone.connect(('127.0.0.1',8082)) #0-65535,1-1024系统占用

#3、发收消息
while True:
    msg=input('>>: ').strip()
    if not msg:continue
    phone.send(msg.encode('utf-8'))
    # print('has send')
    data=phone.recv(1024)
    # print('has recv')
    print(data.decode('utf-8'))

#4、关闭
phone.close()

有的人中重启服务端是可能会碰到

 这个是由于你的服务端仍然存在四次挥手的time_wait状态中占用地址(此处可通过研究1、tcp三次握手,四次挥手 2、syn洪水攻击 3、服务器高并发情况下会有大量的time_wait状态的优化方法)。

解决方法:

#加入一条socket配置,重用ip和端口

phone=socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它,在bind前加
phone.bind(('127.0.0.1',8080))
原文地址:https://www.cnblogs.com/hzhcdhm/p/7904494.html