第五章网络编程和并发编程

1、python的底层网络交互模块有哪些？

　　socket, urllib,urllib3 , requests, grab, pycurl

2、简述OSI七层协议

　　应用层：HTTP，FTP，NFS

　　表示层：Telnet，SNMP

　　会话层：SMTP，DNS

　　传输层：TCP，UDP

　　网络层：IP，ICMP，ARP，

　　数据链路层：Ethernet，PPP，PDN，SLIP，FDDI

　　物理层：IEEE 802.1A，IEEE 802.11

3、什么是C/S和B/S架构

　　C/S架构：是指客服端和服务端，交互性好，对服务器压力小，安全，但是更新服务端的是后客户端也得更新。

　　B/S架构：是指浏览器和服务器，优点是不需要更新客服端，缺点是交互性差，安全性低。

4、简述TCP三次握手四次挥手的过程。

　　建立连接：

　　第一次握手：客户端向服务器发出请求。

　　第二次握手：服务器收到请求，同意连接，想客服端发送确认报文。

　　第三次握手：客服端接收到报文，向上层应用传达已建立连接。

　　释放连接：

　　第一次挥手：数据传输结束后，客服端发送连接释放报文段，并结束数据传输。

　　第二次挥手：服务端接收到连接释放报文段后，向客户端发送确认报文。

　　第三次挥手：服务器没有要发送的数据后，其应用进程就通知服务器释放TCP连接。这个阶段服务器所发出的最后一个报文。

　　第四次挥手：客户端收到连接释放报文段之后，必须发出确认。再经过2MSL(最长报文端寿命)后，本次TCP连接真正结束，通信双方完成了他们的告别。

5、什么事arp协议？

　　arp协议是地址解析协议，使用ARP协议可实现通过IP地址获得对应主机的物理地址（MAC地址）。

6、TCP协议和UDP协议的区别？为什么TCP协议更可靠？

　　1、TCP是面向连接的，发送数据之前必须建立连接，UDP不需要建立连接就可以发送数据。

　　2、TCP协议提供可靠的服务，通过TCP传输数据，无差错，不丢失，不重复，且按序到达，UDP是尽最大努力交付，且不保证可靠交付。

　　3、TCP面向字节流，实际上是TCP把数据看成一连串无结构的字节流;UDP是面向报文的UDP没有拥塞控制，因此网络出现拥塞不会使源主机的发送速率降低（对实时应用很有用，如IP电话，实时视频会议等）

　　4、每一条TCP连接只能是点到点的;UDP支持一对一，一对多，多对一和多对多的交互通信。

　　5、TCP首部开销20字节;UDP的首部开销小，只有8个字节。

　　6、TCP的逻辑通信信道是全双工的可靠信道，UDP则是不可靠信道

　　tcp:可靠对方给了确认收到信息，才发下一个，如果没收到确认信息就重发　　

　　udp:不可靠一直发数据，不需要对方回应

7、什么是局域网和广域网？

　　局域网，LAN（Local Area Network）是指在某一区域内（如一个学校、工厂和机关内）由多台计算机互联成的计算机组。

　　广域网，WAN（Wide Area Network）也称远程网。通常跨接很大的物理范围，所覆盖的范围从几十公里到几千公里，它能连接多个城市或国家，或横跨几个洲并能提供远距离通信，形成国际性的远程网络。

8、什么是socket？简述基于TCP协议的套接字通信流程。

　　Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式，它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部。　　

9、什么是黏包？socket中造成黏包的原因是什么？哪些情况会发生黏包现象。

　　黏包就是数据黏在一起，TCP协议是面向字节流的，基于tcp的套接字客户端往服务端上传文件，发送时文件内容是按照一段一段的字节流发送的，在接收方看了，根本不知道该文件的字节流从何处开始，在何处结束

　　所谓粘包问题主要还是因为接收方不知道消息之间的界限，不知道一次性提取多少字节的数据所造成的。

　　只有TCP有粘包现象，UDP永远不会粘包。

　　客户端粘包：

　　发送端需要等缓冲区满才发送出去，造成粘包（发送数据时间间隔很短，数据量很小，TCP优化算法会当做一个包发出去，产生粘包）

　　服务端粘包：

　　接收方不及时接收缓冲区的包，造成多个包接收（客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包）

10、IO多路复用的作用

　　阻塞IO：特点就是在IO执行的两个阶段（等待数据和拷贝数据两个阶段）都被阻塞了。

　　非阻塞IO：特点就是，数据准备阶段，用户发出read操作时，如果数据没有准备完成，会立刻返回一个error，用户进程可以去做其他事情，需要不断的轮询查看数据是否准备完成，但是在数据拷贝期间，进程还是阻塞的。

　　IO多路复用：select和epoll可以让单个线程同时处理多个连接，内核会监视所有select负责的socket，当有一个数据准备完成时，select就会返回，这是用户进程就可以直接进行read操作了。适用于多个连接。

　　异步IO：用户进程发出read操作时就可以去干其他事了，内核会等数据准备完成时，将数据拷贝到进程，这一切完成后，内核会给用户进程发一个报文，告知一切都已完成。

11、什么是防火墙以及作用？

　　防火墙作为一个边界防御工具，其监控流量——要么允许它、要么屏蔽它。

12、select, poll, epoll的区别

　　select:它仅仅知道了，有I/O事件发生了，却并不知道是哪那几个流（可能有一个，多个，甚至全部），我们只能无差别轮询所有流，找出能读出数据，或者写入数据的流，对他们进行操作。所以select具有O(n)的无差别轮询复杂

　　度，同时处理的流越多，无差别轮询时间就越长。

　　poll:本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态，但是它没有最大连接数的限制，原因是它是基于链表来存储的.

　　epoll:epoll可以理解为event poll，不同于忙轮询和无差别轮询，epoll会把哪个流发生了怎样的I/O事件通知我们。所以我们说epoll实际上是事件驱动（每个事件关联上fd）的，此时我们对这些流的操作都是有意义的。

13、请简述进程、线程、协程的区别，以及应用场景。

　　进程：操作系统是由一个个的进程组成的，一个应用程序就可以看作一个进程，他有自己独立的运行空间，有自己独立的堆和栈，进程是操作系统资源分配的最小单位。

　　线程：线程是属于进程的，进程可以创建线程，线程之间共享堆不共享栈，线程是操作系统资源调动的最小单位。

　　协程：协程也是共享堆不共享栈，他是由程序员调度的。

14、什么是GIL锁。

　　GIL是全局解释锁，这个机制只允许一个线程控制python解释器。

15、python中如何使用线程池和进程池？

　　 concurrent.futures 模块中的 Executor，Executor 提供了两个子类，即 ThreadPoolExecutor 和 ProcessPoolExecutor，其中 ThreadPoolExecutor 用于创建线程池，而 ProcessPoolExecutor 用于创建进程池。

16、threading.local的作用？

　　threading.local()这个方法的特点用来保存一个全局变量，但是这个全局变量只有在当前线程才能访问，如果你在开发多线程应用的时候需要每个线程保存一个单独的数据供当前线程操作，可以考虑使用这个方法，简单有效。

17、进程之间如何进行通信？

　　1、管道，通常指无名管道，是 UNIX 系统IPC最古老的形式。

　　特点：单向的，具有固定的读端和写端，他只能用于有亲缘关系的进程之间（父子进程、兄弟进程），他可以看作特殊的文件，可以读写，但是寻在于内存中。

　　2、FIFO，也称为命名管道，它是一种文件类型。　

　　特点：他可以在无关进程之间通信，可以看作一种特殊的设备文件，存在于文件系统中。

　　3、消息队列，是消息的链接表，存放在内核中。一个消息队列由一个标识符（即队列ID）来标识。　

　　特点：他是面向记录的，有一定特殊的格式和优先级，消息队列是独立于进程的，进程消失，消息队列不会消失，消息不一定是先进先出的顺序，也可以根据类型读取。

　　4、信号量（semaphore）与已经介绍过的 IPC 结构不同，它是一个计数器。信号量用于实现进程间的互斥与同步，而不是用于存储进程间通信数据。

　　特点：信号量用于进程间同步，若要想在进程间传递顺序需要共享内存。

　　5、共享内存（Shared Memory），指两个或多个进程共享一个给定的存储区。

　　特点：共享内存是最快的一种IPC，因为进程是直接堆内存进行存取，因为多个进程可以同时操作，所以需要进行同步，信号量和共享内存通常一起使用。

18、什么是并发和并行？

　　并发：在计算机领域开发过程中，并发指的是应用能够交替执行不同的任务，比如多线程，多线程并非是同时执行多个任务，而是通过时间轮转发等算法的调度，时多个任务以我们察觉不到的速度交替执行。

　　并行：指多个任务同时执行。

　　区别：一个是交替，一个是同时。

19、解释什么是异步非阻塞。

　　同步阻塞：调用结果返回前，进程会被挂起，直到调用结果返回，效率低。

　　异步阻塞：不同的是，调用结果返回前会用回调或者消息的方式通知进程，但是调用结果返回前，进程还是会被挂起，效率一样的低。

　　同步非阻塞：调用结果返回前，进程可以去做其他事情，但是需要通过轮询不断的查看调用结果是否返回，效率比前两个高，但是耗CPU,也一般。

　　异步非阻塞：调用结果返回之前，进程可以去做其他事情，当函数调用完成后，会以回调或者消息的形式通知进程，效率最高。

20、路由器和交换机的区别？

　　区别一：路由器可以给局域网自动分配IP，虚拟拨号。交换机则只是用来分配网络数据的。

　　区别二：路由器可以把一个IP分配给很多个主机使用，这些主机对外只表现出一个IP。交换机可以把很多主机连起来，这些主机对外各有各的IP。

　　区别三：交换机工作在中继层，根据MAC地址寻址，不能处理TCP/IP协议。

　　　　　　路由器工作在网络层，根据IP地址寻址，可以处理TCP/IP协议。

　　区别四：路由器提供防火墙服务，交换机不能提供该功能。

21、什么是域名解析？

　　域名解析是把域名指向网站空间IP，让人们通过注册的域名可以方便地访问到网站一种服务。IP地址是网络上标识站点的数字地址，为方便记忆，采用域名来代替IP地址标识站点地址。域名解析就是域名到IP地址的转换过程。

22、如何修改本地的hosts文件？

　　vi/ etc/host

23、生产者消费者模型应用场景

　　很多的生产者同时生产数据到流水线上，然后消费者在从流水线上取下，这样我们可以有多个生产者同时生产提升了效率，同时也可以容纳多个消费者在流水线上消费。

　　爬虫的时候，会将网上的大量数据爬取下来放入本地或者云端供未来使用，如果数据量太大，我们的处理器会处理不过来，这时候就可以引入生产者，流水线，消费者的概念，就可以解决这个问题。

24、什么是cdn？

　　CDN的全称是Content Delivery Network，即内容分发网络。CDN是一组分布在多个不同地理位置的Web服务器，用于更加有效地向用户发布内容，在优化性能时，会根据距离的远近来选择。

25、程序从FlagA执行到FlagB的时间大致为多少秒？

import threading
import time

def _wait():
    time.sleep(60)
#FlagA
t = threading.Thread(target=_wait, daemon=False)
t.start()
#FlagB

　　大致为0秒，因为线程开启速度非常快，start()方法为异步非阻塞，所以不会等待任务的结束。

26、有A.txt和B.txt两个文件，使用多进程和进程池的方式分别读区者两个文件。

27、以下哪些是常见的TCP Flags?

　　SYN, ACK

28、下面有关网络七层和四层的描述哪格式错误的？

　　SNMP工作在四层

29、tracerroute一般使用的是哪种网络层协议？

　　ICMP

30、iptables知识考察，根据要求写出防火墙规则。

　　A、屏蔽192.168.1.5访问本机dns服务端口。

　　　　 BLOCK_THIS_IP="192.168.1.5"

　　B、允许10.1.1.0/24访问本机的udp 8888 9999 端口

　　　　 iptables -t filter -A INPUT -s 192.168.1.0/24 -p udp -m state --state NEW -m udp --dport 8888 9999 -j ACCEPT

31、

32、请实现一个简单的socket编程，要求：

　　1、实现server端的功能即可

　　2、遵循基本语言编程规范

import socket

sk = socket.socket()
sk.bind(('127.0.0.1', 8800))  # 把地址绑定到套接字
sk.listen()  # 监听链接
conn, addr = sk.accept()  # 接受客户端链接
ret = conn.recv(1024)  # 接受客服端发来的数据
print(ret)  # 保存客户端数据
conn.send(b'hi')  # 想客户端发送信息
conn.close()  # 关闭客户端链接
sk.close()  # 关闭服务器套接字套接字

　　顺便把客户端的也放上来吧

import socket

sk = socket.socket()
sk.connect(('127.0.0.1', 8800))
sk.send(b'hi')
ret = sk.recv(1024)
print(ret)
sk.close()

33、谈一下对于多线程编程的理解，对于CPU密集型怎样使用多线程，说说线程池，线程锁的用法，有没有用过multiprocessing和concurrent.future？

　　多线程是为了解决多个任务同时执行的需求，同个进程内的多线程共享资源，他们是并发的，各个线程是在交替执行，同一时间只有一个线程在运行，他可以防止CPU资源浪费，防止阻塞，增加任务执行效率。

　　CPU密集型就是计算密集型，应该使用多核多线程，这样多个线程可以真正意义上的并行处理，大大增加了运行效率，如果是IO密集型，多核就没有用了，因为多核的情况下，一个线程发出IO请求，也是会阻塞，并没有在单核的情况下有什么提高，反而会增加CPU的损耗，所以应该使用单核多线程。

　　线程池：去你妈的

　　线程锁：去你妈的

　　没有用过

34、关于守护线程，正确的是

　　所有守护线程终止运行时，即使存在非守护线程，进程运行终止。

　　主线程：main，不是守护线程

　　守护线程：指程序运行期间在后台提供通用服务的一种线程。

　　非守护线程：用户线程，有用户创建。

　　主线程和守护线程一起被销毁，主线程和用户想程互不影响。

35、TCP协议在每次建立或者拆除连接时，都要在收发双方之间交换几次报文？

　　三次

36、描述多进程开发中join与deamon的区别。

　　deamon是主线程会设置子线程为守护线程，主线程一旦终止运行，全部线程都会被终止执行，即使子线程还没有执行完成。‘

　　join的工作是线程同步，主线程执行结束后，会进入阻塞状态，等全部子线程运行结束后，主线程在终止。

37、请简述GIL对python性能的影响。

　　GIL是全局解释器锁，线程之后获取GIL才能运行，所以在python的多线程中，实际上同个进程内同一时间只能有一个线程在工作，者无疑对python的多线程的效率有着不小的影响。

38、曾经在哪里使用过线程，进程，协程？