python各种queue总结

一、队列介绍

定义：队列是一种特殊的线性表，是一种先进先出（FIFO）的数据结构。

用途：用于线程之间或进程之间的数据共享。

队列的五种基本操作：

1. 初始化队列
2. 入队
3. 出队
4. 判断队列是否为空
5. 判断队列是否为满

python内置有四种队列：

1. 先进先出队列 Queue.Queue
2. 先进后出队列 Queue.LifoQueue
3. 优先级队列 Queue.ProorityQueue
4. 双端队列 collections.deque

二、使用

Queue模块封装了先进先出队列Queue.Queue()、先进后出队列Queue.LifoQueue()、优先级队列Queue.PriorityQueue()以及队列为空和满的异常。

三种队列的通用用法：

1. que = Queue.Queue(maxsize=xx) or Queue.Lifoqueue(maxsize=xx) or Queue.Priorityqueue(maxsize=xx)，实例化xx长度的队列。不指定maxsize时，默认队列无限长
2. que.get(block=True, timeout=xx)  xx秒阻塞出队，超过xx秒无数据出队则抛出Queue.Empty异常。que.get()，相当于que.get(block=True, timeout=None)，默认阻塞出队，且阻塞时间无限长
3. que.get_nowait()  相当于que.get(block=False, timeout=None) 非阻塞即刻出队，当队里为空时抛出Queue.Empty异常
4. que.put(item, block=True, timeout=xx) xx秒阻塞入队，超过xx秒数据无法入队则抛出Queue.Full异常。que.put(item)，相当于为que.put(item, block=True, timeout=None), 默认阻塞入队，且阻塞时间无限长
5. que.put_nowait(item)  相当于que.put(item, block=False, timeout=None) 非阻塞即刻入队，当队里已满时抛出Queue.Full异常
6. que.empty() 判断队列是否为空，为空返回True
7. que.full() 判断队列是否已满，已满返回True
8. que.qsize() 获取当前队列的长度
9. que.join() 阻塞队列直到所有入队的数据都完成出队
10. que.task_done() 告诉其它阻塞获取数据的线程队列已被当前队列用完

collections.deque用法：

1. dque = collections.deque(iter_obj, maxlen=len)  实例化初始可迭代数据iter_obj、长度为len的双端队列
2. dque.append(item) 右侧入队一条数据
3. dque.appendleft(item)  左侧入队一条数据
4. dque.extent(item) or deque.exten(iter_obj) 右侧入队一条或多条可迭代数据
5. dque.extenleft(item) or deque.exten(iter_obj) 左侧入队一条或多条可迭代数据
6. dque.pop(item) 右侧出队一条数据
7. dque.popleft(item) 左侧出队一条数据
8. dque.remove(item) 删除某条数据
9. dque.clear() 清空双端队列
10. dque.count() 计算双端队列的长度
11. dque.reverse() 将双端队列左右换序
12. dque.rotate() 将双端队列变变成可迭代对象

三、Queue.Queue、multiprocessing.Queue与multiprocessing.Manager.Queue()

Queue.Queue() 主要用于多线程之间通信。Queue.Queue()实例化对象必须从外部（线程的主进程）传入线程；线程自己的Queue.Queue() 对象，主进程和其它线程都不可访问；Queue.Queue() 不可用于多进程

multiprocessing.Queue() 主要用于多进程之间的通信。multiprocessing.Queue()实例化对象必须从外部（线程的主进程）传入线程；子进程自己的multiprocessing.Queue()对象，其它子进程和主进程都不可访问

multiprocessing.Manager().Queue() 自己的multiprocessing.Manager().Queue()对象，主进程可以访问，同级线程/进程也可以访问

所以，Queue.Queue()为多线程安全队列，multiprocessing.Queue()为多进程安全队列，multiprocessing.Manager().Queue() 为将自己队列属性共享给主进程访问的队列，使用方法如下：

1. Queue.Queue()在主进程中实例化（初始化），所有传入queue实例的子线程共同使用
2. multiprocessing.Queue() 在主进程中实例化（初始化），所有传入queue实例的子进程共同使用
3. multiprocessing.Manager.Queue()在子线程中实例化（初始化）时，主进程和其它子线程都可访问；multiprocessing.Managerr.Queue()在子进程中实例化（初始化）时，主进程和其它子进程都可访问