python 并发编程 多进程 生产者消费者模型总结

生产者消费者模型总结

生产者消费者模型什么时候用?

1、程序中有两类角色

一类负责生产数据(生产者)
一类负责处理数据(消费者)

2、引入生产者消费者模型为了解决的问题是

平衡生产者与消费者之间的速度差
程序解开耦合

3、如何实现生产者消费者模型

生产者<--->队列<--->消费者

如果使用multiprocessing模块 的Queue 实现生产者和消费者模型,意味着生产者,消费者,Queue三者必须都在同一台服务器上,

这是集中式,程序所有组件集中在同一台机器上,

集中式带来问题:

1.稳定性   机器坏了,所有程序一起坏

2.效率,性能问题     一台机器性能有极限

分布式管理 :

把所有组件分布出去,分布在一台台机器上

生产者运行在一堆机器上,消费者运行在另外一堆机器上

1.性能 提升了

2.稳定性 提升了

单台一台机器坏了,都不影响全局

还需要拿一台机器装个队列 管理消费者和生产者 典型队列软件有 RabbitMQ

原文地址:https://www.cnblogs.com/mingerlcm/p/11047181.html