kakfa-性能相关

1.增大partition最大连接数

  kafka的集群有多个Broker服务器组成,每个类型的消息被定义为topic,同一topic内部的消息按照一定的key算法被分区(partition)存储在不同的Broker上,消息生产者producer和消费者consumer可以在多个Broker上生产/消费topic,kafka的读写单位为partition。

2.增加磁盘挂载数

  将log数据分布到不同磁盘的多个目录上。

3.避免与其他服务共享磁盘

  避免影响io数据

4.增加处理网络io数

  num.network.threads    主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1.

5.增加处理磁盘io操作数

  num.io.threads  主要进行磁盘io操作,高峰期可能有些io等待,因此配置需要大些。配置线程数量为cpu核数2倍,最大不超过3倍.

6.调整数据文件刷新策略

  log.flush.interval.messages=10000   ##每当写入10000条数据时

  log.flush.interval.ms=1000  ##每间隔1秒时

  

原文地址:https://www.cnblogs.com/wenchengxiaopenyou/p/5521810.html