kafka笔记2

Kafka是使用java开发的程序,所以它可以运行在多种操作系统上,安装Kafka之前,需要先安装Java环境,再安装zookeeper

broker常规配置

1.broker.id

每个broker都需要有一个标识符,使用broker.id来表示,在整个集群上必须唯一,建议把他们设置成与机器名具有相关性的整数。

2.port

默认情况下启动Kafka,它会监听9092端口,也可以设置其他端口。

3.zookeeper.connect

用于保存broker元数据的zookeeper地址,类似localhost:2181,表示这个zookeeper运行在本地的2181端口上。

4.log.dirs

Kafka把消息保存在磁盘上,地址用log.dirs指定,它是一组逗号分隔的本地文件系统路径。

5.num.recovery.threads.per.data.dir

正常启动或者重启后Kafka使用可配置的线程池处理消息片段,设置大量线程可以节省时间。这个数字乘以log.dirs得到总的线程数。

6.auto.create.topics.enable

是否显式创建主题,如果手动创建,可以设为false。

Kafka默认设置

1.num.partitions

一个主题需要多少分区

2.log.retention.ms

数据可以保留多久,默认是168小时

3.log.retention.bytes

每个分区保留数据的最大字节数,如果设置为1G,当前主题8个分区,则这个主题最多保存8G数据。

4.log.segment.bytes

日志片段的最大长度

5.log.segments.ms

日志片段多长时间会被关闭,和上一个条件在一起,只要一个得到满足,日志片段就会被关闭。

6.message.max.bytes

单个消息的大小,默认是1000000(1MB),如果生产者发送的消息超过这个,就会收到错误信息。

原文地址:https://www.cnblogs.com/wangbin2188/p/10350660.html