安装
quick start
kafka 调参,我发现trigger.once 得到大概10w条数据,不知道这个数字怎么定出来的,可能是这里的参数决定的 https://stackoverflow.com/questions/51753883/increase-the-number-of-messages-read-by-a-kafka-consumer-in-a-single-poll/51755259
Offset 和文件对应关系 http://www.mamicode.com/info-detail-2169622.html
输出特定offset的
message kafka-console-consumer.sh --bootstrap-server kafka-0.kafka-headless.kafka.svc.cluster.local:9093 --topic app.terex.asf.beat --partition 1 --offset 43291 --max-messages 1 --consumer.config /opt/my_conf
查看对应的Log文件的部分内容
kafka-dump-log.sh --print-data-log --files 00000000000000042500.log
Ref: