kafka工作流程：
每个分区都有一个offset消费偏移量，kafka并不能保证全局有序性。
Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic 的。（文件topic_partition命名）
topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文 件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己 消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。
log中存的是实际数据，默认存储7天。
xxxxx.log文件
xxxxx.index文件
log.segment.bytes=1073741824 (1G)
1、当超过1G，会再建一个新的xxxxxxxxx.log数据文件。（一个segment）
2、如何在文件中快速定位到消费者需要的数据（xxxxx.index文件）
由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位 效率低下，Kafka 采取了分片和索引机制，将每个 partition 分为多个 segment。每个 segment 对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名 规则为:topic 名称+分区序号。例如，first 这个 topic 有三个分区，则其对应的文件夹为 first- 0,first-1,first-2。
index 和 log 文件以当前 segment 的第一条消息的 offset 命名。下图为 index 文件和 log 文件的结构示意图。
“.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元 数据指向对应数据文件中 message 的物理偏移地址。 （先通过二分查找，找到消息在某个xxxx.log文件，再去xxxx.index去找消息开头在log中的物理偏移地址）
index文件中每项数据大小一样，不仅存储了每条messge的起始位置，还有每条消息的大小：上图未画出。 利用起始位置+消息大小，读取整个消息