kafka 生产者源码解析

kafka 生产者源码解析

1.源码阅读准备

• 基础知识
• 源码环境
• 源码剖析思路
• demo

2.kakfa 生产者实现流程

• Producer 核心流程介绍
• Producer 初始化
• Producer 端元数据管理
• Producer 源码核心流程
• Producer 加载元数据

3.kafka 生产者底层原理实现机制

• 分区选择
• RecordAccumulator 封装消息流程初探
• CopyOnWriteMap 数据结构使用
• 把数据写入对应批次 （分段加锁）
• 内存池设计
• Sender 线程运行流程
• 一个batchs 什么条件下可以发送
• 筛选可以发送消息的broker

4.Kafka生产者底层实现原理

• Kafka 网络设计
• 如果网络没有建立会发送消息么？
• Producer 终于与Broker建立连接了！
• 生产者终于可以发送请求了

5.Kafka 生产者源码消息处理

• Producer是如何处理粘包，拆包问题的？
• 如何处理暂存状态的相应消息？
• 如何处理响应消息？
• 消息发送完以后内存如何处理？
• 消息有异常是如何处理的？
• 如何处理超时的批次？
• 如何处理长时间没收到响应的消息？

6.Kafka 源码总结

• 生产者源码精华总结