RocketMQ详解（二）启动运行原理

专题目录

  RocketMQ详解（一）原理概览

引子

明白一个项目启动时做了什么，基本上能了解50%的原理。本节我们从rocketmq启动流程，来探究运行原理。总体流程如下：

下面我们从4个模块细化启动流程。

一、nameserver启动原理

如上图所示，nameServer名字服务作为rocketMQ的基于Topic路由的注册中心，支持Broker的动态注册与发现，nameServer启动流程如下：

1. 加载kv配置。
2. 构建NettyRemotingServer初始化netty通信实例。
3. 初始化远程通信执行器。
4. 注册请求执行器。
5. 定时轮训清除宕机的broker。
6. 注册SSL证书变化监听器。
7. 启动远程通信服务端（netty）。
8. 启动SSL证书监听服务。

其中，1-6步是初始化过程，7-8是启动流程。

二、broker启动原理

broker作为消息代理服务器，用于接收并存储消息，等待被消费者拉取消费。broker启动分两大部分：

• 初始化：构造createBrokerController-》初始化controller.initialize()
• 启动：controller.start()

如下图：

2.1 broker初始化流程

1. 载入各种配置文件（topic配置、消费偏移量、订阅群组、消费过滤）。
2. 初始化DefaultMessageStore消息存储器，并load：载入CommitLog、ConsumeQueue、载入索引文件。
3. 构造NettyRemotingServer netty远程通信服务器（普通+vip）、9种执行器（sendMessageExecutor、pullMessageExecutor、replyMessageExecutor、queryMessageExecutor、adminBrokerExecutor、clientManageExecutor、heartbeatExecutor、endTransactionExecutor、consumerManageExecutor）
4. registerProcessor()：注册处理器（使用上面9个执行器，分别注册到普通远程通信服务器、VIP远程通信服务器）具体通信机制见 RocketMQ详解（三）核心设计原理。
5. 初始化定时任务：BrokerStats当天数据统计、每5S持久化一次消费Offset、每10s持久化一次消费者filter、每3分钟执行一次broker保护（默认不执行）、每1s打印水位日志（线程池待处理队列）、每1分钟打印commitLog分发滞后bytes、每2分钟（请求http://jmenv.tbsite.net:8080/rocketmq/nsaddr）拉取一次nameserver地址、主节点每1分钟（开启DLeger主从切换）打印从滞后主offset。
6. 注册SSL证书变化监听器。
7. 初始化事务相关服务、监听器。
8. 初始化AccessValidator
9. 初始化RPC请求钩子RPCHook（远程通信服务端+VIP远程通信服务端），包含doBeforeRequest请求前、doAfterResponse请求后2个方法。

2.2 broker启动流程

1. messageStore启动消息存储服务：把生产者发送的消息commitLog转存为consumerQueue逻辑消费队列+indexFile索引文件，分别用于消费者消费消息+根据key查询消息。
2. remotingServer.start()：启动远程通信服务端（netty）
3. fastRemotingServer.start()：启动VIP远程通信服务端（netty）
4. 注册SSL证书变化监听器。
5. brokerOuterAPI.start()：remotingClient.start()启动OuterAPI专用远程通信客户端。
6. pullRequestHoldService.start()：开启请求长轮训服务，默认LongPolling=5S，5S后，执行消息写入。
7. clientHousekeepingService.start()：启动netty客户端探活服务（生产者、消费者、过滤器），定时10s执行一次，超时2分钟,移除channel。
8. filterServerManager.start()：启动过滤服务。
9. 定时任务：每30s向nameserver注册所有broker。
10. brokerFastFailure.start()：启动快速失败，每10ms,清除过期请求。（ sendThreadPoolQueue、pullThreadPoolQueue、heartbeatThreadPoolQueue、endTransactionThreadPoolQueue）

     

三、producer启动原理

如上图，生产者作为消息发送方，producer启动流程如下：

1. checkConfig()校验配置
2. MQClientInstance创建客户端实例。
3. registerProducer向broker注册生产者。
4. MQClientInstance.start()启动客户端实例。
5. 服务状态更新为RUNNING。

其中第四步，MQClientInstance客户端实例启动流程如下：

1. 获取nameserver地址。
2. remotingClient.start()：启动netty远程客户端。
3. startScheduledTask()：开启定时任务。
4. pullMessageService.start() ：开启守护线程，执行拉取消息
5. rebalanceService.start()：启动负载均衡器
6. DefaultMQProducerImpl().start()：启动消息生产者
7. 客户端实例状态更新为RUNNING

其中第三步，定时任务包含：

• 1）延迟10ms后，获取每2分钟更新一次nameserver地址
• 2）延迟10ms后，每30s去nameserver获取最新topic路由
• 3）延迟1s后，每30s移除一次下线的broker+给所有broker发送心跳(版本号)
• 4）延迟10s后，每5s持久化“消费offset”到broker/本地。
• 5）延迟1ms后，每1分钟，根据待消息数，动态调整消费者线程池核心数。（被阉割，目前是空）

 

 

四、consumer启动原理

消费者启动流程，见第三节的图。

消费者启动流程如下：

1. checkConfig()：校验配置
2. copySubscription：复制订阅信息
3. MQClientInstance：创建客户端实例
4. rebalanceImpl：创建消费端负载均衡
5. pullAPIWrapper：创建pull请求包装器
6. offsetStore初始化偏移量：广播模式：client存储；集群模式：broker存储
7. consumeMessageService.start()：初始化消费消息服务，并启动。1.并发消费：延迟15m后，每过15分钟清理一次超时未处理完消息 2.顺序消息：延迟1s后，每20s锁一次broker中mq队列+消费者端ProcessQueue
8. registerConsumer：向broker注册消费者。
9. MQClientInstance.start()：启动客户端实例
10. 服务状态更新为：RUNNING