kafka介绍及安装配置(windows)

  菜谱微信小程序,操作简单,教程详细,欢迎大家使用

  

  • Kafka介绍

Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布,使用Scala和Java语言编写,与2010年12月份开源,成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。

三大特点:

  高吞吐量 可以满足每秒百万级别消息的生产和消费——生产消费。

  持久性 有一套完善的消息存储机制,确保数据的高效安全的持久化——中间存储。

  分布式 基于分布式的扩展和容错机制;Kafka的数据都会复制到几台服务器上。当某一台故障失效时,生产者和消费者转而使用其它的机器——整体健壮性。

核心:

  Broker:消息代理,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。

  Topic:主题,Kafka处理的消息的不同分类。

  Partition:Topic物理上的分组,一个topic可以分为多个partion,每个partion是一个有序的队列。partion中每条消息都会被分配一个有序的Id(offset)

  Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息,每个消息都属于一个partition

  Producer:消息和数据的生产者,向Kafka的一个topic发布消息。

  Consumer:消息和数据的消费者,定于topic并处理其发布的消息。

  • 安装配置

kafka依赖zookeeper,在Kafka的设计中,选择了使用Zookeeper来进行所有Broker的管理,体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点,节点路径为/brokers/ids;此外生产者、消费者的负载均衡可使用zookeeper实现等等。因此需要安装zookeeper

下载地址:

  zookeeper:链接:https://pan.baidu.com/s/1iXbLPFzeKTeRaab5CSrD9Q  提取码:ipv9 

  kafka:链接:https://pan.baidu.com/s/1BhT4XtMiU_J6PyNb7DtciQ  提取码:sbd5 

安装:

  zookeeper:

    1.下载解压(以C:zookeeper3.4为例),将C:zookeeper3.4conf下的zoo_sample.cfg文件更名为zoo.cfg

       

    2.打开zoo.cfg,编辑dataDir=c:\zookeeper3.4\temp

      

    3.配置环境变量,系统变量-新建ZOOKEEPER_HOME;并在系统变量path中增加“%ZOOKEEPER_HOME%in;”

      

      

    4.打开cmd窗口,输入zkServer启动,默认端口2181;使用kafka期间保持zookeeper启动

      

      

  kafka:

    1.下载解压(以C:kafka2.12为例),打开c:kafka2.12configserver.properties,编辑log.dirs=c:\kafka2.12\kafka-logs, zookeeper.connect=localhost:2181

    2.把c:kafka2.12inwindowkafka-run-class.bat 中179行%CLASSPATH%加上双引号

      

    3.打开cmd窗口,进入kafka根目录下,输入 .inwindowskafka-server-start.bat .configserver.properties 运行

      

 至此,kafka的安装配置完成;下篇文章将介绍springboot集成kafka,及其一些配置详解。

最后说一嘴,关于多个MQ的选型问题,适合项目的就是最好的,适不适合根据各个MQ的优劣势决定。

原文地址:https://www.cnblogs.com/729log/p/11200369.html