ubuntu16.04 Kafka 安装

Kafka核心概念:

下面介绍Kafka相关概念,以便运行下面实例的同时,更好地理解Kafka.
1. Broker
Kafka集群包含一个或多个服务器,这种服务器被称为broker
2. Topic
每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
3. Partition
Partition是物理上的概念,每个Topic包含一个或多个Partition.
4. Producer
负责发布消息到Kafka broker
5. Consumer
消息消费者,向Kafka broker读取消息的客户端。
6. Consumer Group
每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)

安装:

1.sudo tar -zxf kafka_2.11-0.11.0.1.tgz -C /usr/local2  (我的Scala是2.11)

2.cd /usr/local2

3. sudo mv ./kafka_2.11-0.11.0.1 ./kafka

4.测试:

4.1启动zookeeper

cd /usr/local2/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties
4.2 启动Kafka服务端

bin/kafka-server-start.sh config/server.properties
5.以上都不要关闭,创建topic
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic soyo

这个topic叫soyo,2181是zookeeper默认的端口号,partition是topic里面的分区数,replication-factor是备份的数量,在kafka集群中使用,这里单机版就不用备份了

6. 查看创建的主题
bin/kafka-topics.sh --list --zookeeper localhost:2181
7.
producer生产数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic soyo
shell:输入数据
8.
consumer来接收数据
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning
shell:可以看到刚才的数据
原文地址:https://www.cnblogs.com/soyo/p/7683469.html