Linux 下搭建 Kafka 环境

环境要求操作系统:CentOS 7
下载地址
安装说明
Kafka 版本:2.11-2.1.0
下载地址
注:这个版本的 Kafka 需要依赖 JDK 和 Zookeeper 。
JDK 版本:8u181
下载地址
Zookeeper 版本:3.4.5
下载地址
注:以上中间件均搭建在一个 Linux 系统中,如果需要分不同的系统安装,注意修改对应的连接配置 。
如果使用的中间件版本不一致,请以官方搭建文档为准 。
安装步骤准备软件目录
mkdir /datalake上传之前下载好的安装包到 /datalake 目录下
jdk-8u181-linux-x64.gz
kafka_2.11-2.1.0.tgz
zookeeper-3.4.5.tar.gz
批量解压这几个安装包
cd /datalakels * | xargs -n1 tar xzvf将解压的软件移动到 /usr/local 目录
cd /datalakemv jdk1.8.0_181 /usr/local/jdkmv kafka_2.11-2.1.0 /usr/local/kafkamv zookeeper-3.4.5 /usr/local/zk配置 Zookeeper
cd /usr/local/zk/conf首先,先备份 Zookeeper 的默认配置文件
cp zoo_sample.cfg zoo.cfg然后将配置文件修改下
vi zoo.cfg将 dataDir 选项配置为
dataDir=/usr/local/zk/data接下来 , 配置 Kafka
vi /usr/local/kafka/config/server.properties将 log.dirs 参数修改为
log.dirs=/usr/local/zk/logs由于 Kafka 和 Zookeeper 装在同一个 Linux 中,所以 zookeeper.connect 配置维持默认配置即可
zookeeper.connect=localhost:2181配置环境变量
vi /usr/profile添加如下内容
export JAVA_HOME=/usr/local/jdkexport ZK_HOME=/usr/local/zkexport KAFKA_HOME=/usr/local/kafkaexport PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin应用环境变量
source /etc/profile接下来,就开始启动 Kafka,首先 , 需要先启动 Zookeeper
zkServer.sh start输出信息如下
[root@datalake conf]# zkServer.sh startJMX enabled by defaultUsing config: /usr/local/zk/bin/../conf/zoo.cfgStarting zookeeper ... STARTED说明启动成功 。
接下来启动 Kafka
kafka-server-start.sh /usr/local/kafka/config/server.properties接下来,再打开 Shell 一个窗口,创建 topic
kafka-topics.sh --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --create --topic  test然后再开一个 Shell 窗口 , 启动生产者
kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic  test再打开一个 Shell 窗口,启动消费者
kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic  test切换到生产者启动页面,发送数据 , 消费者能正常接收数据
生产者

Linux 下搭建 Kafka 环境

文章插图
消费者
Linux 下搭建 Kafka 环境

文章插图
【Linux 下搭建 Kafka 环境】

    推荐阅读