linux contos6.8下部署kafka集群的方法

(编辑:jimmy 日期: 2025/1/21 浏览:2)

有3台服务器,ip分别为192.168.174.10,192.168.174.11,192.168.174.12。

1、官网下载,分别在每台机器上解压安装

# 创建kafka的安装目录
mkdir -p /usr/local/software/kafka
# 解压
tar -xvf kafka_2.12-1.1.0.tgz -C /usr/local/software/kafka/

2、修改每台服务器的/etc/profile文件,设置kafka环境变量,添加如下内容

export KAFKA_HOME=/usr/local/software/kafka/kafka_2.12-1.1.0
export PATH=$PATH:$KAFKA_HOME/bin

添加完后重启配置,命令如下:

source /etc/profile

3、修改每台服务器的$KAFKA_HOME/config下的server.properties文件,修改代理id和日志存放目录

#指定代理id,borker.id可以任意指定,前提是保证集群内每台机器的broker.id唯一,第二台机器设置为2...以此类推
broker.id=1
#设置日志目录
log.dirs=/opt/data/kafka/kafka-logs
#设置zookeeper集群地址
zookeeper.connect=192.168.174.7:2181,192.168.174.8:2181,192.168.174.9:2181
#设置本机地址,设置为本服务器的ip地址。如果不设置会在创建主题和发送消息时,发生NOT LEADER FOR PARTITION异常。
host.name=192.168.174.10

4、配置完成后,分别启动3台服务器的kafka,启动kafka前确保zookeeper集群已经成功启动。

kafka-server-start.sh -daemon server.properties

5、验证是否成功启动

jps

如果看到kafka进程,说明启动成功。

另外也可通过zookeeper客户端查看zookeeper目录结构,如下:

#登录zookeeper
zkCli . sh -server 192.168.174.7:2181
#查看目录结构
ls /
#查看已启动的kafka代理
ls /brokers/ids

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

一句话新闻
一文看懂荣耀MagicBook Pro 16
荣耀猎人回归!七大亮点看懂不只是轻薄本,更是游戏本的MagicBook Pro 16.
人们对于笔记本电脑有一个固有印象:要么轻薄但性能一般,要么性能强劲但笨重臃肿。然而,今年荣耀新推出的MagicBook Pro 16刷新了人们的认知——发布会上,荣耀宣布猎人游戏本正式回归,称其继承了荣耀 HUNTER 基因,并自信地为其打出“轻薄本,更是游戏本”的口号。
众所周知,寻求轻薄本的用户普遍更看重便携性、外观造型、静谧性和打字办公等用机体验,而寻求游戏本的用户则普遍更看重硬件配置、性能释放等硬核指标。把两个看似难以相干的产品融合到一起,我们不禁对它产生了强烈的好奇:作为代表荣耀猎人游戏本的跨界新物种,它究竟做了哪些平衡以兼顾不同人群的各类需求呢?