当前位置：首页 > 科技 > 软件

从零开始搭建 Kafka集群

来源：责编：时间：2024-05-16 09:03:56 69观看

导读一、搭建设计图片1.1. 机器分配kafka1(192.168.150.111)kafka2(192.168.150.112)kafka3(192.168.150.113)1.2.linux安装以及Jdk安装二、修改Linux主机名称hostnamectl set-hostname kafka1hostnamectl set-hostname k

一、搭建设计

图片

1.1. 机器分配

kafka1(192.168.150.111)
kafka2(192.168.150.112)
kafka3(192.168.150.113)

1.2.linux安装以及Jdk安装

二、修改Linux主机名称

hostnamectl set-hostname kafka1

hostnamectl set-hostname kafka2

hostnamectl set-hostname kafka3

三、配置主机名映射

在Windows系统中修改hosts文件，填入如下内容：

192.168.150.111 kafka1192.168.150.112 kafka2192.168.150.113 kafka3

图片

image

图片

在3台Linux的/etc/hosts文件中，填入如下内容（3台都要添加）。

192.168.150.111 kafka1192.168.150.112 kafka2192.168.150.113 kafka3

四、配置SSH免密登录

后续安装的集群化软件，多数需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登陆。

在每一台机器都执行：

ssh-keygen -t rsa -b 4096

一路回车到底即可 2. 在每一台机器都执行：

ssh-copy-id kafka1ssh-copy-id kafka2ssh-copy-id kafka3

执行完毕后，kafka1、kafka2、kafka3之间将完成root用户之间的免密互通。

测试免密登录完成以上步骤后，你应该能够使用SSH免密登录到目标服务器了。只需执行以下命令：ssh 用户名@remote_host。

ssh rootmkafka1ssh root@kafka2ssh root@kafka3

五、修改时区并配置自动时间同步

#1. 安装ntp软件yum install -y ntp#2. 更新时区rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime#3. 同步时间ntpdate -u ntp.aliyun.com#4. 开启ntp服务并设置开机自启systemctl start ntpdsystemctl enable ntpd

六、VMware虚拟机集群上部署Zookeeper集群

当前使用发行版：3.8.4版。

可以在https://downloads.apache.org/zookeeper/选择对应版本下载：

图片

注意:以下操作,kafka1节点执行,以root身份登陆。

1.上传zookeeper安装包到kafka1节点中。

2.创建/export/server/。

mkdir -p /export/server/

解压缩安装包到/export/server/中。

tar -zxvf apache-zookeeper-3.8.4.tar.gz -C /export/server/

3.在 cd /export/server/apache-zookeeper-3.8.4-bin/conf/创建zoo.cfg。

# 复制zoo_sample.cfg命名为zoo.cfgcp zoo_sample.cfg zoo.cfg

4.修改Zookeeper保存数据的目录。

mkdir -p /export/server/apache-zookeeper-3.8.4-bin/data

5.编辑zoo.cfg文件。

vim zoo.cfg

内容如下:

# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=/export/server/apache-zookeeper-3.8.4-bin/data# the port at which the clients will connectclientPort=2181server.1=192.168.150.111:2888:3888server.2=192.168.150.112:2888:3888server.3=192.168.150.113:2888:3888

图片

创建myid文件，配置服务器编号服务器zookeeper的dataDir对应目录下创建 myid 文件，内容为对应ip的zookeeper服务器编号。

mkdir -p /export/server/apache-zookeeper-3.8.4-bin/dataecho 1 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

7.分发zookeeper文件夹

# 在kafka1执行如下命令cd /export/serverscp -r  /export/server/apache-zookeeper-3.8.4-bin kafka2:`pwd`/scp -r  /export/server/apache-zookeeper-3.8.4-bin kafka3:`pwd`/

8.在kafka2上修改myid

echo 2 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

9.在kafka3上修改myid

echo 3 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

七、VMware虚拟机集群上部署Kafka集群

本次使用的Kafka版本为2.4.1，是2020年3月12日发布的版本。可以注意到Kafka的版本号为：kafka_2.12-2.4.1，因为kafka主要是使用scala语言开发的，2.12为scala的版本号。http://kafka.apache.org/downloads可以查看到每个版本的发布时间。

图片

1.将Kafka的安装包上传到虚拟机。

tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/ cd /export/server/kafka_2.12-2.4.1/

2.修改 server.properties。

cd /export/server/kafka_2.12-2.4.1/configvim server.properties

内容如下：

# 指定broker的idbroker.id=0# 指定Kafka数据的位置log.dirs=/export/server/kafka_2.12-2.4.1/data# 配置zk的三个节点zookeeper.cnotallow=kafka1:2181,kafka2:2181,kafka3:2181

3.将安装好的kafka复制到另外两台服务器。

cd /export/serverscp -r apache-zookeeper-3.8.4 kafka2:`pwd`/scp -r apache-zookeeper-3.8.4 kafka3:`pwd`/

4.修改另外两个节点的broker.id分别为1和2。

---------kafka1--------------cd /export/server/kafka_2.12-2.4.1/configvim erver.propertiesbroker.id=1

---------kafka2--------------cd /export/server/kafka_2.12-2.4.1/configvim erver.propertiesbroker.id=2

八、配置Zookeeper和KAFKA_HOME环境变量

vim /etc/profileJAVA_HOME=/export/server/jdk1.8.0_361KAFKA_HOME=/export/server/kafka_2.12-2.4.1ZOKEEPER_HOME=/export/server/apache-zookeeper-3.8.4-bin/PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOKEEPER_HOME/binexport PATH分发到各个节点scp /etc/profile kafka2:$PWDscp /etc/profile kafka2:$PWD每个节点加载环境变量source /etc/profile

九、启动Zookeeper

1.在三台机器上启动Zookeeper。

zkServer.sh start

图片

2.在三台机器上查看Zookeeper状态。

zkServer.sh status

图片

十、启动Kafka

[root@kafka1 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties[root@kafka2 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties[root@kafka3 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties

kafka1节点的Cluster Id：

图片

kafka2节点的Cluster Id：

图片

kafka3节点的Cluster Id：

图片

十一、查看Kakka队列

1.创建主题(名字叫test)：

kafka-topics.sh --create --bootstrap-server kafka1:9092 --topic test

2.查询当前kafka的所有主题：

kafka-topics.sh --bootstrap-server kafka3:9092 --list

本文链接：http://www.28at.com/showinfo-26-88325-0.html从零开始搭建 Kafka集群

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：八个将网页转为桌面应用程序的开源方案

下一篇：我用 Flutter、React Native 和 Ionic 构建了相同的应用程序

标签：

热门焦点

企业采用CRM系统的11个好处

客户关系管理（CRM）软件可以为企业提供很多的好处，从客户保留到提高生产力。　　CRM软件用于企业收集客户互动，以改善客户体验和满意度。　　CRM软件市场规模如今超过580
小红书1周涨粉49W+，我总结了小白可以用的N条涨粉笔记

作者：黄河懂运营一条性教育视频，被54万人“珍藏”是什么体验？最近，情感博主@公主是用鲜花做的，火了！仅仅凭借一条视频，光小红书就有超过128万人，为她疯狂点赞！更疯狂的是，这
雅柏威士忌多款单品价格大跌，泥煤顶流也不香了？

来源 | 烈酒商业观察编 | 肖海林今年以来，威士忌市场开始出现了降温迹象，越来越多不断暴涨的网红威士忌也开始悄然回归市场理性。近日，LVMH集团旗下苏格兰威士忌品牌雅柏（Ardbeg
大厂卷向扁平化

来源：新熵作者丨南枝编辑丨月见大厂职级不香了。俗话说，兵无常势，水无常形，互联网企业调整职级体系并不稀奇。7月13日，淘宝天猫集团启动了近年来最大的人力制度改革，目前已形成一
网传小米汽车开始筛选交付中心建筑面积不低于3000平方米

7月7日消息，近日有微博网友@长三角行健者爆料称，据经销商集团反馈，小米汽车目前已经开始了交付中心的筛选工作，要求候选场地至少有120个车位，建筑不能低
三星电子Q2营收60万亿韩元存储业务营收同比仍下滑超过50%

7月27日消息，据外媒报道，从三星电子所发布的财报来看，他们主要利润来源的存储芯片业务在今年二季度仍不乐观，营收同比仍在大幅下滑，所在的设备解决方案
超级标准版旗舰！iQOO 11S全球首发iQOO超算独显芯片

上半年已接近尾声，截至目前各大品牌旗下的顶级旗舰都已悉数亮相，而下半年即将推出的顶级旗舰已经成为了数码圈爆料的主流，其中就包括全新的iQOO 11S系
iQOO Neo8 Pro抢先上架：首发天玑9200+ 安卓性能之王

经过了一段时间的密集爆料，昨日iQOO官方如期对外宣布：将于5月23日推出全新的iQOO Neo8系列新品，官方称这是一款拥有旗舰级性能调校的作品。随着发布时
三翼鸟智能家居亮相电博会，让用户体验更真实

2021电博会在青岛国际会展中心开幕中，三翼鸟直接把“家”搬到了现场，成为了展会的一大看点。这也是三翼鸟继9月9日发布了行业首个一站式定制智慧家平台后的