kafka安装与集群部署（for Linux）（八）

已于 2023-04-21 14:52:22 修改
阅读量1.9k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： Linux安装专栏 操作系统 kafka 文章标签： kafka linux
于 2023-04-21 14:26:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s980629/article/details/130284295
该文详细介绍了Kafka的安装步骤，包括下载、上传、解压、重命名、配置目录以及设置环境变量。接着，重点讲解了集群配置，涉及server.properties的修改、安装包与环境变量的分发。最后，文中提到了Kafka集群的手动与自动启停方法，包括创建kf.sh脚本来简化操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1. kafka安装

1.1 准备工作

1）下载地址

 2）本地文件保存目录

 3）文件上传

1.2 安装

 1.3 修改名称

 1.4 查看已安装的kafka目录

 1）查看bin目录内容

2）查看config目录内容

3）查看libs目录内容

1.5 创建文件存储目录

1.6 配置环境变量

​编辑 2. 集群配置

2.1 修改server.properties配置文件

 2.2 分发kafka安装包

 2.3 修改集群中其他虚拟机的server.properties

2.4 分发kafka环境变量

3. Kafka集群的启停

3.1 手动启停（不用）

1）手动启动

2) 手动停止

3.2 自动启停

1）创建 kf.sh 脚本

2）添加kf.sh文件执行权限

3）启动集群

1. kafka安装

1.1 准备工作

1）下载地址

kafka官网下载地址

 2）本地文件保存目录

 3）文件上传

将下载好的文件通过Termius工具，上传到虚拟机的/opt/software目录

1.2 安装

解压安装包到指定目录/opt/module目录下。

# /opt/software
[root@hadoop102 software]# tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

 1.3 修改名称

安装好的文件名过长，修改的短一点。

# /opt/module
[root@hadoop102 module]# mv kafka_2.12-3.0.0/ kafka

 

 1.4 查看已安装的kafka目录

 1）查看bin目录内容

所在目录: /opt/module/kafka/bin 

注： kafka是由生产者、消费者、主题组成，其中每一个模块对应一个脚本文件（如上图）。

2）查看config目录内容

所在目录: /opt/module/kafka/config

 kafka的每一个模块都对应一个配置文件。

server.properties配置文件记录有集群信息。

3）查看libs目录内容

全部都是第三方jar包。

1.5 创建文件存储目录

在/opt/module/kafka/目录下创建一个datas目录

[root@hadoop102 ~]# cd /opt/module/kafka
[root@hadoop102 kafka]# mkdir datas

1.6 配置环境变量

（1）在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置


                

        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
Kafka+zookeeper集群部署

				
			

			

				

					changyitt的博客
				

				

					08-09
					
					1332
					
				

			

		

		

			
				
echo -------------------------------- $i kafka 启动 ---------------------------echo -------------------------------- $i kafka 停止 ---------------------------mkdir /opt/zookeeper/zk1/{data,logs}  ##在虚机192.168.190.151上。启停kafka：./kafka-cluster.sh stop。

			
		

	



                

            
              



	

		

			

				
					
Linux-Kafka 3.7.0 Kraft+SASL认证模式 集群安装与部署超详细

				
			

			

				

					qq_41118173的博客
				

				

					07-04
					
					4895
					
				

			

		

		

			
				
这个是3.2.0版本新引入的认证方式，可以参考 https://cwiki.apache.org/confluence/display/KAFKA/KIP-801%3A+Implement+an+Authorizer+that+stores+metadata+in+__cluster_metadata。5.修改kafka-console-producer.sh和kafka-console-consumer.sh启动文件两个都要改。# 如果未设置，则使用"listeners"的值.

			
		

	



              


  
              

                


	

		

			

				
					
Kafka 在 Linux 下的集群配置和安装

				
			

			

				

					J老熊
				

				

					09-26
					
					1873
					
				

			

		

		

			
				
本文详细介绍了在 Linux 环境中配置和安装 Kafka 集群的过程，包括每个配置项的说明和常见故障的排查方法。通过这些步骤，您可以轻松地构建一个可靠的 Kafka 集群，支持大规模数据流处理和实时数据传输。希望这篇文章能够帮助您顺利搭建和管理 Kafka 集群。

			
		

	





	

		

			

				
					
查询linux kafka安装目录,Kafka 1.0.0安装和配置--Linux篇

				
			

			

				

					weixin_39999586的博客
				

				

					05-01
					
					3926
					
				

			

		

		

			
				
阅读目录：1. 关闭防火墙和Selinux2. 安装所需环境JDK,Zookeeper3. 下载Kafka 1.0.0版本4. 配置Kafka5. 启动Kafka并验证6. 报错及解决7. 说明1. 关闭防火墙和SelinuxLinux的防火墙是咱们新手的噩梦，很多情况会出现能ping通，但是访问不了Web页面。所以开始就干掉它！1.1关闭防火墙[root@localhost ~]# /etc/...

			
		

	



		

			
		



	

		

			

				
					
Kafka源码主目录树结构

					
最新发布

				
			

			

				

					IT技术学习与工作笔记分享
				

				

					06-21
					
					1683
					
				

			

		

		

			
				
生产者实现消费者实现管理工具（Topic管理等）消费者组协调等内部机制客户端逻辑（Producer/Consumer）clients包Broker主流程与副本serverreplicacontroller网络与存储networklog元数据与协调zookeeperraft工具与配置commontools流处理与数据集成streamsconnect为独立子模块一句话速记客户端clients，服务端server，存储log，副本replica，协调，网络network。如需。

			
		

	





	

		

			

				
					
linux查看远程kafka安装目录,在linux上安装kafka

				
			

			

				

					weixin_29484035的博客
				

				

					04-28
					
					4032
					
				

			

		

		

			
				
本文概述先决条件：应该在系统上安装Java8。可以使用以下步骤在Linux系统上安装Apache Kafka：步骤1：检查Java版本。它应该与版本8一起安装，因为Kafka支持java8及更高版本。通过在搜索框中键入“终端”或直接按“ ctrl alt t”来打开终端。然后，使用命令：’java -version’检查java的版本。注意：使用java9或更高版本可能会导致一些问题。因此，最好使...

			
		

	





	

		

			

				
					
查询linux kafka安装目录,Linux下安装并（单节点）配置启动Kafka

				
			

			

				

					weixin_33488806的博客
				

				

					05-01
					
					722
					
				

			

		

		

			
				
1. 从Kafka官网下载最新的Kafka，目前最新版本为0.9.0.12. 下载完毕后，上传到Linux服务器，并解压tar-xzfkafka_2.11-0.9.0.1.tgz3. 修改Zookeeper服务器配置，并启动cdkafka_2.11-0.9.0.1viconfig/zookeeper.properties#修改ZooKeeper的数据目录dataDir=/opt/favcc...

			
		

	





	

		

			

				
					
LINUX kafka 集群安装

				
			

			

				

					熊桂生的博客
				

				

					05-16
					
					664
					
				

			

		

		

			
				
1、准备工作下载地址: Kafka官网地址: http://kafka.apache.org/ 2、开始安装    1、把下载好的kafka压缩包上传到服务器上/tmp上        2、解压kafka的安装包：tar -xzvfkafka_2.11-0.9.0.1.tgz        3、把kafka包移动到目录/usr/local; mv kafka_2.11-0.9.0.1/usr/lo...

			
		

	





	

		

			

				
					
Linux 下 kafka 集群部署

				
			

			

				

					qq_59998784的博客
				

				

					07-03
					
					3738
					
				

			

		

		

			
				
本文将以三台服务器为例，介绍在 linux 系统下kafka的部署方式。

			
		

	





	

		

			

				
					
【Linux】环境部署kafka集群

				
			

			

				

					m0_52985087的博客
				

				

					09-19
					
					2106
					
				

			

		

		

			
				
Apache Kafka 是一个开源的分布式事件流平台，最初由LinkedIn开发，并于2011年贡献给了Apache软件基金会。Kafka被设计为一个高吞吐量、可扩展且容错的消息系统，它能够处理大量的实时数据流。Kafka广泛应用于构建实时数据管道和流应用。Broker：Kafka集群中的单个服务器，负责存储消息和处理客户端请求。Topic：特定类型的消息流，是消息的分类或主题。Partition：每个topic可以分为多个partition，提高并行处理能力和吞吐量。Producer。

			
		

	





	

		

			

				
					
Linux下 kafka集群安装

				
			

			

				

					上善若水
				

				

					04-12
					
					1269
					
				

			

		

		

			
				
环境：CentOS 7虚拟机两台，分别为：192.168.31.224和192.168.31.225 
1、安装之前先安装jdk和zookeeper 
2、下载 kafka_2.12-1.1.0.tgz，下载地址为：https://mp.csdn.net/mdeditor 
3、解压kafka_2.12-1.1.0.tgz，使用命令tar -zxvf kafka_2.12-1.1.0.tgz,解压...

			
		

	





	

		

			

				
					
kafka消息队列运维工具和相关安装目录文件总结

				
			

			

				

					09-07
				

			

		

		

			
				
kafka消息队列运维工具和相关安装目录的总结，设计kafka消息队列的相关

			
		

	





	

		

			

				
					
zookeeper_kafka-启动命令-需要设置安装路径

				
			

			

				

					07-30
				

			

		

		

			
				
一键启动zookeeper_kafka服务，只需要设置安装路径。自备用！

			
		

	





	

		

			

				
					
linux系统的kafka监控

				
			

			

				

					09-20
				

			

		

		

			
				
linux系统的kafka监控！

			
		

	





	

		

			

				
					
kafka：linux 安装 kafka集群

				
			

			

				

					积水成多，水到渠成
				

				

					03-09
					
					1653
					
				

			

		

		

			
				
启动：sh /opt/kafka/kafka_2.11-2.4.0/bin/kafka-server-start.sh -daemon /opt/kafka/kafka_2.11-2.4.0/config/server.properties。若要关闭efak，则运行命令：sh/opt/kafka-eagle/kafka-eagle-bin-2.1.0/efak-web-2.1.0/bin/ke.sh stop。下载linux版本的jdk包，比如：jdk-8u192-linux-x64.tar.gz。

			
		

	





	

		

			

				
					
在Linux上安装Kafka集群(kafka_2.12-2.8.0)

				
			

			

				

					zhangbeizhen18的博客
				

				

					06-11
					
					2893
					
				

			

		

		

			
				
记录：456
场景：在CentOS 7.9操作系统上，使用kafka_2.12-2.8.0版本，在三台机器上，安装Kafka集群。使用Zookeeper集群作为Kafka集群的节点注册与协同管理。

			
		

	





	

		

			

				
					
kafka linux下的集群安装

				
			

			

				

					Bryan
				

				

					04-21
					
					2359
					
				

			

		

		

			
				
第一步.kafka 集群安装环境准备
       环境:CentOS6.5  
     集群环境:
        192.168.139.130 master
        192.168.139.131 node1
        192.168.139.132 node2
    zookeeper 版本:zookeeper-3.3.6.tar.gz
    kafka

			
		

	





	

		

			

				
					
Kafka 环境安装与使用

				
			

			

				

					斯特凡今天也很帅的博客
				

				

					01-18
					
					269
					
				

			

		

		

			
				
Kafka 环境安装
1.上传及解压
tar zxvf /opt/software/kafka_2.11-0.11.0.2.gz -C /opt/install/

2.创建软连接和环境变量[可选]
cd /opt/install/
ln -s kafka_2.11-0.11.0.2/ kafka

vi /etc/profile
----------------------------
# KAFKA
export KAFKA_HOME=/opt/install/kafka
export PATH=$KA

			
		

	





	

		

			

				
					
Linux实战——Kafka集群安装部署

				
			

			

				

					qq_41954181的博客
				

				

					04-06
					
					712
					
				

			

		

		

			
				
Kafka是一款的消息队列系统。同RabbitMQ一样，Kafka也是消息队列。不过RabbitMQ多用于后端系统，因其更加专注于消息的延迟和容错。Kafka多用于大数据体系，因其更加专注于数据的吞吐能力。Kafka多数都是运行在分布式（集群化）模式下，这里将以3台服务器，来完成Kafka集群的安装部署。

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值