docker-compose安装Hadoop+hive+MySQL

最新推荐文章于 2025-07-08 22:29:58 发布
最新推荐文章于 2025-07-08 22:29:58 发布
阅读量2.9k 收藏 10
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Docker入门到实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010948569/article/details/107297380

首先特别感谢参考的博客，感谢作者Victor_python是你指明了我探索的道路，让我能顺利完成本博客的内容

参考连接：docker下安装hive 2.3.4

=================================================================================

本博客使用软件信息如下

Hadoop: v2.7.3

hive: v2.3.7

mysql: v5.7

mysql-connector-java: v5.1.49

Hadoop和hive的安装包可以到官方地址下载，也可以到国内的清华源或者阿里云的镜像站下载

mysql-connector-java下载地址： mysql-connector-java

如果上述地址无法下载，也可以到我的百度网盘下载

连接地址 提取码
了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据分析：大数据环境安装（docker+docker-compose+spark+hadoop+hive）
Derrick
05-22 2234
大数据环境安装 VirtualBox虚拟机下载地址：https://www.virtualbox.org/wiki/Downloads Vagrant下载地址：https://www.vagrantup.com/downloads.html 图形界面操作步骤可参考：http://drupalchina.cn/book/export/html/6389 ubantu：https://ubuntu.com/#download 一、VirtualBox创建虚拟机（其他步骤为默认） 修改好需要存放的地址 将内
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
2401_89172892的博客
12-20 510
ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 # zookeeper节点列表。#或者直接拷贝过去scp -r /usr/local/hadoop-2.8.5/tmp masterstandby:/usr/local/hadoop-2.8.5。external_links: # 连接本compose文件以外的container。#拉取Kafka镜像和kafka-manager镜像。
bigdata-docker-compose:Hadoop，Hive，Spark，Zeppelin和Livy
05-23
大数据游乐场：通过Docker-compose与Hadoop，Hive，Spark，Zeppelin和Livy集群。 我希望能够轻松地处理各种大数据应用程序，即Amazon EMR中的那些应用程序。 理想情况下，这可以在一个命令中提出和拆除。 这就是这个存储库的样子！ 成分图像： ： ： ： 用法 克隆： git clone https://github.com/panovvv/bigdata-docker-compose.git 在非Linux平台上，您应为Docker分配比默认情况下更多的RAM（在我的计算机上为2Gb，带16Gb RAM）。 否则，应用程序（在我的情况下为ResourceManager）将偶尔退出，并且您会在日志中看到类似这样的消息： current-datetime INFO org.apache.hadoop.util.JvmPauseMonit
Docker快速部署Hive服务
最新发布
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
07-08 474
本文介绍了如何通过Docker快速配置Hive环境，包括拉取镜像、启动HiveServer2服务以及使用Beeline连接的详细步骤。同时，还提供了IDEA远程调试的配置方法，帮助Java后端开发者高效搭建大数据开发环境，提升开发效率。
通过 docker-compose 快速部署 Hive 详细教程
匠人精神，持之以恒！
04-05 3063
其实通过 docker-compose 部署 hive 是在继上篇文章 Hadoop 部署的基础之上叠加的，Hive 做为最常用的数仓服务，所以是有必要进行集成的，感兴趣的小伙伴请认真阅读我以下内容，通过 docker-compose 部署的服务主要是用最少的资源和时间成本快速部署服务，方便小伙伴学习、测试、验证功能等等~通过 docker-compose 快速部署 Hadoop 集群详细教程通过 docker-compose 快速部署 Hadoop 集群极简教程。
通过docker-compose安装hadoop
taoruicheng1的博客
12-20 2779
docker-compose的Compose配置文件语法版本有3个版本,分别为1, 2.x 和 3.x。如果不关闭V2版本的话，运行docker-compose命令时会报错：unexpected character “-” in variable name near，执行docker-compose disable-v2解决该问题。4）对于高可用集群，默认会启动两个NameNode，一个是Active NameNode，另一个是Standby NameNode，两个NameNode承担不同角色。
win10环境安装docker及使用docker搭建hadoop、hive环境
m0_74298808的博客
03-01 2878
win10环境安装docker及使用docker搭建hadoop、hive环境
基于Docker搭建Hadoop+Hive
There is no one l would rather be than me
09-08 3124
为配合生产hadoop使用，在本地搭建测试环境，使用docker环境实现（主要是省事~），拉取阿里云已有hadoop镜像基础上，安装hive组件，参考下面两个专栏文章： 克里斯：基于 Docker 构建 Hadoop 平台docker上从零开始搭建hadoop和hive环境 由于hadoop与hive等存在版本兼容问题，安装前可以先通过官网确认版本兼容情况： http://hive.apache.org/downloads.html 本次使用的各版本配置如下： Docker 19.03.8 JD
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ：sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属...
docker-compose 安装hadoop集群 (非高可用)—— 筑梦之路
筑梦之路
06-05 865
如果是不同的compose文件生成的容器，如果不指定一样的network，它们直接是不能通过主机名访问的。只能决定容器的启动先后顺序，无法决定容器里服务的启动顺序，作用不大，所以在上面。函数来真正控制服务的启动顺序。
Docker-compose部署Hadoop
Winter的博客
04-20 1760
Docker部署Hadoop的优势Docker部署Hadoop的优势：简化部署流程：使用Docker可以快速部署Hadoop集群，无需手动安装和配置各个组件；提高可移植性：Docker容器可以在不同的环境中运行，保证了Hadoop集群的可移植性；方便管理和维护：Docker提供了一套完整的容器管理和维护工具，可以方便地管理和维护Hadoop集群；节省资源：使用Docker可以避免虚拟化技术带来的性能损失，同时也可以节省硬件资源。Hadoop在Docker中的限制。
docker一键安装hadoop集群
10-14
全部源码dockerfile等，按照readme说明可以使用docker一键安装hadoop集群，需要在linux系统下使用
Docker中快速搭建hadoop3.2.1集群
bobi1024的博客
03-12 3116
docker快速搭建hadoop3.2.1
docker安装hadoop
TimBL_的博客
02-13 601
docker安装hadoop
Docker手工安装Hadoop集群
老码农的心路历程
11-15 1444
安装Hadoop集群一般来讲比较困难，我们会采用CDH安装等集成环境，不过在安装这些集成环境时，比较臃肿，安装也很困难。我们尝试使用docker进行安装集群，从0开始，根据业务要求进行定制。 只要你认真细致，实际上安装hadoop集群也不是很难哦。 准备docker环境 在这个dockerfile里面，我们先安装jdk1.8，免费后面要继续安装 同事，生成秘钥文件，为了将来机器之间免密访问 # 生成的新镜像以centos镜像为基础 FROM centos # 指定作者信息 MAINTAINER
docker-compose部署hive数仓服务 —— 筑梦之路
筑梦之路
06-05 1620
4. 在docker-compose中给每个容器固定IP。2. 登录 namenode 刷新 datanode。3. 登录 任意节点刷新 datanode。1. 删除旧容器重启启动。
Docker部署Hadoop环境+Hive
進撃の算法
09-20 2782
获取centos7镜像 $ docker pull centos Output: 查看镜像列表的命令 $ docker images Output: 安装SSH 以centos7镜像为基础，构建一个带有SSH功能的centos $ vi Dockerfile 内容： 大意是：以 centos 镜像为基础，安装SSH的相关包，设置了root用户的密码为 pass，并启动SSH服务 FROM...
Hive的安装（元数据存储在MySQL）
m0_51691291的博客
06-11 339
1、上传hive并配置环境变量 上传Hive到linux指定目录下并解压至指定目录 修改名为hive 配置环境变量vim /etc/profile添加如下内容 #hive export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin source /etc/profile 使环境变量生效 2、配置hive文件 进入hive/conf目录下 1、复制hive-env.sh.template为hive-env.sh 修改hive-e
Hadoop环境搭建-Hive的安装
bck_xue_C_ing的博客
04-08 1678
修改完成后,使用 xsync /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml 命令，将该配置文件分发到各个集群。将安装包上传到mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar /opt/software/– 3.解决guava包版本冲突的问题(hadoop中的guava版本高，hive中的guava版本低)将mysql-connector-java-5.1.37.jar 传到/opt/jar/–2.增加HIVE_HOME。
一站式大数据集群部署：Docker-compose整合Hadoop, Hive, Spark
资源摘要信息: "bigdata-docker-compose:Hadoop，Hive，Spark，Zeppelin和Livy" 本存储库是为了简化大数据处理环境的搭建过程，提供了一种通过Docker-compose快速部署和管理Hadoop、Hive、Spark、Zeppelin和Livy...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值