hadoop学习基础-伪分布式安装

最新推荐文章于 2025-09-05 23:07:29 发布
最新推荐文章于 2025-09-05 23:07:29 发布
阅读量197 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： # hadoop 大数据开发 文章标签： linux 伪分布式 yarn hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CEVERY/article/details/103093583
本文详细介绍了如何从零开始搭建Hadoop伪分布式集群及YARN资源管理系统，包括配置核心站点参数、实现免密通信、格式化HDFS、启动集群服务等关键步骤，并提供了测试集群运行状态的方法。
一、启动hdfs*

1、vi etc/hadoop/core-site.xml
在这里插入图片描述
2、vi etc/hadoop/hdfs-site.xml
在这里插入图片描述
3、设置免密通信
在这里插入图片描述
可以同过ssh hostname进行测试是否免密。
4、格式化hdfs
在这里插入图片描述
5、启动伪分布式集群
定位到高级命令目录：sbin
在这里插入图片描述
6、测试
浏览器访问虚拟机ip加端口:http:192.168.48.100:50070

二、启动yarn

1、vi etc/hadoop/yarn-site.xml
在这里插入图片描述
2、vi etc/hadoop/mapred-site.xml

若没有mapred-site.xml文件，则可将临时文件mapred-site.xml.template转换成mapred-site.xml文件。

在这里插入图片描述
3、启动yarn
定位到高级命令目录：sbin
在这里插入图片描述
3、测试yarn
浏览器访问虚拟机ip加端口:http:192.168.48.100:8088

Hadoop安装（二）---伪分布式模式
weixin_45944880的博客
11-17 1510
Hadoop安装（二）---伪分布式模式1、安装前准备2、修改主机名3、映射IP地址及主机名4、免密登录设置5、设置Hadoop配置文件6、格式化HDFS7、启动Hadoop并验证Hadoop进程8、通过Web访问Hadoop9、测试Hadoop 伪分布式模式（Pseudo-Distributed Mode）是完全分布式的一种特例，指Hadoop运行在一台主机上，使用多个Java进程，模仿完全分布式的各类节点，常用于调试程序。 下表为安装伪分布式模式所需要修改的文件、属性名称、属性值及含义。 1、安装前准
【Hadoop】安装部署-完全分布式搭建
Deity567的博客
06-28 2808
Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多软件框架。而我们的完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中。Hadoop是大数据中的基础框架，有着广泛的应用，也是其他大数据框架的基础。总的来说，对于本次Hadoop的完全分布式的搭建还算是挺简单滴啦，若有不对滴还请大家在评论区指正哦！
Hadoop之路---伪分布式环境搭建
kuyecsl的博客
04-26 776
hadoop更适合在liunx环境下运行，会节省后期很多麻烦，而用虚拟器就太占主机内存了，因此后面我们将把hadoop安装到wsl后进行学习,后续学习的环境是Ubuntu-16.04 （千万强调，有的命令一定要加sudo!千万强调，有的命令一定要加sudo!千万强调，有的命令一定要加sudo!
hadoop--伪分布式部署
zhanglide0526的博客
10-21 1066
文章目录1.资料下载2.大数据介绍2.1什么是大数据？2.2为什么要学习大数据?2.3大数据相关技术2.4海量数据存储2.5海量数据清洗2.6海量数据处理3.集群环境准备3.1准备虚拟机3.2修改为静态IP3.3配置文件3.4配置文件内容3.5重启网络3.6查看IP3.7mobaxTerm的使用3.8关闭防火墙3.9修改主机名3.10修改hosts文件3.11三台机器重启3.12设置免密登录3.12.1三台机器生成公钥与私钥3.12.2拷贝公钥到同一台机器3.12.3复制第一台机器的认证到其他机器3.12.
Hadoop集群搭建-完全分布式
2301_79986451的博客
10-11 2130
Hadoop 是一个开源框架，主要用于存储和处理大规模数据集，特别是在集群环境下。它最初由 Apache Software Foundation 开发，并且已经成为大数据处理领域的重要组成部分。Hadoop 提供了一种高效、可靠的方式来存储、处理和分析大量数据，支持分布式计算模型。HDFS 是一种分布式文件系统，设计用来存储大量的数据，并且能够提供高吞吐量的数据访问能力。集群里主要角色有：NamenodeDataNodeYARN 是 Hadoop 的资源管理和调度框架。
hadoop3 伪分布式安装
qq_34304427的博客
09-08 916
我们在学习的过程中，很难有资源同时准备几台服务器来安装 hadoop，那样成本太高了，即使我们选择虚拟机安装 linux 服务器，宿主机也很难有那么大的内存供我们使用，但是 hadoop 是天然分布式的，为了方便我们学习，hadoop 支持了伪分布式的安装模式。如果是使用 vmware 虚拟机，IP 地址的详细配置请参考：https://www.cnblogs.com/lovling/p/7941201.html。yarn 界面：http://mitchell-101:8088/cluster。
零基础也能学会！Hadoop伪分布式集群安装与配置实践
weixin_64289779的博客
04-30 1262
Hadoop是典型的分布式系统，原则上需要在至少3个节点构成集群上进行安装完全分布式系统。但是，出于学习的目的，在资源受限的情况下，可以有简化的安装模式，比如由单个节点构成的伪分布式安装(仍然通过网络进行节点访问，但是访问的IP地址：127.0.0.1就是本机地址)。
Hadoop伪分布与完全分布式的安装
weixin_44387652的博客
05-27 1428
Hadoop安装1、基础集群环境准备(Centos7)1.1 修改主机名1.2 配置 hadoop 用户 sudoer 权限1.3 配置 IP地址1.4 关闭防火墙/关闭 Selinux1.5 添加内网域名映射1.6 安装 JDK1.7 同步服务器时间1.8 配置免密登录2、Hadoop 集群环境安装2.1 Hadoop 版本选择2.2 hadoop 伪分布式模式安装2.3 hadoop 完全分布式模式安装3、集群初步使用3.1 Hadoop 集群启动3.2 HDFS 集群初步使用 1、基础集群环境准备(C
Hadoop伪分布式集群安装配置
予早随笔
02-16 554
计算机开发环境：腾讯云云服务器 CentOS 7.6 64位 root用户 Hadoop由JAVA开发，安装配置Hadoop之前需要安装配置JDK，可参考JDK安装配置——JAVA第一步 Hadoop下载 访问北京理工大学镜像网站下载或者键入wget命令下载 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz Hadoop解压 键入解压命令，路径自定义 tar zxf hadoop-3.2.
【IT十八掌徐培成】Hadoop第01天-04.hadoop配置独立模式-伪分布式.zip
08-13
6. "Hadoop第01天-04.hadoop配置独立模式-伪分布式.avi"视频文件可能包含徐培成老师的详细演示和讲解，帮助用户直观地了解配置过程和解决常见问题，是学习和实践Hadoop配置的宝贵资源。 总之，理解并掌握Hadoop的...
实验3 Hadoop安装与配置2-伪分布式.docx
07-04
实验报告标题为“实验3 Hadoop安装与配置2-伪分布式”，主要讲述了在Ubuntu环境下进行Hadoop的安装和配置过程，这是大数据处理课程JY1124的一部分。实验旨在让学生掌握Hadoop的安装和配置技术，为后续的大数据处理...
Hadoop-2.7.1分布式安装手册
11-14
这份手册涵盖了从基础到进阶的全部安装过程，包括单机模式、伪分布式模式以及完全分布式模式。 1. 单机模式：这是Hadoop初学者最常使用的模式，所有服务都在一台机器上运行，用于学习和测试。通过修改`etc/hadoop/...
云计算应用实验报告 武汉理工大学云计算应用 hadoop单机模式和伪分布式
02-23
本次实验旨在让学生理解并掌握Hadoop的两种基础运行模式：单机模式和伪分布式模式。Hadoop是云计算领域的重要组件，主要用于大数据处理和分析。通过实验，学生能够学习到如何在Ubuntu环境下安装、配置和运行Hadoop，...
Hadoop2.7.5-HBase1.2.6伪分布式安装
07-03
伪分布式安装是在单台机器上模拟多节点环境，既保留了分布式系统的基本特性，又降低了硬件需求，是学习和测试Hadoop及HBase的理想方式。以下是具体的步骤： 1. **环境准备**：确保你的机器上安装了Java环境，Hadoop...
Linux 中 export 命令用法总结
核电子探索者
09-04 1085
Linux中的export命令用于将变量导出为环境变量，使其能被当前Shell及其子进程访问。局部变量仅限当前Shell，而环境变量可跨进程传递。基本语法包括export 变量名=值（一步导出）或先定义再export（两步）。常用场景包括：临时设置环境变量（如PATH）、导出函数供子进程调用、取消导出（export -n）及查看环境变量（export -p）。持久化需将export命令写入~/.bashrc（用户级）或/etc/profile（系统级）。注意事项：带空格的值需引号包裹，子进程修改不影响父进程
无需bootloader，BootROM -＞ Linux Kernel 启动模式
太白断水客
09-05 361
一种非常优雅且高效的引导方案，它代表了嵌入式系统引导流程的“终极简化”
【Linux】线程概念与控制
f_2789889770的博客
09-04 947
线程概念和控制
【Linux游记】基础指令篇
最新发布
枫の大一分享
09-05 645
摘要：本文介绍了Linux编程环境中的核心工具链，包括软件包管理（yum/apt）、Vim编辑器使用技巧、gcc/g++编译过程（预处理/编译/汇编/链接）、Makefile自动化构建、进度条程序实现及Git版本控制。重点讲解了yum软件包管理器的安装/卸载操作、vim三种模式切换方法、动态/静态链接区别，并提供了进度条示例代码和Makefile编写规范。文章采用轻松幽默的语言风格，旨在帮助初学者系统掌握Linux开发基础工具的使用方法。（149字）
Linux 文本处理三大利器：命令小工具和sed
z_66667的博客
09-02 1074
在 Linux 系统中，文本处理是日常工作中不可或缺的一部分。无论是日志分析、数据提取还是还是配置文件修改，都需要高效的文本处理工具。本文将依次介绍常用的命令小工具、sed 流编辑器，帮助你快速掌握 Linux 文本处理的精髓。命令小工具：cut（剪裁列） sort（排序） uniq（去重计数） tr（替换 删除 压缩）sed:sed（Stream Editor）是一种流编辑器，它可以依照脚本的指令来处理、编辑文本文件。工作流程包括读取、执行和显示常用选项：-e：用指定命令处理输入文本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值