Hadoop3.x进阶之HDFS

最新推荐文章于 2024-03-22 21:40:34 发布
原创 最新推荐文章于 2024-03-22 21:40:34 发布 · 659 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #java #hadoop

本文详细介绍了如何在Hadoop集群中执行WordCount示例，包括创建目录、上传文件、运行jar包及查看Web界面进度和结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

版本3.1.3

集群测试（wordcount）

首先集群中创建目录(也可以直接执行-put它会自动帮你创建目录)

 hadoop fs -mkdir /input

然后添加文件到目录中

hadoop fs -put word.txt /input

可以在HDFS的WEB上查看上传的文件是否成功

http://hadoop102:9870/explorer.html#/

执行wordcount的jar包参数为input路径和output路径

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

执行后可在103服务器上的ResourceManager WEB上查看进度

http://hadoop103:8088/cluster

 最后可以在HDFS的WEB上查看结果，路径为命令执行的第二个参数/output

大数据之-Hadoop3.x_Hadoop_HDFS_总结---大数据之hadoop3.x工作笔记0080
添柴程序猿的专栏
07-01 333
然后我们再去看一下hdfs文件系统的总结,到现在我们已经把hadoop的,hdfs的部分都说完了. 那么在hadoop的hdfs的部分,哪些部分比较重要,我们总结一下 可以看到对于hdfs文件块的配置 原则就是硬盘读写的速度快,HDFS的文件块就可以设置的大一些,如果硬盘读写速度慢, 文件块就可以设置的小一些.,一般在公司里,大公司设置成256m,中小公司设置成128m 还有就是这个hadoopdfs的相关命令一定要记住这个重要, 这个hdfs的shell命令是重点...
Hadoop 3.x 笔记（配置、命令、脚本、重要图示、代码实现）
ZZay's
03-30 2859
Hadoop 3.x 笔记 作者： Zzay 目的： 本文章记录 hadoop 3.x 使用过程中常用的配置、命令、脚本、重要图示、实现代码，以方便未来查看使用。 1. 常用配置 1.1 端口号 以下是Hadoop 3.x常用的端口号。 NameNode HTTP UI 端口：9870 NameNode 内部通信端口：8020/9000/9820 Secondary NameNode：9868 YARN 查看执行任务端口（ResourceManager）：8088 历史服务器通信端口（jobHi
Hadoop——第二部份 Hadoop3.x之HDFS
Cyang的博客
01-12 297
Hadoop 第二部份 Hadoop3.x之HDFS
Hadoop3.x 之 HDFS 完整使用 (月薪过万 第五章)
小坏说后端
07-09 825
Hadoop3.x 之 HDFS 完整使用一、HDFS 概述1、HDFS 产生背景2、HDFS 定义3、HDFS 优点4、HDFS 缺点二级目录三级目录 一、HDFS 概述 1、HDFS 产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系 统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这 就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种 2、HDFS 定义 HDFS（Hadoop Distributed File Sy
haoop启动正常，但上不去网页hadoop102:9870
m0_51697147的博客
11-21 4812
如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可 （a）进入C:\Windows\System32\drivers\etc路径 （b）拷贝hosts文件到桌面 （c）打开桌面hosts文件并添加如下内容
hadoop的50070端口不能访问网页(配置正确，防火墙已关闭仍不行)
weixin_45413965的博客
07-05 2500
解决办法1： vi /etc/selinux/config 改为 　　SELINUX=disabled 解决办法2： 查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好 解决办法3： 必须在hadoop-env.sh文件中设置Java的绝对路径 解决办法4： 是否关闭linux系统的防火墙 解决办法5： 查看你windows里本地的配置文件的IP和主机名映射关系 若以上办法仍无法解决 尝试访问新端口地址： 形如： http://hado
1.Hadoop入门进阶课程_第1周_Hadoop1.X伪分布式安装.pdf
04-03
### Hadoop 1.X 伪分布式安装知识点概览 #### 1. Hadoop 简介 - **定义**: Apache Hadoop 是一个开源框架，它允许开发者通过简单的编程模型来处理大量的数据集，并且能够在集群服务器上进行分布式处理。 - **特点**...
大数据系列-Hadoop 2.0
07-31
0103 高级Hadoop 2.x、0102 深入Hadoop 2.x这两部分可能涉及更深层次的Hadoop技术，如Hadoop生态系统的其他组件（如Hive、Pig、Spark），Hadoop的安全管理，以及高级优化技巧。 总之，Hadoop 2.0作为一个全面的...
Hadoop1.X伪分布式安装教程_入门进阶学习
本课程聚焦于Hadoop的入门与进阶，第一周的内容主要围绕Hadoop1.X版本的伪分布式安装展开。石山园博主通过他的博客和实验楼平台提供了丰富的学习资源，包括课程、安装包、测试文件和代码，鼓励读者边学习边实践。 1...
【Hive和Pig新纪元】：Hadoop 3.x带来的大数据分析工具变革
Hadoop 3.x 引入了多项架构改进，包括对大规模存储和计算能力的优化，以及高可用性和容错性的增强。它的核心组件包括HDFS、YARN和MapReduce，它们共同协作以支持大数据处理任务。HDFS（Hadoop Distributed File ...
Hadoop启动正常，但是进不了Hadoop102：9870
热门推荐
contacts的博客
03-17 1万+
当我们在虚拟机上的Hadoop启动正常，但进不去Hadoop102：9870解决办法！ 例子如下： 但是网页进不去： 第一：首先看自己的hdfs是否改了登录网址 路径为：/opt/module/hadoop-3.1.3/etc/hadoop/hdfs.site.xml 我的地址就是Hadoop102：9870，所以登陆网址是没有问题的。 第二：看自己的hosts文件，是否配置了相关网点，我就是这样的问题。 看看自己的hosts文件里面是否配置了相关的主机名。 配.
纯小白学习大数据第三天笔记一——hadoop运行模式
weixin_42539131的博客
09-07 88
最近看的很慢。。。因为很多内容得反复看才跟上。。。
关于打不开http://hadoop102:9870网页
最新发布
qq_71955060的博客
03-22 2070
关于打不开http://hadoop102:9870网页
HDFS文件浏览页返回上级目录功能
weixin_30698297的博客
04-21 1005
1、效果预览 Hadoop自带的效果 修改后，多了一个../按钮，点击可以回到上级目录 2、查找页面和JS文件 我们在浏览器上可以看到访问了explorer.html页面，可以尝试使用find命令查找页面。 在NameNode节点上，到hadoop安装目录下，使用find命令查找。 1 [hadoop@hadoop-01 ~]$ cd /app/...
常见错误:看不到Hadoop的页面
w15321970103的博客
06-08 2066
看不到集群的页面
启动hadoop http://localhost:50070不成功解决：Hadoop3的是http://localhost:9870
xuexueloveair的博客
05-17 7119
在Mac终端输入 cd /usr/local/sbin/ 到了这个文件夹里， 输入命令 ./start-all.sh 来启动， （顺便，停止命令是： ./stop-all.sh ） 然后在浏览器里输入 http://localhost:50070 但是没有转到我要的页面 因为终端显示： WARN util.NativeCodeLoader: Unable to load native-had...
大数据开发笔记
bigdata
12-14 698
大数据开发组件 HDFS [atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh http://hadoop102:9870/explorer.html#/ Yarn [atguigu@hadoop102 hadoop-3.1.3]$ sbin/stop-yarn.sh [atguigu@hadoop103 hadoo...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值