Hadoop文章汇总

电光闪烁

已于 2022-05-09 23:10:55 修改

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # Hadoop 文章标签：大数据 Hadoop Hive

于 2022-04-12 00:36:34 首次发布

本文链接：https://blog.csdn.net/yang_shibiao/article/details/124113512

Hadoop 专栏收录该内容

39 篇文章

订阅专栏

Hadoop相关博文汇总：

Hadoop（1）：Hadoop概述
Hadoop（2）：Hadoop的安装和部署
Hadoop（3）：Hadoop安装和部署过程中的常见问题
Hadoop（4）：HDFS概述
Hadoop（5）：HDFS的Shell操作
Hadoop（6）：HDFS的API操作
Hadoop（7）：HDFS读写流程
Hadoop（8）：HDFS之NameNode和SecondaryNameNode
Hadoop（9）：HDFS之DataNode
Hadoop（10）：MapReduce概述
Hadoop（11）：Hadoop序列化
Hadoop（12）：MapReduce框架原理之InputFormat数据输入
Hadoop（13）：MapReduce框架原理之MapReduce工作流程
Hadoop（14）：MapReduce框架原理之Shuffle机制
Hadoop（15）：MapReduce框架原理之OutputFormat数据输出
Hadoop（16）：MapReduce框架原理之MapReduce内核源码解析
Hadoop（17）：MapReduce框架原理之Join应用
Hadoop（18）：MapReduce框架原理之数据清洗（ETL）
Hadoop（19）：MapReduce框架原理之MapReduce开发总结
Hadoop（20）：Hadoop数据压缩
Hadoop（21）：MapReduce开发过程中常见错误及解决方案
Hadoop（22）：Yarn概述
Hadoop（23）：Yarn调度器和调度算法
Hadoop（24）：Yarn的常用命令
Hadoop（25）：Yarn核心参数配置案例
Hadoop（26）：Yarn中容量调度器多队列提交
Hadoop（27）：Yarn中公平调度器多队列提交
Hadoop（28）：Yarn的Tool接口案例
Hadoop（29）：Hadoop调优之HDFS核心参数
Hadoop（30）：Hadoop调优之HDFS集群压测
Hadoop（31）：Hadoop调优之HDFS多目录
Hadoop（32）：Hadoop调优之HDFS集群扩容及缩容
Hadoop（33）：Hadoop调优之HDFS存储优化
Hadoop（34）：Hadoop调优之HDFS故障排除
Hadoop（35）：Hadoop调优之HDFS集群迁移
Hadoop（36）：Hadoop调优之MapReduce生产经验
Hadoop（37）：Hadoop调优之Yarn生产经验
Hadoop（38）：Hadoop调优之综合调优

未完待续......

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

电光闪烁

关注关注

1
点赞
踩
28

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

大数据利器Hadoop：从基础到实战，一篇文章掌握大数据处理精髓！

邓邓子的博客

10-06

7055

在当今大数据时代，数据量的爆炸式增长对企业和技术提出了前所未有的挑战。如何高效地存储、处理和分析这些庞大的数据集，成为了亟待解决的问题。Hadoop作为一种分布式计算框架，应运而生，为大数据处理提供了有效的解决方案。Hadoop是一个由Apache软件基金会维护的开源项目，它基于Google的分布式文件系统（Google File System，GFS）和MapReduce计算模型设计。Hadoop的主要目标是处理大规模数据集，它可以在普通硬件集群上运行，从而降低了大数据处理的成本。

学习Hadoop不错的系列文章

08-29

233

1）Hadoop学习总结　　（1）HDFS简介　　地址：http://forfuture1978.iteye.com/blog/615033 　　（2）HDFS读写过程解析　　地址：http://blog.csdn.net/forfuture1978/article/details/6001302 　　（3）Map-Reduce入门　　地址：http://blog.csdn.n

参与评论您还未登录，请先登录后发表或查看评论

hadoop收集的文章

wilbur的专栏

10-08

1764

Hadoop入门单节点的安装与测试1 下载hadoop的相应版本2 设置conf目录下的hadoop-env.sh文件，最低要求是要配置JAVA_HOME这个环境变量3 设置conf目录下的hadoop-site.xml配置文件，fs.default.namelocalhost:9000mapred.job.trackerlocalhost:9001dfs.replication14 配置本

关于Hadoop系列文章

chixianyi1990的博客

09-15

325

Hadoop整个系列文章还要涉及到以下话题： 1、HDFS命令行接口的使用； 2、完全分布式Hadoop； 3、Hadoop硬件选型； 4、Hadoop调优； 5、Hadoop调度方法、常用参数、调优； 6、Hadoop集群维护(增减节点等)； 7、Hadoop安全：基于Kerberos认证...

Hadoop家族系列文章

Ryan Z 的技术日志

09-22

481

Hadoop家族系列文章 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, C

Hadoop的一系列文章

xcmax

05-23

468

http://www.cnblogs.com/xia520pi/category/346943.html

hadoop 50070 无法访问问题解决汇总

01-07

文章目录解决办法1：解决办法2：解决办法3：解决办法4：解决办法5：解决办法1：修改selinux [root@djt002 hadoop]# vi /etc/selinux/config 解决办法2：查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和...

词频统计，利用Hadoop中mappereduce进行单词的计数

10-28

【标题】：“词频统计，利用Hadoop中mapper/...通过Hadoop MapReduce进行词频统计，不仅可以应用于《哈姆雷特》，还可以扩展到任何其他大型文本数据集，如新闻文章、社交媒体数据等，为大数据分析提供强大的工具。

基于Hadoop的网路云盘.zip

03-13

本篇文章将深入探讨基于Hadoop构建网络云盘的相关知识，帮助读者理解Hadoop的核心概念，以及如何利用Hadoop实现网络云盘的搭建和应用。首先，我们需要理解Hadoop的核心组件。Hadoop由两个主要部分组成：Hadoop ...

Apache Hadoop技术详解

Aaron_945的博客

08-04

1616

Apache Hadoop是一个强大的分布式系统基础架构，它通过HDFS和MapReduce等核心组件，为处理大规模数据集提供了高效、可靠和可扩展的解决方案。：Hadoop的分布式计算框架，允许程序员在不了解分布式系统底层细节的情况下，编写处理大规模数据的程序。HDFS将数据分散存储在集群中的多个节点上，每个节点存储数据的一个分片，并维护多个副本以确保数据的可靠性和可用性。最后，Apache Hadoop的官方网站提供了丰富的文档、教程和社区支持，是学习和使用Hadoop的重要资源。

Python连接Hadoop数据中遇到的各种坑(汇总)

12-20

后来也在网上看到大家在咨询相同的问题，但是真正解决这个问题的帖子又几乎没有，所以现在将Python连接Hadoop数据库过程中遇到的各种坑进行一个汇总，然后与大家进行分享，以尽量避免大家花费宝贵的时间。...

Hadoop教程文章分享

lockie的博客

11-28

508

Hadoop文章分享，文章来自狮锅艺感谢博主的分享 大数据基础知识 Hadoop实践（零）—Hadoop作为数据湖 http://blog.csdn.net/Wee_Mita/article/details/55805701 Hadoop实践（零）—Hadoop项目生态系统 http://blog.csdn.net/wee_mita/article/details/55809015 Had...

Hadoop系列文章 Hadoop架构、原理、特性简述

wangxudongx的专栏

01-24

6718

Hadoop系列文章 Hadoop架构、原理、特性简述Hadoop HDFSHDFS介绍HDFS架构图HDFS写入数据流程图HDFS读取数据流程图数据块的副本集Hadoop YARNYARN工作流程图YARN的原理及目标Hadoop MapReduceMapReduce工作流程MapReduce编程模型 Apache™Hadoop®项目开发用于可靠、可伸缩的分布式计算的开源软件。 Apache...

Hadoop经典文章收集

qq_34955491的博客

10-22

254

hadoop集群完整架构及设计 ss s ssss sss ss sss ss ss

大数据-Hadoop-基础篇-第四章-HDFS（分布式文件存储）