RedHa11tlinux下安装hadoop0.docx资源-CSDN下载

版权申诉

93 浏览量 2022-11-24 12:33:36 上传评论收藏 538KB DOCX 举报

资源推荐

资源详情

资源评论

Cygwin 安装 hadoop 的，笔者认为 hadoop 原始设计就

网上有很多讲授在 windows 下通过

是在 linux 下安装使用的，在 windows 下通过 Cygwin 安装也无非是模拟 linux

环境再在这个模拟的环境上装 hadoop，既然要学 hadoop 就真枪实弹的在 linux

下安装来学习，但是要搞一台真正的 linux 系统对一般个人来说不容易，但是我

们可以用虚拟机 VMware Player，就是在 windows 下装一个虚拟机(VMware

Player 就是个很好的虚拟机)，然后在虚拟机上装一个 linux 系统，实现和本机

windows 的通信，具体的怎么安装虚拟机，怎么在虚拟机上安装 linux，以及怎

么实现和本机 windows 的通信，这里就不讲了，这个网上有很多资料。

2、在本机 windows 下，通过 eclispe 连接到 linux 虚拟机上安装好的 haoop，

进行开发调试

linux 上装好 hadoop 之后，可以等陆到 linux 上通过 hadoop 的 shell 命令查看 hadoop 的 hdfs 文件系统，执行写好的

mapreduce 程序，但是这样会很不方便，我们通常的做法是在 windows 下开发程序，调试成功之后，再发布到 linux

上执行，这一部分就是来分享一下如何配置 windows 下的 eclipse，可以链接到 linux 下的 hadoop。

接下来就先说说第一部分的内容：

hadoop 安装有三种模式：单机模式，伪分布式，完全分布式。

1、单机模式：没意义，pass 掉，不讨论。

2、伪分布式：就是在一台机器上模拟 namenode、datanode、jobtracker、tasktracker、secondaryname。每一个存

在的形式是一个 java 进程。

3、完全分布式：就是一个 hadoop 集群，有 n 台机器组成，一般组织方式是：一台机器作为 master，上面运行 namenode

和 jobtracker,另外的机器作为 slave，上面运行 datanode 和 tasktracker，至于 secondaryname，可以运行在 master 上，

也可以运行在另外一台机器上。secondaryname 是 namenode 的一个备份里面同样保存了名字空间，和文件到文件块的

map 关系。建议运行在另外一台机器上，这样 master 死掉之后，还可以通过 secondaryname 所在的机器找回名字空间，

和文件到文件块得 map 关系数据，恢复 namenode。

剩余23页未读，继续阅读

内容反馈

版权申诉

我是你的春哥！

粉丝: 1w+

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip