hadoop的常用指令

（一）scp命令--基本使用

scp：它可以实现服务器与服务器之间的数据拷贝。

1.基本语法

scp    -r        $pdir/$fname    $user@$host:$pdir/$fname

说明：

（1）-r: 表示递归拷贝。如果要拷贝的是文件夹，就把文件夹下的内容都拷贝

（2）$pdir/$fname: 要拷贝的文件路径/名称   

（3）$user@host:$pdir/$fname: 目的地用户@主机:目的地路径/名称

1. HDFS（Hadoop Distributed File System）命令

HDFS 是 Hadoop 的分布式文件系统，用于存储大规模数据。以下是常用命令：

基本操作

• 查看文件系统状态

  hdfs dfsadmin -report

• 查看 HDFS 中的文件和目录

  hdfs dfs -ls /path/to/directory

• 创建目录

  hdfs dfs -mkdir /path/to/new_directory

• 上传文件到 HDFS

  hdfs dfs -put local_file_path /path/to/hdfs_directory

• 从 HDFS 下载文件

  hdfs dfs -get /path/to/hdfs_file local_file_path

• 删除文件或目录

  hdfs dfs -rm /path/to/file
  hdfs dfs -rm -r /path/to/directory

• 查看文件内容

  hdfs dfs -cat /path/to/file

• 查看文件内容（分页）

  hdfs dfs -cat /path/to/file | more

• 查看文件大小

  hdfs dfs -du -h /path/to/directory

权限管理

• 设置文件权限

  hdfs dfs -chmod 755 /path/to/file_or_directory

• 设置文件所有者

  hdfs dfs -chown user:group /path/to/file_or_directory

2. MapReduce 命令

MapReduce 是 Hadoop 的分布式计算模型，用于处理大规模数据。

提交 MapReduce 任务

hadoop jar /path/to/jar_file.jar com.example.MainClass /input/path /output/path

查看 MapReduce 任务状态

yarn application -status <application_id>

列出所有正在运行的任务

yarn application -list

杀死 MapReduce 任务

yarn application -kill <application_id>

3. YARN（Yet Another Resource Negotiator）命令

YARN 是 Hadoop 的资源管理器，用于调度和管理计算资源。

查看 YARN 集群状态

yarn node -status

列出所有 YARN 应用程序

yarn application -list

查看 YARN 节点状态

yarn node -list

4. Hadoop 集群管理命令

启动 Hadoop 集群

start-dfs.sh   # 启动 HDFS
start-yarn.sh  # 启动 YARN

停止 Hadoop 集群

stop-dfs.sh   # 停止 HDFS
stop-yarn.sh  # 停止 YARN

格式化 NameNode

hdfs namenode -format

查看集群状态

hdfs dfsadmin -report