熟悉常用的HDFS操作

实验平台

[hadoop@MASTER ~]$ cat /etc/redhat-release
CentOS release 6.6 (Final)

[hadoop@MASTER ~]$ hadoop version
Hadoop 2.7.7

[hadoop@MASTER ~]$ java -version
java version "1.8.0_151"

实验内容和要求

 编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：

1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；

[hadoop@MASTER ~]$ if $(hdfs dfs -test -e /test.txt);

>     then $(hdfs dfs -appendToFile ~/test.txt /test.txt);

>     else $(hdfs dfs -copyFromLocal ~/test.txt /test.txt);

> fi 

2.从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；

[hadoop@MASTER ~]$ if $(hdfs dfs -test -e /1.txt);

> then $(hdfs dfs -copyToLocal /1.txt ~/1.txt);

> else $(hdfs dfs -copyToLocal /1.txt ~/2.txt);

> fi

3.将HDFS中指定文件的内容输出到终端中；

[hadoop@MASTER ~]$ hadoop fs -cat /1.txt

hello world

hello hadoop

4.显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；

[hadoop@MASTER ~]$ hadoop fs -ls -h /1.txt

-rw-r--r--   2 hadoop supergroup         25 2018-11-09 14:49 /1.txt

5.给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息；

[hadoop@MASTER ~]$ hadoop fs -ls -h /1.txt

-rw-r--r--   2 hadoop supergroup         25 2018-11-09 14:49 /1.txt

6.提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录；

[hadoop@MASTER ~]$ if $(hadoop fs -test -d /user);

> then $(hadoop fs -touchz /user/3.txt);

> else $(hadoop fs -mkdir -p /user && hadoop fs -touchz /user/3.txt);

> fi

7.提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录；删除目录时，由用户指定当该目录不为空时是否还删除该目录；

[hadoop@MASTER ~]$ hadoop fs -rm -r   /test

18/11/09 16:33:59 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.

Deleted /test

8.向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾；

[hadoop@MASTER ~]$ hadoop fs -cat /1.txt

hello world

hello hadoop
追加test.txt到1.txt
[hadoop@MASTER ~]$ hadoop fs -appendToFile test.txt /1.txt
查看
[hadoop@MASTER ~]$ hadoop fs -cat /1.txt

hello world

hello hadoop

123

9.删除HDFS中指定的文件；

[hadoop@MASTER ~]$ hadoop fs -rm /1.txt

18/11/09 16:29:12 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.

Deleted /1.txt

10.删除HDFS中指定的目录，由用户指定目录中如果存在文件时是否删除目录；

[hadoop@MASTER ~]$ hadoop fs -rm -r   /test

18/11/09 16:33:59 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.

Deleted /test

11.在HDFS中，将文件从源路径移动到目的路径。

[hadoop@MASTER ~]$ hadoop fs -mv /user/3.txt /3.txt