HDFS常用操作

1.HDFS简介

主要解决大数据中海量存储的问题

产生背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。比如windows磁盘一般都是NFTS文件系统

HDFS定义

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目
录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务
器有各自的角色。
HDFS 的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭
之后就不需要改变

1.1 优点

适合处理大数据

• 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据
• 文件规模：能够处理百万规模以上的文件数量，数量相当之

可构建在廉价机器上，通过多副本机制，提高可靠性。

1.2 缺点

1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。

2）无法高效的对大量小文件进行存储。

➢ 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；

➢ 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计

3）不支持并发写入、文件随机修改。
➢ 一个文件只能有一个写，不允许多个线程同时写；
➢ 仅支持数据append（追加），不支持文件的随机修改。

1.3 组成架构

1）NameNode（nn）：就是Master，它是一个主管、管理者。
（1）管理HDFS的名称空间；
（2）配置副本策略；
（3）管理数据块（Block）映射信息；
（4）处理客户端读写请求。
2）DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。
（1）存储实际的数据块；
（2）执行数据块的读/写操作。

3）Client：就是客户端。
（1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；
（2）与NameNode交互，获取文件的位置信息；
（3）与DataNode交互，读取或者写入数据；
（4）Client提供一些命令来管理HDFS，比如NameNode格式化；
（5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；
4）Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不
能马上替换NameNode并提供服务。
（1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ；
（2）在紧急情况下，可辅助恢复NameNode

1.4 HDFS文件块大小（面试重点）

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。

思考：为什么块的大小不能设置太小，也不能设置太大？

（1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置

（2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开
始位置所需的时间。导致程序在处理这块数据时，会非常慢。

总结：HDFS块的大小设置主要取决于磁盘传输速

2.HDFS的shell操作(开发重点)

hadoop fs 具体命令 或hdfs dfs 具体命令

使用命令前先开启集群

1.-help：输出这个命令参数

hadoop fs -help rm

2.创建/sanguo 文件夹

hadoop fs -mkdir /sanguo

上传

1.-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去

hadoop fs -copyFromLocal weiguo.txt /sanguo

2.-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去

hadoop fs -copyFromLocal weiguo.txt /sanguo

3.-put：等同于 copyFromLocal，生产环境更习惯用 put

hadoop fs -put ./wuguo.txt /sanguo

4.appendToFile：追加一个文件到已经存在的文件末尾

hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

下载

1）-copyToLocal：从 HDFS 拷贝到本地

hadoop fs -copyToLocal /sanguo/shuguo.txt ./

2）-get：等同于 copyToLocal，生产环境更习惯用 get

hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

HDFS 直接操作

1. -ls: 显示目录信息

2. -cat：显示文件内容

3）-chgrp、-chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限

hadoop fs -chmod 666 /sanguo/shuguo.txt

hadoop fs -chown atguigu:atguigu /sanguo/shuguo.txt

4）-cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径

6）-mv：在 HDFS 目录中移动文件

7）-tail：显示一个文件的末尾 1kb 的数据

hadoop fs -tail /jinguo/shuguo.txt

8）-rm：删除文件或文

9）-rm -r：递归删除目录及目录里面内容

hadoop fs -rm -r /sanguo

10）-du 统计文件夹的大小

hadoop fs -du -s -h /jinguo

结果：27 81 /jinguo

说明：27 表示文件大小；81 表示 27*3 个副本；/jinguo 表示查看的目录

11）-setrep：设置 HDFS 中文件的副本

hadoop fs -setrep 10 /jinguo/shuguo.txt

这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得
看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10
台时，副本数才能达到 10

3.HDFS的API操作

3.1 准备

客户端环境准备:

a. Hadoop版本：2.7.2（hadoop-2.7.2.tar.gz）；
b. 搭建在Centos7上，非Docker上；
c. 客户端为Win10系统，JDK以及Maven已经安装好；

此电脑-右键属性-高级-环境变量

注意：如果环境变量不起作用，可以重启电脑

验证 Hadoop 环境变量是否正常。双击 winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。、

依赖

<dependencies>
 <dependency>
 <groupId>org.apache.hadoop</groupId>
 <artifactId>hadoop-client</artifactId>
 <version>客户端版本</version>
 </dependency>
 <dependency>
 <groupId>junit</groupId>
 <artifactId>junit</artifactId>
 <version>4.12</version>
 </dependency>
 <dependency>
 <groupId>org.slf4j</groupId>
 <artifactId>slf4j-log4j12</artifactId>
 <version>1.7.30</version>
 </dependency>
</dependencies>

在resources下创建一个log4j.properties,控制打印日志

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 
log4j.appender.logfile=org.apache.log4j.FileAppender 
log4j.appender.logfile.File=target/spring.log 
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

3.2 代码

常用套路：

• 获取一个客户端对象
• 执行相关的操作命令
• 关闭资源

源码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.util.Arrays;

public class HDFS_TEST {
    public static final String HDFS_PATH = "hdfs://master:8020";
    FileSystem fileSystem = null;
    Configuration configuration = null;
    /**
     * 初始化
     * @throws Exception
     */
    @Before
    public void setUp() throws Exception {
        System.out.println("HDFSClient - setUp");
        configuration = new Configuration();
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");
    }
    /**
     * 释放资源
     * @throws Exception
     */
    @After
    public void tearDown() throws Exception {
        fileSystem.close();
        configuration = null;
        fileSystem = null;
        System.out.println("HDFSApp - tearDown");
    }
    // 创建目录
    @Test
    public void testmkdir() throws Exception {
        // 2 创建一个文件夹
        fileSystem.mkdirs(new Path("/xiyou/huaguoshan1"));
    }

    // 上传
    /**
     * 参数优先级
     * hdfs-default.xml => hdfs-site.xml=> 在项目资源目录下的配置文件 =》代码里面的配置
     * @throws IOException
     */
    @Test
    public void testPut() throws Exception {
        // 参数解读：参数一：表示删除原数据； 参数二：是否允许覆盖；参数三：原数据路径； 参数四：目的地路径
        fileSystem.copyFromLocalFile(false, true, new Path("D:\\sunwukong.txt"), new Path("hdfs://hadoop102/xiyou/huaguoshan"));
    }
    //创建HDFS文件
    @Test
    public void testPut2() throws IOException {
        FSDataOutputStream fos = fileSystem.create(new Path("/hello.txt"));
        fos.write("hello world".getBytes());
        fos.flush();
        fos.close();
    }

    /**
     * 查看HDFS上的文件内容
     * @throws Exception
     */
    @Test
    public void cat() throws Exception {
        FSDataInputStream in = fileSystem.open(new Path("/hello.txt"));
        IOUtils.copyBytes(in, System.out, 1024);
        in.close();
    }

    // 文件下载
    @Test
    public void testGet() throws IOException {
        // 参数的解读：参数一：原文件是否删除；参数二：原文件路径HDFS； 参数三：目标地址路径Win ; 参数四：
        //fs.copyToLocalFile(true, new Path("hdfs://hadoop102/xiyou/huaguoshan/"), new Path("D:\\"), true);
        fileSystem.copyToLocalFile(false, new Path("hdfs://hadoop102/a.txt"), new Path("D:\\"), false);
    }

    // 删除
    @Test
    public void testRm() throws IOException {

        // 参数解读：参数1：要删除的路径； 参数2 ： 是否递归删除
        // 删除文件
        //fs.delete(new Path("/jdk-8u212-linux-x64.tar.gz"),false);

        // 删除空目录
        //fs.delete(new Path("/xiyou"), false);

        // 删除非空目录
        fileSystem.delete(new Path("/jinguo"), true);
    }

    // 文件的更名和移动
    @Test
    public void testmv() throws IOException {
        // 参数解读：参数1 ：原文件路径； 参数2 ：目标文件路径
        // 对文件名称的修改
        //fs.rename(new Path("/input/word.txt"), new Path("/input/ss.txt"));
        // 文件的移动和更名
        //fs.rename(new Path("/input/ss.txt"),new Path("/cls.txt"));
        // 目录更名
        fileSystem.rename(new Path("/input"), new Path("/output"));

    }
    /**
     * 查看某个目录下的所有文件
     * @throws Exception
     */
    @Test
    public void listFiles() throws Exception {
        FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/"));
        System.out.println("文件夹/文件" + "\t" + "副本数" + "\t" + "长度" + "\t\t" + "路径");
        for(FileStatus fileStatus : fileStatuses) {
            String isDir = fileStatus.isDirectory() ? "文件夹" : "文件";
            short replication = fileStatus.getReplication();
            long len = fileStatus.getLen();
            String path = fileStatus.getPath().toString();
            System.out.println(isDir + "\t\t" + replication + "\t\t" + len + "\t\t" + path);
        }
    }

    // 获取文件详细信息
    @Test
    public void fileDetail() throws IOException {

        // 获取所有文件信息
        RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles(new Path("/"), true);
        // 遍历文件
        while (listFiles.hasNext()) {
            LocatedFileStatus fileStatus = listFiles.next();
            System.out.println("==========" + fileStatus.getPath() + "=========");
            System.out.println(fileStatus.getPermission());
            System.out.println(fileStatus.getOwner());
            System.out.println(fileStatus.getGroup());
            System.out.println(fileStatus.getLen());
            System.out.println(fileStatus.getModificationTime());
            System.out.println(fileStatus.getReplication());
            System.out.println(fileStatus.getBlockSize());
            System.out.println(fileStatus.getPath().getName());
            // 获取块信息
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            System.out.println(Arrays.toString(blockLocations));

        }
    }

    // 判断是文件夹还是文件
    @Test
    public void testFile() throws IOException {

        FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));

        for (FileStatus status : listStatus) {

            if (status.isFile()) {
                System.out.println("文件：" + status.getPath().getName());
            } else {
                System.out.println("目录：" + status.getPath().getName());
            }
        }
    }
}

注意点

• 导包记得导org.apache.hadoop下的
• @Before、@After`test开始与结束需要执行的代码
• 用户名注意fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");
• 端口号修改public static final String HDFS_PATH = "hdfs://master:8020";